如何用 Ollama 在本地運行 OpenAI gpt-oss
How to run gpt-oss locally with Ollama
OpenAI 介紹用 Ollama 在本地運行兩款 gpt-oss 模型,支援離線聊天、API 調用及接入 Agents SDK。gpt-oss-20b 建議至少 16GB VRAM 或 unified memory,gpt-oss-120b 至少 60GB;模型預設採用 MXFP4 量化,VRAM 不足時可用 CPU,但速度較慢。
指南比較兩個模型所需的硬件配置,並串起本地聊天、Chat Completions API 與 Agents SDK 接入步驟,便於評估本地部署路徑。
想在自己的硬件上執行 OpenAI gpt-oss 嗎?本指南會説明如何使用 Ollama 在本機設定 gpt-oss-20b 或 gpt-oss-120b,離線與模型對話、透過 API 使用,甚至連接 Agents SDK。
本指南適用於個人電腦或 Mac 等消費級硬件。如果要在配備 NVIDIA H100 等專用 GPU 的伺服器上使用,請參閲我們的 vLLM 指南。
Ollama 支援兩種尺寸的 gpt-oss:
gpt-oss-20b- 較小型模型
- 最適合配備 ≥16GB VRAM 或 統一記憶體 的設備
- 非常適合高階消費級 GPU 或 Apple Silicon Mac
gpt-oss-120b- 較大型的全尺寸模型
- 最適合配備 ≥60GB VRAM 或 統一記憶體 的設備
- 適合多 GPU 或高效能工作站設定
幾點注意事項:
- 這些模型預設以 MXFP4 量化格式發佈,目前沒有其他量化版本
- 如果 VRAM 不足,你可以將部分運算卸載至 CPU,但預期速度會較慢。
- 安裝 Ollama → 在此下載
- 拉取所需模型:
# For 20B
ollama pull gpt-oss:20b
# For 120B
ollama pull gpt-oss:120b準備好與模型對話了嗎?你可以在應用程式或終端機啟動對話:
ollama run gpt-oss:20bOllama 預設會套用聊天範本,模仿 OpenAI harmony 格式。輸入訊息即可開始對話。
Ollama 提供兼容 Chat Completions 的 API,因此只需少量改動即可使用 OpenAI SDK。以下是 Python 範例:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1", # Local Ollama API
api_key="ollama" # Dummy key
)
response = client.chat.completions.create(
model="gpt-oss:20b",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Explain what MXFP4 quantization is."}
]
)
print(response.choices[0].message.content)如果你之前用過 OpenAI SDK,這種用法會十分熟悉。
你亦可直接使用 Python 或 JavaScript 的 Ollama SDK。
Ollama 可以:
- 呼叫函式
- 使用內置瀏覽器工具(應用程式內)
透過 Chat Completions 呼叫函式的範例:
tools = [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current weather in a given city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"]
},
},
}
]
response = client.chat.completions.create(
model="gpt-oss:20b",
messages=[{"role": "user", "content": "What's the weather in Berlin right now?"}],
tools=tools
)
print(response.choices[0].message)由於模型可在思維鏈(CoT)中執行工具呼叫,你必須將 API 傳回的推理內容帶入其後的工具呼叫,並在工具呼叫中提供答案,直到模型給出最終答案。
Ollama 暫時尚未原生支援 Responses API。
如果要使用 Responses API,可透過 Hugging Face 的 Responses.js 代理,將 Chat Completions 轉換成 Responses API。
基本用途亦可使用 Ollama 作為後端,執行我們的 Python 範例伺服器。這個伺服器只是基本範例,並未提供
pip install gpt-oss
python -m gpt_oss.responses_api.serve \
--inference_backend=ollama \
--checkpoint gpt-oss:20b想透過 OpenAI 的 Agents SDK 使用 gpt-oss 嗎?
兩種 Agents SDK 都允許你覆寫 OpenAI 基礎客戶端,透過 Chat Completions 或 Responses.js 代理將請求指向本機模型。你亦可使用內置功能,讓 Agents SDK 連接第三方模型。
- Python:使用 LiteLLM,透過 LiteLLM 代理連接 Ollama
- TypeScript:使用 AI SDK,配合 ollama adapter
以下是使用 LiteLLM 的 Python Agents SDK 範例:
import asyncio
from agents import Agent, Runner, function_tool, set_tracing_disabled
from agents.extensions.models.litellm_model import LitellmModel
set_tracing_disabled(True)
@function_tool
def get_weather(city: str):
print(f"[debug] getting weather for {city}")
return f"The weather in {city} is sunny."
async def main(model: str, api_key: str):
agent = Agent(
name="Assistant",
instructions="You only respond in haikus.",
model=LitellmModel(model="ollama/gpt-oss:120b", api_key=api_key),
tools=[get_weather],
)
result = await Runner.run(agent, "What's the weather in Tokyo?")
print(result.final_output)
if __name__ == "__main__":
asyncio.run(main())來源:OpenAI Developers · developers.openai.com