跳到正文
OpenAI Developers·· 2025-08-05精選AI 評分76

如何用 Ollama 在本地運行 OpenAI gpt-oss

How to run gpt-oss locally with Ollama

AI 導讀

OpenAI 介紹用 Ollama 在本地運行兩款 gpt-oss 模型,支援離線聊天、API 調用及接入 Agents SDK。gpt-oss-20b 建議至少 16GB VRAM 或 unified memory,gpt-oss-120b 至少 60GB;模型預設採用 MXFP4 量化,VRAM 不足時可用 CPU,但速度較慢。

推薦理由

指南比較兩個模型所需的硬件配置,並串起本地聊天、Chat Completions API 與 Agents SDK 接入步驟,便於評估本地部署路徑。

正文 · 繁體中文

想在自己的硬件上執行 OpenAI gpt-oss 嗎?本指南會説明如何使用 Ollama 在本機設定 gpt-oss-20b 或 gpt-oss-120b,離線與模型對話、透過 API 使用,甚至連接 Agents SDK。

本指南適用於個人電腦或 Mac 等消費級硬件。如果要在配備 NVIDIA H100 等專用 GPU 的伺服器上使用,請參閲我們的 vLLM 指南。

Ollama 支援兩種尺寸的 gpt-oss:

  • gpt-oss-20b
    • 較小型模型
    • 最適合配備 ≥16GB VRAM 或 統一記憶體 的設備
    • 非常適合高階消費級 GPU 或 Apple Silicon Mac
  • gpt-oss-120b
    • 較大型的全尺寸模型
    • 最適合配備 ≥60GB VRAM 或 統一記憶體 的設備
    • 適合多 GPU 或高效能工作站設定

幾點注意事項:

  • 這些模型預設以 MXFP4 量化格式發佈,目前沒有其他量化版本
  • 如果 VRAM 不足,你可以將部分運算卸載至 CPU,但預期速度會較慢。
  1. 安裝 Ollama → 在此下載
  2. 拉取所需模型:
# For 20B
ollama pull gpt-oss:20b

# For 120B
ollama pull gpt-oss:120b

準備好與模型對話了嗎?你可以在應用程式或終端機啟動對話:

ollama run gpt-oss:20b

Ollama 預設會套用聊天範本,模仿 OpenAI harmony 格式。輸入訊息即可開始對話。

Ollama 提供兼容 Chat Completions 的 API,因此只需少量改動即可使用 OpenAI SDK。以下是 Python 範例:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # Local Ollama API
    api_key="ollama"                       # Dummy key
)

response = client.chat.completions.create(
    model="gpt-oss:20b",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Explain what MXFP4 quantization is."}
    ]
)

print(response.choices[0].message.content)

如果你之前用過 OpenAI SDK,這種用法會十分熟悉。

你亦可直接使用 Python 或 JavaScript 的 Ollama SDK。

Ollama 可以:

  • 呼叫函式
  • 使用內置瀏覽器工具(應用程式內)

透過 Chat Completions 呼叫函式的範例:

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get current weather in a given city",
            "parameters": {
                "type": "object",
                "properties": {"city": {"type": "string"}},
                "required": ["city"]
            },
        },
    }
]

response = client.chat.completions.create(
    model="gpt-oss:20b",
    messages=[{"role": "user", "content": "What's the weather in Berlin right now?"}],
    tools=tools
)

print(response.choices[0].message)

由於模型可在思維鏈(CoT)中執行工具呼叫,你必須將 API 傳回的推理內容帶入其後的工具呼叫,並在工具呼叫中提供答案,直到模型給出最終答案。

Ollama 暫時尚未原生支援 Responses API。

如果要使用 Responses API,可透過 Hugging Face 的 Responses.js 代理,將 Chat Completions 轉換成 Responses API。

基本用途亦可使用 Ollama 作為後端,執行我們的 Python 範例伺服器。這個伺服器只是基本範例,並未提供

pip install gpt-oss
python -m gpt_oss.responses_api.serve \
    --inference_backend=ollama \
    --checkpoint gpt-oss:20b

想透過 OpenAI 的 Agents SDK 使用 gpt-oss 嗎?

兩種 Agents SDK 都允許你覆寫 OpenAI 基礎客戶端,透過 Chat Completions 或 Responses.js 代理將請求指向本機模型。你亦可使用內置功能,讓 Agents SDK 連接第三方模型。

以下是使用 LiteLLM 的 Python Agents SDK 範例:

import asyncio
from agents import Agent, Runner, function_tool, set_tracing_disabled
from agents.extensions.models.litellm_model import LitellmModel

set_tracing_disabled(True)

@function_tool
def get_weather(city: str):
    print(f"[debug] getting weather for {city}")
    return f"The weather in {city} is sunny."


async def main(model: str, api_key: str):
    agent = Agent(
        name="Assistant",
        instructions="You only respond in haikus.",
        model=LitellmModel(model="ollama/gpt-oss:120b", api_key=api_key),
        tools=[get_weather],
    )

    result = await Runner.run(agent, "What's the weather in Tokyo?")
    print(result.final_output)

if __name__ == "__main__":
    asyncio.run(main())

來源:OpenAI Developers · developers.openai.com