跳到正文
OpenAI News·· 2024-08-06精選AI 評分70

OpenAI 在 API 中推出 Structured Outputs,模型輸出可靠遵循開發者提供的 JSON Schema

Introducing Structured Outputs in the API

AI 導讀

OpenAI 在 API 中推出 Structured Outputs,模型輸出現在可可靠遵循開發者提供的 JSON Schema。

推薦理由

這項 API 更新説明 Structured Outputs 的核心作用,讓模型輸出可靠遵循開發者提供的 JSON Schema。

正文 · 繁體中文

2. 新增選項,適用於 response_format 參數: 開發人員現在可以透過 json_schema 提供 JSON Schema,這是 response_format 參數的新選項。當模型不是呼叫工具,而是以結構化方式回應使用者時,這項功能就很有用。這項功能適用於我們最新的 GPT‑4o 模型: gpt-4o-2024-08-06,今日發布,以及 gpt-4o-mini-2024-07-18。若將 response_format 與 strict: true 一併提供,模型輸出便會符合所提供的結構描述。

輸出開頭有效的詞元包括 {、{“、{
等。不過,模型一旦已抽樣出 {“val,那麼 { 便不再是有效詞元。因此,我們需要實作動態受限解碼,並在每個詞元產生後判定接下來哪些詞元有效,而非在回應開始前預先判定。

為此,我們會將提供的 JSON Schema 轉換為上下文無關文法(CFG)。文法是一組定義語言的規則,而上下文無關文法則是符合特定規則的文法。你可以將 JSON 和 JSON Schema 視為特定語言,各自以規則界定該語言中的有效內容。正如沒有動詞的句子不符合英文規則一樣,JSON 中也不能出現尾隨逗號。

因此,對於每份 JSON Schema,我們都會計算出一套代表該結構描述的文法,並預先處理其組成部分,讓模型抽樣時能輕易存取。這就是為甚麼使用新結構描述發出的首次請求會產生延遲開銷:我們必須預先處理結構描述,產生可在抽樣時有效率使用的產物。

抽樣時,我們的推論引擎會在每個詞元之後,根據先前產生的詞元,以及文法中指出哪些詞元可接續出現的規則,判定下一步可產生哪些詞元。接著,我們會用這份詞元清單遮罩下一步抽樣,從而有效地把無效詞元的機率降至 0。由於我們已預先處理結構描述,因此可以使用快取資料結構高效率地完成這項工作,延遲開銷極小。

解決這個問題的其他方法,通常會使用有限狀態機(FSMs)或正則表達式(一般透過 FSMs 實作)進行受限解碼。這些方法的運作方式相近,都會在每個詞元產生後動態更新有效詞元清單,但與 CFG 方法相比,兩者有一些關鍵差異。值得注意的是,CFGs 能表達比 FSMs 更廣泛的一類語言。實際上,對於非常簡單的結構描述,例如上文所示的 value 結構描述,這點並不重要。不過,我們發現,對於涉及巢狀或遞迴資料結構的較複雜結構描述,這種差異就很重要。例如,FSMs 通常無法表達遞迴型別,因此基於 FSM 的方法可能難以在深度巢狀的 JSON 中配對括號。以下是一個由 OpenAI API 的 Structured Outputs 支援的遞迴結構描述範例,但無法用 FSM 表達。

Structured Outputs 今日已在 API 中全面開放使用。 

搭配函式呼叫的 Structured Outputs 可在 API 中所有支援函式呼叫的模型上使用。這包括我們最新的模型(

gpt-4o、gpt-4o-mini),以及 gpt-4-0613、gpt-3.5-turbo-0613 及其後的所有模型,以及任何支援函式呼叫的微調模型。這項功能適用於 Chat Completions API、Assistants API 和 Batch API。搭配函式呼叫的 Structured Outputs 亦支援視覺輸入。

搭配回應格式的 Structured Outputs 可在

gpt-4o-mini and gpt-4o-2024-08-06以及任何以這些模型為基礎微調而成的模型。這項功能適用於 Chat Completions API、Assistants API 和 Batch API。搭配回應格式的 Structured Outputs 亦支援視覺輸入。 

改用新的

gpt-4o-2024-08-06, 開發人員的輸入成本可節省 50%($2.50/1M 個輸入詞元),輸出成本可節省 33%($10.00/1M 個輸出詞元),相較於 gpt-4o-2024-05-13.

如要開始使用 Structured Outputs,請參閱我們的

docs⁠(在新視窗開啟). 

來源:OpenAI News · openai.com