OpenAI 在 API 推出 Prompt Caching,為模型近期見過的輸入提供自動折扣
Prompt Caching in the API
OpenAI 在 API 提供 Prompt Caching,對模型近期見過的輸入自動提供折扣。詳情見 https://openai.com/index/api-prompt-caching
這項功能將模型近期見過的輸入與自動折扣直接連結,讓讀者瞭解 API 對重複輸入的費用處理方式。
許多開發者在建構人工智能應用程式時,會在多次 API 呼叫中反覆使用相同的上下文,例如編輯程式碼庫,或與聊天機械人進行冗長的多輪對話。今天,我們推出 Prompt Caching,讓開發者降低成本和延遲。透過重用最近處理過的輸入詞元,開發者可享有 50% 折扣,並加快提示詞處理速度。
Prompt Caching 的可用性及定價
由今天起,Prompt Caching 會自動套用於 GPT‑4o、GPT‑4o mini、o1‑preview 和 o1‑mini 的最新版本,以及這些模型經微調的版本。快取提示詞的價格較未快取提示詞優惠。
以下為定價概覽:
未快取輸入詞元 | 快取輸入詞元 | 輸出詞元 | |
|---|---|---|---|
GPT‑4o | |||
gpt-4o-2024-08-06 | $2.50 | $1.25 | $10.00 |
GPT‑4o 微調 | $3.75 | $1.875 | $15.00 |
GPT‑4o mini | |||
gpt-4o-mini-2024-07-18 | $0.15 | $0.075 | $0.60 |
GPT‑4o mini 微調 | $0.30 | $0.15 | $1.20 |
o1 | |||
o1‑preview | $15.00 | $7.50 | $60.00 |
o1 mini | $3.00 | $1.50 | $12.00 |
監察快取使用情況
對支援型號發出的 API 呼叫,若提示詞長度超過 1,024 個詞元,便會自動享有 Prompt Caching 的優惠。API 會快取提示詞中先前已計算過的最長前綴,長度由 1,024 個詞元起,並以 128 個詞元為單位遞增。若你重用具有相同前綴的提示詞,我們會自動套用 Prompt Caching 折扣,無須你更改 API 整合方式。
使用 Prompt Caching 的請求會有 cached_tokens 值,位於 usage 欄位(位於 API 回應中):
快取通常會在閒置 5-10 分鐘後清除,並一定會在快取最後一次使用後一小時內移除。與所有 API 服務一樣,Prompt Caching 亦遵循我們的 企業私隱 承諾。不同機構之間不會共用提示詞快取。
Prompt Caching 是開發者可用來在正式環境中擴展應用程式,同時兼顧效能、成本和延遲的多種工具之一。如需更多資訊,請參閱 Prompt Caching 說明文件(在新視窗中開啟)。
來源:OpenAI News · openai.com