跳到正文
AWS Machine Learning Blog· Sai Pavan Kasani·· 10 天前精選AI 評分63

Amazon Bedrock 四項推理設定如何影響成本

Four Amazon Bedrock inference choices that affect cost

AI 導讀

AWS Machine Learning Blog 説明,Amazon Bedrock 的快取時長、服務層級、推理力度及 maxTokens 均會影響推理成本,並展示如何測試和核對效果。

推薦理由

文章將四項請求設定納入同一測試流程,逐項核對模型支援、token 或成本變化及任務完成度,提供可套用於不同工作負載的評估方法。

正文 · 繁體中文

調整提示詞和應用程式邏輯後,Amazon Bedrock 的推理費用仍可能持續上升。每個請求的選項仍可改變服務處理的 token 數量及適用費率。快取時長、服務層級、推理力度和 maxTokens,都可能影響成本,而無須更改模型或提示詞。

每項選擇都取決於模型和工作負載。本文介紹我們如何測試各項選擇,以及如何透過回應中繼資料、日誌和帳單數據核實其影響。

如要自行試用這些設定,可先從 Amazon Bedrock Samples 筆記本混合 TTL 快取和透過提示詞快取隔離租戶開始。至於 maxTokens 和推理力度,請參閲 GitHub 儲存庫 sample-code-for-genai-cost-management-workshop 的 01-low-effort 資料夾。每個範例都會設定自己的模型 ID,因此請按你呼叫的模型修改模型 ID 和推理參數。各 AWS 區域的模型供應情況,請參閲模型概覽。如要了解模型選擇、批次推理、路由和蒸餾等更廣泛的決策,請參閲Amazon Bedrock 的有效成本優化策略。

推理成本來源

每個 Amazon Bedrock 回應都附有用量中繼資料。輸入和輸出 token 會按提供該請求服務的模型及層級費率計費。快取讀取和寫入使用不同的 token 計數器,而推理 token 則計作輸出 token。

提示詞快取時長

如果快取在下一個請求前到期,重複的系統指令、工具定義或參考上下文便可能需要重新處理。提示詞快取:加快模型推理指南列出支援的 Anthropic 模型可用的 5 分鐘和 1 小時存留時間(TTL),亦列出支援的 GPT-5.6 模型的 30 分鐘最低 TTL。支援情況和 API 欄位視乎模型而定,因此選擇時長前,請查閲最新的支援矩陣。

對於支援的模型,Amazon Bedrock 亦提供隱式提示詞快取,會嘗試重用符合資格的提示詞前綴,而無須在請求中設定快取控制項。由於隱式快取只會盡力運作,並不保證快取命中,因此本節的時長選項適用於明確快取。

這個 Converse API 簽章會在支援的模型上要求建立 1 小時的快取項目:

{ "cachePoint": { "type": "default", "ttl": "1h" } }

對於支援的 Anthropic 模型,InvokeModel 會在 cache_control 中放入相同的 ttl 值。

較長的時長不一定更便宜。Amazon Bedrock 定價頁面列出 5 分鐘快取寫入、1 小時快取寫入和快取讀取的不同費率。在 Amazon Bedrock 上,Anthropic Claude Sonnet 5 和 Anthropic Claude Opus 5 的 5 分鐘快取寫入費率為輸入費率的 1.25 倍;1 小時快取寫入費率為 2 倍,快取讀取費率則為 0.1 倍。

在每個請求都重用完全相同的前綴,而且每次快取讀取都會更新 TTL 的前提下,這些費率可用來計算損益平衡點。只要在 5 分鐘內重用一次,5 分鐘快取便可回本。如果同一前綴的請求相隔超過 5 分鐘,則每次請求都會以 1.25 倍費率重新寫入快取。在這種情況下,1 小時快取從該小時內的第二個請求開始便較便宜。

快取費率和檢查點的最低要求因模型而異。請查閲你所用模型的Amazon Bedrock 定價頁面和提示詞快取指南。請按你的模型重新比較,並在推出後透過快取讀取和寫入 token 數據確認效果。

將穩定內容放在動態內容之前,符合模型對檢查點的最低要求,並使用隨選推理,因為提示詞快取無法配合批次推理使用。

更改已快取的前綴,包括系統指令或工具定義,都會導致快取未命中並新增一次寫入。檢查點會按工具、系統、訊息的順序評估,因此較前部分的變更亦會令後續部分失效。對經常變更的提示詞進行版本管理,讓每個版本都有自己的快取項目。我們在 Claude Sonnet 5 上使用 1 小時檢查點呼叫六次,期間更改了一次系統提示詞和一次工具定義。每次變更都令快取讀取次數變為零,並新增一次寫入。

AWS 説明,快取項目按帳戶和區域劃分,而非按租戶劃分。在多租戶應用程式中,將租戶專屬的 SHA-256 雜湊值加在可快取前綴之前。使用 Amazon Bedrock 提示詞快取最佳化 Anthropic 模型的成本和延遲一文介紹了這種做法。建立提示詞前,先執行租戶授權檢查。雜湊值會將同一帳戶內的快取項目分隔開來。如果受規管的工作負載需要明確的資料界線,請將每個租戶放在獨立的 AWS 帳戶中。

如果經常重複使用,請保留 5 分鐘的預設值。當相同前綴每小時至少重複出現兩次,而且間隔超過 5 分鐘時,才改用支援的較長時長。要勝過完全不使用快取的情況,1 小時快取每小時需要三次請求。

適用於可容忍延遲工作負載的服務層級

背景工作、評估測試框架、夜間摘要和回填作業,不一定需要互動式請求所採用的延遲特性。對於支援 Flex 的模型,可透過以下請求格式選用 Flex:

{ "serviceTier": { "type": "flex" } }

使用 default 而非 standard 來要求 Standard 層級。你亦可省略 serviceTier:

{ "serviceTier": { "type": "default" } }

層級支援情況因模型而異,因此請按確切的模型版本記錄支援情況。Amazon Nova 2 Lite和OpenAI gpt-oss-120b的模型卡列明支援 Flex。Amazon Bedrock 上的Anthropic Claude Sonnet 5和Anthropic Claude Opus 5模型卡則列明不支援 Flex。向不支援的模型發出 Flex 請求會因 ValidationException 而失敗,不會默默改用 Standard 執行。我們向 Anthropic Claude Sonnet 5 發出的請求傳回了該錯誤。

如果你的政策容許以 Standard 作為後備選項,請捕捉不支援該層級的錯誤,然後使用 default 重試一次。不要對每個 ValidationException 都重試,因為格式錯誤的請求也會引發此錯誤。限制應用程式層級的重試次數。AWS SDK 的有界重試策略可處理節流和暫時性錯誤。

為 Flex 請求設定自己的期限。支援的回應會回報實際採用的層級,你亦可透過 Amazon CloudWatch ResolvedServiceTier 核實。請參閲以服務層級最佳化效能和成本,以及所呼叫確切模型的Amazon Bedrock 定價頁面。

我們在 Amazon Nova 2 Lite 上測試 Flex,發出 200 default 個請求和 200 flex 個請求,並以交錯配對方式傳送。兩種層級處理的輸入和輸出 token 數量相同。全部 400 個請求均採用所要求的層級,中位延遲差異小到無法與雜訊區分。本文撰寫時,Nova 2 Lite 在 us-west-2 的 Flex 公佈費率是 Standard 費率的一半,我們的帳單亦反映了這一點。請查閲Amazon Bedrock 定價頁面,瞭解目前費率。對延遲敏感的流量請維持在 default。

自適應思考強度

推理 token 按輸出 token 計費。Claude Sonnet 5 和 Claude Opus 5 預設會以 high 推理力度進行自適應思考,即使請求未包含 thinking 欄位也一樣。應用程式若未作任何變更,從 Claude Sonnet 4.6 遷移後便會開始為思考 token 計費,而 maxTokens 現在會限制思考與回應文字的總量。Claude Haiku 5.5 預設使用 medium。三款模型均支援 low、medium、high、xhigh 和 max。使用以下請求格式,降低任務的推理力度:

{
  "thinking": { "type": "adaptive" },
  "output_config": { "effort": "low" }
}

將推理力度設於 output_config,而非放在 thinking 內。每次更換模型時,請查看自適應思考。

我們在 Claude Opus 5 上測試了一個工具呼叫代理。其三項任務的設計參照在 Amazon Bedrock 上使用 Grok 4.7 建立長時程代理,每項任務均只有一個正確答案。我們在每個推理力度下,將每項任務各執行八次。表格顯示輸出 token 數的中位數:

推理力度 正確執行次數 輸出 token 數中位數 相對於低推理力度的變化(95% 區間)
低 24 次中有 24 次 936 基準值
中 24 次中有 24 次 1,484 +59%(50% 至 78%)
高(預設) 24 次中有 24 次 2,521 +169%(112% 至 190%)
超高 24 次中有 24 次 2,964 +217%(170% 至 260%)
最高 24 次中有 24 次 3,762 +302%(180% 至 402%)

較低推理力度下的準確度視乎模型和任務而定。請在與自身任務相似的任務上進行量度。

在 Amazon Bedrock Samples 的呼叫 Bedrock 模型以產生程式碼工作負載中,low 下的輸出 token 數中位數為 676,high 下則為 743,差異在每次執行的波動範圍內。我們評分的程式在各個推理力度下均通過測試。

使用每次請求的輸出 token 數、CloudWatch AWS/Bedrock OutputTokenCount、呼叫記錄和任務通過率,評估這項選擇。對於常規且範圍明確的任務,請從低於 high 的推理力度開始。若品質測試顯示任務需要較高推理力度,則維持 high。減少 token 卻令任務無法完成,並不算節省。

輸出 token 上限

maxTokens 是應用程式層面的輸出上限。它會限制不良提示詞、回歸問題或迴圈在請求停止前所能產生的輸出。配額規則記載於Amazon Bedrock 如何計算 token。請求開始時,Amazon Bedrock 會從配額中扣除輸入 token 數及 maxTokens,因此設定過大的值會降低並行度。

輸出上限並非安全控制措施。在正式環境的生成式 AI 工作負載中,應使用 Amazon Bedrock Guardrails 作為標準的負責任 AI 控制措施。Guardrails 可過濾內容、偵測提示詞攻擊,並檢查受支援輸入及回應的內容根據性。請參閲使用 Amazon Bedrock Guardrails 偵測及過濾有害內容。

觀察具代表性的輸出 token 數分佈後,按任務類型設定 maxTokens:

{ "inferenceConfig": { "maxTokens": 155 } }

請參閲使用 Converse API 進行推理,瞭解請求參數。

在我們對 Claude Sonnet 5 的測試中,五個一般回應的輸出 token 數峯值為 103,因此我們設定了 155 個 token 的示例上限,並預留餘量。接著,我們在停用自適應思考的情況下,使用同一個刻意寫得冗長的提示詞進行兩次測試:一次設定 2,048 個 token 的上限,另一次則設定 155 個 token 的上限。第一個請求產生了 2,048 個輸出 token,第二個則產生了 155 個,因此上限避免產生 1,893 個輸出 token。兩個請求均在 max_tokens 停止,因此兩個回應都被截斷。上限可以限制支出,卻無法令不合適的提示詞變得有用;在多輪或代理式流程中,某一輪遭截斷亦可能令後續步驟無法完成。

在生產環境中進行校準時,請比較每種任務的第 95 和第 99 百分位數(P95 和 P99),並在選定的百分位數上預留餘量。啟用 Adaptive thinking 時,maxTokens 亦會限制思考 token 數量,因此校準時請啟用思考功能。P95 更積極地控制上限,但截斷風險較高。P99 的上限較高,可保留更多有效的長尾回應。監察 max_tokens 的停止情況,並在提高任務上限前調查相關請求。

整合應用

每項設定都使用相同的測試流程:確認模型是否支援、更改一項請求設定、量度 token 數量或成本,並追蹤品質或完成情況。如果在多個模型之間切換,請為每個模型版本、區域及 API 記錄其支援能力,包括快取時長、服務層級、推理層級及輸出上限。發送請求前,請根據該記錄逐一驗證請求;之後再檢查回應中的實際服務層級及快取計數器。

設定 預設或寬鬆設定 結果 可接受的風險
快取時長 因應模型而異的 TTL 根據已公佈的 Sonnet 5 和 Opus 5 費率,若每小時請求之間的間隔超過 5 分鐘,從每小時第二次請求起,使用 1 小時快取便更划算 寫入 1 小時快取的費用是輸入費用的 2 倍,因此重用率低時並不划算。請按租戶前綴分隔
服務層級 default 撰寫本文時,Nova 2 Lite Flex 公佈的費率是 Standard 的一半,而我們的帳單亦與此相符 處理時間較長。自行設定截止時間,並準備後備方案
推理力度 在受測的自適應推理模型上為 high 由低至高:在 Agent 測試中,輸出 token 中位數增加 +169%;程式碼生成方面則沒有可靠差異 接近任務能力邊界時,品質可能下降。追蹤通過率及 token 數量
maxTokens 寬鬆的 2,048-token 上限 在一次測試中,採用 155-token 上限節省了 1,893 個輸出 token 截斷可能在多輪或 Agent 式流程鏈中引發連鎖影響。提高上限前請檢查 stopReason

留意的訊號

設定 症狀 驗證方式 首要應對
快取時長 重複使用內容未能帶來預期的延遲或成本效益 應用程式延遲及成本遙測資料 更改 TTL 前,檢查前綴穩定性、重用間隔及模型支援情況
服務層級 所要求的服務層級不受支援,或實際提供服務的層級與預期不同 回應 serviceTier 及 CloudWatch ResolvedServiceTier 使用受支援的服務層級,或將對延遲敏感的流量切回 default
推理力度 輸出 token 增加,但品質維持不變 每個請求的回應遙測資料、CloudWatch OutputTokenCount、呼叫記錄及任務通過率 降低該類任務的推理力度,並重新執行品質測試
maxTokens stopReason 為 max_tokens 回應停止原因及按任務分類的輸出 token 分佈 提高上限前,先檢查提示詞及任務 token 上限

根據帶有任務標籤的應用程式遙測資料或呼叫記錄,計算每種任務的 P95 和 P99。

結論

四項設定均屬於推理請求的一部分。更換模型時,請重新確認支援情況;之後每次只更改一項設定,並在應用程式中量度結果。

使用以下資源,評估各項設定是否適合你的工作負載:


作者簡介

Sai Pavan Kasani

Sai Pavan Kasani

Sai 是 AWS 的技術客戶經理。作為技術顧問及客戶代表,他協助客戶將生成式 AI 概念驗證投入生產,專注於代理式 AI 工作負載、推理最佳化,以及大規模提升成本效益。工作以外,Sai 喜歡探索新的咖啡店,並與家人共度時光。

Aswath Ram Srinivasan

Aswath Ram Srinivasan

Aswath 是 Amazon Web Services 的生成式 AI 全球專業解決方案架構師,專注於協助客戶使用 Amazon Bedrock 建立生成式 AI 應用程式。他與企業團隊合作,設計兼顧效能、成本及營運簡易性的推理架構。

來源:AWS Machine Learning Blog · aws.amazon.com