跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 181–200 條 · 共 408 條
10月27日週二
  1. Semafor76

    Anthropic 警告能源問題或拖慢 AI 基建擴建

    Anthropic 在 IPO 招股書中警告,能源成本上升及取得能源供應的延誤可能拖慢 AI 基建擴建。文件披露,公司須承擔約 $400 billion 的晶片採購及數據中心租約責任,今年上半年虧損 $81 billion。招股書亦指出,電網升級費用、供電延誤,以及氣候變化引發的高温與野火風險,可能增加營運成本並威脅基建。

    推薦理由:招股書把能源接入、電網升級支出及氣候相關基建風險列為營運壓力,呈現能源供應如何成為 AI 擴建的企業風險。

  2. DEV Community77

    GPT-6.1 Terra:$1/$5 定價、電腦操作 API 呼叫、none 推理檔位與 272K 價格門檻

    Yong Yu 整理 GPT-6.1 Terra 的電腦操作 API 用法、推理檔位和 272K tokens 價格門檻,並以離線工具檢查請求格式及估算成本。工具呼叫須經 Responses API,指南採用 `type: "computer"`;`reasoning.effort` 可設為 `none`,省略時預設為 `medium`。

    推薦理由:文章把電腦操作的 API 接法、推理檔位和長上下文價格門檻放進同一工作流,並交代離線估算假設,便於核算自動化任務成本。

  3. 第一財經78

    Meta擬融資950億美元,支持AI基建及「個人超級智能」擴張

    當地時間10月26日,Meta公佈合共約950億美元融資計劃,為AI基礎設施及「個人超級智能」擴張提供資金。計劃包括約350億美元同步包銷公開發行,以及約600億美元按市價發行計劃,後者預計不早於2027年第一季度。Meta此前預計2026年資本開支為1,350億至1,450億美元,而第三季度自由現金流為負21.2億美元。

    推薦理由:Meta的融資規模與負自由現金流,連同Google及Anthropic的相關數據,呈現AI基建投入擴大與新業務收入爬坡之間的資金壓力。

  4. DEV Community76

    GPT-6.1 Terra:智能體成本重估與模型路由規則

    Shivam Kumar 建議把 GPT-6.1 Terra 設為日常智能體任務的預設模型,複雜編碼和最難推理任務則改用 Sol 或 Astra。

    推薦理由:文章把模型選擇拆成任務路由與推理力度兩個維度,並提出以完成率、錯誤率及每項完成任務成本,檢視 Terra 是否適合作為日常預設模型。

  5. IT之家77

    華爾街銀行與黑石將提供 630 億美元融資,為 Anthropic 採購 Broadcom AI 晶片

    美國銀行、黑石、花旗和摩根士丹利將提供 630 億美元融資,透過新設特殊目的實體採購 Broadcom AI 加速晶片及網絡設備,再出租予 Anthropic。

    推薦理由:這筆安排呈現銀行及另類資產管理機構如何透過特殊目的實體與分層抵押融資,參與支援 Anthropic 擴充 AI 算力所需的硬件基建。

  6. Unite.AI80

    Apollo牽頭的約$40 billion GPU融資租賃獲SpaceX具約束力承諾

    SpaceX作出具約束力承諾,擬與Apollo Global Management管理的實體簽訂約$40 billion的GPU及相關設備主融資租賃。租賃設備將用於SpaceX選定的數據中心,並包括NVIDIA下一代Vera Rubin晶片;各批租期約五年至五年零三個月,租金按季預付。交易仍須符合指定交割條件,預計於2026年底前完成,設備預計於2027年上半年交付。

    推薦理由:文章列出約$40 billion GPU租賃承諾的分批租期、按季預付租金、設備交付時間及交割條件,呈現SpaceX為算力擴建安排資金的具體方式。

  7. AWS Machine Learning Blog66

    AI 智能體的「土撥鼠之日」:在 Amazon Bedrock 使用 OpenAI 模型的提示詞快取模式

    AWS 的 Claudio Mazzoni 示範如何在 Amazon Bedrock 上為 OpenAI 模型配置提示詞快取,讓智能體重用未變的上下文並降低重複輸入成本。文章比較隱式、顯式及混合快取,並示範如何處理工具清單變更、子智能體和跨工作階段重用。六輪工作負載中,GPT-6 Astra 的隱式快取令輸入成本約降低 62%,顯式滾動斷點約降低 61%。

    推薦理由:文章按靜態共享前綴、逐輪增長的對話及新增工具等情境,示範提示詞快取邊界的配置方法,並提供相應程式碼。

  8. DEV Community79

    SpaceX 約 $40B GPU 融資採租賃形式,作者拆解付款數字

    SpaceX 在監管文件披露約 $40B 的 GPU 融資承諾,採用由 Apollo Global Management 管理的實體購買 Nvidia 下一代 Vera Rubin 晶片及伺服器硬件、再租給 SpaceX 的主融資租賃;$40B 是不含利息的租賃本金總額,並非即時到帳的現金。

    推薦理由:文章把約 $40B 融資拆成季度本金,對照 SpaceX 的資本開支及管理層所稱的回本週期,並分析多元化現金流在融資安排中的作用。

10月26日週一
  1. 新浪科技76

    SpaceX 計劃租賃 GPU 設備支援 Grok,租賃期本金支付總額約400億美元

    SpaceX 與阿波羅全球管理公司旗下實體簽署具約束力的承諾函,計劃租賃 GPU 計算設備,各租賃期本金支付總額約400億美元。主融資租賃協議預計於2026年底前簽署,設備自2027年上半年起分批交付,各批次租期約5至5.25年。阿波羅將出資購買資料中心設備再出租予 SpaceX;SpaceX 表示,交易將提供 NVIDIA 最新的 Vera Rubin 晶片,這批算力首先供 Grok 使用。

    推薦理由:這筆安排把阿波羅出資購置設備、SpaceX 承租使用串成長期租賃結構,可供理解大型 AI 算力投入如何透過融資落地。

  2. 新浪科技77

    SpaceX 與 Apollo 達成約 400 億美元 GPU 融資租賃安排

    SpaceX 與 Apollo 宣佈達成約 400 億美元的 GPU 及相關設備主融資租賃安排,雙方預計於 2026 年內簽署協議。這項安排被報道為迄今規模最大的 GPU 融資協議,將為 SpaceX 地面計算建設提供 NVIDIA Vera Rubin 芯片;設備預計於 2027 年上半年交付,租賃計劃屆時開始實施。

    推薦理由:內容交代了約 400 億美元安排的簽署、交付及租賃啟動時間,並説明其與 SpaceX 地面計算建設的關係,可瞭解 GPU 設備融資與部署的時間安排。

  3. IT之家77

    SpaceX 達成史上最大規模 GPU 融資安排,協議總額約 400 億美元

    SpaceX 公佈與 Apollo 達成具約束力承諾,將簽署約 400 億美元的 GPU 及相關設備主融資租賃協議,規模為迄今最大。協議預計於 2026 年內簽署,GPU 及相關設備將於 2027 年上半年交付,為 SpaceX 地面計算建設提供 NVIDIA Vera Rubin 晶片。

    推薦理由:這項約 400 億美元的融資租賃安排,列出 SpaceX 地面計算建設的資金來源、設備交付及租賃啟動時間,並交代其對服務擴展的用途。

  4. DEV Community79

    LiteLLM 5 月外洩密鑰如何導致 10 月發布惡意程式版本

    LiteLLM 一枚於 5 月 27 日外洩且未被撤銷的內部服務主密鑰,136 日後被用來取得 GitHub 權限,最終令含惡意程式的版本於 10 月 21 日發布至 PyPI 和 Docker。

    推薦理由:文章沿憑證外洩、GitHub 權限擴張到發布審批鬆動,還原攻擊鏈,並指出撤銷閒置密鑰與維持雙人審批是事前可介入的控制點。

10月25日週日
  1. DEV Community78

    加固 MCP stdio 伺服器

    Langflow 的 CVE-2026-105740(CVSS 9.9)允許任何已登入用戶登記由 bash -c 執行的 MCP stdio 命令。文章建議只讓用戶選擇伺服器 ID,將 ID 對應至經審核及固定版本的 argv,停用 shell,並以允許清單建立子程序環境。

    推薦理由:文章從 Langflow 命令執行漏洞延伸至本機設定、團隊允許清單和雲端角色權限,呈現最小權限原則如何落實在不同部署層。

10月24日週六
  1. DEV Community79

    LiteLLM 主密鑰外洩 136 天未撤銷,攻擊者發布惡意 1.107.0 版本

    LiteLLM Agent Platform 的主密鑰於 2026 年 5 月 27 日被提交到公開 GitHub 儲存庫,未撤銷 136 天後遭利用,令攻擊者取得 GitHub 組織擁有者權限,並於 10 月 21 日發布惡意 LiteLLM 1.107.0。

    推薦理由:事件按密鑰外洩、權限擴張、憑證竊取到發佈流程遭接管逐步還原,並列出撤銷憑證及處理受影響映像的時間。