跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 61–80 條 · 共 408 條
11月18日週三
  1. Unite.AI87

    NVIDIA 2027 財年第三季收入按年增長 103%,Vera Rubin NVL72 開始出貨

    NVIDIA 2027 財年第三季收入按年增長 103% 至 $115.8 billion,Vera Rubin NVL72 系統開始出貨。數據中心收入達 $107.6 billion,季度末列出的未來承諾總額為 $518 billion,涵蓋供應及產能、雲端服務等項目。公司預計第四季收入為 $130.0 billion(上下 3%),並假設來自中國的數據中心運算收入為零。

    推薦理由:財報把 Vera Rubin 出貨、數據中心收入增長及未來供應與基建承諾放在同一季度脈絡,呈現 AI 基建擴張的規模。

  2. AWS Machine Learning Blog60

    Amazon Bedrock AgentCore 透過 MCP 連接 Snowflake Cortex AI 的三種安全 OAuth 模式

    文章介紹如何透過 Amazon Bedrock AgentCore Gateway,以 MCP 將 AI Agent 連接至 Snowflake Cortex AI,並比較三種 OAuth 配置。

    推薦理由:文章將三種 OAuth 配置按身份驗證方式、Snowflake 用戶映射和審計粒度逐一比較,説明企業 SSO、個人追蹤與無人值守工作負載各自適用的取捨。

  3. AWS Machine Learning Blog63

    如何以 Amazon Bedrock AgentCore 和 SMART 建構 WhatsApp AI 智能體

    SMART(Social Messaging Agent Runtime Toolkit)是一套開源 Python SDK 及 Terraform 堆疊,可配合 Amazon Bedrock AgentCore 建構 WhatsApp AI 智能體並處理通道整合。

    推薦理由:文章梳理 WhatsApp 智能體的通道工程負擔,並呈現 SMART 如何整合訊息驗證、媒體處理、記憶及排程,讓讀者瞭解端到端接入流程。

  4. AWS Machine Learning Blog62

    ArisGlobal 如何在 Amazon Bedrock 上透過提示詞快取擴展生成式 AI 推理

    ArisGlobal 調整 Amazon Bedrock 請求順序,改為快取跨請求重用的共用提示詞前綴,以降低 NavaX 的推理成本。生產請求中,約 65% 的輸入 token 以較低費率從快取讀取,令有效輸入成本約下降 50%;在每月超過 19 billion tokens 的用量下,整體月度推理支出約下降 40%。此設計亦支援約 15% 更多企業租戶進駐,而 EU 跨區域推理路由維持不變。

    推薦理由:案例展示多租戶工作負載如何按跨請求重用程度安排快取前綴,而非優先快取單次個案的大型文件,並提供部署與監測要點。

11月17日週二
  1. 新浪科技79

    美國 BIS 新規收緊五國晶片流向,並管制全球遠程算力服務

    美國商務部工業與安全局(BIS)於11月16日發布臨時最終規則,將出口管制從晶片實物延伸至全球遠程算力服務,並對馬來西亞、新加坡、泰國、印度尼西亞和巴西的相關晶片或伺服器流向增加許可要求。

    推薦理由:規則把管制範圍由晶片實物延伸至全球數據中心的聚合算力,並涵蓋模型推理,具體呈現海外算力租用面臨的合規門檻。

  2. 虎嗅78

    中國不能把 AI 產業建成英偉達的海外客戶

    文章主張,中國 AI 產業不應把海外租用英偉達算力作為發展基礎,並應建立不依賴美國許可的算力體系。美國新規把第三國數據中心向中國等受管制地區提供遠程算力納入限制,符合條件且累計 TPP 超過 1200 萬的關聯集羣提供算力可能須申請許可證;新規亦要求重新審查既有相關算力服務,並設 90 日過渡安排。文章提出發展國產芯片及集羣軟件體系、以算法優化降低算力需求,並按任務把微調和推理盡可能轉向國產芯片。

    推薦理由:文章將降低海外算力依賴拆解為供給體系、算法效率與任務配置三個層面,呈現算力自主涉及芯片以外的集羣、軟件與模型能力。

  3. AWS Machine Learning Blog62

    製造業多智能體系統的設計模式、反模式與架構選擇

    AWS Machine Learning Blog 梳理多智能體協調模式與常見反模式,並提供按任務及製造業限制選擇架構的指引。文章將模式分為由開發者預設流程的 Tier 1,以及由模型在執行時決定流程的 Tier 2,建議由 Tier 1 起步,僅在子任務需於執行過程中浮現時採用 Tier 2。

    推薦理由:文章區分預先定義流程與模型自主決策兩類編排,並以製造業的延遲、安全與邊緣數據限制,説明各自適用情境和較簡單的架構選擇。

  4. Hugging Face Blog76

    Hugging Face 與 OpenRouter 合作,簡化開放權重模型的調用

    Hugging Face 宣佈與 OpenRouter 合作,將 Inference Providers 的語言模型請求改由 OpenRouter 路由,按供應商即時價格、速度和可靠性選擇服務商,並在失敗時改由其他供應商重試。

    推薦理由:文章説明語言模型路由如何按即時價格、速度和可靠性選擇供應商,並交代故障重試及自備 API key 不再適用的影響。

  5. AWS Machine Learning Blog62

    Amazon Bedrock 開放權重模型現支援顯式提示詞快取

    Amazon Bedrock 的開放權重模型現已支援顯式提示詞快取,並可透過 Chat Completions API 標記可重用的提示詞前綴。文章以 Python 範例比較隱式與顯式快取,並示範 OpenCode 編碼智能體工作階段如何使用隱式快取及檢視快取用量欄位。快取讀取的費率低於標準輸入,快取寫入費率則視乎模型而定;回應中的用量欄位可用來核對快取讀寫。

    推薦理由:文章比較隱式與顯式快取的適用情境,並以 Python 範例展示快取讀寫欄位,再示範 OpenCode 工作階段中的快取讀取。

11月16日週一
  1. DEV Community76

    Qwen4-Max 發佈:2.4T 參數,Work360 任務平均成本下降 62%

    阿里巴巴千問團隊推出旗艦模型 Qwen4-Max,採用 2.4T 參數稀疏 MoE 架構,支援原生視覺及 100 萬 token 上下文窗口。在千問自有的 Work360 評測中,每項任務平均成本由 $4.43 降至 $1.67,較 Qwen3.8-Max 減少 62%;Qwen4-Max 本身並未開源。

    推薦理由:文章結合 Qwen4-Max 的架構與長程智能體案例,並交代 62% 成本降幅來自千問自有的 Work360 評測,呈現數字的比較背景。

  2. DEV Community80

    Grok Build 35,578 個應用程式在未登入狀態下仍可存取資料

    Claroc 研究人員測試了 43,551 個 Grok Build 應用程式網址,其中 35,578 個在未登入的瀏覽器中仍可開啟。文章指出,問題在於讀取時缺少授權檢查;當日仍在線的應用程式中,94.7% 可供陌生人存取,只有 1,993 個回應 401。作者建議盤點可透過連結存取的物件,並在讀取時執行授權檢查,監察未登入用戶的拒絕請求。

    推薦理由:文章把分享連結與讀取授權分開討論,並整理應用程式、檔案、Agent 記錄及快取等暴露面,提供一套可執行的安全檢查方向。

  3. DEV Community81

    如何用 15 分鐘檢查 Lovable 或 Supabase 應用程式能否讓訪客免登入讀取資料

    Vishal Solanki 提供一套 15 分鐘檢查流程,讓使用 Lovable 或 Supabase 建立應用程式的開發者核實未登入訪客能否讀取資料。流程包括檢查 RLS、資料表權限和政策,使用 publishable key 模擬未登入請求,並測試帳戶間的資料隔離、Storage bucket 及前端是否洩漏 secret key。

    推薦理由:文章把 Supabase 權限檢查拆成 RLS、資料表授權、匿名請求及雙帳戶測試,讓開發者可從實際回應核對資料是否對未登入訪客開放。

11月15日週日
  1. DEV Community87

    Jensen Huang 辭任 Nvidia CEO,開發者關注 CUDA 未來走向

    Nvidia 宣佈 Jensen Huang 辭去總裁、CEO 及董事職務,CFO Colette Kress 暫代 CEO,永久接任人選尚未公佈。文章指出,目前沒有 CUDA、晶片路線圖或 GPU 供應變動的公告,並將永久 CEO 人選視為關乎 CUDA 及開發者生態延續的關鍵。

    推薦理由:文章把 Nvidia 接班問題連到 CUDA 的軟件生態,並區分目前營運未見變動與永久 CEO 人選可能牽動的長期方向。

  2. 虎嗅84

    Marvell 與 Lumentum 簽署收購協議,交易估值約 1,150 億美元(人民幣 7671 億元)

    Marvell 已與 Lumentum 簽署最終協議,將以全股票方式收購後者,交易隱含企業價值約 1,150 億美元(人民幣 7671 億元)。協議按每股 Lumentum 換取 4.5 股 Marvell 計算,較 Lumentum 10 月 28 日未受傳聞影響的收盤價溢價 23.9%,但公告當日兩家公司股價均下跌。

    推薦理由:文章結合交易後股價反應與光互連路線演進,交代 Marvell 收購 Lumentum 背後的技術整合考量。

  3. 虎嗅85

    黃仁勳離場,Neo Cloud 擴張模式走向黃昏

    黃仁勳於11月12日辭去英偉達總裁、行政總裁及董事會成員職務,令依賴其信用支持的 Neo Cloud 擴張模式面臨收縮壓力。英偉達季報披露,賬外不同類型的未來承諾與最高潛在擔保金額合計約5305億美元,Colette Kress獲任臨時行政總裁。文章指出,不少 Neocloud 缺乏成熟自研軟件,擴張依賴長約、融資和英偉達支持,可能在資金收緊下出現分化。

    推薦理由:文章梳理英偉達潛在擔保、長期算力合約與 Neocloud 融資結構的連動,呈現黃仁勳離任後,信用支持變化對算力供應鏈的影響。

11月14日週六
  1. The Guardian Technology83

    Microsoft 稱全球故障後服務已全面恢復,多國政府及公共服務受影響

    Microsoft 表示,影響全球政府、企業及公共服務的故障已全面修復,受影響的 Microsoft 365 服務包括 Outlook、Teams 和 Copilot。故障於週四開始,Downdetector 收到來自 70 多個國家和地區的用戶報告。Microsoft 稱,事件與網絡安全或 AI agents 無關,起因是較早前網絡容量升級中的問題在近期網絡變更後浮現。

    推薦理由:這次故障波及政府、醫療、法院、航空及銀行等服務,呈現公共服務依賴同一科技供應商時,故障如何跨系統擴散。

  2. 虎嗅76

    黃仁勳辭任 NVIDIA 總裁、CEO 及董事,為何中國資產跌得更多?

    文章認為,黃仁勳辭任 NVIDIA 總裁、CEO 及董事,加上 RASA 等遠端算力監管措施推進的可能,或令中國 AI 資產承壓,並影響 NVIDIA 的長期開源生態策略。

    推薦理由:文章對照實體晶片出口限制與雲端算力遠端存取監管,梳理 RASA 可能如何把影響由 NVIDIA 收入延伸至中國開源生態及硬件架構。

  3. Analytics India Magazine87

    黃仁勳離任,AMD 和 Google 迎來最大的 AI 機遇

    黃仁勳在執掌 NVIDIA 33 年後辭去行政總裁一職,為 AMD 和 Google 擴大 AI 晶片業務帶來機會,並可能促使買家分散算力供應。

    推薦理由:文章將 AMD 的多年期 GPU 部署承諾、Google TPU 對外商用化與 NVIDIA 領導層變動並置,梳理大型買家分散 AI 算力供應的商業推力及遷移障礙。