跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 21–40 條 · 共 408 條
11月20日週五
  1. DEV Community76

    Rails Ruby2Shell RCE 漏洞:如何檢查 API 是否受影響

    Ruby2Shell(CVE-2026-132825)會影響使用特定 Ruby 版本的 Rails API,修復方式是升級 Ruby,而非更新 gem。受影響範圍包括 Ruby 2.4.0 至 3.3.13、3.4.0 至 3.4.12,以及 4.0.0 至 4.0.9;修補版本分別為 3.3.14、3.4.13 和 4.0.10。

    推薦理由:文章整理 Ruby2Shell 的受影響與修補版本,並説明應在實際服務 API 的環境核對 Ruby 版本,單靠更新 Rails gem 無法修復漏洞。

  2. 新浪科技77

    阿里雲單季收入突破600億元,吳泳銘稱算力緊缺是長期現實、數據中心建設目標可能下調

    阿里巴巴公佈2027財年第二季度業績,阿里雲收入609.73億元,按年增長53%,AI相關產品收入達179.18億元。外部客戶收入按年增長64%;經調整EBITA按年增長121%至88.38億元,利潤率為14.5%。吳泳銘稱2027至2028年國內算力供給仍有缺口,全球各地算力政策變化將影響阿里雲數據中心建設,原定2032年全球數據中心規模超過20GW的目標可能下調,資本開支亦可能降低。

    推薦理由:阿里雲收入和 AI 產品收入增長之際,吳泳銘亦談到算力缺口與數據中心目標可能下調,補足業務擴張背後的算力供給與基建規劃背景。

  3. AWS Machine Learning Blog63

    Amazon SageMaker Inference 回顧 2026 年 14 項更新(第二部分)

    Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。

    推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。

  4. AWS Machine Learning Blog62

    BMW Group 如何治理服務數千名開發者的數百個智能體

    BMW Group 分享如何治理服務數千名開發者的數百個智能體,並將治理要求納入建置、部署及運行流程。其研發團隊有逾 12,500 名開發者,治理規則以 IaC 編碼,並透過 CI/CD 執行安全、驗證及評估檢查。架構以 MCP 工具、技能和流程構成三層組合,中央登記庫負責資產發現、審批、安全檢查及重複能力識別。

    推薦理由:文章把治理落實到架構、CI/CD 與運行階段,具體展示如何透過分層組合及自動化檢查,兼顧團隊自主和企業管控。

  5. AWS Machine Learning Blog66

    Amazon SageMaker AI 推出跨區域推理路由功能

    Amazon SageMaker AI 推出跨區域推理路由,讓應用程式透過單一入口呼叫多個 AWS 區域及帳戶內的既有端點和推理元件。路由器優先使用本區域目的地,在目的地無法可靠服務時將新請求轉往其他目的地,並在恢復後逐步切回。

    推薦理由:文章拆解路由器如何按目的地健康狀態跨區分流並逐步回切,並交代重試條件、流量上限及部署限制,呈現功能的韌性設計邊界。

  6. OpenAI News64

    OpenAI 如何透過 Performance Factory 讓 ChatGPT 保持高速運行

    OpenAI 建立雲端 Performance Factory,利用 Codex 及其模型自動調查性能退化並提出修復方案,協助維持 ChatGPT 的運行速度。

    推薦理由:文章拆解 Performance Factory 如何把告警調查、修復提案和部署後驗證串成工作流,並呈現 OpenAI 以對抗式審查及歷史事故回測改善智能體診斷的做法。

11月19日週四
  1. DEV Community78

    CVE-2026-123007:NGINX HTTP/2 漏洞的受影響範圍與修補方法

    NGINX 於 11 月 18 日修補兩項 HTTP/2 漏洞,研究團隊指 CVE-2026-123007 在特定條件下可導致伺服器端程式碼執行。修補版本為 NGINX 1.30.7(stable)及 1.31.9(mainline);受影響伺服器須編譯包含 HTTP/2 模組、啟用 HTTP/2,並有可從外部連接的連接埠。

    推薦理由:文章整理公開利用所需的流量與受影響條件,並説明停用 HTTP/2 只能阻擋兩項漏洞,仍須升級修補同一批發布中的其他問題。

  2. DEV Community78

    Nvidia 收購 Hugging Face 的協議對開發者有何改變與不變

    Nvidia 已簽署以 12 930 300 000 美元收購 Hugging Face 的協議,交易預計於 2027 年上半年完成,仍須取得所需監管批准。官方承諾平台維持開放,繼續支援其他晶片廠商,亦不要求使用 Nvidia 硬件;現有官方資料未提及授權、免費方案或價格改動。文章建議依賴 Hub 的生產部署固定模型版本,並備份關鍵模型及其授權文件。

    推薦理由:文章整理了固定生產模型版本、備份關鍵模型及保留授權文件的做法,適用於依賴 Hugging Face Hub 的部署流程。

  3. 新浪科技76

    騰訊第三季度814.33億元資本開支花在哪裏,AI業務如何變現?

    騰訊2026年第三季度資本開支升至814.33億元,大額算力採購預付款擠壓當季現金流,相關需求涵蓋混元模型升級、WorkBuddy推理、產品AI能力建設及雲服務客戶需求。

    推薦理由:文章將算力採購對現金流的壓力,與騰訊雲及WorkBuddy的收入增長並列呈現,亦交代元寶投入收縮,勾勒不同AI業務的變現進展。

  4. Numerama79

    Wiz稱AI分析工具協助發現NGINX兩個嚴重漏洞,F5發布安全更新

    F5於2026年11月18日發布NGINX安全更新,修補10個漏洞,其中兩個可在啟用HTTP/2的伺服器上被用來未經身份驗證執行程式碼。CVE-2026-123633及CVE-2026-123007均獲9.2/10評分;Wiz稱其團隊以結合多個模型的Wiz Atlas AI程式碼分析平台發現漏洞,CVE-2026-123007可追溯至2015年發布的NGINX 1.9.5。

    推薦理由:兩個漏洞隻影響啟用 HTTP/2 的 NGINX 伺服器,文章説明記憶體管理錯誤如何導致未經身份驗證的遠端程式碼執行,並列出修補版本及暫時緩解方式。

  5. 阿里雲開發者社區 AI79

    LiteLLM 半年兩度遭投毒,大語言模型的「鑰匙串」應放在哪裏?

    LiteLLM 在 2026 年第二次遭供應鏈投毒,1.107.0 的惡意構建產物透過 Python 啟動鈎子竊取雲端、AI 工具及代理憑證。文章對照 Higress 的 Wasm 沙箱與不可變發布流程,説明如何限制擴展程式的檔案、環境變數和網絡權限,並建議受影響用戶輪換所有憑證。

    推薦理由:文章把 LiteLLM 投毒的攻擊路徑與 Higress 的 Wasm 沙箱及不可變發布流程逐項對照,呈現權限隔離和版本鎖定如何限制供應鏈事故的影響範圍。

  6. Analytics India Magazine79

    OpenAI 與 AMD 利用 AI 加速晶片設計,不足五個月取得約一年進展

    OpenAI 與 AMD 利用 OpenAI 的 AI 模型優化 AMD 旗艦 GPU 架構,在不足五個月內取得約一年的晶片設計進展。GPU 的功耗、效能及面積(PPA)較經高度優化的基準設計最多改善 14%,部分模型生成的改動已納入 AMD 最近完成流片的設計。AMD 亦表示,下一代旗艦 CPU 的關鍵區塊取得個位數百分比 PPA 改善,並由 AMD 獨立驗證。

    推薦理由:材料交代 AI 模型改寫 SystemVerilog RTL、以 EDA 工具核驗功能及 PPA 的流程,並提供 GPU 架構最高 14% 改善數據。

  7. 阿里雲開發者社區 AI83

    NGINX 兩個高危漏洞可導致未經身份驗證的遠端程式碼執行

    NGINX 的 CVE-2026-123633 和 CVE-2026-123007 兩個漏洞,可讓未經身份驗證的攻擊者遠端執行程式碼。兩者 CVSS 4.0 評分均為 9.2,並要求受影響伺服器啟用 HTTP/2;CVE-2026-123007 最早影響 NGINX 1.9.5,測試亦在只提供靜態檔案的實例驗證了遠端程式碼執行。

    推薦理由:報告拆解兩個 HTTP/2 漏洞的記憶體安全成因與觸發條件,並列出修復版本及暫時緩解方式,呈現漏洞分析如何連接到部署排查。

  8. 新浪科技89

    英偉達召開首次沒有黃仁勳出席的全員大會,宣佈 12 月提前加薪並繼續遴選新 CEO

    英偉達在黃仁勳離職後召開首次沒有他出席的全員大會,宣佈把原定數月後的薪酬調整提前至 12 月,並增加股權激勵。董事會重申不會重新任命黃仁勳為 CEO,並會同時考察內外部候選人。會上亦介紹英偉達計劃於 2027 年推出可一次部署八個機櫃的模組化系統;公司 2027 財年第三季度營收為 1,158.44 億美元,數據中心業務收入約 1,076 億美元。

    推薦理由:薪酬安排、董事會換帥立場與模組化 AI 基礎設施計劃並置,呈現英偉達如何處理領導層交接下的員工穩定與業務延續。

  9. AWS Machine Learning Blog71

    Airbnb 如何以每項任務成本管理 Amazon Bedrock 上的編碼智能體

    Airbnb 分享以每項任務成本評測及 Amazon Bedrock 的 CloudWatch 生產訊號,為編碼智能體選擇預設模型和推理強度上限。評測按未快取輸入、快取讀取、快取寫入及輸出 token 計價,並與延遲、輸出 token 數和節流情況對照。

    推薦理由:文章把評測中的每項任務成本與上線後的用戶支出、請求量及配額指標連結,展示編碼智能體選型和容量管理的可操作方法。

  10. SiliconANGLE77

    Palo Alto Networks 同意以 $4.5B 收購 Applied Compute

    Palo Alto Networks 同意以 $4.5B 全股票交易收購 AI 模型訓練與推理新創 Applied Compute,交易仍須監管批准。Applied Compute 提供開放權重模型的後訓練與推理平台,交易完成後,其研究團隊將加入 Palo Alto Networks。

    推薦理由:這宗交易將 Applied Compute 的開放權重模型後訓練與推理平台納入 Palo Alto Networks 的企業安全佈局,呈現其面向混合模型環境的策略方向。

  11. Business Insider Tech83

    Nvidia 首次全員大會回應黃仁勳辭任,稱路線圖與執行策略不變

    Nvidia 高層在黃仁勳辭任後的首次全員大會上表示,公司產品路線圖、客戶關係及執行策略維持不變。臨時 CEO Colette Kress 表示,員工將於 12 月獲加薪及額外股權獎勵;董事會正尋找新任 CEO,並不考慮讓黃仁勳復任。Nvidia 計劃明年建造每次可提供 8 個機架的集裝箱式 pods,長遠讓客戶直接訂購完整數據中心。

    推薦理由:會議將管理層交接與 AI 基建擴張計劃放在同一脈絡,呈現 Nvidia 如何在黃仁勳離任後維持客戶關係,並把業務推進至模組化部署。