跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 81–100 條 · 共 408 條
11月14日週六
  1. 虎嗅83

    NVIDIA 除黃仁勳離任外,還面對多重挑戰

    黃仁勳於11月12日辭去 NVIDIA 總裁、首席執行官及董事職務,結束33年掌舵生涯;文章指出,NVIDIA 還面對客戶自研晶片、軟件移植成本下降及融資策略延續等挑戰。其互連網絡與 AI 計算平台構成競爭壁壘,但雲端服務商和模型公司正加快自研晶片,AI 編程亦可能降低跨平台移植成本。文章亦分析黃仁勳以採購承諾和融資平台支持下游客戶的做法,並指出其能否延續取決於實際 AI 需求及繼任者的投資取向。

    推薦理由:文章把 NVIDIA 的競爭壁壘拆分為互連與網絡生態、客戶自研晶片及融資支持,呈現黃仁勳離任後多重挑戰如何交織。

  2. SiliconANGLE82

    Microsoft 大規模故障波及逾 70 個國家的企業及政府機構

    Microsoft 網絡故障令 Exchange Online 停擺,影響逾 70 個國家的企業及政府機構,並波及依賴 Exchange 收件箱資料的部分 Microsoft Teams 和 Microsoft Copilot 365 功能。

    推薦理由:故障波及逾 70 個國家及依賴 Exchange 資料的多項服務,報道亦交代 Microsoft 對網絡容量升級問題的説明和各地復原進度。

  3. AWS Machine Learning Blog63

    如何透過 NVIDIA NeMo Switchyard 在 Amazon Bedrock 為編碼智能體請求路由至合適模型

    這篇教學示範如何在 Amazon Bedrock 上部署 LiteLLM 與 NVIDIA NeMo Switchyard,將編碼智能體的請求路由至合適模型。Switchyard 的 LiteLLM 整合支援 Stage 與 Random 兩種路由策略,並以路由模型組與單模型基線比較每個成功完成任務的成本。

    推薦理由:文章把智能體路由的比較指標從每 token 價格轉為每個成功完成任務的成本,並示範以相同任務比較路由模型組與單模型基線,按測試是否通過判定任務完成。

  4. AWS Machine Learning Blog62

    Amazon Bedrock AgentCore runtime 的快速工作階段啟動架構模式

    Amazon Bedrock AgentCore runtime V2 在建立或更新 runtime 時初始化容器並建立快照,新工作階段則還原快照,毋須每次重新初始化容器。文章説明如何量度工作階段啟動延遲,並建議把靜態工作移至 init,或用 build hook 預載無法保留在記憶體的檔案。若要低於 1 秒,可在用戶開始互動時於背景啟動工作階段,讓它在首個請求前就緒。

    推薦理由:文章拆解 V2 的快照建立與還原流程,並按不同延遲需求整理初始化、build hook 與預先啟動工作階段的實作選擇,説明各做法適用的啟動情境。

  5. AWS Machine Learning Blog66

    Amazon Bedrock 如何追蹤 AI 開發及生產力工具成本並設定支出控制

    Amazon Bedrock 可透過 IAM 主體歸屬,追蹤經由平台呼叫推理的 AI 開發及生產力工具的個別用戶成本,並配合不同機制管理支出。教學示範以 IAM Identity Center 傳遞用戶身份及團隊、成本中心標籤,再透過 CUR 2.0、Athena 和儀錶板查看成本。

    推薦理由:文章串連 IAM Identity Center、CUR 2.0 與 Athena,展示如何追蹤 Bedrock 工具的個別用戶成本,並比較不同支出控制方案的執行延遲與運維取捨。

  6. BBC Technology78

    Microsoft 服務中斷逾 22 小時,凸顯社會對大型科技服務的依賴

    Microsoft 365 服務因例行自動檢查令部分伺服器離線,並使其他伺服器因流量過大而超負荷,故障持續逾 22 小時。全球約 430 million 人使用 Microsoft 365,故障影響超過 70 個國家,並波及美國眾議院、澳洲情報機構、新加坡法院系統及印度航空公司支援台。Microsoft 已就事件致歉,稱原因是技術故障而非網絡攻擊,並正檢討事故,以制定防止類似中斷的措施。

    推薦理由:故障由例行自動檢查令部分伺服器離線引起,跨國企業與公共機構受影響的案例呈現關鍵服務集中依賴的風險。

11月13日週五
  1. DEV Community78

    數據管線與 Agent 的後量子遷移:逐項解析相關協議

    這篇指南以 Google Cloud 數據平台和 AI Agent 為例,逐項梳理 TLS、身分協議與簽署流程的後量子遷移。NIST 於 2026 年 10 月 27 日公佈的最終計劃,將所有容易受到量子攻擊的簽署及金鑰建立演算法列為 2030 年後棄用(仍可使用但有安全風險),並於 2035 年後禁止使用;相較 2024 年草案,2030 年的棄用範圍擴至所有強度。

    推薦理由:文章按金鑰協商、加密與簽署梳理遷移次序,並指出數據管線及 Agent 各協議中應由哪一方先行改動。

  2. IT之家77

    Microsoft 365 全球大規模中斷逾 10 小時,日本政府改用電話等方式維持運作

    Microsoft 365 的 Outlook、Teams 等核心服務發生全球性大規模中斷,日本政府部分部門改用電話、聊天工具及短訊維持運作。微軟確認相當數量伺服器意外不可用,令其他伺服器承受額外壓力,並暫停部署與配置變更、重新分配流量及重啟受影響伺服器。截至報道時,服務可用性仍未明顯恢復,微軟未公佈全面恢復時間。

    推薦理由:文章梳理伺服器意外離線如何令其餘伺服器承受額外壓力,並列出微軟暫停部署、調配流量及重啟伺服器等應對措施。

  3. 虎嗅90

    黃仁勳辭職,留下六個待解問題

    NVIDIA 宣佈,黃仁勳即時辭去總裁、CEO及董事會成員職務,Colette Kress 出任臨時 CEO,Harvey C. Jones 獲任命為董事會主席。文章梳理仍在進行的內部調查、司法調查、國會問詢及民事訴訟,並分析黃仁勳持股、家人在公司的職務,以及繼任安排面對的挑戰。文章亦探討交接如何牽動產品交付、客戶承諾、供應鏈產能及 AI 基礎設施投資。

    推薦理由:文章把接班問題放到公司治理與 AI 供應鏈兩個層面,呈現 CEO 更替如何牽動產品交付、客戶合作及產能安排。

  4. 新浪科技78

    Microsoft 365 全球大規模服務中斷,Outlook 故障通報逾 13 萬宗、持續數小時

    Microsoft 365 商業版及企業版多項服務於當地時間 11 月 12 日發生數小時服務降級,影響 Outlook、Teams、SharePoint Online、OneDrive 等多項服務。

    推薦理由:報道梳理了故障由伺服器負載過高、服務容量受損至有限恢復的進程,並呈現其對多項辦公服務及外部連接器的連帶影響。

  5. DEV Community85

    黃仁勳宣佈辭任後,AI 開發者應留意哪些工程依賴

    NVIDIA 於 2026 年 11 月 12 日宣佈黃仁勳辭任總裁、CEO 及董事職務,文章提醒開發團隊檢查實際工程依賴,而非預設會出現供應中斷。模型遷移不只涉及權重,亦取決於推理軟件、運維支援、驅動程式及相容的依賴版本。文章建議以固定任務及驗收準則比較品質、延遲、成本與失敗情況,並封存模型、依賴、設定和測試,再進行有限度的遷移演練。

    推薦理由:文章把人事變動轉化為可檢查的工程依賴,並以固定任務、記錄部署環境和小規模遷移演練,提供可重複比較的評估方法。

  6. 虎嗅79

    黃仁勳辭任英偉達CEO,折射AI產業週期更替

    英偉達CEO黃仁勳於11月12日辭任,即刻生效;公司由CFO科萊特·克雷斯出任臨時CEO並遴選繼任者。文章指出,英偉達的GPU、CUDA與開發者生態構成計算平台優勢,而AI算力競爭正延伸至資本、能源和數據中心。作者以瓦特和洛克菲勒的產業轉型作對照,提出新管理層需要把33年積累轉化為不依賴個人的組織機制。

    推薦理由:文章以瓦特和洛克菲勒的產業更替作對照,梳理英偉達如何憑GPU與CUDA生態成為AI計算基礎設施的關鍵一環。

  7. 新浪科技79

    SpaceX 計劃投資逾 740 億美元建設兩座人工智能超級計算數據中心園區

    SpaceX 計劃在得克薩斯州和亞利桑那州投資超過 740 億美元,建設兩座人工智能超級計算數據中心園區。得州項目投資超過 240 億美元,亞利桑那州項目約 500 億美元,仍待科奇斯縣批准。SpaceX 表示,得州設施將自建燃氣發電、不依賴公共電網;亞利桑那園區計劃採用乾式冷卻、不使用工業地下水,當地已有約 2,400 人簽名反對許可。

    推薦理由:SpaceX 的兩座園區分別涉及自建燃氣發電與乾式冷卻,亞利桑那項目另面臨審批及社區反對,呈現算力擴建的能源與地方協調問題。

  8. IT之家76

    SpaceX 計劃投資超過 740 億美元興建兩座 AI 超級計算數據中心園區

    SpaceX 於 11 月 12 日宣佈,計劃在得克薩斯州和亞利桑那州投資超過 740 億美元,興建兩座面向 AI 的超級計算數據中心園區。得州園區投資超過 240 億美元,設於 Starbase 附近並自建燃氣發電能力;亞利桑那州園區投資約 500 億美元,計劃採用乾式冷卻。亞利桑那項目仍待科奇斯縣批准,約 2,400 人已簽署請願反對許可,縣聽證會定於 12 月舉行。

    推薦理由:兩個園區的投資規模、供電與冷卻安排,以及亞利桑那項目的審批阻力,交代 SpaceX 擴張 AI 算力基建所面對的建設條件。

  9. AWS Machine Learning Blog63

    Natera 如何以 Amazon Bedrock AgentCore 設計實驗室運維智能體系統

    Natera 與 AWS 使用 Amazon Bedrock AgentCore 建置 SWARM,為實驗室運維支援工單自動生成診斷報告。在 90 天生產評估中,平均首次回應時間由 17.4 小時降至約 8 分鐘,約快 130 倍;96.2% 的工單在工程師查看前收到自動診斷報告。

    推薦理由:文章拆解 SWARM 的雙運行時、技能庫、資料管線與持續評估設計,並提供實驗室工單自動診斷的實測數據,呈現一套可參考的運維智能體建置路徑。

  10. Business Insider Tech76

    Lisa Su 是 AMD 行政總裁,也是 Jensen Huang 的表親

    Jensen Huang 宣佈辭任 Nvidia 行政總裁後,有業界人士提出其表親、AMD 行政總裁 Lisa Su 可作外部接任人選,文章回顧她的職涯。Su 於 2012 年加入 AMD,2014 年出任總裁兼行政總裁;Ryzen 和 EPYC 協助公司重拾消費產品市場份額,並拓展數據中心及伺服器業務。

    推薦理由:文章按職涯階段梳理 Lisa Su 如何帶領 AMD 從市值不足 $2 billion 成長至超過 $950 billion,並交代她面對的 AI 晶片競爭與中國出口限制。

  11. AWS Machine Learning Blog62

    Amazon Bedrock 如何按 IAM 主體追蹤並限制支出:使用 CUR 2.0 和 AWS Budgets

    AWS 説明如何透過 Cost Explorer 或 CUR 2.0 查看 Amazon Bedrock 按 IAM 主體劃分的支出,並以 AWS Budgets 設定限制,常見情況毋須編寫應用程式程式碼。

    推薦理由:文章示範以 IAM 主體標籤、CUR 2.0 與 AWS Budgets 建立 Amazon Bedrock 身份級成本報表和支出限制,並交代共享角色及帳單更新延遲的影響。