跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 101–120 條 · 共 408 條
11月13日週五
  1. TNW80

    SpaceX 計劃斥資 $74B 在亞利桑那州及德州興建 AI 計算中心

    SpaceX 計劃斥資 $74B 在亞利桑那州和德州興建兩個 AI 超級計算中心,投資額分別為 $50B 和 $24B。德州項目包括 SpaceX 自行建造、持有及營運的燃氣發電廠;Anthropic 是其最大算力客戶,Google 同意每月支付 $920M 購買算力。亞利桑那園區預計創造約 5,500 個建築工程職位和 1,000 個長期職位,但居民在會議上就水資源、電費和野生動物表達憂慮。

    推薦理由:兩地項目的投資額與職位數目,配合 Anthropic、Google 的算力採購資料,交代 SpaceX 擴張 AI 計算業務的規模及商業背景。

  2. AWS Machine Learning Blog67

    Amazon Bedrock AgentCore 新一代 runtime 啟動工作階段低於 2 秒

    Amazon Bedrock AgentCore 宣佈更新 AgentCore runtime,工作階段啟動速度最高提升 15 倍、算力擴展至前代 4 倍,運行效率最高提升 68%,並維持硬件隔離。

    推薦理由:新版把硬件隔離、快速啟動、彈性算力與資料置於信任邊界內,並加入閒置縮至零及按需回收記憶體的管理方式,具體呈現正式部署中安全、效能與成本的取捨。

  3. MarkTechPost77

    AWS 發佈 AWS Emulator,涵蓋 200 多項 AWS 服務並由 AI 智能體編寫及審核程式碼

    AWS 發佈本機 AWS API 模擬器 AWS Emulator,涵蓋 438 個 AWS API 模型及 200 多項服務,AWS CLI 和 SDK 可連接使用,無需 AWS 帳戶或服務費。

    推薦理由:文章列出 AWS Emulator 在 42,857 項保真度測試中通過 56.6%,並呈現不同 AWS 服務的成績差異,方便評估其本機及 CI 測試用途。

11月12日週四
  1. AWS Machine Learning Blog62

    在 Amazon SageMaker HyperPod 上偵測及恢復靜默數據損壞

    文章示範在 Amazon SageMaker HyperPod 的 PyTorch DDP 訓練流程加入三項檢查,以偵測靜默數據損壞並定位可疑 GPU。流程涵蓋非有限梯度檢查、跨節點 ring replay 和權重指紋比對,並説明如何隔離及替換可疑節點,再從可疑窗口前的檢查點恢復。

    推薦理由:文章將靜默數據損壞的偵測、定位及節點恢復連成 DDP 實作流程,並説明各項檢查的覆蓋範圍與效能成本。

  2. AWS Machine Learning Blog68

    OpenAI Codex 接入 Amazon Bedrock 的企業部署指南

    AWS Machine Learning Blog 説明如何讓 OpenAI Codex 透過 Amazon Bedrock 使用受支援的 OpenAI 模型,並納入既有 AWS 身份、IAM、區域及可觀測性安排。

    推薦理由:文章比較 Native AWS Access、AgentCore Gateway 與 LLM Gateway 三種接入路徑,並整理身份隔離、遙測、成本歸因及回滾等試點檢查,為企業分階段部署提供具體依據。

  3. 新浪科技77

    Stripe 宣佈全球最大 AI 模型 API 聚合平台 OpenRouter 正式併入旗下

    Stripe 宣佈 AI 模型 API 聚合平台 OpenRouter 正式併入旗下,雙方將協助企業探索新商業模式,並優化 Token 路由和用量。合作方向亦包括探索新模型、分配模型調用及優化 Token 使用,讓企業更有效運用 AI 資源。《紐約時報》今年 8 月引述匿名知情人士稱收購價為 75 億美元;彭博社此前報道的口徑則是「超 70 億美元」。

    推薦理由:這宗收購把模型 API 聚合平台納入 Stripe,並將其 AI 業務方向延伸至企業的模型選擇、調用分配與 Token 用量管理。

  4. Hacker News 熱門(buzzing.cc 中文翻譯)79

    AWS 推出 AWS Emulator,讓編碼智能體在本機測試 AWS 服務

    AWS 推出 AWS Emulator,讓編碼智能體可在本機以 AWS 的模擬環境進行測試。AWS Emulator 由智能體撰寫及測試,建基於 400 多個 API 模型,涵蓋 200 多項 AWS 服務,並可免費離線執行。其測試會對照真實 AWS;工程師則透過規格、測試及合併關卡,判定智能體的工作是否正確。

    推薦理由:文章以 AWS Emulator 説明,智能體可依公開 API 模型及真實 AWS 建立測試環境,工程師則以規格、測試和合併關卡把守品質。

  5. Unite.AI77

    AWS 發佈由自主 AI 智能體編寫程式碼的 AWS Emulator 本機模擬器

    AWS 於 November 11, 2026 發佈 AWS Emulator,本機模擬器涵蓋 438 個 AWS API 模型及超過 200 項服務。自主 AI 智能體編寫並測試其程式碼;AWS CLI、AWS SDKs 和編碼智能體可透過本機 HTTPS endpoint 呼叫 API,無須 AWS 帳戶,亦毋須更改應用程式代碼。

    推薦理由:文章交代 AWS Emulator 如何以規格、測試和合併檢查約束智能體生成程式碼,並列出未驗證行為及安全用途的邊界。

11月10日週二
  1. Hugging Face Blog64

    Hugging Face 生態系如何支援決策模型

    Hugging Face 將決策模型支援整合至 Transformers,並以共通介面讓模型根據狀態、問題及允許答案輸出結構化決策和機率。

    推薦理由:文章比較決策模型與傳統分類、零樣本分類的定位差異,並展示 Transformers 與 llama.cpp 如何透過共通介面處理選項、序位評分及是非判斷。

  2. 虎嗅77

    燃氣輪機供不應求,AI 資料中心搶購二手設備

    AI 資料中心用電需求上升,正促使科技公司直接採購發電設備,並帶動二手燃氣輪機搶購。Anthropic於9月下旬與OnePWR Solutions完成34億美元交易,接手其向卡特彼勒訂購的1.7吉瓦重型發電機,供資料中心使用。美國燃氣輪機平均交付期已達6年,新訂單交付排至2030年至2031年;全球截至2025年底的訂單總量為110GW,年產能僅60-70GW。

    推薦理由:文章把科技公司直接採購發電設備、資料中心搜尋二手燃氣輪機,以及新機交期延長放在同一供需脈絡中,呈現 AI 用電需求如何傳導至能源設備市場。

  3. DEV Community78

    Anthropic斥資$3.4B購入1.7 GW天然氣發電機組

    據報,Anthropic同意斥資$3.4 billion購入1.7 GW天然氣發電機組,並接手OnePWR原有設備訂單及安裝工程能力,從原定購電安排改為直接持有發電設備。

    推薦理由:文章把Anthropic的S-1融資風險提示與燃氣機組收購連起來,呈現企業如何以自持發電設備換取交付時程,同時承擔燃料價格和許可風險。

  4. DEV Community78

    Anthropic同意以3.4 billion美元採購1.7 GW燃氣發電機

    Anthropic同意以3.4 billion美元購買燃氣發電機,為其數據中心供電,採購承諾涉及1.7 GW重型發電機。發電機由 Caterpillar 製造,交易亦包括安裝所需的工程及施工工作;Anthropic並未收購供應商 OnePWR Solutions。燃氣渦輪機新訂單積壓延至2030年代初,電網接駁輪候時間亦可能同樣漫長,文章指出這令發電設備、交付時間及安裝工程成為AI基建規劃的一環。

    推薦理由:Anthropic採購1.7 GW燃氣發電機,並把安裝工程納入交易,呈現AI基建規劃如何將發電設備、交付時程與工程安排放進同一採購週期。

11月8日週日
  1. DEV Community77

    為 AI Agent 放行 git,也會一併放行 diff.external 和 core.fsmonitor

    為 AI Agent 放行 git 命令,也可能讓 diff.external、core.fsmonitor 等 Git 設定觸發外部程序,令看似唯讀的 git diff 或 git status 執行程式。

    推薦理由:文章説明 Git 設定如何令白名單放行的命令執行外部程序,並提供跨 worktree 檢查設定來源的方法,方便排查 Agent 工作區的風險。

  2. 創業邦83

    戴偉立參與創立的Marvell擬以1150億美元收購Lumentum,合併後企業價值逾人民幣1.8萬億元

    Marvell宣佈以全股票方式收購光通信企業Lumentum,交易隱含企業價值達1150億美元,預計於2028年上半年完成,仍待股東及監管機構批准。交易旨在整合Marvell的DSP晶片與Lumentum的激光器、光學器件及相關製造能力;合併後預計可服務的潛在市場規模將擴大至5500億美元,每年實現超過10億美元的成本協同效益。

    推薦理由:文章梳理 Marvell 收購 Lumentum 的光互連整合考量,並對照交易溢價與股價反應,呈現市場對大額收購的主要疑慮。

11月7日週六
  1. Hacker News 熱門(buzzing.cc 中文翻譯)77

    研究拆解自 2022 年起 Mac 內置的家庭關係推斷機制

    研究者分析 macOS 26 內置的個人知識圖譜,指出系統會從聯絡人、日曆、照片、訊息等資料推斷用戶及身邊人士的關係。兩個背景服務會結閤家庭共享、位置與行為信號;家庭關係分類器使用 144 項特徵,主要涵蓋通訊模式及照片共同出現資料。作者開源 iKnow 本機儀錶板供用戶唯讀檢視圖譜;相關 SQLite 數據庫以明文儲存在受 TCC Full Disk Access 權限保護的目錄。

    推薦理由:文章逐層追查資料來源與家庭關係分類依據,並以 iKnow 展示通訊、照片和行為信號如何形成個人知識圖譜。

  2. DEV Community76

    AI 協助研究人員發現 PHP2Shell 漏洞,如何盤點待修補的 PHP 執行環境

    本文針對 PHP2Shell 的兩項重大遠端程式碼執行漏洞,整理盤點主機、容器及內嵌執行環境並核實修補的流程。PHP 公佈的修補版本為 PHP 8.5.12、8.4.27、8.3.36 和 8.2.35;文章建議按供應商資訊確認修補狀態,並檢查實際服務程序已更新及重啟。

    推薦理由:文章將資產盤點拆成主機、執行環境與流量路徑,並要求確認實際服務程序及舊工作程序是否退出,補足只查套件版本的盲點。

  3. AWS Machine Learning Blog62

    Claude Code 如何透過 Amazon Bedrock AgentCore 執行受安全控制的遠端編碼任務

    AWS 示範如何把 Claude Code 編碼任務交由 Amazon Bedrock AgentCore 的隔離工作階段執行,並以 GitHub pull request 交回人工審核。

    推薦理由:文章將遠端編碼流程與安全控制放在同一套實作中,具體呈現隔離執行、短期憑證、網絡限制和人工審核如何共同構成部署方案。

  4. AWS Machine Learning Blog61

    Greenlight Financial 如何在 Amazon Bedrock AgentCore 上構建自主安全營運中心(SOC)方案

    Greenlight Financial 在 Amazon Bedrock AgentCore 上構建 Luna 自主安全營運中心(SOC),每月處理 3,000–4,000 宗安全及風險個案,超過 90% 無須人工介入即可解決。

    推薦理由:文章拆解 Luna 的分層多智能體、記憶及人工升級設計,並以自主處理率由 83% 升至超過 90% 説明其在受監管金融場景的實作路徑。