跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 241–260 條 · 共 408 條
10月21日週三
  1. SiliconANGLE78

    SpaceX 第三季度收入按年增長 161%、純利達 $4.4 billion,股價上升逾 8%

    SpaceX 公佈第三季度業績,收入按年增長 161% 至 $14.6 billion,純利達 $4.4 billion,股價於盤後交易上升逾 8%。Starlink 用戶數增至 13.6 million,連接收入達 $5.25 billion;xAI 收入增至 $7.56 billion。

    推薦理由:Starlink 與 xAI 的收入數字,加上數據中心擴建及資本開支安排,呈現 SpaceX 本季增長來源與後續投入方向。

  2. TechCrunch · AI78

    SpaceX AI 業務盈利超出投資者預期,佔公司收入 52%

    SpaceX 的 AI 業務盈利高於投資者預期,佔公司收入 52%;其「Super Intelligence」業務線帶來 $7.5 billion 收入。公司第三季度總收入為 $14.6 billion,AI 業務盈利 $431 million,若非與 Cursor 收購相關的一次性 $1.2 billion 股份薪酬開支,盈利會更高。

    推薦理由:報道並列 AI 業務收入、盈利和公司資本開支,呈現 SpaceX 人工智能業務增長與基礎設施投入的規模。

  3. AWS Machine Learning Blog62

    Octave 如何在 Amazon Bedrock 上打造安全的多租戶 AI 基礎平台

    Octave 為 Reliance 在 Amazon Bedrock 上建立三層多租戶 AI 基礎平台,以支援受監管產業的文件搜尋與 AI 工作流程。平台採用 Cohere Embed v4,並以每租戶向量儲存、AgentCore 隔離執行環境及 Amazon Bedrock Guardrails 分層控制資料存取與內容風險。

    推薦理由:文章拆解多租戶合規場景中的隔離、身份與內容安全取捨,並呈現如何把共用基礎設施轉化為可重用的 AI 功能底座。

  4. AWS Machine Learning Blog66

    AWS Agent Registry 如何在執行時探索工具

    AWS 的示例展示如何透過 AWS Agent Registry,在執行時搜尋已核准的 MCP 伺服器、智能體及技能,並按結果建立本次請求所需的用戶端。示例以訂單狀態、價格折扣及退貨退款三種情境,展示 MCP 單獨呼叫、MCP 與 A2A 串接,以及語義搜尋。搜尋結果只提供連線描述資料,不含呼叫憑證;記錄須經核准才會透過可搜尋資料平面提供,各項能力所需的呼叫憑證須另行處理。

    推薦理由:文章以 MCP 與 A2A 的訂單管理示例拆解執行時探索流程,並説明搜尋描述資料、核准治理與能力呼叫憑證之間的責任邊界。

10月20日週二
  1. Hugging Face Blog74

    PyTorch 2.15 為 Mac MPS 加入 FP8 支援並加快模型解碼

    PyTorch 2.15 為 Mac 的 MPS 後端加入 FP8 支援,並加快 LLM 解碼及多項 Metal 運算。在 M3 Ultra 使用 torch.compile 時,Qwen3.6-35B-A3B 的 MoE 解碼速度由 9.4 升至 61.3 tokens/s;Wan2.2 影片 VAE 解碼的峯值驅動程式記憶體由約 270 GiB 降至約 8 GiB。

    推薦理由:文章列出 Mac MPS 上的模型解碼提速和 Wan2.2 影片 VAE 記憶體降幅,具體呈現 PyTorch 2.15 後端更新對本機推理工作負載的變化。

  2. DEV Community76

    團隊發現 Sentry Seer 的 CVE-2026-90999 後暫停部署

    團隊因 Sentry Seer 的 CVE-2026-90999,在部署前決定暫停推出。未經身份驗證的攻擊者可透過公開 DSN 提交偽造事件;若 Seer 設定為自動交接至編碼智能體,事件內容會被帶入提示詞,並令智能體下載及執行攻擊者控制的程式碼。文章整理輸入、權限、交接、觸發條件和影響範圍的檢查項目,並列出停用自動交接、以沙箱隔離智能體、限制套件安裝及把遙測視為不可信輸入等緩解措施。

    推薦理由:文章沿著遙測輸入、AI 分析、智能體交接到程式碼執行,梳理信任邊界,並整理部署前可檢查的權限與觸發條件。

  3. gihyo.jp76

    Linux 核心漏洞 CVE-2026-99999 的發現,源自 Vercel 最高 100 萬美元沙盒逃逸挑戰

    pwn.ai 團隊在 Vercel 最高 100 萬美元獎金的沙盒逃逸挑戰中發現 Linux 核心漏洞 CVE-2026-99999,並驗證 KVM 來賓系統可取得主機 root 權限。

    推薦理由:文章説明 Linux 網絡堆疊的中繼資料驗證缺陷如何造成主機記憶體外洩,並交代研究團隊如何在自管 KVM 環境驗證 guest-to-host 逃逸。

  4. AWS Machine Learning Blog60

    Amazon SageMaker Studio 接入新版 AWS 登入及註冊流程

    AWS 宣佈 Amazon SageMaker Studio 已接入新版 AWS 登入及註冊流程,新用戶可用 Google、GitHub、Apple、Amazon 帳戶或電郵,在 2–3 步內建立帳戶並進入 Studio。

    推薦理由:文章交代新帳戶可用既有身份在 2–3 步內註冊、約 20 秒進入已配置的 Studio 環境,並列出免費額度與停止條件。

  5. Unite.AI78

    Meta 詳述 Prometheus 超級運算叢集擴至約 1 million 個 GPU 的計劃

    Meta 公佈 Prometheus 超級運算叢集的技術細節,並計劃將系統擴展至約 1 million 個 GPU;第一階段已用於訓練 Muse 基礎模型。該系統目前由數十萬個 GPU 組成,Meta 稱 Muse Wonder 預訓練的 goodput 超過 85%,一年工程改善後,中斷事件減少 99%。

    推薦理由:內容串連 GPU 架構、跨樓網絡、故障恢復及供電冷卻設計,呈現 Prometheus 擴展至約 1 million 個 GPU 的工程安排。

10月19日週一
  1. Meta Engineering Blog78

    Meta 詳解 Prometheus 千兆瓦級超級叢集的建設歷程

    Meta 的 Prometheus 千兆瓦級超級叢集已完成第一階段,現有數十萬個 GPU,並正朝 ~1 million GPUs 擴展。第一階段曾用於訓練 Muse 基礎模型,包括 Muse Wonder。Meta 稱,中斷率已較 2025 年年中每 8K GPUs 每日近 1,000 次的高峯下降 99%。

    推薦理由:文章詳述 Prometheus 的網絡架構、GPU 故障隔離及備援安排,並交代中斷率較 2025 年年中高峯下降 99% 背後的工程措施。

  2. Business Insider Tech76

    AWS 內部錄音揭示 Amazon AI 基建投資令自由現金流轉負的原因

    Amazon今年投入$220 billion建設AI基礎設施,令公司自由現金流轉負;AWS基建主管預計,公司的自由現金流在未來幾年左右仍會為負。Amazon預計8月接收約$5 billion的Nvidia GB300伺服器機架,之後每月再接收約$3 billion;部分數據中心有空間但供電不足,設備需暫存。

    推薦理由:報道將自由現金流壓力拆解至設備付款、供電與施工排期,呈現 AI 基建投資如何受多個環節牽制。

10月18日週日
10月17日週六
  1. DEV Community77

    Nemotron 3.5 Super VL 如何在本地運行:需要 128 GB 記憶體,不必使用 Blackwell GPU

    文章整理 Nemotron 3.5 Super VL 的本地部署條件,指出約需 128 GB 記憶體,未必需要 Blackwell GPU;相關容量估算來自模型卡及轉換項目,作者未有親自測試。

    推薦理由:文章並列官方 NVFP4 部署要求與 GGUF、MLX 等社羣轉換方案,交代記憶體門檻及精度取捨,方便比較本地運行路徑。

  2. AWS Machine Learning Blog68

    AWS 以 Amazon Bedrock AgentCore 建立可用於正式環境的 AI 智能體評估框架

    AWS Sales, Marketing, and Global Services(SMGS)團隊以 Amazon Bedrock AgentCore Evaluations 建立九階段評估框架,涵蓋 AI 智能體由開發到正式環境運作的完整生命週期。

    推薦理由:文章把工具、單一智能體與多智能體協作納入九階段評估流程,並展示如何透過回歸門檻、線上監測及追蹤資料定位品質退化。

  3. UNWIRE.PRO · 人工智能76

    Meta 發佈 Muse Spark Open,與 Apple 合作支援 Mac Studio 叢集本機運行

    Meta 於 10 月 15 日發佈總參數量達 8,160 億的開放權重模型 Muse Spark Open,並與 Apple 合作,讓模型可在 2 部配備 M5 Ultra 晶片的 Mac Studio 上完全本機運行。

    推薦理由:文章梳理 Muse Spark Open 在 Mac Studio 叢集本機運行所需的記憶體與互連條件,並指出企業還須衡量授權限制和部署成本。

10月16日週五
  1. Unite.AI76

    NVIDIA RTX Spark 筆記簿型電腦全球開售,支援本機 AI 智能體

    NVIDIA 於 2026 年 10 月 16 日宣佈 RTX Spark 筆記簿型電腦由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 全球開售,售價由 $2,599 起,推出時支援本機 AI 智能體、創作應用程式及多款大型遊戲。

    推薦理由:文章並列 RTX Spark 的硬件規格、本機智能體工具及創作與遊戲支援,讀者可據此掌握這批筆電推出時的軟硬件支援範圍。