跳到正文
Baseten 工程博客·· 2026-10-16精選AI 評分77

Meta 發佈 Muse Spark Open 開放權重模型,面向編碼智能體

Muse Spark Open, an open-weight model for coding agents

AI 導讀

Meta 開放 Muse Spark Open 權重,這款專為編碼智能體工作流設計的模型有 816B 總參數、推理時啟用 42.7B 參數及 1M token 上下文窗口。

推薦理由

文章拆解 Muse Spark Open 的壓縮 MoE、混合注意力及 NVFP4 服務設計,並以 128K 上下文的 KV cache 數據説明其記憶體取捨。

正文 · 繁體中文

Meta 已發佈 Muse Spark Open 的模型權重;該開放權重版本從第 0 日起便可透過 Baseten Model APIs 和 Dedicated Inference 使用。它是迄今能力最強的美國開放權重模型。

Muse Spark Open 具備:

  • 總計 816B 個參數,推論期間啟用 42.7B 個參數,

  • 1M token 的上下文視窗,以及

  • 全模態輸入(文字、圖像、影片、音訊),並以文字輸出。

Muse Spark Open 與 Muse Code 共同訓練,並專為編碼智能體工作流程而設計。其全模態輸入亦支援純文字模型無法處理的開發者工作流程。對於支援圖像、影片或音訊輸入的智能體,你可以善用以下功能:

  • 以螢幕截圖為依據的 UI 偵錯:智能體會將已渲染頁面的螢幕截圖與設計稿或錯誤回報圖片進行比較,並直接修正版面配置程式碼。

  • 從影片重現為測試案例:你錄下錯誤的螢幕錄影片段。智能體會觀看影片、擷取操作步驟,並撰寫重現指令碼或端對端測試。

  • 語音驅動的結對編程:你可同時透過説話和輸入文字來引導智能體,音訊會直接作為輸入,而不會先轉錄成文字。

編碼智能體方面具競爭力的表現

除了 Muse Code,Muse Spark Open 亦可與第三方編碼智能體整合,例如 OpenCode、Pi 和 Deep Agents Code。根據 Meta 公佈的基準測試分數,Muse Spark Open 在智能體編碼和知識工作方面,與其他前沿實驗室的模型相比具競爭力。

在智能體編碼基準測試中,每個現行模型都使用其所屬實驗室的編碼智能體進行測試(Muse Spark 配合 Muse Code、Claude Opus 5 配合 Claude Code、GPT-5.6 Terra 配合 Codex),而非使用共用的測試框架,因此分數反映各模型在其設計配合的工具環境中的表現。

✕

Meta benchmarked Muse Spark Open against models from frontier labs. The comparison set includes each lab's flagship model, but it excludes the top-tier models above them (Claude Fable 5.1, GPT-6 Astra).Meta 將 Muse Spark Open 與各前沿實驗室的模型進行基準測試。比較對象包括各實驗室的旗艦模型,但不包括比它們更高階的頂級模型(Claude Fable 5.1、GPT-6 Astra)。

來源: https://developer.meta.com/ai/models/muse-spark-1-2/

在常規的智能體循環中(執行指令、讀取輸出、修復出錯之處),Muse Spark Open 的表現應會接近旗艦級閉源模型。對於涉及多個步驟的大型多檔案變更,預期它比 Claude Opus 5 或 GPT-5.6 Terra 需要更多引導或重試,但與 Grok 4.5 和 Gemini 3.6 Flash 相比仍表現出色。當智能體需要撰寫工作報告時,除 Opus 5 外,它的表現勝過圖表中的所有模型。

為智能體而設計的模型架構

編碼智能體工作流程既要求在反覆推理循環中具備高吞吐量,也要求能以高記憶體效率追蹤長上下文。為滿足這些要求,Muse Spark Open 採用了特定的模型架構設計:

  • 經壓縮的混合專家(MoE)區塊,透過減少參數佔用和 GPU 間流量來提升吞吐量。

  • 混合式全域/本地注意力排程,將長上下文下的 KV 快取記憶體開銷降低 3.7x。

透過壓縮 MoE 區塊提升吞吐量表現

編碼智能體會在緊密循環中讀取上下文、推理、生成內容,再重新讀取結果,因此模型必須具備高吞吐量。平行執行背景子智能體,會進一步提高對吞吐量的需求。

為提升吞吐能力,Muse Spark Open 採用壓縮混合專家(MoE)區塊。共享的池化器會先壓縮輸入向量,再將其傳送至各專家;各專家的輸出合併後,會由共享的反池化器投影回原始維度。路由器負責為每個詞元選擇專家,仍會讀取完整寬度的向量。

✕

Compressed MoE adds a shared pooler before the experts and a shared unpooler after the experts' outputs are combined.壓縮 MoE 會在各專家之前加入共享池化器,並在合併各專家的輸出後加入共享反池化器。

在這個壓縮向量上進行運算:

  • 將每個專家的參數減半,與未壓縮的設計相比,模型總規模縮小約 800B 個參數。

  • 釋放 GPU 記憶體,以容納更大的 KV 快取和更多並行序列。

  • 減少 MoE 層中的 GPU 間流量,直接提升吞吐量。

以全域/本地注意力有效處理長上下文

編碼智能體會在每個步驟中逐步累積上下文,當中包括任務執行軌跡、推理內容,以及程式碼庫的大量內容。上下文中的每個詞元都會以 KV 快取形式佔用 GPU 記憶體,而在傳統模型中,每一層都會各自保留一份 KV 快取。

為管理 GPU 記憶體用量,Muse Spark Open 採用混合式注意力排程。在其 62 層中,有 46 個本地注意力層採用 2048 詞元的滑動視窗,並使用旋轉位置嵌入(RoPEs)追蹤詞序。另外,還有 16 個全域注意力層會查看完整序列,不使用位置編碼(NoPE),而是依賴較早層已擷取的詞序資訊。

傳統架構與混合式注意力排程的比較

✕

Muse Spark Open interleaves 46 local-attention layers with 16 global-attention layers, reducing KV-cache memory from 31 GiB to 8.4 GiB per sequence at 128K context, a typical agent working set. The savings grow with context length.Muse Spark Open 將 46 個本地注意力層與 16 個全域注意力層交錯排列,在 128K 上下文(智能體常見的工作集大小)下,將每個序列的 KV 快取記憶體由 31 GiB 降至 8.4 GiB。上下文越長,節省的記憶體就越多。

每個本地注意力層只追蹤最近的 2048 個詞元,並可覆寫較早詞元已儲存的 KV 快取資料。模型並未忘記舊詞元所代表的完整上下文;這些資訊會保留在全域注意力層的 KV 快取中。與只使用全域注意力層的模型相比,這種設計在 128K 詞元上下文下,可將 KV 快取記憶體用量縮減約 3.7x。

從模型架構到推論最佳化

對智能體工作負載而言,服務階段的一項主要成本是模型權重的記憶體佔用量,這會限制單一節點可容納的智能體工作階段數量。Baseten 的 Muse Spark Open Model API 透過提供 NVFP4 模型檢查點來解決此問題;這可將權重佔用量削減約三分之二,並釋放記憶體供 KV 快取使用。

在 NVFP4 檢查點中,專家權重以 4-bit 格式儲存,而完整的 bf16 精度只用於最需要精度的部分:注意力權重,以及首層和末層中的專家。這使模型權重大小由約 1.6 TB 降至 540 GB。完整模型可容納於單一 4×GB300 節點,權重與 KV 快取均無需透過多節點互連傳輸。釋放的記憶體會用於 KV 快取,讓每個節點可同時執行更多智能體工作階段,從而提高吞吐量。

開始使用 Muse Spark Open

Muse Spark Open 現已在 Baseten Model APIs 上線。該端點與 OpenAI 相容,因此你可以連接你的編碼智能體,並將其指向 Muse Spark Open,而無需更改你的智能體框架。我們提供針對 Blackwell 最佳化的 NVFP4 權重,並支援工具呼叫、推理輸出及完整的 1M 上下文視窗。

對於大規模執行智能體的團隊,我們亦提供可預留容量的 Dedicated Inference 部署方案。聯絡我們,與我們的工程師商討你工作負載的具體需求。

來源:Baseten 工程博客 · baseten.co