跳到正文
Unite.AI·· 2026-10-15精選AI 評分76

NVIDIA 發佈 Nemotron 3.5 Super VL 及兩款 Bolt 邊緣模型

NVIDIA Releases Open Nemotron 3.5 Super VL and Bolt Edge Models

AI 導讀

NVIDIA 於 2026 年 10 月 15 日發佈開放多模態模型 Nemotron 3.5 Super VL,並公佈兩款面向邊緣及本地硬件的 Bolt 模型。

推薦理由

報道呈現 Nemotron 3.5 從企業伺服器到邊緣裝置的部署分層,並列出可用模型、量化方案與開放資料,展示其產品佈局。

正文 · 繁體中文

NVIDIA 於 2026 年 10 月 15 日發佈了 Nemotron 3.5 Super VL。這是一款開放的 120-billion-parameter 多模態模型,專為持續運作的專用代理而設;同時推出的還有兩款較小型 Bolt 模型,供邊緣裝置及本地硬件使用。Super VL 和 Nemotron 3.5 Bolt 74B-A9B 24GB 現已推出,而 Nemotron 3.5 Bolt E4B 4GB 預定於 2026 年 10 月 23 日推出。

這些新產品擴展了 Nemotron 系列,NVIDIA 按部署層級為這個系列分類。8 月推出的 Lightning 負責高吞吐量工作負載;Ultra 處理最艱深的推理任務;Bolt 則面向邊緣部署。NVIDIA 表示,這三款新開放模型合起來涵蓋代理的各種部署需求,從大型企業伺服器到邊緣裝置及本地硬件;Super VL 則是與 Nemotron Coalition 合作開發。

架構與公佈的表現

Super VL 採用 120-billion-parameter 混合專家架構,每個 token 會啟用 12 十億個參數。NVIDIA 表示,模型在遵循指示、使用工具、多步驟商業工作流程及視覺理解等多模態代理任務上的準確度,與 NVIDIA 最大型的推理模型相若,而參數數量約只有後者的五分之一。NVIDIA 亦稱,Super VL 是同級最快的開放代理模型;在單張 GPU 上,其吞吐量據報最高可達同尺寸其他開放模型的 5x。

這個模型在單一系統中結合推理、遵循指示及使用工具的能力,以及文字、圖像、文件和影片理解能力。根據 NVIDIA 的技術網誌,這種整合讓團隊無須部署獨立的文字模型和視覺語言模型,也無須在兩者之間傳遞任務脈絡,就能處理文字及視覺任務。NVIDIA 表示,模型的視覺語言訓練著眼於代理在實際應用中會遇到的內容:光學字元辨識、表格、圖表,以及網頁和 PDF 等視覺文件中的結構化資訊。

NVIDIA 公佈的評估結果顯示,Super VL 在 Hermes Bench 和 LangChain 行為評估中的得分分別為 63.44% 和 87.05%;Nemotron 3 Ultra 的得分則為 56.33% 和 84.3%。在圖表推理基準測試 CharXiv 上,NVIDIA 公佈 Super VL 的得分為 80.8%,Nemotron 3 Nano Omni 則為 63%;模型使用 Python 程式碼解讀時,得分會升至 84%。NVIDIA 亦稱,Super VL 是 OCRBench v2 排行榜上的頂尖開放模型之一;技術網誌指出,EXO Labs 的獨立評估認為,在 DGX Spark 上,該模型位於準確度與任務完成時間的 Pareto 前緣。

訓練與推理設計

Super VL 是從 Nemotron 3 Ultra 蒸餾而來。技術網誌指出,Ultra 的程式編寫能力,以及蒸餾時採用的 SkewReverse 損失函數,有助提升程式編寫準確度。在後訓練期間,多教師同策略蒸餾結合來自文字和視覺專門教師模型的指導;教師模型會針對影片推理與追蹤、視覺工具使用及對齊,為模型的回應評分。技術網誌亦提到 Nemotron Coalition 成員的貢獻:Perplexity 提供的資料集支援模型的中期訓練,而 Prime Intellect 提供的環境則用於建立教師模型。

Nemotron 3.5 Super VL 在預訓練及持續預訓練階段合共使用約 26 兆個 token 進行訓練,之後再以約 3.8 百萬個樣本進行後訓練,並在數十個環境中進行強化學習。持續預訓練加入了 10 十億個印度語系 token;NVIDIA 正與 IIT Madras 及其 AI4Bharat 實驗室共同推出一套資料集,涵蓋 22 種印度語言,總量約為 2.8 兆個 token。

這次發佈包含基礎、後訓練及 NVFP4 量化檢查點。NVFP4 配方在 NVIDIA Blackwell 架構上使用 4-bit 權重和激活值,並配合量化感知蒸餾,旨在彌補量化造成的準確度差距。NVIDIA 表示,一種名為 LiLiCorr 的開放投機解碼技術在 DGX Spark 上生成 token 的速度,最高可達不使用投機解碼時的 2.3x。多 token 預測讓模型具備內部草擬器,可在一次前向傳遞中提出多個 token 供驗證;脈絡重用服務最佳化則會在代理重複呼叫期間保留注意力快取及 Mamba 循環狀態。

面向邊緣端的 Bolt 模型

Bolt 74B-A9B 24GB 採用原生 2-bit 量化,可裝進 24GB 記憶體,並在 NVIDIA RTX 和 DGX Spark 上與其他應用程式一同本機執行。NVIDIA 稱,它是 PinchBench 上同級排名最高的開放模型,也是 BrowseComp 上排名第二的開放模型。此模型現已在 Hugging Face 提供,支援 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM。它為 2026 年 10 月 16 日推出的 NVIDIA RTX Spark 手提電腦而設,亦可在 GeForce RTX 電腦、DGX Spark、DGX Station 及 RTX PRO 工作站上執行。

Bolt E4B 4GB 面向 GeForce RTX、Jetson 及 RTX/DGX Spark 上的實體代理和對話代理,將自然對話與多輪代理能力結合,適用於本地語音助理、互動角色及嵌入式介面。

自訂、早期採用者與部署

此模型隨附開放權重、開放資料集及訓練配方,並支援透過 NVIDIA NeMo、以 Python 為基礎的流程及開放資料集進行自訂。NVIDIA 正在 Hugging Face 發佈開放資料集,涵蓋代理式工具使用、金融、遵循指示、長上下文、公平性,以及 45 個視覺語言資料集;另外亦會在 NeMo Gym 提供強化學習環境。

NVIDIA 表示,數十個組織正使用各自的資料、工具、政策及工作流程對 Super VL 進行後訓練。Scale AI 為 Skydance 的供應商信用融資代理,以及 EY 的併購(M&A)盡職調查代理進行模型後訓練;技術網誌指出,Skydance 工作負載的推理成本將降低 40x,延遲則降低 5x。AfterQuery 為 Hebbia 針對信貸協議分析自訂模型;AI21 和 Alice 則為提升抵禦網絡安全攻擊的能力而對模型進行後訓練。NVIDIA 表示,在 Alice 的威脅情報及弱點分析工作中,準確度提高了 40%。Mercor 以 APEX-SWE 程式編寫基準測試對模型進行後訓練,供能夠規劃、編寫及除錯程式碼的代理使用。Ramp 正將收據圖像轉換為包含商戶資料、日期及付款資料的結構化 JSON;根據技術網誌,Ramp 預期吞吐量最高提升 50%,延遲降低 10x。

整合 Super VL 的軟件平台公司包括:Atlassian 用於在 Jira 和 Confluence 等應用程式中進行代理式搜尋;CrowdStrike 用於企業安全的代理式藍隊防禦;Dassault Systèmes 用於工程設計和模擬;以及 Perplexity 用於搜尋和代理任務。Salesforce 正透過 Missionforce Operations 客製化 Nemotron,為數碼化及自動化政府工作流程的 AI 代理提供支援;Synopsys 用於半導體設計驗證的軟件亦可與此模型互通。

NVIDIA NIM 將模型封裝成可投入生產的微服務,每兩週更新安全修補程式及效能改進。NVIDIA 表示,在 16 B200 GPUs、每位使用者每秒 50 個 token 的設定下,採用 KV-cache 感知路由的 Dynamo 服務最多可服務 8x 之多的使用者,同時將首 token 延遲降低 85%。Super VL 現已在 Hugging Face、OpenRouter、ModelScope 及 NVIDIA NIM 上推出,可在 DGX Spark、DGX Station、RTX PRO 和 RTX 系統、Jetson,以及資料中心和雲端環境中執行。

來源:Unite.AI · unite.ai