張量並行、流水線並行與數據並行如何擴展跨 GPU 的 LLM 推理
張量並行、流水線並行與數據並行分別透過切分層內運算、跨階段分層和複製模型分配請求,應對 LLM 推理的單請求延遲、模型容量與服務吞吐量需求。部署時可先在單一節點內使用張量並行,必要時以流水線並行跨節點,再增加數據並行;所需 GPU 數量按 TP × PP × DP 相乘。
張量並行、流水線並行與數據並行分別透過切分層內運算、跨階段分層和複製模型分配請求,應對 LLM 推理的單請求延遲、模型容量與服務吞吐量需求。部署時可先在單一節點內使用張量並行,必要時以流水線並行跨節點,再增加數據並行;所需 GPU 數量按 TP × PP × DP 相乘。
MACaQ 是一種 MXFP4 W4A4 後訓練量化方法,透過逐層獨立量化及 Hessian 感知修正,降低成本並保留語言與擴散模型的準確度。在 Qwen3-32B 上,透過 vLLM 推理的端到端額外開銷僅為 2.3%;在 Llama-3-8B 上,量化時間減少 11 倍,困惑度已達 DuQuant++ 和 MR-GPTQ 的最佳水平。
研究提出兩階段測試時擴展方法,先以快速基礎採樣器處理簡單問題,再對較難問題採用頻率感知重新遮罩,以分配推理計算並探索不同推理路徑。在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上,MATH-500 準確率最高分別提升 3.73 和 7.33 個百分點,HumanEval 覆蓋率最高分別提升 11.39 和 10.98 個百分點。
作者在單台 Amazon EC2 G6 的 NVIDIA L4 上,對比六款引擎執行 Gemma 4 E2B 的效能、答案品質與成本。在 1 至 64 個請求的測試中,vLLM 配合 drafter 以 275.3 至 4,516 tokens/s 領先;64 個請求、128 tokens 輸入和 512 tokens 輸出時,每百萬個輸出 tokens 成本為 $0.08。
Amazon SageMaker Inference 現支援 NVIDIA Multi-Instance GPU(MIG)分區,讓多個模型可在同一 GPU 上獲得硬件隔離。
推薦理由:文章以 H100 的 mig-3g.40gb 對比完整 A100,呈現 GPU 分區的效能與成本差異如何隨流量形態改變。
作者提出一套 parity probe 和三道量化門檻,協助團隊判斷是否把推理工作負載轉到免費端點。這套以 Python 標準函式庫編寫的探測工具可測試 OpenAI-compatible 端點,並建議用 20 至 40 項貼近實際工作分佈的任務進行比較。
MIT CSAIL 的《Sparks of Weight-Space Programming》研究以 OpenAI 的 GPT-6 Astra 直接讀取、診斷及編輯神經網絡權重,並測試從零編寫權重。
Lumai 正在 Scaling Inference Lab 部署 Iris Nova,測試光學運算能否降低數據中心 AI 推理的電力負擔。Iris Nova 以光學運算處理矩陣乘法,主攻推理的 prefill 階段,並以電子元件處理記憶體、控制及非線性功能。部署將用於驗證系統在商業數據中心環境中的表現,並收集數據以支援下一款產品的開發。
Salesforce 於 2026 年 11 月 6 日推出 Koa Decisions,這款基於 Google 開放權重 Gemma 的決策模型可接收文字、圖像和音訊。
TB-MathModel 提出一套面向 LLM 智能體的數學建模評測基準,讓智能體在容器化終端中處理 18 道 CUMCM/MCM 賽題。評測以最終問題的數值核心評分,使用 94 篇獲 Outstanding 獎的論文作參考,並以六類可判定不變式及 624 項 Lean 4 證明義務核查可行性。
The Decoder 的 Frontier Radar #5 梳理 27 間新型 AI 研究公司,將它們對 AI 發展路線的押注歸納為六類,並分析研究者離開大型實驗室的原因。
一項美國學術合作研究量化 AI 智能體工作流中的 token 浪費,發現約 18% 的輸出 token 屬浪費。研究指出,超過 45% 的任務中,一個智能體浪費的輸出 token 多於另一個成功完成相同任務所用的全部輸出;刪除 41–46% 的推理,在測試中對成功率影響有限。按模型及工具使用成本計,浪費比例介乎 11% 至 24.9%,而同一模型在不同智能體框架下的推理輸出可相差逾四倍。
NVIDIA Research 與 Inferact 提出的 REINFORCE Zero,透過對齊 rollout 與 learner 的 kernels,再以未截斷重要性抽樣修正權重滯後,支援穩定異步 RL。
文章指出,JSON Schema 或文法約束解碼不只是檢查 LLM 輸出,還會透過遮罩及重新正規化 token 機率分佈,改變模型的生成路徑。欄位次序可能迫使模型先提交結論,而錯誤 token 亦會影響後續生成;硬文法約束與微調 JSON 模式有不同的失效模式。
這份指南整理 Ollama 在純 CPU 伺服器上選擇模型的 RAM 估算方法,並列出 2 GB、4 GB、8 GB 和 16 GB 記憶體配置可考慮的模型。作者建議在預設上下文下,模型檔案大小控制在伺服器 RAM 約一半以內,並指出量化版本、上下文長度、並行請求和同時載入模型數量會影響額外記憶體用量。
Thinking Machines 發佈 Inkling 2 Small,稱其為西方最強的開放權重模型;模型共有 594 billion 個參數,其中 17 billion 個處於啟用狀態。
英偉達推出 VFlash 並行解碼框架,面向機械人及自動駕駛的視覺規劃,將軌跡、包圍框等幾何對象作為解碼單位。在 H100、batch size 為 1 的測試中,三維點運動預測速度最高提升 25 倍,機械人動作解碼提速 12 倍,端到端推理提速最高 5.1 倍,三維軌跡誤差最多降低 61%。
英偉達已向阿波羅全球管理公司提交書面方案,擬把 Brightspeed 部分電信機房改造成小型 AI 數據中心,組成分散式推理網絡。據報,Brightspeed 有 130 多處機房,英偉達估算這些分散站點合計約有 1 吉瓦可用電力;若計劃落地,推理網絡最多可覆蓋美國 20 個州。
VIALS-AA 比較 19 個模型處理科學圖像推理時的工具使用方式,分析涵蓋 9,177 次執行軌跡。工具呼叫中,38.3% 用於查看圖像,47.3% 用於準備或測量圖像;圖像測量佔 GPT-6 Astra (max) 工具呼叫的 5–6%,Claude Opus 5.5 (max) 則為 25–27%。Gemini 4 Carbon (high) 在八個領域中有三個領域領先。
中國移動正將業務佈局由流量延伸至Token生產、調度和分發,並在2026移動網絡大會發布「智能網」。公司表示,未來兩年智算能力將連續翻番,並計劃在2027年實現終端銷售過億台。Token如何計價、推理成本由誰承擔及收益如何分配,仍未形成成熟商業模式。
Thinking Machines 於 2026年11月5日發佈 AI 模型 Inkling 2 Small,並表示計劃下週公開模型權重。模型總參數量為 594B,採用 MoE 架構,每個 token 使用 17B 參數,支援文字及圖片輸入;同日起可透過 Tinker 進行推理和微調。
奕斯偉計算於10月9日在香港聯合交易所主板上市,文章亦盤點量子計算、AI4S、腦機接口等科技公司的融資及進展。新石器完成近4億美元E輪融資,太一量生累計融資超10億元,階梯醫療累計融資26億元並完成42例長期植入。月之暗面推出Kimi K3.1 Pro,具3萬億級參數及100萬上下文;至簡動力開源6B參數SimpleWAM,端側推理延遲低至42ms。
Reuters 報道,約 600,000 枚 Nvidia H200 AI 晶片因北京未批准大規模進口而存放在香港,中國獲準進口的外國晶片總量最終可能低於 200,000 枚。
ACM MM 將研究主題由過去五大主題、15個子方向改為16個平級主題,重新界定多媒體研究範圍。新設具身與沉浸式多媒體、多媒體推理兩個主題,並把「視覺與語言」調整為「多媒體與語言」。旨在反映多媒體研究向多模態推理、生成及現實環境互動拓展。
2026年11月5日,高通在上海進博會展示全球首個符合3GPP最新定義的6G終端原型機,並強調6G自設計之初便具備AI原生特性。高通CEO安蒙表示,AI將融入無線系統以實現信道預測和弱訊號下的穩健通訊,終端、邊緣與雲端的計算能力則支持協同推理。今年9月,高通已與中國移動完成U6G頻段基站與終端原型互通測試;行業目標是2029年啟動6G商用。
這篇教程逐層拆解 Llama 2 7B,計算其約 6.74B 參數及單 token 前向約 13.5 GFLOPs 的由來。文中將模型拆為 Embedding、32 個 Transformer Block 和 LM Head,指出約 96% 參數位於 Block,並推導 FFN 中間維度 11008 的由來。
高通總裁兼 CEO 安蒙表示,6G 將從設計之初具備 AI 原生特性,行業以 2029 年啟動商用為目標。AI 將融入無線通訊系統,計算與推理任務可分佈在基站、網絡邊緣及數據中心等節點執行。高通與中國移動今年 9 月完成 U6G 頻段基站原型與 6G 終端原型互通測試,安蒙稱這是 6G 由技術研究邁向系統驗證的重要一步。
FlashML-org 的 FreeToken 以系統 RAM 存放 MoE 專家、在 GPU 快取常用專家;其論文報告在遊戲桌面電腦運行 284B 模型。作者估算,284B 模型的 NVFP4 權重約佔 160 GB,相關消費級配置約需 192 GB RAM,這些數字並非 FreeToken 公佈的數據。
webAI 開源 TwIL-8B 推理模型,基於 IBM Granite-4.2-8B,針對數學、程式碼及指令跟隨工作負載作優化,採用非商業許可協議。在 MATH-500、AIME 2025 的參與比較模型中成績最佳,並勝過 Gemma 4 31B;LiveCodeBench 同組最佳,IFBench 則與 Gemma 4 12B 持平。
騰訊表示,混元 Hy4 調用量激增後,WorkBuddy 已擴容十倍,以應付更多用戶的體驗及調用需求。騰訊亦將 Hy4 推理集羣擴容十倍,並提高免費體驗額度;Hy4 接入 WorkBuddy 首日曾有大量用戶觸及額度。
人工智能實驗室 webAI 於當地時間 2026 年 11 月 4 日推出輕量級開源推理模型 TwIL-8B。
NPCBench評估醫療AI模型能否整合專科知識與多模態證據,並在鼻咽癌患者的縱向診療路徑中維持診斷及照護決策連貫。基準收錄4,777項題目,以及包含100名患者、417項評分任務的CarePath隊列。在21個多模態模型中,嚴格CarePath成功率最高為23%;單項任務表現出色,不代表同一患者的診斷及照護答案能同時正確。
webAI 開源 TwIL-8B 推理模型,基於 IBM Granite-4.2-8B,針對數學、程式碼及指令跟隨工作負載優化。它在 MATH-500、AIME 2025 和 LiveCodeBench 的同組比較中表現最佳,IFBench 成績則與 Gemma 4 12B 持平。模型以非商業授權開源,webAI 稱其長板推理能力達前沿模型的 88~93%,但知識儲備有限,並非通用模型。
英特爾正將 EMIB 與 EMIB-T 推向 AI 晶片封裝領域,作為台積電 CoWoS 產能緊缺下的替代方案。英特爾披露 EMIB 良率達 90% 水平;供應鏈評估指 EMIB-T 與台積電 CoWoS-L/R 的成本差距最高可達 50%。
海淀的水木東方、銀河通用和趨境科技,分別以醫療裝備 CDMO 平台、具身智能大模型及推理服務,推動 AI 技術轉化為產業應用。水木東方的 CDMO 平台已為委託方降低研製成本60%以上,並將樣機迭代週期縮短一半以上;銀河通用稱其機械人可實現100%全自主思考與執行。銀河通用已在近50個城市部署約200家「銀河太空艙」,趨境科技則提供國產算力推理服務。
淘寶旗下 MNN 團隊發佈並開源 MNN-Pocket-0.3B,模型在 iPhone 18 Pro 上透過 MNN 推理引擎完全離線運行,平均 Decode 速度約為 350token/s。
這篇大模型課程第 4 課以 6 個可手算例子,拆解 Tokenization、BPE 合併規則,以及中文 token 成本和詞表大小的取捨。文中估算中文文本較英文多用 54%–69% token;Qwen 151,851 詞表較 Llama 2 32,000 詞表多約 491M Embedding 參數,以更少中文 token 換取較短序列,推理加速 30–50% 亦屬估算。
這份指南按 4GB、8GB、16GB 和 32GB RAM,整理 Ollama 本地大語言模型選擇及 CPU、GPU 推理速度預期。Q4 量化模型每十億參數約需 0.6-0.7 GB,另需 1-3 GB 作上下文和 KV cache 開銷。
淘寶旗下 MNN 團隊開源 MNN-Pocket-0.3B,並在 iPhone 18 Pro 上以 MNN 推理引擎完全離線運行,平均解碼速度約 350token/s。
Drex 提出四款開源決策模型,針對用戶提供的狀態與選項直接輸出機率分佈,無需自回歸解碼。四款模型分別為 8B(DLM)、9B(v1.5)、35B(啟用參數 3B,v2.0)及 27B(Max);訓練採用監督式微調和 RLAF,Max 另加入視覺微調。