本地運行 LLM 需要多少記憶體?
文章提出本地運行 LLM 的記憶體估算法,將模型權重、KV cache 和額外開銷相加,再與可供模型使用的記憶體比較。在 16 GB Mac 上,可用記憶體按約 12 GB 計,14B Q4_K_M 約需 8.4 GB;Q5_K_M 約需 10.4 GB,屬勉強,Q6_K 的 12.3 GB 和 Q8_0 的 14.9 GB 則超出。
文章提出本地運行 LLM 的記憶體估算法,將模型權重、KV cache 和額外開銷相加,再與可供模型使用的記憶體比較。在 16 GB Mac 上,可用記憶體按約 12 GB 計,14B Q4_K_M 約需 8.4 GB;Q5_K_M 約需 10.4 GB,屬勉強,Q6_K 的 12.3 GB 和 Q8_0 的 14.9 GB 則超出。
Anthropic 開源 FlashProve 原型,讓任何人核實 AI 回覆是否由服務供應商聲稱使用的模型生成。
Cerebras CEO Andrew Feldman 回應 Culper Research 指 Cerebras 晶圓約兩年便會耗損的報告,稱系統退役主因將是新一代晶片帶來的經濟性,而非熱致故障。
Ripple-65B Preview 可透過社羣伺服器套件、修補版 llama.cpp 或 MLX 在本地運行,但原版 Ollama 與 llama.cpp 尚不能載入相關 GGUF。
CNET 評測 Apple iMac M6(2026),認為 M6 帶來效能提升,並稱它仍是作者遇過最佳的一體式電腦。測試中的 12 核心版本,相較 10 核心 M4 iMac,在 Geekbench 6 多核心測試快 37%,在 Cinebench 2024 多核心測試快 36%。基礎版仍只有 256GB SSD,升級至 512GB 需多付 $200。
CNBC 引述四名知情人士報道,Moonshot AI 曾洽談向歐洲新型雲端服務商租用 Nvidia Blackwell 算力,潛在集羣規模達 8,000 張或以上 GPU。
vLLM 0.33.0 收錄可選的 FLy 有損推測解碼驗證器;它不保留目標模型的輸出分佈,標準驗證仍是預設。PR 報告其相對標準推測解碼的吞吐提升為 1.041x 至 1.310x,但每個模型與平台組合只評測 428 題,單次結果不足以判斷小幅品質損失。按 6% 答案翻轉率及 80% 檢定力估算,以配對評測檢出 2 個百分點的準確率損失約需 1,175 題。
百度於11月5日正式開源基座模型 ERNIE 5.5 Flash Base。據介紹,該模型在知識、推理、數學、程式碼、多語言和長上下文等多項基準測試中,取得同尺寸模型 SOTA 表現。模型採用 MoE 架構,總參數量2800億,每個 Token 啟用140億參數,使用33.5萬億個 Token 完成預訓練;預訓練上下文長度最高達128K,微調與推理階段支援最長100萬 Token 上下文。
Markus Eisele 認為,編碼助手的自動模型路由要取得開發者信任,既要在預算內提供更多協助,也要讓用戶判斷結果如何形成。他指出,評估路由不應只比較模型費用,還要計入重試、修正和開發者投入的時間,並考察工具及上下文是否足以完成任務。他建議介面呈現上下文、工具操作、測試範圍、未解問題、token 用量及成本,讓開發者追查助手做過甚麼並按需要介入。
Anthropic 公開開源研究原型 FlashProve,以 zkSNARK 為模型推理生成密碼學證明,讓用戶毋須取得權重或重新運行模型,也能核驗輸出是否由指定權重按輸入計算得出。
Baidu 於 2026 年 11 月 5 日發佈 ERNIE-5.5-Flash-Base 並開放權重下載,提供尚未進行中期訓練或後訓練的固定模型起點。
Teachable On-Policy Self-Distillation(TOPSD)透過偵測並限制教師漂移,改善多語言數學推理蒸餾,尤其針對低資源語言。TOPSD 根據師生似然選取監督前綴,並驗證教師能否從該前綴得出正確答案,只對通過驗證的前綴進行蒸餾。涵蓋十種語言和三種模型規模的實驗顯示,TOPSD 的表現持續優於傳統 OPSD,尤其在低、中資源語言上。
騰訊混元表示,混元 Hy4 於11月4日在 WorkBuddy 首發接入後,團隊因調用量激增,已將 Hy4 推理集羣緊急擴容十倍。團隊亦提高用戶免費體驗額度,並會持續動態調配資源。受高端算力總量和高峯並發集中所限,個別時段仍可能出現限額;用戶可改用 Hy3 等模型(WorkBuddy 對 Hy3 的免費使用安排延長至2026年11月15日23:59),或在晚間錯峯使用。
百度開源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),採用 MoE 架構,總參數量2800億,每個 Token 激活140億參數。
Axiom Math 以 AI 完成 Stacks Project 的 Lean 形式化,程式碼庫覆蓋所有具備可形式化內容的標籤,共約 1,575 萬行程式碼。程式碼分為經人工核驗的 StacksCore 和未經人工審查的 StacksFrontier,兩層的證明均由 Lean 內核檢查;前沿層仍須人工逐條對照,才能獲得真正信任。
騰訊混元與 WorkBuddy 表示,Hy4 在 WorkBuddy 首發接入後首日有大量用戶觸及額度,官方隨即將推理集羣擴容十倍並提高免費體驗額度。官方亦延長 Hy3 限免;由於高端算力總量有限、用戶高峯並發集中,個別時段仍可能出現限額。
文章比較不同 NVIDIA L4 GPU 租用供應商的價格與服務層級,指出按需價格約為每 GPU 小時 $0.11 至 $1.05。市場平台的價格較低,但供應情況可能波動;專業 GPU 雲通常按秒或按分鐘計費,大型雲端服務商則以較高價格提供可靠性及企業 SLA。比較報價時亦須確認是否已包含 CPU、RAM 和儲存空間。
百度於11月5日開源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),並稱其在知識、推理、數學、程式碼、多語言及長上下文等多項基準測試中取得同尺寸模型 SOTA。
知乎攜手三位答主在世界頂尖科學家論壇與多位學者深入對話,學者亦以手寫卡片回答站內經典問題。受訪學者認為,AI可協助數學研究及藥物研發,但仍需人類判斷、驗證和理解;AI生成的數學證明亦未必方便人類閲讀。
百度文心發布 ERNIE-5.5-Flash-Base,開放 ERNIE 5.5 Flash 預訓練終點權重。這款稀疏 MoE 語言模型總參數為 280B,每個 token 啟用 14B 參數,並在 33.5T tokens 上從零完成預訓練;最長訓練上下文為 128K,微調與推理支援 1M tokens 上下文。此次權重未經中期訓練與後訓練,可作為領域適配、指令微調和強化學習研究的起點。
千問事業部 AI 演算法負責人蔣冠軍在訪談中將 Personal Agent 的技術架構概括為模型、記憶和生態三個核心。千問按 30 多個行業梳理需求,拆分出 8000 多項模型原子能力要求,並透過後訓練和強化學習提升任務穩定性。訪談亦提及記憶召回、工具與 Skill 協同及上下文壓縮;千問相關任務的上下文規模在過去一段時間降低了約 40%。
百度文心大模型發佈並開放 ERNIE-5.5-Flash-Base 權重,這款稀疏 MoE 語言模型總參數量為 280B、每 token 激活 14B。模型以 33.5T tokens 從零預訓練,最長訓練上下文為 128K,微調與推理支援 1M tokens 上下文。這批權重未經中訓練與後訓練,可作領域適配、指令微調及強化學習研究的共同起點。
作者用 oMLX 和 opencode,在 48GB MacBook Pro 上本機運行 Qwen3.6-35B-A3B-MLX-4bit,完成聊天及編碼。作者按介面 token 計數粗略估算輸出速度約 100 tokens/s;測試截圖中 omlx-server 使用約 18GB 記憶體,任務執行時 GPU 使用率達 100%。
LG AI Research提出 ATAD(Agent-Centric Text Anomaly Detection),以動態評估協議評估 LLM 推理能力,突破固定基準的限制。Teacher、Orchestrator 和 Student 三個智能體會反覆生成、驗證和解答問題,並按模型表現調整題目難度,同時維持清晰度與公平性。相關研究獲 ICLR 2026 主會議接收並發表。
上海交通大學副教授鄧志傑解析擴散語言模型如何在保證生成質量的同時提升速度,涵蓋 LLaDA、Dream、多塊並行生成、後訓練及推理系統優化。LLaDA2.1-mini 經 CForce 訓練後,四項任務平均得分由 85.57 提升至 86.41,平均 TPF 由 6.94 提升至 9.08。演講亦介紹擴散語言模型在流式影片、語音修復、多模態及智能體中的應用探索。
文章質疑把這類模型稱為「決策模型」,討論中有人認為「判斷模型」較貼切。評論指出,這類模型可用於 zero-shot 分類,但模型輸出並非確定性邏輯閘;若要作出良好乃至可證明最優的決策,應研究數學最佳化或運籌學。
易博圖近日連續完成兩輪近4億元融資,聚焦重載工業物理AI,研發面向重載場景的「移動+操作」模型。公司目前營運100多台重卡,覆蓋60條線路,並在新疆、內蒙古等地進行真實道路零接管測試。易博圖計劃先以自營車隊驗證L4無人駕駛方案及營運流程,再向客戶提供包括車輛、軟件系統及營運標準的「AI司機服務」。
LoopVQ提出循環 Transformer 的 KV cache 向量量化方法,聯合編碼多個循環步驟的通道並微調碼本。在每元素 0.5 bits 時,配合 Ouro 和 Huginn 模型,該方法在多類任務上優於現有標準 LLM KV cache 量化方法;結合 TaSQ,0.25 bits 時仍保留大部分 BF16 準確度。
11 月 4 日的公開課講解以決策模型改善 UI 自動化,透過結構化輸出和校準置信度,處理元素選擇、動作及斷言等有限決策。課程展示 YAML 驅動 App 登入流程;候選元素擴至所有可點擊元素後,模型仍以 94% 機率選中正確按鈕。文中亦提及基於 Qwen3.5 微調的開源 4B 模型可本地部署。
文章按訓練、使用、結構與成本、評測四類,解釋 SFT、LoRA、RAG、Agent 等常見縮寫所處理的問題及適用場景。選型時先分清需求是知識、形式還是能力,例如資料會變或需要追溯來源時用 RAG,穩定任務可考慮 SFT 或 LoRA。
香橙派公佈小尺寸單板電腦 OrangePi Zero 3W Pro,採用瑞芯微 RK3576,長寬為 65×30 (mm),最高支援 16GB LPDDR 記憶體,並可選 eMMC、UFS 或 microSD 儲存。開發板整合 NPU、VPU,可在本地執行解碼及輕量 AI 推理,並支援 PCIe、SATA 轉接擴展。
上海交通大學副教授鄧志傑在CNCC 2026演講中,探討如何透過並行生成、後訓練及推理系統優化,提升擴散語言模型的生成速度並維持質量。LLaDA2.1-mini經CForce訓練後,四項任務平均得分由85.57升至86.41,平均TPF由6.94升至9.08。Fast-dLLM結合近似KV緩存與置信度解碼後,速度由6.7升至54.4 TPS,準確率則由79.3%變為78.5%。
NVIDIA 發佈 CUDA Toolkit 13.5,正式支援 Vera Rubin,並更新 GPU 資源調度、多 GPU 通訊、數學計算庫及效能分析工具。CUDA Tile 支援在計算內核內存取其他 GPU 記憶體;配合多播指標及專用多 GPU 記憶體操作,可在支援 NVLink SHARP 的 NVSwitch 網絡中進行跨 GPU 數據歸約和寫入。
英偉達發佈 CUDA Toolkit 13.5,正式支援下一代 AI 運算平台 Vera Rubin,並升級 GPU 資源排程、多 GPU 通訊、數學計算庫及效能分析工具。更新包括 MPS v3 的加權時間片和 SM 分區負載平衡;CUDA Tile 可在計算內核中直接存取其他 GPU 記憶體,並在支援 NVLink SHARP 的 NVSwitch 網絡中執行跨 GPU 歸約和寫入。
AMD在Advancing AI Seoul 2026表示,其AI PC在Cinebench 2024多核心測試中的CPU效能較Nvidia RTX Spark高14%,遊戲續航近50%更長,相關系統約便宜17%。
Typesafe 創辦人 Diogo Almeida 在訪談中表示,Jev 是供程式直接調用的可編程模型,並認為 RLHF 令模型偏向輸出人類偏好的文本回覆,損害概率分佈與校準能力。
AMD 預估 2026 財年第四財季營收約 170 億美元,高於英特爾預估的 150~160 億美元,若預期兑現將是 AMD 單季營收首次超越英特爾。AMD 預測該季營收按年約增長 66%、按季約增長 27%;數據中心業務佔比已達 64%,EPYC 伺服器處理器與 Instinct AI 加速器需求按年增長接近一倍。AMD 預計到 2027 年,客戶端和遊戲業務可能面臨兩位數下滑。
香港大學俞益洲教授團隊提出 RaPO 強化微調演算法,以緩解多模態大語言模型(MLLM)在視覺持續學習中的災難性遺忘;論文獲 NeurIPS 2026 接收。
Darkbloom 閒置 Mac 出租收入按 Anthropic token 價格跌幅推算,排行榜前 50 名月收入中位數或由 159.86 美元降至 36.77 美元。
SuperCLUE發布2026年11月通用大模型評測榜,Gemini-4-Argon以73.62分登頂總榜,月之暗面開源模型Kimi-K3.1-Pro以61.46分位列內地模型首位。OpenAI的GPT-6.1-Sol以71.76分排名第二。本次共有19個國內外模型參與評測,涵蓋五大任務。