Inkling 2 Mini 可在 32GB MacBook 離線運行,循環架構為何重要
Inkling 2 Mini Runs on Your MacBook. Here's Why That Matters
Thinking Machines Lab 於 2026 年 11 月 20 日發佈 Inkling 2 Mini,這款 26.4B 參數的循環 Transformer 約佔 20GB 記憶體,可在 32GB MacBook 上離線運行,採用 Apache 2.0 授權。
文章將本機部署門檻與循環架構的計算取捨並置,並以編碼基準和事實回憶數據呈現其較適合的任務範圍。
Inkling 2 Mini 可在你的 MacBook 上執行,這為何重要
Thinking Machines Lab 剛推出 Inkling 2 Mini,這是一款擁有 264 億個參數的循環式 Transformer,只需 20GB 記憶體,並可在 32GB MacBook 上離線執行。模型於 2026 年 11 月 20 日以 Apache 2.0 授權發布,數小時內便成為 Hugging Face 上趨勢排名第一的模型。在 r/LocalLLaMA 上,發布帖文獲得 1,550 個贊成票及 454 則留言——這種反應足以説明,本地推理社羣一直期待的正是這類模型。
到 ComputeLeap 閲讀附有圖表及嵌入來源的完整版本
主要數據令人矚目:Inkling 2 Mini 在 Artificial Analysis Intelligence Index 上以 20.1 分追平 Qwen3.8-27B,在 DeepSWE v1.1 上領先參數少於 1,000 億的開放權重模型(48.2%),並在 SWE-bench Verified 上取得 79.2% 的分數。每個 token 只啟用 34 億個參數,不到其權重總數的十分之一,便能取得這些成績。關鍵在於循環式架構:模型每個 token 都會將中間層執行三次,以較少的儲存權重提升推理能力。
但真正值得關注的不是基準測試,而是當一款能力如此強的模型,能在數以百萬計的開發者已擁有的硬件上執行時,會帶來甚麼改變。
循環架構的實際運作方式
大多數 Transformer 模型都嚴格按順序運作:每個 token 由上而下通過每一層,而且每層只執行一次。Inkling 2 Mini 打破了這種模式。它的 24 層分為四個區塊,每個區塊有六層。第一個和最後一個區塊與一般模型一樣,每個 token 只執行一次。中間兩個區塊共 12 層,每層則執行三次。這樣一來,模型只儲存 24 層權重,卻能為每個 token 執行 48 次層運算。
其中的運作細節很重要。第一輪之後,每一輪循環都會透過一個經學習的閘門,接收上一輪的輸出(Thinking Machines 稱之為「注意力殘差」)。模型並非只是重新讀取相同的表示,而是逐步將其完善,在不增加儲存空間的情況下,累積更深的推理能力。
官方公告指出,在 512K token 的 Agent 軌跡上,非循環基準模型需要多用 140% 的推理運算量,才能達到循環模型的損失值。換句話説,循環架構只需多用 7.5% 的訓練運算量,便帶來相當於將模型規模大約加倍的運算效益。
這和思維鏈並不相同。思維鏈會令模型產生更多 token——這些可見的推理內容會帶來成本。循環架構則讓模型在每個 token 上投入更多推理,而不會增加輸出內容。配套的可變循環研究模型(亦已在 Hugging Face 發布)顯示,循環模型產生的思維鏈較短,同時仍保持可讀性。在 LinuxArena 安全測試中,也沒有發現隱蔽破壞行為增加。
深入瞭解模型架構
Inkling 2 Mini 是一款稀疏混合專家(MoE)模型。每層有 128 個專家,每個 token 會選用其中 8 個。訓練初期共有 384 個專家;訓練進行至中途時,研究團隊剪除三分之二,只保留每層最常用的 128 個專家。剪除後,模型再以從較大型的內部 Inkling 模型蒸餾而來的 1 萬億個 token 進行「修復」,之後進行監督式微調,並以 2.2 萬億個 token 進行強化學習。
主要規格一覽:
| 規格 | 數值 |
|---|---|
| 參數總數 | 26.4B |
| 每個 token 啟用的參數 | 3.4B(循環時為 5.4B) |
| 層數 | 儲存 24 層,有效 48 層 |
| 每層專家數 | 128(啟用 8 個) |
| 上下文視窗 | 1M tokens |
| 權重大小 | ~20GB |
| 精度 | NVFP4 + MXFP8(訓練 = 部署) |
| 授權 | Apache 2.0 |
| 模態 | 文字及圖像輸入,文字輸出 |
注意:5.4B 的「有效啟用」數量,是將循環層的啟動量計算三次得出的。無論循環次數多少,實際記憶體佔用仍維持在 ~20GB。不過,每個 token 的運算量會隨循環次數增加——預計 FLOPS 約為一般 3.4B 啟用模型的 1.5-2 倍。
值得一提的是,這些權重以訓練時使用的相同 4-bit 和 8-bit 混合精度提供,不會產生量化轉換損失。你下載的就是模型訓練時使用的版本——這項特點相當少見,也免去了平常「量化後損失了多少品質?」的疑問。
基準測試:領先之處與落後之處
Thinking Machines 將 Inkling 2 Mini 定位為 100B 以下、最適合 Agent 式程式編寫任務的開放權重模型。基準測試大致支持這項説法,但有重要注意事項。
Inkling 2 Mini 領先之處:
| 基準測試 | Inkling 2 Mini | Qwen3.8-27B |
|---|---|---|
| DeepSWE v1.1 | 48.2% | 42.2% |
| SWE-bench Pro v2 Hard | 77.9% | 73.8% |
| SWE-bench Verified | 79.2% | 77.8% |
| Vibe Code Bench v1.1 | 77.9% | 64.9% |
| BrowseComp (compaction) | 79.0% | — |
| DeepSearchQA (compaction) | 85.3% | 79.7% |
| MCP Atlas | 82.7% | 77.3% |
| ARC-AGI v2 | 49.3% | 42.4% |
| ScreenSpot Pro | 76.5% | 57.6% |
落後之處:
| 基準測試 | Inkling 2 Mini | Qwen3.8-27B |
|---|---|---|
| AA-Omniscience | -8.6 | -6.4 |
| 非幻覺率 | 63.4% | 71.4% |
| AutomationBench v1.0.6 | 41.8% | 48.2% |
| Terminal-Bench v2.1 | 71.6% | 73.0% |
| MultiChallenge | 50.0% | 領先 |
整體趨勢很明顯:Inkling 2 Mini 擅長深入處理單一任務的 Agent 工作——編程、搜尋、使用工具——但在事實回憶、多輪對話,以及有許多限制條件的任務上表現不佳。這與循環理論上帶來的效果一致:每個 token 經過更多推理循環,能提升邏輯深度,卻不會增加任何儲存的知識。
Artificial Analysis 指出,Inkling 2 Mini 完成 Intelligence Index 任務需時 9.0 分鐘,Qwen3.8-27B 則需時 38.2 分鐘,前者約快 4 倍,分數相若。每項任務的成本為 $0.59,低於 Qwen 較高的運算成本。進行本機推理時,這項速度優勢會直接轉化為每秒 token 數。
Plotly 的獨立數據分析基準測試中,它答對 43 題中的 36 題(84%),只比大得多的 Inkling 2 Small 少答對 3 題。對一個只有其二十分之一大小的模型來説,表現不俗。
逆向觀點:基準測試結果仍有一個盲點。循環會增加每個 token 的運算量,卻不會增加儲存的事實。如果你的日常工作流程著重研究——查找引文、綜合不同來源的資訊、核實説法——Inkling 2 Mini 的事實回憶能力(非幻覺率 63.4%)就可能帶來問題。它在 Intelligence Index 的 20.1 分與 Qwen3.8-27B 持平,但該指數對 Agent 式程式編寫的比重很高。對知識工作而言,參數密度較高的模型仍是較佳選擇。
本機推理:設定
本機推理社羣對這一點尤其興奮。Inkling 2 Mini 的記憶體佔用約為 20GB,以下裝置都能輕鬆運行:
- 任何配備 32GB+ 統一記憶體的 Mac(M3 Pro 或以上、M4 Pro、M5 Pro/Max/Ultra)
- 單張配備 32GB+ VRAM 的桌面 GPU(RTX 4090、RTX 5090、AMD Radeon)
- NVIDIA DGX Spark(原生支援 NVFP4)
VentureBeat 的報道列出的速度:
| 硬件 | 解碼速度 |
|---|---|
| M5 Ultra Mac Studio (96GB) | 210 tok/s |
| M5 Max MacBook Pro (48GB) | 125 tok/s |
| RTX 5090 | 104 tok/s |
| DGX Spark | 75 tok/s |
最快的運行方式:
# Ollama (recommended for Mac)
ollama run inkling2mini
# llama.cpp / Llama App
llama serve -hf thinkingmachines/Inkling-2-Mini
# Docker
docker model run hf.co/thinkingmachines/Inkling-2-Mini
# vLLM (GPU servers)
vllm serve "thinkingmachines/Inkling-2-Mini"
推出首日支援的方案範圍異常廣泛:Ollama、llama.cpp、Unsloth(GGUF 量化)、MLX、SGLang、vLLM、Exo Labs、NVIDIA Dynamo、TokenSpeed 及 Docker Model Runner。Hugging Face 部落格提供 Transformers、採用投機解碼的 SGLang,以及 MLX 推理的可運行程式碼。
Mac 用戶快速開始:安裝 Ollama,然後執行
ollama run inkling2mini。設定就只有這些。模型只需下載一次(約 20GB),之後完全離線運行,無需 API 金鑰、帳戶或雲端連線。
社羣反應
社羣反應非常熱烈。發布後數小時內,Inkling 2 Mini 在 Hugging Face 排名第一,第二名則是 Unsloth 對同一模型進行的 GGUF 量化版本。
Soumith Chintala 在自己的 DGX Spark 和 Mac Mini 上測試後,寫道:「27B 的循環式 MoE,啟用 3B。可在配備 32GB 記憶體的機器上運行。評測結果大致與 Qwen 3.8 27B 一樣好。」他的帖文獲得 1,547 個讚,並引發一波獨立測試。
Hugging Face 行政總裁 Clement Delangue 發帖:「美國開源 AI 還未死」——他以 Inkling 2 Mini 證明,美國研發的開放權重模型也能在效率前沿與一直主導這一領域的中國實驗室競爭。
在 r/LocalLLaMA,這個有 454 則評論的討論串成了即時基準測試派對。用戶表示,模型成功在 M3 Max MacBook、RTX 4090 電腦,甚至二手雙 RTX 3060 組合上運行。98.5% 的正評比例——對模型發布而言相當罕見——反映用戶確實滿意,而非單純炒作。
Hacker News 討論串(1,260 分、253 則評論)深入探討了這種架構,特別關注能否在訓練後將循環機制應用於現有模型。
Thinking Machines 研究員 @cHHillee 指出:「一名研究員(及其代理)幾週時間中超過 10% 的投入」,便推動了大部分訓練工作;這個説法突顯了開發流程本身的效率。負責統籌首日框架整合的 Hugging Face 研究員 Merve Noyan 寫道:「循環機制看來如此直觀,我認為它會為其他開放模型開拓許多新方向。」
為何循環機制才是真正的創新
Inkling 2 Mini 是一個不錯的模型。但循環架構才是這次發布以外更值得關注的事。
過去一年,本地 LLM 社羣一直努力突破一個瓶頸:參數少於 30B 的模型質素有上限,在 Agent 工作場景中不夠可靠。常見的應對方法是混合專家模型(Mixture-of-Experts,MoE)——只啟用大型模型中的一小部分。但單靠 MoE 無法解決核心問題:每個 Token 仍然只會經過一次網絡運算。
循環機制改變了這種取捨。透過多次運行中間層,Inkling 2 Mini 在維持小型模型記憶體佔用的同時,取得大型模型般的推理深度。官方數據聲稱,循環版本只需非循環基準模型 60% 的推理運算量,便能達到相同的損失值。如果獨立測試證實這些數據,其他開放權重實驗室都會研究這種架構。
配套的可變迴圈模型對研究人員尤其有趣。它讓你可以在推理時調整迴圈次數——較難的問題用較多迴圈,簡單問題則用較少迴圈。初步測試顯示,串行推理效能在迴圈次數增至 10 次時仍持續提升,達訓練深度的兩倍,而且破壞行為沒有增加。這是一項新穎特性:模型無需重新訓練,就能在推理時以速度換取品質。
這對你有甚麼意義
如果你是用本機模型提供編碼協助的開發者,Inkling 2 Mini 值得即時一試。只需一行指令即可完成設定(ollama run inkling2mini),模型可在主流硬件上運行,而 Apache 2.0 授權亦允許商業用途。對於具 Agent 能力的編碼任務——例如 SWE-bench 類型的錯誤修復、程式碼生成和工具使用——它的表現不遜於同等規模級別的其他模型,甚至更佳。
如果你的工作需要大量研究或知識,則不妨再等等。事實回憶方面的差距確實存在,而模型在除錯任務中不斷循環、卻無法收斂的傾向,也是已知弱點。在多輪對話和遵循複雜約束方面,Qwen3.8-27B 等稠密模型仍然佔優。
如果你正在打造可在裝置上運行模型的產品,這種架構值得留意。循環機制是邊緣部署中很有吸引力的基本構件:它讓你可以推出一款小型模型,效能卻超越其規模所限,並根據可用硬件調高或調低品質。Apple Silicon 的統一記憶體令循環模型尤其吸引——同一記憶體池可同時供模型權重和中間激活值使用。
三件值得留意的事:
- 獨立基準測試。以上數字大多來自 Thinking Machines 自行進行的評估。在投入正式生產工作流程前,先等待社羣對 Terminal-Bench 和 Vals 進行評估。
- 循環式微調。能否在專門領域的數據上微調循環模型,同時不破壞迴圈動態?Tinker、SkyRL 和 Miles 已有初步支援,但社羣尚未對此進行壓力測試。
- 母模型。Inkling 2 Mini 是從一個尚未發布的內部 Inkling 模型蒸餾而成。那個母模型才是真正的能力上限。它何時推出——以及會否推出——將決定 Thinking Machines 是在建立競爭壁壘,還是讓所有人共享基本能力。
更大的格局
Futurum Group 報告指出,目前有 42% 的企業在正式環境中運行開放權重模型,較 2026 年 7 月的 31% 上升。但有 50% 的試點項目將自行託管成本列為障礙。一款在消費級硬件上以 20GB 提供接近前沿水平效能的模型,正好直接解決這個瓶頸。
對開放權重生態系統而言,Inkling 2 Mini 證明架構創新——而不只是擴大規模——也能推進效率前沿。循環式 Transformer 與 MoE、投機解碼及量化感知訓練並列,成為讓用戶可在已有硬件上實現本機推理的工具。
相關報道請參閲我們的2026 年本機運行 AI 指南、介紹M5 Ultra Mac Studio 作為本機推理設備的文章,以及我們較早前對Inkling 和 Kimi K3 推進開放權重模型前沿的報道。如果你對「本機模型已經夠好」這個論點感興趣,請參閲我們對Stanford 的 71% 研究結果的分析。
只限雲端運行與可在筆記簿型電腦上運行之間的差距又縮小了。這一次,原因在於架構,而不只是基準測試分數。
原文刊載於 ComputeLeap
來源:DEV Community · dev.to



