Thinking Machines Lab 開放權重發佈 Inkling 2 Mini,以循環方式運行中間 12 層
Thinking Machines Lab、Macでも動くAIモデル「Inkling 2 Mini」をオープンウェイトで公開 ——中間の12層を3回通るTransformer
Thinking Machines Lab 開放權重發佈 264 億參數的 Inkling 2 Mini,可由文字或圖片生成文字及程式碼。模型共 24 層,每個 token 會將中間 12 層依次運行 3 次,合計經過 48 層;每個 token 使用 34 億個參數,計入重用權重則合計 54 億個。
文章將 Inkling 2 Mini 與 Qwen3.8-27B、Gemma 4 31B 的單 token 參數用量及基準成績並列,方便比較循環層設計的計算取捨。
Thinking Machines Lab 於2026年11月20日公開了擁有264億個參數的AI模型「Inkling 2 Mini」[1]的權重。模型可根據文字或圖片生成文章和程式碼,亦可在記憶體至少32GB的 Apple silicon Mac 上運行。每生成一個 token,模型便會重複使用中間層的權重,在不增加層數的情況下增加計算量。目標是用較少 token 得出正確答案。
有些人認為 Inkling 2 Small 的參數量達594B,實在太大。我們聽到了大家的意見:Inkling 2 Mini 是一款循環式 Transformer,只有26B個參數,小巧得足以在手提電腦上運行,效能亦足以應付 Agent 工作,在 AA Index 上取得20.1分。 https://t.co/9HzaUMwghb
— Thinking Machines (@thinkymachines) November 20, 2026
研究團隊曾在飛機上,於沒有連接互聯網的情況下,在配備 M5 Pro 和48GB記憶體的 MacBook Pro 上運行 Mini。示範中,Mini 在數分鐘內製作出一個飛行模擬器。要在本機 Mac 上啟動 Mini,可在Ollama 的模型頁面查看指令。Thinking Machines Lab 亦把 NVIDIA 桌面電腦 DGX Spark 列為支援的環境。
該公司根據 Apache License 2.0,在Hugging Face發布模型權重。模型從訓練開始,便在最初20層使用4位元格式 NVFP4,在最後4層使用8位元格式 MXFP8。發布時亦保留這些格式,權重總容量約為20GB。除了在本機運行,亦可透過該公司的開發者服務 Tinker API 進行推理和微調。
以24層的權重累計通過48層
Inkling 2 Mini 的 Transformer 由24層組成。通過最初6層後,會依次通過中間12層,並重複這個過程3次[3],然後進入最後6層。中間各層在這3次過程中都使用相同的權重。如此一來,模型只需24層的權重,每個 token 卻會累計通過48層。
每層都有多個稱為「專家」的網絡。Mini 採用 Mixture of Experts(MoE)方式,按每個 token 選擇負責計算的專家。訓練開始時,每層有384個專家,並會按每個 token 選取8個。為了縮小模型,開發團隊在訓練途中把每層的專家數目縮減至使用頻率最高的128個。
其後,開發團隊使用規模較大的內部 Inkling 模型所生成的輸出,讓 Mini 再進行1萬億個 token 的訓練。該公司表示,透過蒸餾,Mini 恢復了縮減前的效能。
發布版本會使用每層保留的128個專家中的8個來處理 token。根據模型卡,每個 token 通過全部24層各一次時,會使用34億個參數。模型會再通過中間12層兩次,每次重用約10億個參數的權重。計入這兩次後,合共為54億個參數。
該公司亦公開了研究用模型,可調整通過中間層的次數。研究團隊讓模型解答相同的科學問題,並研究通過中間層的次數如何影響推理文字的長度。只計算在1至5次的所有設定下都答對的問題,5次設定下的推理文字平均長度不到1次設定的一半[2]。
與同等規模模型比較、在 DeepSWE 中解決48.2%的開發任務
在該公司用作比較的模型中,Qwen3.8-27B 和 Gemma 4 31B 的總參數量與 Mini 相近。兩者都會讓每一層各運行一次,並在處理每個 token 時使用全部參數。
| 模型 | 總參數量[4] | 處理一個 token 所用的參數量 |
|---|---|---|
| Inkling 2 Mini | 264億 | 34億(計入循環重用部分後,合共54億) |
| Qwen3.8-27B | 270億 | 270億 |
| Gemma 4 31B | 307億 | 307億 |
根據官方模型卡,以下表格整理了3個模型的主要基準測試結果。AA Index 是綜合多項測試結果的評分,分數越高代表成績越好。其他項目以%表示。
| 基準測試 | Inkling 2 Mini | Qwen3.8-27B | Gemma 4 31B |
|---|---|---|---|
| AA Index v5.0(綜合指標) | 20.1 | 20.1 | 4.4 |
| DeepSWE v1.1 | 48.2 | 42.2 | 0.3 |
| FrontierCode v2.0 | 15.1 | 14.9 | 0.0 |
| Terminal Bench v4.0[5] | 5.6 | 5.6 | 0.0 |
| Terminal Bench v2.1 | 71.6 | 73.0 | 43.4 |
| Terminal Bench Science v0.1 | 1.4 | 0.5 | 0.0 |
| BrowseComp(網頁搜尋) | 79.0 | 61.6 | 37.0 |
| ScreenSpot Pro(識別畫面上的操作對象,不使用 Python) | 76.5 | 57.6 | 5.9 |
| Humanity’s Last Exam(僅文字問題) | 30.7 | 33.9 | 23.6 |
| HLE-Diamond | 15.2 | 15.3 | 7.2 |
在評估金融、軟件開發、法律及税務業務任務的Vals Index v2.2中,Mini 得分為46.5%。Thinking Machines Lab 表示,在總參數量少於1,000億的開放權重模型中,Mini 在 DeepSWE v1.1 和 Vals Index v2.2 上均排名第一。
來源:gihyo.jp · gihyo.jp