Thinking Machines Lab 開放權重發佈 Inkling 2 Mini,以循環方式運行中間 12 層
Thinking Machines Lab、Macでも動くAIモデル「Inkling 2 Mini」をオープンウェイトで公開 ——中間の12層を3回通るTransformer
Thinking Machines Lab 開放權重發佈 264 億參數的 Inkling 2 Mini,可由文字或圖片生成文字及程式碼。模型共 24 層,每個 token 會將中間 12 層依次運行 3 次,合計經過 48 層;每個 token 使用 34 億個參數,計入重用權重則合計 54 億個。
文章將 Inkling 2 Mini 與 Qwen3.8-27B、Gemma 4 31B 的單 token 參數用量及基準成績並列,方便比較循環層設計的計算取捨。
Thinking Machines Labは2026年11月20日、264億パラメーターのAIモデル「Inkling 2 Mini」[1]の重みを公開した。テキストや画像から文章やコードを生成でき、メモリーが32GB以上のAppleシリコン搭載Macでも動作する。1トークンを生成するたびに中間層の重みを繰り返し使い、層数を増やさずに計算を重ねる。狙いは、より少ないトークンで正しい答えにたどり着くことにある。
Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index. https://t.co/9HzaUMwghb
— Thinking Machines (@thinkymachines) November 20, 2026
研究チームは飛行機内で、MacBook Pro(M5 Pro、メモリー48GB)をインターネットに接続せずにMiniを動かした。この実演で、Miniは数分でフライトシミュレーターを作った。手元のMacでMiniを起動するコマンドは、Ollamaのモデルページで確認できる。Thinking Machines Labは、NVIDIAのデスクトップ機DGX Sparkも対応環境に挙げている。
同社はApache License 2.0のもと、モデルの重みをHugging Faceで配布している。学習時から最初の20層に4ビット形式のNVFP4を、最後の4層に8ビット形式のMXFP8を使っている。配布時もこの形式を保ち、重みの容量は合計約20GBになる。手元で動かすほか、同社の開発者向けサービスTinkerのAPIを通じて推論やファインチューニングもできる。
24層分の重みで延べ48層を通る仕組み
Inkling 2 MiniのTransformerは24層からなる。最初の6層を通った後、中間の12層を順に通る処理を3回行い[3]、最後の6層に進む。中間の各層では、3回とも同じ重みを使う。こうして24層分の重みで、1トークンにつき延べ48層を通る。
各層には「エキスパート」と呼ばれる複数のネットワークがある。Miniは、トークンごとに計算を担当するエキスパートを選ぶMixture of Experts(MoE)方式を採用している。学習開始時には各層に384個のエキスパートがあり、トークンごとに8個を選んでいた。開発チームはモデルを小さくするため、学習の途中で各層のエキスパートを使用頻度の高い128個にしぼった。
開発チームはその後、より大きな社内のInklingモデルの出力を使って、Miniの学習をさらに1兆トークン分続けた。同社によると、この蒸留によってMiniは削減前の性能を取り戻した。
公開版では、各層に残った128個のうち8個を使ってトークンを処理する。モデルカードによると、全24層を1回ずつ通るのに使うパラメーターは、1トークン当たり34億個。中間の12層をさらに2回通り、そのたびに約10億個分の重みを再利用する。この2回分を含めると、延べ54億個になる。
同社は、中間層を通る回数を変えられる研究用モデルも公開した。研究チームは、このモデルに同じ科学問題を解かせ、中間層を通る回数によって推論文の長さがどう変わるかを調べた。1回から5回までのどの設定でも正解した問題に絞ると、推論文の長さは、5回の設定では平均で1回の設定の半分以下だった[2]。
同規模のモデルと性能を比較、DeepSWEで開発課題の48.2%を解決
同社が性能を比較したモデルのうち、Qwen3.8-27BとGemma 4 31Bは総パラメーター数がMiniに近い。どちらも各層を1回ずつ通り、1トークンの処理にすべてのパラメーターを使う。
| モデル | 総パラメーター数[4] | 1トークンの処理に使うパラメーター数 |
|---|---|---|
| Inkling 2 Mini | 264億 | 34億(ループで再利用する分を含めると延べ54億) |
| Qwen3.8-27B | 270億 | 270億 |
| Gemma 4 31B | 307億 | 307億 |
公式モデルカードから、3モデルの主なベンチマーク結果を次の表にまとめた。AA Indexは複数のテスト結果をまとめた総合スコアで、値が高いほど成績がよい。ほかの項目は%で示す。
| ベンチマーク | Inkling 2 Mini | Qwen3.8-27B | Gemma 4 31B |
|---|---|---|---|
| AA Index v5.0(総合指標) | 20.1 | 20.1 | 4.4 |
| DeepSWE v1.1 | 48.2 | 42.2 | 0.3 |
| FrontierCode v2.0 | 15.1 | 14.9 | 0.0 |
| Terminal Bench v4.0[5] | 5.6 | 5.6 | 0.0 |
| Terminal Bench v2.1 | 71.6 | 73.0 | 43.4 |
| Terminal Bench Science v0.1 | 1.4 | 0.5 | 0.0 |
| BrowseComp(Web検索) | 79.0 | 61.6 | 37.0 |
| ScreenSpot Pro(画面上の操作対象の特定、Pythonなし) | 76.5 | 57.6 | 5.9 |
| Humanity’s Last Exam(テキスト問題のみ) | 30.7 | 33.9 | 23.6 |
| HLE-Diamond | 15.2 | 15.3 | 7.2 |
金融、ソフトウェア開発、法律、税務の業務課題を評価するVals Index v2.2では、Miniは46.5%を記録した。Thinking Machines Labは、総パラメーター数が1,000億未満のオープンウェイトモデルの中で、MiniはDeepSWE v1.1とVals Index v2.2のいずれでも首位だったことを報告している。
來源:gihyo.jp · gihyo.jp