跳到正文
gihyo.jp·· 9 小時前精選AI 評分76

Thinking Machines Lab 開放權重發佈 Inkling 2 Mini,以循環方式運行中間 12 層

Thinking Machines Lab、Macでも動くAIモデル「Inkling 2 Mini」をオープンウェイトで公開 ——中間の12層を3回通るTransformer

AI 導讀

Thinking Machines Lab 開放權重發佈 264 億參數的 Inkling 2 Mini,可由文字或圖片生成文字及程式碼。模型共 24 層,每個 token 會將中間 12 層依次運行 3 次,合計經過 48 層;每個 token 使用 34 億個參數,計入重用權重則合計 54 億個。

推薦理由

文章將 Inkling 2 Mini 與 Qwen3.8-27B、Gemma 4 31B 的單 token 參數用量及基準成績並列,方便比較循環層設計的計算取捨。

正文 · 原文

Thinking Machines Labは2026年11月20日、264億パラメーターのAIモデル「Inkling 2 Mini」[1]の重みを公開した。テキストや画像から文章やコードを生成でき、メモリーが32GB以上のAppleシリコン搭載Macでも動作する。1トークンを生成するたびに中間層の重みを繰り返し使い、層数を増やさずに計算を重ねる。狙いは、より少ないトークンで正しい答えにたどり着くことにある。

Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index. https://t.co/9HzaUMwghb

— Thinking Machines (@thinkymachines) November 20, 2026

研究チームは飛行機内で、MacBook Pro(M5 Pro、メモリー48GB)をインターネットに接続せずにMiniを動かした。この実演で、Miniは数分でフライトシミュレーターを作った。手元のMacでMiniを起動するコマンドは、Ollamaのモデルページで確認できる。Thinking Machines Labは、NVIDIAのデスクトップ機DGX Sparkも対応環境に挙げている。

同社はApache License 2.0のもと、モデルの重みをHugging Faceで配布している。学習時から最初の20層に4ビット形式のNVFP4を、最後の4層に8ビット形式のMXFP8を使っている。配布時もこの形式を保ち、重みの容量は合計約20GBになる。手元で動かすほか、同社の開発者向けサービスTinkerのAPIを通じて推論やファインチューニングもできる。

24層分の重みで延べ48層を通る仕組み

Inkling 2 MiniのTransformerは24層からなる。最初の6層を通った後、中間の12層を順に通る処理を3回行い[3]、最後の6層に進む。中間の各層では、3回とも同じ重みを使う。こうして24層分の重みで、1トークンにつき延べ48層を通る。

各層には「エキスパート」と呼ばれる複数のネットワークがある。Miniは、トークンごとに計算を担当するエキスパートを選ぶMixture of Experts(MoE)方式を採用している。学習開始時には各層に384個のエキスパートがあり、トークンごとに8個を選んでいた。開発チームはモデルを小さくするため、学習の途中で各層のエキスパートを使用頻度の高い128個にしぼった。

開発チームはその後、より大きな社内のInklingモデルの出力を使って、Miniの学習をさらに1兆トークン分続けた。同社によると、この蒸留によってMiniは削減前の性能を取り戻した。

公開版では、各層に残った128個のうち8個を使ってトークンを処理する。モデルカードによると、全24層を1回ずつ通るのに使うパラメーターは、1トークン当たり34億個。中間の12層をさらに2回通り、そのたびに約10億個分の重みを再利用する。この2回分を含めると、延べ54億個になる。

同社は、中間層を通る回数を変えられる研究用モデルも公開した。研究チームは、このモデルに同じ科学問題を解かせ、中間層を通る回数によって推論文の長さがどう変わるかを調べた。1回から5回までのどの設定でも正解した問題に絞ると、推論文の長さは、5回の設定では平均で1回の設定の半分以下だった[2]。

同規模のモデルと性能を比較⁠、DeepSWEで開発課題の48.2%を解決

同社が性能を比較したモデルのうち、Qwen3.8-27BとGemma 4 31Bは総パラメーター数がMiniに近い。どちらも各層を1回ずつ通り、1トークンの処理にすべてのパラメーターを使う。

モデル 総パラメーター数[4] 1トークンの処理に使うパラメーター数
Inkling 2 Mini 264億 34億(ループで再利用する分を含めると延べ54億)
Qwen3.8-27B 270億 270億
Gemma 4 31B 307億 307億

公式モデルカードから、3モデルの主なベンチマーク結果を次の表にまとめた。AA Indexは複数のテスト結果をまとめた総合スコアで、値が高いほど成績がよい。ほかの項目は%で示す。

ベンチマーク Inkling 2 Mini Qwen3.8-27B Gemma 4 31B
AA Index v5.0(総合指標) 20.1 20.1 4.4
DeepSWE v1.1 48.2 42.2 0.3
FrontierCode v2.0 15.1 14.9 0.0
Terminal Bench v4.0[5] 5.6 5.6 0.0
Terminal Bench v2.1 71.6 73.0 43.4
Terminal Bench Science v0.1 1.4 0.5 0.0
BrowseComp(Web検索) 79.0 61.6 37.0
ScreenSpot Pro(画面上の操作対象の特定、Pythonなし) 76.5 57.6 5.9
Humanity’s Last Exam(テキスト問題のみ) 30.7 33.9 23.6
HLE-Diamond 15.2 15.3 7.2

金融、ソフトウェア開発、法律、税務の業務課題を評価するVals Index v2.2では、Miniは46.5%を記録した。Thinking Machines Labは、総パラメーター数が1,000億未満のオープンウェイトモデルの中で、MiniはDeepSWE v1.1とVals Index v2.2のいずれでも首位だったことを報告している。

來源:gihyo.jp · gihyo.jp