Prime Intellect 啟動 INTELLECT-2 全球分散式 32B 參數模型強化學習訓練
Prime Intellect 啟動 INTELLECT-2,展開 32B 參數模型的全球分散式強化學習訓練,並開放任何人無需許可地貢獻異構算力。訓練以 QwQ-32B 為基礎,採用 DeepSeek-R1 的 GRPO 方法,聚焦可驗證的數學與編碼任務,並以系統提示詞設定思考 token 預算。
Prime Intellect 啟動 INTELLECT-2,展開 32B 參數模型的全球分散式強化學習訓練,並開放任何人無需許可地貢獻異構算力。訓練以 QwQ-32B 為基礎,採用 DeepSeek-R1 的 GRPO 方法,聚焦可驗證的數學與編碼任務,並以系統提示詞設定思考 token 預算。
Prime Intellect 發佈 INTELLECT-2,稱這是首個透過全球分散式強化學習訓練的 32B 參數推理語言模型。訓練以跨異構運算節點的全非同步 RL 為核心,並配套推出 PRIME-RL、TOPLOC 和 SHARDCAST;模型、程式碼及數據均已開源,技術報告見 primeintellect.ai/intellect-2。
Goodfire Research 提出模型差分放大法,放大模型在後訓練前後的 logits 差異,以協助浮現罕見不良行為。實驗顯示,該方法令湧現失配回覆增加 10 至 300 倍;當資料集含 5% 不良醫療建議時,有害回覆由每 10,000 次抽樣 1 次增至每 30 次 1 次。研究亦把此法用於監察後訓練和偵測後門行為;作者指出,放大後的回覆頻率不代表模型行為的實際發生率。
Fireworks AI 宣佈 Training API 與 Fireworks Lab 正式開放,並讓團隊可接入自訂訓練迴圈。API 由 Fireworks 管理分散式訓練與 rollout 基礎設施,用戶可在 Python 中掌控訓練迴圈、損失或獎勵、資料及環境。
Prime Intellect 發佈開放數據集 SYNTHETIC-2,收錄 400 萬條經驗證的推理軌跡,涵蓋複雜強化學習任務。全球共有 1,253 張 GPU 參與生成;TOPLOC v2 的誤報率為 0.000925%,證明驗證中位成本跨模型平均比重新執行原始推理低 25 倍。
Fireworks AI 的文章梳理企業邁向專門化智能的路徑,從租用封閉式前沿模型、加入開源模型,逐步走到微調自有模型。在 UIPad 測試中,Kimi K3 與 GPT 5.6 Sol 整體同為 87.7 分,但 Kimi K3 執行成本為 $56,GPT 5.6 Sol 為 $115;按題型分流,可把座標題交給 Sol,其餘題目交給 K3。
Prime Intellect 擴大開源環境計劃,推出大型懸賞計劃並承諾投入數十萬美元資助開發者,目標是把開源環境擴展至數千個。過去兩個月,社羣透過懸賞和 RL Residency 匯集 400 多個前沿 RL 環境及評測,80 多個實作已接受審核,RL Residency 則有 500 多名申請者。
Prime Intellect 發佈 106B 參數的 INTELLECT-3 MoE 模型,並開源模型權重、訓練框架、數據集、RL 環境及評測。模型以 GLM-4.5-Air 為基礎,經 SFT 和 RL 訓練,使用 512 張 NVIDIA H200 GPU、分佈於 64 個互連節點,歷時兩個月。
Goodfire 與 Rakuten 合作研究以 SAE probes 偵測 Rakuten 的 AI 智能體用戶訊息中的 PII,Rakuten 已將該方法部署至生產環境。
Goodfire Research 提出以損失曲率辨識記憶方向的模型編輯方法,移除低曲率權重方向以抑制背誦,無需標註指定遺忘資料。在採用 10% 隨機標籤噪聲的 ViT 實驗中,噪聲標籤記憶率由 81.6% 降至 3.5%,驗證準確率則由 67% 升至 71.7%。語言模型的純記憶任務準確率降至原有水平的 3–16%,邏輯推理維持或略有改善,但算術和封閉式事實回憶較易受影響。
研究提出協方差池化,以 token 激活的截斷二階矩聚合基因組基礎模型的序列表示,保留均值池化忽略的特徵聯合結構。在 NTv3 的 Gene Ontology 預測及基因組軌道預測中,該方法表現大幅優於均值池化。它可透過重建二階矩學習低秩分解,生成定長嵌入,並用於有監督探測及無監督嵌入學習。
Prime Intellect 以 Llama 3.2-1B-Instruct 進行受控 RL 實驗,指出 reward hacking 是梯度動態問題,受可見獎勵與隱藏獎勵的競爭影響。
Goodfire Research 以探針式數據歸因追查 OLMo 2 7B DPO 訓練中出現的有害行為,移除相關數據後有害回應率下降 63%。方法以模型激活向量的餘弦相似度排序訓練樣本;交換排名靠前樣本的 accepted/rejected 標籤,可令有害回應率下降 78%。按數據來源移除四個問題最突出的模型生成的樣本,則可令有害回應率下降 84%。
Prime Intellect 宣佈加入 NVIDIA Nemotron Coalition,貢獻 2,500+ 個開放 RL 環境及後訓練工具,支援 Nemotron。
Prime Intellect 在 Prime Intellect Lab 開放 NVIDIA Nemotron 3 Ultra 的託管後訓練支援,涵蓋 RL 訓練、評測與推理部署。
Prime Intellect 為 prime-rl 新增演算法層,內建六種演算法並支援按環境選用,讓同一訓練執行可混用不同演算法。六種包括 GRPO、MaxRL、On-Policy Distillation、Self-Distillation、SFT distillation 和 ECHO;自訂演算法可沿用同一抽象實作,而毋須修改 trainer。
Prime Intellect 於 2026 年 7 月 8 日宣佈募集 $130M A 輪融資,由 Radical Ventures 領投,多家投資者參與。公司稱,累計融資額已超過 $150M,將用於建設涵蓋訓練、部署及持續改進的開放超級智能全棧。Prime Intellect 表示,其全棧已有超過 6k 名客戶使用,年化收入在不足一年內升至超過 $100m。
Prime Intellect 推出 verifiers 0.2.0,預覽重寫後的核心架構,將智能體訓練與評測環境拆分為 taskset、harness 及 runtime。
Suno 回應 RIAA 成員唱片公司於 6 月 24 日提起的訴訟,否認其音樂生成模型的訓練資料侵犯版權,並稱訴訟在事實和法律上均有缺陷。Suno 表示,其模型使用從開放互聯網找到的中、高質素音樂進行訓練,並主張學習音樂風格、模式與形式不構成侵權。公司稱,Suno 會檢查並阻止音訊上載中的受版權保護內容,也不允許用戶在生成音樂的要求中使用以藝人為基礎的描述,以鼓勵原創。
Zyphra Research 發現,非嵌入參數量介乎 5M 至 314M 的 GPT 式 Transformer,在多語言持續學習中會出現可塑性損失。研究提出縮放定律 T = 1.3 × 10^-5 · P^0.8269,預測可塑性損失的出現時間隨非嵌入參數量呈次線性增長,增加參數量的延後作用會遞減。研究亦在平穩學習中觀察到相似現象,表明可塑性損失並非只見於持續學習設定。
Zyphra Research 介紹 PUFFER,一套為持續增長的訓練語料設計的增量模糊去重系統,可逐批加入數據集而無須重建完整索引。
Replit 指出,企業要可靠採用 AI Agent,須先建立共享語義層及受治理的營運真相層,讓 Agent 依據一致的商業定義、指標和數據來源工作。其內部數據 Agent 將修正存入 git 儲存庫,經人工審核和驗證後供接觸數據的 Agent 共用;Replit 稱,該 Agent 每週回答遠超 1,000 個以數據倉庫為基礎的提問,並在答案中附上證據。
頁面內容稱此頁應重新導向 arXiv,卻未提供大型模型為何學得更多的研究內容或結論。頁面另列三項研究及其日期,並介紹 Silico 為可解釋性 Agent,以先進的可解釋性方法及基礎設施解釋、除錯並精確控制模型行為。
Goodfire Research 發佈 Predictive Data Debugging 研究,提出在訓練前預測偏好數據如何影響模型行為的方法。其預測與模型實際學到的結果達到 R² = 0.9,並可追溯至相關數據羣組。使用 Dolci 和 Tulu 3 數據集的案例顯示,DPO 可能削弱模型對部分有害請求的穩健性;以除錯數據訓練則可同時改善安全與效能。
Prime Intellect 在 verifiers 0.3.0 和 prime-rl 0.8.0 加入多智能體訓練與評估支援,並以 Agent 和 Env 抽象編排智能體互動。
Liquid AI 發佈 2.6B 參數的 LFM2.5-2.6B,這款智能體模型可完全在裝置端運行,支援規劃、工具調用及多步任務。基準測試中,它在所有指令遵循基準及幾乎所有工具使用基準領先對照模型,較大型模型則在編碼上佔優。CPU 解碼速度在 M5 Max 達 220 tokens/s、Ryzen AI Max+ 395 達 113 tokens/s,手機上為 30 tokens/s。
Prime Intellect 正式開放 Prime Sandboxes,提供以完整 Linux 虛擬機為基礎的沙盒,支援數萬個並發實例。服務可透過 CLI/SDK 獨立使用,亦整合 verifiers、prime-rl 和 Prime Tunnels;所有帳戶預設並發上限為 1,024。
Baseten Base Labs 以 Qwen3 模型測試持續將事實寫入權重,發現後續寫入會幹擾先前事實的提取;需要組合或抵受後續寫入的事實,透過上下文提供較可靠。連續寫入 20 次後,單句陳述訓練寫入的事實準確率為 1%,以廣泛學習資料寫入的事實則為 46%。研究亦發現,行為上被遺忘的事實仍保留大部分寫入所增加的對數概率;把被遺忘的研究事實放入提示詞後,相關問題準確率回升至 77–80%。
Baseten Base Labs 比較 Qwen3 不同規模先蒸餾再接受 GRPO 的效果,發現蒸餾在強化學習後的收益因模型大小和任務而異。經 80M RL response tokens 後,SFT + RL 在 0.6B、1.7B 和 4B 分別領先 11.3%、13.1% 和 2.1%,而 8B 則由 RL only 領先 6.4%。
LangChain 宣佈推出 LangSmith Fine-Tuning,開放用戶透過 smithtune 將 LangSmith traces 中成功的 runs 轉成監督式微調數據集,並在 Baseten Loops 訓練模型。
NAVER 在聖地亞哥舉行的 NeurIPS 2025 展示 9 篇研究論文及最新技術示範,研究聚焦效率、可控性與真實世界 AI。其中,KVzip 的記憶體節省幅度最高達 4 倍、速度提升接近 2 倍;CodeGEMM 令 70B 模型運行速度最高提升 8.93 倍。NAVER 亦提出 C-SEO Bench,並以開源方式發布數據集、程式碼及基準。
NAVER Cloud 的 Sommelier 論文於 ACL 2026 發表,提出供全雙工語音語言模型使用的多輪音訊預處理流程。Sommelier 開源流程包含説話者及發言時間標記、重疊語音還原,以及多個語音辨識模型輸出的交叉校驗。團隊以 83 小時對話資料進一步訓練全雙工 Moshi,插話內容回應評分由 0.765 升至 3.684,短回應頻率由 0.001 升至 0.052。
Thinking Machines Lab 與 NVIDIA 宣佈多年期戰略合作,計劃部署至少 1 吉瓦的下一代 Vera Rubin 系統,支援前沿模型訓練及大規模提供可自訂 AI 的平台。
Thinking Machines Lab 以經專家核驗的 BIRD-Platinum 資料進行 RLVR 微調 Kimi-K2.6,訓練出 text-to-SQL 模型 ReViSQL-K2.6。
Q Labs Research 提出 Dust,一種以模型中間表示擾動訓練 Transformer 語言模型、毋須反向傳播的零階最佳化方法。Dust 在每個 token 獨立加入擾動,令每個 token 成為虛擬族羣成員,並以一次前向傳播並行評估。
麥當勞在芝加哥聯邦法院面臨一宗擬議的全國性集體訴訟,原告指控其利用 AI 定價系統非法協調特許經營店與直營餐廳的餐單價格。訴狀稱,演算法以非公開數據訓練;路透社上週報道,定價引擎持續分析近 14,000 家門店每天數百萬筆交易數據。麥當勞否認 AI 設定餐品價格,稱指控屬主觀揣測、缺乏事實依據,並表示特許加盟商擁有定價決策權。
EDiS 提出圖神經網絡稀疏訓練框架,先一次性分解出可快取的邊不相交子圖,再按邊預算於各訓練週期重新組合。在相同邊預算下,EDiS 在 19 項同質、異質及大規模節點分類基準測試中比較 17 個基線,取得最高平均評分、最低平均排名及最小的與最佳結果差距。
KLPO 為大型語言模型智能體的非同步強化學習提出一種 KL 正則化策略優化框架,透過最小二乘法擬合採樣器軌跡的對數比率,不需重要性權重。它以每個提示詞一次 rollout 計算無評論家的更新,不需學習正規化器或為每個提示詞生成一組回應;SPPO、GPO、REBEL 和 BPO 均可視為 KLPO 的特例。
NP-OPD 在在策略蒸餾(OPD)中加入能力較弱的負向策略 rollout,為學生模型提供負向訊號,同時保留教師模型的正向監督。這種方法在 rollout 階段引入負向策略,而非修改蒸餾獎勵公式。實驗顯示,NP-OPD 在不同模型規模、生成模式、推理領域及 OPD 變體中均提升 OPD 表現,並能抑制負向策略偏好的 token,使學生模型遠離負向策略。
CDMD 提出無需訓練輔助 fake-score 網絡的無數據擴散蒸餾方法,並將樣本生成與速度估計統一於單一學生網絡。該方法只需一個凍結教師、一個可訓練學生及一個目標函數,在 ImageNet 256×256 上以 1 NFE 達到 2.04 FID,優於 DMD2 的 3.43 FID。以 4 NFEs 推理時,CDMD 達到 1.37 FID,接近教師的 1.35 FID。