Micron 財報數據顯示 HBM4 同重量價值約為黃金的 15X 至 18X
The Next Platform 根據 Micron 財報和成本估算指出,HBM4 同重量的價值約為黃金的 15X 至 18X。文章估計 12 層 HBM 堆疊約重四分之一克、成本約 $500 至 $600;按黃金每金衡盎司 $4,176 計算,HBM4 每金衡盎司約值 $62,500 至 $75,000。
The Next Platform 根據 Micron 財報和成本估算指出,HBM4 同重量的價值約為黃金的 15X 至 18X。文章估計 12 層 HBM 堆疊約重四分之一克、成本約 $500 至 $600;按黃金每金衡盎司 $4,176 計算,HBM4 每金衡盎司約值 $62,500 至 $75,000。
這項研究探索以無注意力機制的 Multi-Mesh 語言模型及模組化核心,分開研究語言模型的記憶、程序執行與上下文計算。模型以約 28.6 billion 個預測目標訓練;模組化核心約有半十億個參數,記憶在讀取審核中的 token 重構準確率約為 75%。研究團隊已釋出檢查點及部分研究程式碼,供檢視和進一步實驗。
研究提出檢索中心深度學習(RCDL),讓神經網絡在訓練期間為每個數據點儲存一組新的鍵值表示,並在推理時透過注意力機制檢索及重組。研究為基於徑向基函數(RBF)及類 softmax 核的核化注意力層建立功能梯度學習規則,並在圖像分類及合成教師-學生學習任務中展示其表現與學習效率。
Harness-Aware Distillation(HAD)聚焦蒸餾教師模型在 harness 之外提供的能力,讓小型語言模型智能體學習如何正確運用 harness 資訊。HAD 在 on-policy 蒸餾上加入動作偏好比較和有效性檢查,無需任務獎勵、成功標籤或未來資訊。多項長時程智能體基準測試顯示,在相同固定 harness 下,HAD 優於 on-policy 蒸餾基線。
研究提出兩階段訓練框架,先以評分準則特權的 on-policy distillation(RP-OPD)提供逐 token 監督,再以 RL 直接優化評分準則獎勵。
研究在 1.7B 級模型中,以固定的 16 維二進制向量取代可訓練輸入嵌入表,並將向量按模型寬度重複,且不加入可訓練輸入投影。模型仍具備相當的語言建模能力,但可訓練輸入嵌入的對照模型在多項主要基準測試中表現較佳。詞彙表包含 49,152 個 token;每種介面只進行一次訓練,輸出頭仍可訓練。
研究提出一套結合偏好獎勵與評分規準獎勵的後訓練方法,用於開放領域文生圖模型,並以獎勵組合策略平衡偏好最佳化與規準滿足。在 Arena 文生圖排行榜上,經強化學習訓練的 Flux2dev 比基礎模型高 69 Elo 分,後訓練的 Ideogram-4 則以 1223.5 Elo 超越排行榜上的所有開源模型。研究亦釋出 Arena-T2I-Training,包含 1K 筆訓練資料子集。
研究從強化學習角度指出,on-policy 知識蒸餾(OPD)可提升語言模型後訓練表現,但亦可能造成過長、重複的生成。OPD 放大教師隱含回饋偏好的學生行為;當偏好與品質不一致時,會出現 reward hacking,但不會擴展學生模型的能力。訓練時屏蔽不健康回應及採用 SFT 初始化,均可有效減輕崩潰。
FastOPD 提出一套以高效策略內蒸餾將大型 VLA 模型部署到輕量化模型的框架。在 LIBERO 上,模型只需兩個推理步驟,便保留 π_{0.5} 84% 的效能,並將推理延遲降低 78.1%。以 LingBot-VLA 為教師模型時,FastOPD 在 RoboTwin 2.0 上的單步成功率較基礎學生模型高 15.9 個百分點。
研究提出以 MoE 路由器輸出作為對齊目標,為僅解碼器大語言模型進行跨語言對比學習。在 4 個開源 MoE 上進行受控的持續預訓練實驗顯示,加入路由損失可對齊不同語言的底層隱藏表徵,並提升多語言評測表現。
這項研究在一項涵蓋六種語言、針對個人身份識別資訊的基準測試中,量度更換參考標註對固定系統輸出評分的影響。更換參考標註後,兩個輸出的 F1 分數分別變動 4.95 和 2.00 點,最差語言變動 7.55 點;兩個輸出的配對交互效應為 +2.95 點。研究將差異追溯至未記錄的彙總預設,並展示如何用既有標註紀錄計算參考敏感度區間,建議把它與分數一併報告。
研究提出 Protein Latent Language(PLL)和 Structure Latent Language(SLL)兩種學習所得的蛋白質潛在語言,並分別以其 token 預訓練自回歸 Transformer,形成 PLLM 和 SLLM。
COSMI結合由單物體捕捉組成的數據集與文字轉交互模型,用於生成多物體人與物件交互。數據集包含222k段序列、275小時的數據,最多涵蓋5件物件,規模接近最大的已捕捉多物體數據集的30倍。30M參數的擴散 Transformer 在基準測試中於文字對齊和接觸準確度領先,尤其在未見物件上;程式碼、模型和數據集流程將會發布。
Modal 宣佈 Modal Clusters 正式向所有工作區開放,用戶可透過單一 decorator `@modal.clustered` 啟動多節點叢集,並按秒付費。
Richard Sutton 在《苦澀的教訓》中指出,長期而言,能持續利用更多計算的通用方法往往勝過人工編碼的領域知識。國際象棋、圍棋、語音識別和電腦視覺的發展都呈現相似轉變。文章強調,搜索和學習是能隨算力增加而持續進步的核心方法。
iADD 提出以增量 Feynman-Kac 訓練為基礎的擴散模型策略最佳化方法,以改善對齊與多樣性的取捨。理論分析指出,僅更新較後期時間步可能損害多樣性,與先前研究的結論相反。研究在三項不同任務中將方法與相關方法比較,並以各組件消融實驗驗證其在對齊和多樣性方面均有性能提升。
研究提出「數學原語」概念及一項基準,用四個維度評估大型語言模型的數學推理,並以原語優先自蒸餾框架修復推理失誤。診斷發現,Discovery 是主要瓶頸,解題準確率亦會掩蓋不同的能力組合。實驗顯示,該框架在不同模型規模及具挑戰性的基準上,均較基線改善數學推理表現。
論文提出 DMAD,以判別器分類方式進行分佈匹配蒸餾,直接學習對數密度比,省去輔助分數擬合。在 ImageNet-64x64 上,DMAD 一步生成的 FID 為 1.04;四步 SDXL 在 COCO-10K 的 FID 為 14.47,四步 Wan2.1-T2V-14B 的 VBench 總分為 85.15,均為文中比較的少步方法及多步教師模型中的最佳成績。
研究測試六種涵蓋 DNA、蛋白質及單細胞任務的生物推理模型,發現不同模型對生物基礎模型表示及生物文本的依賴程度不一。Evo2 和 ESM3 對 BioReason 及 BioReason-Pro 的評測表現貢獻有限;證據衝突時,兩者分別在 97.9% 和 99.7% 的情況下跟隨文本,而非生物基礎模型表示。
Hugo Bowne-Anderson、Luca Fiaschi 和 Thomas Wiecki 提出數據科學智能體工作指南,涵蓋任務界定、環境配置、實驗組織、結果審核及經驗沉澱。
OpenAI 挫敗一場旨在提取受保護模型推理過程的協同蒸餾行動。該公司正加強防禦,以應對對抗性蒸餾。
數據公司估值快速攀升,成立未滿一年的公司中已有 UniPat 估值達25億美元,另有若干家公司估值3-8億美元。數據商透過採集專家解題軌跡,或製作包含任務、運行環境和評分準則的 RL environment,為模型提供訓練材料;文章指出模型公司現時更重視數據交付的速度、數量和供應商關係。這個行業尚無公認驗收標準,模型公司通常先抽檢,再從小額訂單逐步建立合作信任。
Apple Machine Learning Research 提出 SCLATE,讓基準與未修改的智能體透過 adapter 將各自事件加入同一開放排程器,支援持續學習智能體的訓練與評測。
研究指出,基於評分規準的強化學習以加權總和匯總各項評分時,模型可能透過不相關建議補回關鍵決策失誤的分數,出現評分提高、回答品質下降。研究提出 Protocol-Level Rubrics(ProRubric),將評分項目分組,只有同組條件全部符合且未觸發失敗條款才計分。ProRubric 提高回答適切度 10.8 分而不損失覆蓋率,並在兩種規模下取得七項基準的最高平均分。
ReSAIL 以軌跡平衡選擇性蒸餾和特權資訊保留兩項組件,緩解迭代式智能體自我蒸餾中的崩塌。使用 Qwen3-4B 和 Qwen3-8B,在 ALFWorld 和 TextCraft 上連續三個部署週期維持效能提升;第三個週期的成功率平均較相應 SDPO/OEL 基線高 22.5 個百分點。程式碼、訓練及評估腳本和模型檢查點均已公開。
一項以金融風險文本進行的研究發現,生成內容的來源歸因準確率由原文的 98.7%,在改寫後降至 53.1%,風格重寫後則降至 29.0%。研究比較按來源資訊及參考模型評分選取生成樣本,未檢測到兩種方法對模型退化造成穩定差異,顯示辨認數據來源與判斷其訓練價值是不同問題。
JEPA-TTT 透過在測試期間持續自我監督更新預訓練世界模型的潛在動力學預測器,適應測試時與訓練時不同的環境動力學。在 4 個連續控制環境的 8 種動力學轉變中,JEPA-TTT 均改善規劃表現;經 500 個測試回合後,潛在自回歸預測誤差平均降低 83%,規劃表現較凍結的 JEPA 世界模型提升 153%。
GroundingPI 是一個 4B 定位基礎模型,在涵蓋 11 項感知能力的 34 個定位基準上平均得分 73.68%,高於 GPT-6 Astra 的 71.54%。
NVIDIA 發佈開放式表格基礎模型 Kumo Tabular,用於表格分類與回歸,可根據帶標籤的上下文列,在單次前向傳播中預測新列標籤,無需訓練、調參或特徵工程。
推薦理由:文章列出四項基準的結果,並以梯度提升樹、AutoGluon 等方法作對照,為表格預測模型的效能評估提供具體比較參照。
ResOPD 提出一種稀疏 on-policy 知識蒸餾方法,利用教師模型的 Top-k 機率精確計算粗略梯度,並只對尾部殘差取樣,無需額外教師前向傳播。論文報告,在數學推理任務中,Qwen3.5-27B 蒸餾至 Qwen3.5-4B 的平均分為 50.12%,高於 HETS 的 45.72%。程式庫提供核心實作及與 verl 的整合。
研究團隊構建 VIGOR-his 數據集,並提出 CrossTimeEdit,以獎勵引導編輯生成歷史街景。數據集涵蓋三大洲 11 個城市的 43,653 個位置級四元組;CrossTimeEdit 在三項編輯準則上的整體表現較預訓練基線提升 17.12%。程式碼、數據集及模型權重均已提供。
PR-OPD 是一種面向智能體強化學習的在策略自我蒸餾方法,透過對齊策略自身回應的隱藏狀態來利用技能資訊。在 ALFWorld 和 WebShop 的所有測試設定中,PR-OPD 均取得最佳整體結果,較 GRPO 分別最多提升 4.7 個百分點和 14.0 個百分點。此方法以 GRPO 預熱,無需外部技能庫或獨立教師,也沒有推理開銷。
研究提出在策略機制蒸餾(OPMD),將與學生架構相容的教師模型中間計算納入蒸餾,使監督由輸出延伸至機制層面。在三種教師—學生設定中,OPMD 的平均準確率均居受評蒸餾基線之首,並可推廣至多教師蒸餾及跨系列監督式微調。
TIPS 是一種僅依賴結果的強化學習框架,透過訓練生成式過程獎勵模型,從結果標籤誘導步驟級驗證,毋須明確提供過程監督。
研究發現,在策略蒸餾(OPD)的遷移效果受提示詞數量、來源和選擇影響,提示詞效用亦取決於教師—學生模型組合及目標任務。僅以“What is 1+1?”作為訓練提示詞,Qwen3-4B 的數學評分由 15.47% 升至 47.93%,接近教師的 48.33%;訓練仍包含反覆學生生成和教師監督。均勻隨機抽樣仍具競爭力,針對性選取未能持續改善遷移效果。
Samsung 與 SK Hynix 正深化與美國企業的合作,爭奪美國 AI 基建供應鏈中更重要的位置;兩家公司合計控制全球 83% 的記憶體晶片市場。過去一年,Samsung 的市場份額增至兩倍以上,並與 Nvidia、OpenAI 建立新合作;SK Hynix 則在印第安納州興建 $4 billion 先進封裝設施。
MIT研究團隊利用AI算法優化脂質納米粒(LNP)配方,提升RNA疫苗耐熱穩定性。新配方使疫苗在室温下穩定保存一年,或在37°C(98°F)保存兩個月;接種這些顆粒的小鼠產生了與使用類似Moderna原配方疫苗的小鼠相當的免疫反應。研究人員以算法分析近50種FDA批准賦形劑,從五種候選物中迭代預測配比,經數輪細胞測試後在數週內選出供動物測試的配方。
IDU(Data Unlearning via Inverse Distillation)是一種結合選擇性資料遺忘與單步生成的框架,訓練單步學生模型抑制指定資料子集,同時保留對其餘資料的生成品質。訓練只需提供要遺忘資料的樣本,毋須保留資料的訓練圖片或額外分類器。研究在 MNIST 和 CIFAR-10 上進行評估,結果顯示模型能有效抑制指定類別,並維持具競爭力的生成品質。
研究首次探討混合注意力對大語言模型多語言能力的影響,並發現跨語言表徵模式與循環層及完整注意力層的排列有關。多語言數據蒸餾實驗顯示,所有替代層排列在整個訓練過程均優於標準排列,學習速度最高快 2.5X。研究據此提出,多語言模型或可由完整注意力層而非循環層開始。
研究者在 5 個大語言模型及 6 項可驗證獎勵任務上研究 RLVR,發現其增益與激活空間中的低維有效流形相關。他們提出即插即用框架 Alpha-Stabler,監察主成分子空間侵入並移除反向傳播時激活梯度中的相關分量,使訓練穩定達 2,000 步,並持續提升 RL 增益。
最多提供 50 頁,更早的內容請使用搜尋或主題頁。