Frontier Pre-Training, AI Hardware Hacking, and Legal Precedents
Microsoft AI 分享前沿預訓練的見解,重點包括提升 token 效率、優化運算與智能比例,以及以合成資料應對資料瓶頸。AI 推理可協助逆向分析硬件;丹麥最高法院則裁定,AI 生成的 CSAM 在法律上等同真實 CSAM。文章亦提及 Anthropic 的 Scion、Simons Foundation 的 $15M 計劃。
Microsoft AI 分享前沿預訓練的見解,重點包括提升 token 效率、優化運算與智能比例,以及以合成資料應對資料瓶頸。AI 推理可協助逆向分析硬件;丹麥最高法院則裁定,AI 生成的 CSAM 在法律上等同真實 CSAM。文章亦提及 Anthropic 的 Scion、Simons Foundation 的 $15M 計劃。
Microsoft 宣佈 MAI-Base-2;AI 行政總裁 Mustafa Suleyman 稱,其預訓練基礎模型強於目前支援 GPT 5.6 Sol 的模型,訓練所用計算量僅為 OpenAI 訓練該模型的四分之一。
作者探討以自監督時間模式挖掘無標註多變量時間序列數據,支援碳負排放基礎設施的海岸氣候韌性規劃。實驗發現,配合領域知識增強的對比學習效果最佳,能保留具物理意義的模式並減少感測器漂移和校準雜訊的幹擾;一般增強方法則可能抹去平靜潮汐與風暴潮的差異。
Thinking Machines Lab 的 Tinker 推出一年,以後訓練 API 讓用戶運用自有數據打造自訂模型。平台由最初的千問(Qwen)和 Llama 14 款文字模型,擴展至其後新增逾 20 款模型,涵蓋 4B 至 1T 參數。Tinker 管理 GPU 和檢查點,用戶掌控數據及訓練流程;平台不會以客戶內容訓練模型。
OfficeTown 是一個生成式模擬框架,建立持續運作的專業組織,為 AI 智能體生成以工作為基礎的訓練數據和評測基準。OfficeTown Bench 涵蓋 23 個模擬組織、8 個專業領域,共有 406 項任務和 4,836 項評測準則。
研究提出 LM2LM,以凍結的研究世界模型(RWM)預測改進提案的收益,作為強化學習獎勵,訓練語言模型生成語言模型改進方案。系統會定期實際執行 RWM 排名靠前的提案,並把測得結果加入其上下文,以維持回饋可靠性。
RAP 提出以論文生成會議海報的數據集及基準,將任務視為視覺編碼,收錄 25K+ 組經核驗的論文、海報及標記語言配對,並設有 150 篇測試論文的基準。PosterRAG 以免訓練的多智能體流程檢索範例並填入內容欄位;研究亦以 SFT+RL 配方訓練專用模型。
MaSS 框架透過分離結構表徵與上下文特徵,並採用場景結構判別目標,提升自監督單目深度估計在多樣場景中的可擴展性。在四個數據集上的單獨及聯合訓練與評估中,MaSS 大幅勝過以往方法,並持續受益於混合領域訓練。在另外八個數據集的零樣本評估中,MaSS 亦展現出良好的泛化能力,程式碼已公開。
Self-HPO 提出交替優化 harness 與策略的編碼智能體自我改進框架,並以強化學習針對不斷演變的失敗模式提升表現。在三項編碼基準上,Qwen3.5-35B-A3B 的平均解決率由 57.8% 升至 64.8%,增益亦可泛化至分佈外設定。使用外部模型 Opus 4.8 作為 harness 提案者,可進一步提升表現。
過度擬合指 AI 模型過度貼合訓練數據,可能在訓練樣本得分 99%,卻無法將所學泛化至未見數據。模型容量相對數據過大、訓練資料不足或不具代表性、訓練過久,以及標籤噪聲和偶然模式,都可能助長過度擬合。訓練表現持續改善,不代表未見數據上的表現同步提升。
Microsoft AI 已完成 MAI-Base-2 預訓練,這是一個有 80 billion 個啟用參數、2.8 trillion 個總參數的 MoE 基礎模型。
Argonne 團隊將基因關聯分析套件 SAIGE 改寫為 SAIGE-GPU,令原本需約 481,000 CPU-core hours 的分析得以執行。研究分析了 635,969 名退伍軍人的 2,068 項特徵,找出 13,672 個與一種或多種疾病相關的基因組區域。近三分之一參與者並非歐洲血統,約 1,600 個關聯只在合併不同羣體的分析結果後才浮現。
Prime Intellect 與 NVIDIA 以 GRPO 後訓練 Nemotron 3.5 Super VL,令其 AutomationBench-AA 公開分數由 34.0% 升至 57.7%。訓練使用 2,500 個經驗證的企業工作流任務,在 128 NVIDIA GB200 GPUs 上進行約 11 小時。評分按任務目標完成度給予部分分數,但違反任何護欄都會令該任務得分歸零。
Mistral AI 發佈 Timestral 時序基礎模型系列,提供 5M、28M、123M 和 209M 四種尺寸,支援機率式多變量預測及過去與已知未來協變量。209M 模型在 GIFT-Eval、TIME 和 fev-bench 三個公開基準均排名第一;以三週、每 15 分鐘一筆的歷史資料預測一天,在 8 threads 的標準伺服器 CPU 上耗時 140 ms。
推薦理由:Timestral 的四種模型尺寸對應不同的預測表現與推理速度,文章提供公開基準結果和 CPU 延遲數據,方便比較準確度與部署效率之間的取捨。
CopilotKit 推出 CLiF,將智能體軌跡與用戶在產品中的操作整合成全棧軌跡,再轉為技能、基於實際使用的評測、微調數據集及原始軌跡。平台透過 AG-UI 將雙方活動記錄在同一時間線;每項技能提案均須經人工審核,發佈後可無需重新部署而提供給智能體。CLiF 現正提供早期體驗,並支援自託管,讓軌跡及所學內容留在企業自有基礎設施內。
Invoice-Check JP以QLoRA微調的Qwen2.5-VL-3B-Instruct讀取日本合格發票,並以校驗碼、登記資料及税額計算判定是否自動核准。在600張合成測試發票中,86.8%獲自動核准,獲核准者沒有檢查可捕捉的錯誤欄位。結果僅適用於虛構公司的合成發票,不能代表真實發票表現。
Apertus 1.5 更新 8B 和 70B 模型,加入圖像與音訊理解及可選思考模式,並將上下文窗口擴至 262,144 tokens。持續預訓練分別為 8B 和 70B 模型加入 4 trillion tokens 和 2 trillion tokens 的文字及多模態訓練資料,總訓練量分別達 19T 和 17T。
推薦理由:文章同時公開訓練資料、各階段檢查點與可重跑的評測記錄,讀者可據此瞭解 Apertus 1.5 的訓練流程及比較評測結果。
作者透過 MCP 將清理及標準化的 155 個日本官方數據集、共 10.16M 條記錄接入 AI 智能體,並以此説明 MCP 的五層架構。文章將 MCP 伺服器分為數據型、狀態記憶型及動作/遠端型三類。作者認為,為不同 LLM 提供可接入的工具並整理未清理的本地數據,是開發者的藍海機會。
Anthropic 在 IPO 前向投資者披露,Q3 收入增近 50% 至 $16.8bn;Q1 和 Q2 收入分別約為 $4.8bn 和 $11.5bn。Q3 每花 $1 購買計算能力帶來 $1.70 收入,剔除股份薪酬後的調整後營業利潤率為 11%。
特斯拉已開始向搭載 Intel 車機晶片、配備 HW3 的 Model S 和 Model X 推送 FSD v14 Lite。更新透過知識蒸餾把 HW4 車型 FSD v14 的部分能力遷移至 HW3,涵蓋強化學習(RL)及離線模型能力,並改善多類場景的預判、應急反應和行駛平順性。
多家公司正付費招募全球工作者記錄烹飪、清潔和維修等實體任務,收集訓練機械人所需的影片與動作數據。Encord表示,機械人訓練數據需求約為一年前的10倍,客戶要求的標註數據量已由1,000小時升至10,000甚至100,000小時。報道同時指出,這類採集工作涉及工人同意、薪酬和身體負擔,數據供應商能否持續盈利亦存在不確定性。
NVIDIA 加入歐盟委員會推出的 AI in Science Enablers Initiative,承諾透過加速運算工具、模型、算力、培訓及合作,擴大歐洲科研界使用先進技術的機會。
Desconecta 以預測模型、可解釋的風險評分、逐步調整的使用限制和 LLM 教練,應對屏幕時間控制應用的靜態限制、滯後提醒和容易解除等問題。應用的使用時間預測達 R²≈0.77,風險評分達 AUC≈0.79;作者選擇保留真實數據的噪音,而不透過人為清理數據提高分數。後端由 FastAPI 提供分析,供網頁示範和原生 Android 應用使用。
Cohere 研究團隊透過混合英語推理、多語推理及多語非推理資料訓練 Tiny Aya L2-Thinker,使其在 60 種語言中以提問者所用語言推理的比例超過 93%。
研究提出 Glance Forcing,將雙向擴散模型蒸餾為自回歸生成模型,僅用一條 PF-ODE 軌跡便超越已充分訓練的 SOTA 基線。VBench Total 由 84.04 升至 84.22,軌跡收集成本由數千 GPU-hours 降至約一個 A100-GPU-hour。方法將去噪軌跡拆分為慢、快兩個專家,並保持預訓練教師模型完全凍結。
Cortex 透過生成前瞻性查詢,將依賴上下文的輸出蒸餾為可合併的低秩或結構化前饋網絡更新,將上下文帶來的能力增益整合至模型參數。研究以涵蓋 4B–120B 密集及混合專家模型的測試集評估整合與保留效果。在 14B 模型上連續進行 50 次事實編輯後,Cortex-Structural 恢復 88.9% 的上下文增益,同時保留 99.8% 的原有非目標表現。
論文提出 Latent Compaction,透過測試時訓練為文件學習精簡的 KV cache,以減少長上下文生成時的記憶體用量和注意力成本。訓練先擬合全量 cache 的注意力輸出和 log-normalizers,再以端到端蒸餾優化整個 cache;模型權重保持凍結,只使用關於文件的通用提示詞,不接觸下游問題或答案。
機器學習讓軟件從例子中學出規則,文章以預測、懲罰、更新的循環解釋訓練過程,並按監督訊號梳理監督式、半監督式、非監督式及強化學習四類。
τ-Emotion-Bench 以受控情緒條件下的用戶互動,評估工具呼叫智能體在長程任務中的可靠性。Tracer 是可擴展的數據生成流程,用於構建任務及收集互動軌跡,並篩除過度依賴用戶的軌跡。實驗顯示,前沿智能體的任務成功率與穩定完成任務的能力存在明顯差距;Tracer 生成的監督數據可提升不同規模的 Qwen3 模型,並泛化至未見領域及 τ-Bench、τ-Trait。
Paydar 是一款面向自由工作者的現金流預測工具,以本機運行的 Gemma 4 E2B(2B、約 4.3 GB)讀取發票,並透過 TabPFN-3.5 API 根據付款紀錄預測遲付風險及可能付款日期範圍。它逐週預測銀行結餘,並按風險草擬提醒電郵;發票 PDF、客戶名稱及電郵不會離開用戶電腦。
Physical AI 產業化受真實數據短缺制約,老師傅掌握的手藝相關數據尚未網絡化或廣泛流通。與大語言模型可使用互聯網數據不同,Physical AI 需要真實的機械人部署數據形成閉環,並依賴算力、數據工程、模型、模擬與合成數據、運行環境及本體硬件等基礎設施。安全仍是大規模商用前的重要難關。
研究比較智能體強化學習中十種具代表性的自我蒸餾方法與 GRPO,發現沒有方法能在所有設定下持續勝出。評估涵蓋 ALFWorld、ScienceWorld、Search-QA 及 WebShop 四項任務、三種模型規模,共進行 132 次訓練,記錄 12,124.4 個 H800 GPU 小時。強勁的最終表現可能掩蓋訓練不穩定,增加訓練成本亦不一定帶來更佳表現。
研究提出 CALIF,以校準似然獎勵處理可驗證指令遵循中,輸出滿足限制卻未實質回答請求所造成的獎勵駭客問題。CALIF 根據請求本身,在凍結參考策略下評估回應似然,毋須額外評審或學習式獎勵模型。
Player-1 是一套透過合成經驗學習遊戲操控的後訓練框架,以 PPO 在 Player-1-Gym 的 16 個合成 2D 和 3D 環境中進行多環境強化學習。
韓國 AI 初創公司 VIDRAFT 宣佈,已全程使用 NPU、未使用 GPU,完成語言模型預訓練。這次訓練是從零開始的預訓練,而非微調或只用於推理;模型架構、參數規模、效能數據及公開存取方式均未獲確認。
香港政府自2023年起探討完善《版權條例》以應對 AI 訓練版權問題,但至今未公佈實務守則或指引,2026年《施政報告》亦未提及相關立法。美國已發布三份相關報告,中國今年則展開版權整治行動;香港媒體加入 SPUR 聯盟,嘗試透過跨地合作爭取與 AI 企業談判的籌碼。文章主張香港應盡快採取措施,保障版權人權益。
COUNT 將預先計算的 N-gram 計數存於主機記憶體,無需新增學習參數即可建立嵌入向量。用於預訓練 1B 參數語言模型時,在固定計算預算下可改善驗證損失,改善幅度最高相當於使用多 57% 計算量的模型。推理時可換用特定領域語料的計數表,無需訓練即可適應新任務。
CriticOPD 透過批判引導的 On-Policy Distillation,改善 OPD 的監督可靠性:教師模型會參考標準答案批判學生的錯誤推理,學生再根據回饋改寫後續內容。六個數學推理基準測試中,CriticOPD 的平均準確率較 OPD 在 Qwen3-1.7B 提升 4.57 個百分點,在 Qwen3-0.6B 提升 4.06 個百分點;競賽題目上的提升最大。
CoSIR 以可驗證資訊獎勵和自我對弈強化學習微調 LLM,將協作能力納入訓練目標。在 7 項未見過的自然語言協作基準測試中,CoSIR 在 Qwen3-4B、Qwen3-8B 和 Gemma-3-4B-it 三個模型上均取得最高總分;Qwen3-8B 比基礎模型高 31.85 分。模型在 GSM8K、MMLU 和 IFEval 的表現大致維持。
LatentLoop 透過非對稱計算分配擴展循環 MoE 模型:壓縮第一次循環的序列,第二次循環保留完整解析度,並將節省的計算資源用於增加隱藏層大小。在涵蓋 1.3B--7B 參數的 15 種配置中,LatentLoop 的驗證 NLL 持續較低;在擬合 NLL 為 1.988 時,相較 vanilla MoE 和循環基線,預測計算量分別節省 19.0\% 和 7.9\%。