人工神經網絡如何構建自身的學習機制
MIT研究團隊展示,人工神經網絡可按簡單規則自行組織,並構建自身的學習機制。研究團隊的網絡能學習辨認模式及分類圖像,表現與採用反向傳播的網絡相若。研究提出,自組織能力是評估人工神經網絡對生物學是否合理的重要指標。
MIT研究團隊展示,人工神經網絡可按簡單規則自行組織,並構建自身的學習機制。研究團隊的網絡能學習辨認模式及分類圖像,表現與採用反向傳播的網絡相若。研究提出,自組織能力是評估人工神經網絡對生物學是否合理的重要指標。
付費電郵的價值在於用戶直接支付郵箱服務費,讓供應商靠訂閲收入維持服務。免費郵箱可能靠廣告或其他付費訂戶補貼,收件箱資料亦曾被用作商業廣告數據;Google稱不會用個人 Gmail 訊息訓練 Gemini 基礎模型。付費仍不能免除法律責任、保證送達或保障郵件進入 Gmail 後仍加密;只有自有網域能改變電郵地址仍屬他人網域的問題。
Databricks 公佈 Lakeflow Designer 過去 4 個月的更新,新增無程式碼資料清理與品質檢查算子,並擴充工作流程和輸出功能。新增功能包括去重、資料品質檢查、Join 分支、動態選取欄位,以及輸出至 materialized views、現有資料表和 CSV、Excel、JSON 檔案;畫布亦加入可搜尋目錄、版本差異檢視和即時遊標協作。
研究團隊提出 PrismaForge,以合成評分規準拆解多模態程式碼資料的品質要求,並用於資料篩選及模型訓練。團隊據此建立 PrismaCoder-2M 數據集,並訓練、發布 PrismaCoder-9B 和 PrismaCoder-35B。兩款模型大幅領先開放模型的現有水平,並可與領先專有系統匹敵;該評分規準流程亦提升不同模型骨幹的多模態編碼表現。
SERO 透過訓練時使用可執行的 Oracle 延續,改善長時程智能體強化學習,且推理時無額外開銷。研究在 ALFWorld 和 WebShop 上使用 Qwen2.5-1.5B-Instruct 及 Qwen2.5-7B-Instruct 評估;在 ALFWorld 上,學習完整延續比只監督根節點 Oracle 動作更有效,政策可達性加權亦提升分佈外表現。
MULTIFINGROUND 是一項多語言基準測試,顯示語言模型雖能識別財務概念,仍常未能找回全部對應數值證據。基準涵蓋 90 個發行人的 FY2025 英文、法文及希臘文披露資料,評估 15 個模型。當中 8 個 API 及開放權重參考模型的概念識別準確率達 97.3-99.4%,但在 26.6-41.9% 已正確識別的概念組中,至少漏掉一項目標事實。
CoTranslator 將反向推理軌跡轉換為符合已驗證正向推理分佈的內容,支援高效、可遷移的學生模型推理蒸餾。在六個數學基準測試中,六個學生模型的平均準確率較語義抑制法最高提升 5.82 個百分點;兩個 4B 學生模型保留拒絕採樣平均準確率的 95.0%,估算運算量則為其 35.9%。
研究指出,語言模型的隱藏狀態可能已編碼任務資訊,但讀出層尚未能在輸出中呈現;因此,按輸出判定能力出現時間,反映的是讀出學習,而非模型獲得能力的時間。研究以 parameter-trajectory crosscoding 分析 Pythia 預訓練,發現進度達 0.4-1.1% 時,讀出開始重新組織,WordNet 詞類亦可從讀出行解碼。
擴散模型的校正模組透過修正去噪預測減少曝光偏差,提升無引導及無條件生成的樣本品質。這項方法在 DiT、SiT 和 JiT 上的表現可媲美 CFG;結合 CFG 則可進一步提升多樣性,並減少過度飽和。將修正後的預測蒸餾回基礎模型,可保留品質提升而不增加推理開銷。
研究顯示,稀疏自動編碼器(SAE)的重建表現往往可用較少激活 token 接近全數據參照值,但特徵可重現性仍隨數據增加而提升。研究以 5M 至 500M 激活 token 的數據預算,訓練 4 種 SAE 架構,並在 3 個語言模型上比較功能表現與特徵一對一重現。Gemma-2-2B BatchTopK 的嚴格匹配特徵比例由 5M token 時的 2% 升至 50M 時的 29%。
FSPO 提出一種結合當前特權適應與函數空間時間整合的單策略框架,在近期的自蒸餾策略方法 SDPO 上取得顯著改進。它將稀疏的歷史下一個 token 分佈存為固定的時間目標,無需維持持續運作的教師模型。
科學家質疑 AI 服務是否會利用對話紀錄取得或訓練研究構想,並擔心單一文字可能影響稀有、冷門題目的模型表現。討論者對相關做法是否正在發生並無定論,亦提到使用者應留意對話紀錄與私隱設定。
作者批評 AI 行業把「遞迴自我改進」(RSI)用作廣泛的創業宣傳概念,認為不少公司將自我蒸餾、模型生成數據迴流訓練等做法都稱為 RSI,令概念邊界變得含糊。他指出,模型公司的 RSI 仍處於探索階段,並質疑缺乏新數據的自我蒸餾能否避免過擬合;文章亦將這股熱潮放在近期世界模型、AI for Science 等投資概念炒作中批評。
GitHub 訓練並部署微調 ModernBERT 分類器,與 regex 候選生成組成兩階段機密掃描流程,以周邊脈絡區分真實憑證和相似字串。相較舊有 LLM 流程,線上以儲存庫擁有者加權的接受率提高 11.5%,post-push 掃描中位執行時間降低 86%,服務成本降低逾 98%。
推薦理由:文章拆解 regex 與微調 ModernBERT 結合的兩階段設計,並以接受率、掃描時間及服務成本數據呈現其相較舊 LLM 流程的變化。
宇樹科技創始人王興興認為,GPT-7 明年推出後可能突破具身智能的難題,相關臨界點或在一兩年內到來,但行業仍面對泛化性和效率挑戰。他透露,團隊已將 GPT-6 部署至機器人進行任務測試,並認為自進化需要累積人類操作、仿真及真機數據。機器人大規模落地還涉及算力部署和工業數據開放等問題。
Meta 的 2026 年一代 GEM 把各廣告版位與優化目標整合到單一中央推薦基礎模型,並將總訓練 FLOPs 擴大 4x。GEM 在 Meta 的廣告版位及優化目標中帶來 18.9% 轉換提升和 12% 廣告點擊率(CTR)提升;端到端訓練效率翻倍至 20-25% MFU。
禾賽科技正式發佈三維世界數據引擎 Kosmo,並同步推出 Kosmo One AI 空間相機和 Kosmo World 雲平台。Kosmo 可將採集的真實場景重建為 3DGS、mesh 和 depth 數據,供具身智能訓練使用。在 Sharpa 機械人應用於 DQ 冰淇淋門店的案例中,Kosmo 約 15 分鐘即可掃描並生成三維訓練環境,任務成功率升至 99%,失敗個案降至原來十分之一。
研究比較阿拉伯語低資源預訓練中混入英語數據與超參數調優,發現數據混合在驗證損失和下游任務準確率上的提升更大。研究涵蓋 150M 至 1.43B 參數的四種模型規模及約 1000 次預訓練實驗;混合帶來的效益相當於 2–3× 獨特目標語言數據的驗證損失效益,以及 2–13× 的下游任務準確率效益。研究建議優先調整混合比例,並透過 μP 將小型代理模型的超參數轉移至大型模型。
Lovable 擴展應用程式建置能力,現可分析檔案及連接的應用程式資料,並生成可供編輯及下載的文件,以及可下載的圖像和影片。支援 PowerPoint、Word、PDF、CSV、Excel、JSON、XML、JPEG、PNG、GIF、WebP、文字檔及影片。其 AI 智能體可在安全環境中執行程式碼和小型腳本,用於數據分析、檔案處理及格式轉換。
Berkeley RDI 推出 CUA-Lite,作為開發電腦操作智能體的開放平台,統一環境介面、監督式數據格式,並讓每個模型的 harness 共用於評測、SFT 和 RL。平台已整合 15+ 個基準測試、10+ 個數據集,並為 14 個模型家族實作 harness;其可選的免 VM 桌面沙盒提供 30k+ 個可驗證訓練任務。
AI 公司正購買企業的 Slack 私訊、電郵、程式碼及其他工作紀錄,用作訓練模型,相關市場迅速擴大。Gartner 估計,AI 數據年度支出將由去年的不足$1 billion升至2027年的近$6.5 billion。
正則化透過改變訓練目標、模型架構或停止流程,抑制脆弱的複雜度並改善泛化能力。其五階段流程涵蓋識別過度擬合、選擇 L1、L2、Dropout 或 Early Stopping 等約束、以驗證數據調整強度、訓練時追蹤擬合與穩定性,並以未使用過的數據確認成效。
Anthropic表示,其新防禦措施令Claude遭蒸餾攻擊時被抽取的推理 token 數量減少90%至99%。攻擊者利用數十萬個假帳戶發起攻擊;Anthropic限制Claude內部推理步驟的存取、以分類器識別抽取行為並自動封禁被標記帳戶,至今已封禁數萬個帳戶。
AI 制藥雖已提升文獻整理、分子生成及臨牀試驗管理效率,但公開數據的侷限和濕實驗通量限制,令行業在累積專有數據時不得不放慢研發節奏。文章以「設計—構建—測試—學習」(DBTL)循環説明,模型輸出仍須由實驗驗證並回饋訓練,而功能性篩選等環節仍需人工參與。現階段 AI 主要輔助科學家提出及驗證假設,不能取代對靶點與疾病因果關係的判斷,也未消除臨牀研發的漫長考驗。
AI 實驗室、AI 訓練環境供應商及科技公司正向倒閉初創公司購買程式碼和工作區資料,用於訓練模型。SimpleClosure 的 Asset Hub 已處理超過 150 宗交易,預計在 2026 年底前向初創公司返還超過 $10 million;現有交易中有 47% 包含程式碼或資料出售。真實資料訓練與替代方案的效果尚無公開測試比較,交易亦涉及員工私隱及收益分配爭議。
NdotLight獲選參與2026 Scale-Up TIPS研發計劃,計劃在三年內運用最多3 billion won政府研發資金提升TRINIX 3D數據生成平台。公司將建立系統,把生成資產的物理屬性與實際測量數據比較、驗證並校正,旨在提升供機械人訓練及評估使用的模擬數據可靠性。
IDC 報告顯示,2026 年上半年英偉達在中國數據中心 AI 晶片市場的份額降至 34%,華為則升至 28%。英偉達 AI 加速器出貨量為 67.8 萬顆,同比下降 44%;華為出貨量為 57.2 萬顆,高於去年同期的 30 多萬顆。報道稱,美國出口管制限制英偉達產品供應,中國本土競爭對手則持續擴大份額。
Anthropic 表示已加強 Claude 防範蒸餾攻擊的措施,初步證據顯示蒸餾者擷取的資料減少約 90% 至 99%。新防護包括限制推理內容在帳戶及模型之間流轉、使用雙階段分類器攔截抽取嘗試,並收緊持續嘗試者的用量限制或封禁帳戶。
LG AI Research 以黎曼幾何連接不同物理性質預測模型的潛在空間,提出應對科學數據稀缺的遷移學習方法。在材料開發中,部分物理性質有逾數億個數據點,另一些僅有數十個;GEAR 和 Sim-GEAR 旨在處理這種科學數據不平衡。
Alibaba Qwen 推出 QwenGyre,這是一套用於超長時程智能體訓練的彈性強化學習框架,可在 rollout 和訓練之間調度 GPU。Qwen 3.8 2.4T 在 NL2RepoBench 的評分於 48 步內由 52.48% 升至 58.54%,訓練用時 75.42 小時;相較 Colocate 快 1.21 倍。框架最多保留每次執行的 5 條軌跡,公開程式碼未披露。
COMPASS 在模型對齊或合併前評估配對相容性,協助排序候選配對及配置資源。它以編碼器間的 k-NN 重疊度及訓練範式可達的重疊上限,作為兩項可低成本計算的指標。在 72 項跨模態對齊實驗及 392 項任務算術模型合併中,COMPASS 與下游成效的平均 Pearson 相關係數分別為 0.91 及 0.70。
FlashMask-3 提出面向 Hopper 的遮罩感知注意力核心程式及分散式擴展,透過零通訊遮罩定位和通訊裁剪提升長上下文訓練效率。在 128 張 H100 上以 128K 上下文訓練 118B-A14B MoE,吞吐量較 Dual Chunk all-gather 基線提升 7.3–11.0%,注意力前向與反向運算速度提升 24.5–44.9%。
Copy-Paste Language Models(CPLMs)在傳統語言模型頭之外加入輕量級 Copy-Paste 頭,以明確建模提升大語言模型的語境複製能力。研究以 135M 至 1.7B 參數模型預訓練驗證,在不同規模及骨幹模型上均改善訓練效率與下游表現,並提升長上下文及檢索情境的表現,訓練和推理額外開銷可忽略。
PreciseCoder 以語義驗證的局部修改作為獎勵,提升程式修復精準度及泛化能力。在 4B、9B、27B 模型上,平均修改行數由 7-15 行降至 3 行,通過率與僅用單元測試訓練相若。使用其 9B 模型的推理軌跡後,GPT-5.6 Sol 和 Qwen3.8-Max 的修改精準度提升 4.6-12.4 個百分點,無須額外訓練。
DisaggKD 將教師與學生模型分置於不同節點,並以融合損失進行知識蒸餾,無須生成完整詞彙表 logits。在 Qwen3.5-35B-A3B 至 9B 配對中,分置配置達到與採用相同損失的共置配置相同 LM loss,且速度更快。較大型配對中,共置配置即使採用融合損失仍因教師權重和學生狀態佔滿記憶體而 OOM,分置配置則可訓練。
研究提出簡化匹配蒸餾(SMD),以簡單的在策略速度回歸作為少步擴散生成的基礎。SMD 加入僅用於訓練的 Pivot 殘差代理,並令學生模型遠離較弱的教師預測;整套方法不需線上分數估計或對抗訓練,部署時生成器維持不變。在 4-NFE 下,SMD 勝過強力少步基線,並在多項基準測試中超越多步教師,規模可達 33 billion parameters。
研究提出可擴展的線上熵正則最優傳輸近似,讓流匹配訓練能使用更大的來源—目標耦合小批次。理論證明,無正則化及熵正則最優傳輸均較獨立配對嚴格降低完整隨機梯度方差與積分誤差,且小批次增大時改善更明顯。單細胞基因插值流及圖像流實驗顯示,較大的線上耦合可提升訓練穩定性及最終生成表現。
LeanPRM 利用 Lean 證明助手為自然語言數學證明自動產生逐步正確性標籤,訓練無需人工標註的驗證器。數據集包含 10,634 個證明及 152K 個已標註步驟;以 LeanPRM 訓練的 Qwen3-4B,在留出集的逐步標籤準確率由 48.2 提升至 74.7,同一基礎模型以 PRM800K 訓練則為 60.3。
研究以 ScreenRef 數據集及 D2RL 訓練 GroundGUI-8B,提升 GUI 定位表現。ScreenRef 涵蓋桌面、網頁及流動裝置,包含 586K 張截圖及超過 633K 個指代表達實例。
Cowork-Gym 透過迭代驗證合成協作智能體環境,並用這些環境訓練 Qwen 模型,提升其智能體基準測試表現。研究合成了 64.9K 個環境,涵蓋 14 種應用情境;經後訓練的 9B、27B 和 35B-A3B 模型,在六項基準測試的平均表現分別較對應基礎模型高 8.7、6.4 和 4.1 分。