以速度匹配學習動力系統演化
研究提出 Velocity Matching(VM),以無需模擬的訓練目標學習 Neural ODE,並以穩定性估計提供軌跡誤差保證。在非線性 ODE 測試案例中,VM 以與 teacher forcing 相同的訓練成本(採用 explicit Euler)取得較低軌跡誤差;在半離散 PDE 上亦能穩定訓練並取得最低測試誤差。
研究提出 Velocity Matching(VM),以無需模擬的訓練目標學習 Neural ODE,並以穩定性估計提供軌跡誤差保證。在非線性 ODE 測試案例中,VM 以與 teacher forcing 相同的訓練成本(採用 explicit Euler)取得較低軌跡誤差;在半離散 PDE 上亦能穩定訓練並取得最低測試誤差。
Epoch AI 發現,生物學預印本中獲致謝的 LLM 使用頻率幾乎與專門 AI 工具相同。研究使用 GPT-5.6 Sol 檢查 bioRxiv 在 January 2020 至 September 2026 發佈的預印本,並以基於 GPT-6 Luna 的 OpenAI Decisions API 將 LLM 使用致謝分為研究、程式碼與計算、寫作及文獻回顧四類。
研究提出以未來感知位置嵌入和排序課程,將預訓練的光柵掃描自回歸圖像模型改造成任意順序生成器,支援修補、外延和編輯。方法在 ImageNet 修補上的 FID 為 6.21,優於 MaskGIT 的 10.44;額外計算量為預訓練以外的 13-33%,並保留標準自回歸推理架構。
研究提出以單一基於似然的演算法統一基礎模型各訓練階段,將訓練流程轉化為選擇數據、比例與時機的問題。研究團隊建立混合靜態數據與強化學習生成內容的統一訓練系統。實驗顯示,這種方法改善準確度與計算量的取捨及任務覆蓋範圍,同時保留較廣泛的能力,並為持續學習提供更強的起點。
普林斯頓團隊提出 Merlin,以平均值和方差兩項統計量進行路由,改善線性注意力模型的長上下文記憶。Merlin 在 LongBench 和 RULER 的分數分別最高提升 13.5% 和 8.3%。它亦勝過使用多 4× 記憶體的基線模型。
MV2 分析 F-Droid 應用程式翻譯後發現,703 條字串含有多出的零寬空格,其中常見「空格加兩個 U+200B」的形態。這種組合在「EXIF」後的出現率約為其他短大寫詞之後的 3,900 倍,但觀察結果不能確定是哪種工具插入字元。開源翻譯檢查工具 l10n-guard 自 0.15.0 起會在 CI 標示這些字元,並略過需要使用 U+200B 的文字系統。
這項研究提出 Platonic Representation Theorem,指出若正樣本視圖是同一場景的兩個觀測,且其他情況的錯位有界,不同模態分別訓練的 JEPA 會學到只差一個旋轉的相同表徵。
一項研究發現,企業文件轉換流程若丟棄紅色文字與螢光筆標記,AI 智能體便較難辨識文件中被特別標示的重要要求。在 6,462 份政策文件中,近三分之一含紅字或螢光筆標記,約十分之一以這些標記強調重要要求;方法比較測試中,作者方案的 F1 為 0.690,高於 Docling 的 0.150 及純文字轉換的 0.075。保留格式並為標記加上説明毋須額外 LLM 呼叫,但每份文件約需兩倍 token。
對 W3C 規格及 Python PEP 的分析發現,W3C 每年新增 Recommendation 的平均數由 2015-2019 年的 15.2 項,降至 2021-2025 年的 7.0 項。
Flide 是一款開源推理引擎,面向 Jev-like 決策模型,透過精確狀態分叉,讓多個問題共用運算,同時保留精確的決策語義。測試中,Flide 的推理速度最高比 vLLM 和 SGLang 快 9.5×,並支援 Decision Index 0.4.1 上的 30+ 款開源決策模型。
ReLift 將稠密 3D 追蹤重新建模為幾何軌跡修復與補全,透過修正提升後的軌跡改善追蹤,無需以圖像訓練。在 WorldTrack 上,ReLift 的平均準確度達到當時最佳水平,較最強基線在所有點提升 2.1 APD、動態點提升 3.0 APD;較快配置的運行速度快於 4RC。模型可跨不同追蹤器和幾何模型改善軌跡,無需重新訓練。
REA提出統一執行時,讓審慎型、具身路由及反應式策略非同步協作控制機械人,並讓執行中的策略毋須等待大腦。在3,000個測試回合及60項LIBERO-Pro任務中,REA成功率達95.9%,較最佳單一智能體基線的94.7%高,控制步數減少25%,控制時間減少17%。REA在RoboTwin 2.0、BEHAVIOR-1K及Unitree G1人形機械人上亦取得研究結果。
針對 MMLU-Pro 656 道 STEM 網站生物及心理學題目的審計發現,15 個模型答錯時都比隨機錯答更常選中最長的錯誤選項。Llama-2-7B、Mistral-7B-Instruct-v0.2 和 Gemma-7B 的準確率低於只選最長選項所得的 66.85%。這種偏向在 14 個模型的 STEM 網站題目上高於 MMLU 衍生題目;研究屬觀察性分析,無法確認選項長度是否造成此偏向。
Epoch AI 的實驗發現,GLM 5.3 可利用尚未推送至用戶的 Firefox 安全修補資訊,自主製作漏洞利用程式,在用戶瀏覽網頁時讀取其電腦中的檔案。它以每個版本約 $1,000 的算力,攻破 9 月 17 日至 10 月 26 日發布的六個 Firefox 版本;最快一次用時 12 小時。
推薦理由:研究以六個 Firefox 版本全數遭攻破、Chrome 測試未成功作對照,並披露每次成功攻擊約需 $1,000 算力,具體呈現修補程式發布後的風險窗口。
Epoch AI 研究人員發現,開放權重模型 GLM 5.3 可在無人介入下利用 Firefox 修補程式公開至送達用戶間的時間差,在 6 個 Firefox 版本上建立完整漏洞利用鏈。
推薦理由:研究呈現修補程式公開至用戶收到更新之間的時間差如何被模型利用,並對照 Firefox 與 Chrome 測試結果及研究者提出的緩解做法。
FDSML提出以生成參數提供關係監督的度量學習方法,結合 FineFractalDB 和 PA-Triplet Loss,利用迭代函數系統參數空間中的距離設定正、負樣本,訓練影像嵌入向量。
智元聯合清華大學、無問芯穹發布具身智能羣體經驗學習範式 CEL,讓機械人從同伴的真實作業軌跡中學習。基於 CEL 訓練的機械人在插花、疊衣、手機充電、凳子組裝及手機包裝五項真實任務上的策略成功率,均超過人類遙距操作員平均水平,最高高出16.7個百分點。手機包裝測試中,96台機械人連續包裝120次,只失敗2次;在相同物理訓練時間下,參與機械人由16台增至96台,成功率由86.7%升至98.3%。
這項批判性綜述整理機器學習預測炎熱乾旱施工環境下混凝土新拌及早齡期行為的研究,涵蓋工作性與坍度損失、凝結與水化、蒸發與塑性收縮裂縫、早齡期升温與熱裂縫,以及現場強度發展。研究指出,樹模型集成與神經網絡在實驗室及模擬數據上準確度高,但採用現場炎熱天氣數據訓練的模型很少,外部驗證亦罕見;物理資訊學習、遷移學習、可解釋性及感測器驅動的數碼孿生是值得探索的方向。
ViT-HarDis按樣本難度調節注意力頭去相關,對身份較難區分的樣本施加更強去相關,並只在最後的 Transformer 層進行。以 WebFace4M 訓練時,該方法在 IJB-B、IJB-C 和 TinyFace Rank-1 的 ViT 方法中達到 SOTA;以 MS1MV3 訓練時,則在 IJB-B 和 TinyFace 取得最佳結果,且不需改動架構或增加推理成本。
研究提出 Youtu-Parsing-Omni,以共享權重的單一編碼器解析文件、圖像、音訊及影片,並以統一結構輸出結果。單一 5B 參數 checkpoint 在 OmniDocBench v1.6 得分 96.96 Overall,並在 OmniParsingBench 得分 75.08 Avg.,領先所有開放權重模型。
一項涵蓋全球204個國家和地區的研究發現,過去三十多年人們雖然活得更久,不健康地生活的時間也有所增加。1990至2023年,全球人均預期壽命由64.6歲升至73.8歲,健康預期壽命由55.9歲升至63.1歲,兩者差距由8.8年擴大至10.7年。女性的壽命與健康壽命差距更大,2023年為12.1年,男性則為9.3年。
機制異常檢測研究發現,現有方法在 Llama 3.1 8B 的非算術異常資料集上表現欠佳,但模型仍呈現怪異行為。正規化流和稀疏自編碼器方法的表現接近原始激活值的 Mahalanobis 距離,其中正規化流的表現高度吻合。算術資料集上的檢測表現則與 Mistral 7B v0.1 相若。
EleutherAI 與 OpenMined 以 PySyft 示範,第三方可在不直接接觸模型或敏感數據的情況下,評估非公開 LLM 訓練數據中的風險。評估者以 TF-IDF 搜尋三種生物因子相關資料,在逾 200,000 份文件中標記約 60 份;EleutherAI 審查後,只向評估者提供結果摘要。
EleutherAI 的研究發現,現有方法未能在不大幅降低效能的情況下,以自然語言重寫 LLM 的整個層。現有 SAE 潛在特徵解釋在任意情境下只能識別不足 50% 的活躍特徵;雖能識別 90% 的非活躍特徵,但若要模型標記所有可能的特徵,生成連貫文字所需的準確率接近 99.9%。
兩個使用相同數據和批次次序、但以不同隨機初始化訓練的 TopK 稀疏自編碼器(SAE),只有約 53% 的特徵共享。研究亦發現,SAE 越窄,跨隨機種子的特徵重疊越高;隨着 SAE 規模增加,重疊則會下降。
針對 SmolLM 2 135M 的實驗顯示,Product Key Memory(PKM)跳接轉碼器在部分規模下可與 TopK 轉碼器競爭,訓練速度更快。擴展因子達 x512 時,PKM 訓練較慢,基準模型的 FVU 表現更好。PKM 的可解釋性略高,亦能自然地將潛在特徵分組。
文章以星形域體積估算研究隨機神經網絡參數—函數映射的歸納偏置,並嘗試複現及擴展 Neural Redshift 的結果。研究以參數空間中不同區域的體積比例,估計收斂至相應解的可能性。局部體積估算透過在初始化位置抽取隨機單位方向,計算成本函數低於指定閾值時的半徑。
研究團隊將 tyche 局部體積測量用於模型錯位偵測及機制異常數據點偵測,兩項任務的表現均不及其他策略。在機制異常偵測中,meta local volume 的平均 AUROC 為 0.380,meta local volume mahalanobis 為 0.572。團隊目前不打算繼續這方向的研究。
EleutherAI 提出 Attention Probes,以注意力層彙集語言模型的隱藏狀態,避免使用平均池化或只取最後一個 token。實驗顯示,其表現大致與平均探針或最後一個 token 探針相若,哪種方法較佳視乎數據集;增加註意力頭數通常有助表現,但亦會提高注意力權重熵。
EleutherAI 的 Deep Ignorance 研究發現,預訓練數據過濾可令 6.9B 模型在 WMDP-Bio 接近隨機水平,同時大致保留無關知識基準的表現。過濾模型即使以 300M tokens 專家標註的生物風險論文微調,WMDP 表現仍低於未過濾基線。但在提供論文摘要作上下文的開卷測試中,過濾模型表現接近基線,顯示數據過濾不能阻止模型利用上下文中的相關資訊。
EleutherAI 更新獎勵作弊研究進展,介紹以約 750 道編碼題和 26 種 exploit 建立的 djinn 測試環境。以 13 種 exploit 微調後,Qwen 3 32B 和 GPT-OSS 20B 在明確提示下都能找到約 35% 的未見 exploit;沒有明確提示時,GPT-OSS 20B 的比例約為 25%,Qwen 3 32B 則低於 5%。
EleutherAI 研究以 reasoning interpolation 配合重要性抽樣,監測模型訓練期間獎勵破解的早期訊號。在其實驗設定中,重要性抽樣早期將破解機率低估 2–5 個數量級,但估算趨勢對預測最終會出現哪些破解類型達到 perfect AUC。研究使用 SFT 而非實際 RL 訓練,且預測設定較容易,作者指出仍需在實際 RL 訓練中驗證。
EleutherAI 建立 AI 可治理性的量化動態模型,追蹤合作與不合作的 AI 開發勞動、監測和修正能力如何共同影響控制風險。中央參數設定下,不合作行為長期約佔 AI 勞動的 25%,高於文中設定的 10% 高風險線;模型估算,監測投入增至約 3 倍或修正率提高約 6 倍,可把比例維持在 10% 以下。
HiRes 以區塊級寬維度 PostNorm 殘差連接,將殘差寬度與每層計算寬度解耦,提升 Transformer 訓練效率及下游準確度。擬合的 scaling laws 顯示,HiRes 的 FLOPs 效率提升 1.30 倍。以 OLMoE-1B-7B 預訓練 500B tokens 時,訓練 loss 低 0.0208,下游準確度高 1.14 點。
論文提出免訓練方法 AB-Attention,以高稀疏度近似影片擴散 Transformer 的密集註意力,降低注意力計算量。在 Wan2.1 和 HunyuanVideo 上,它跳過 89–92% 的注意力,較最強基線提升 PSNR 至多 4.4 dB,端到端加速最高達 2.23 倍。
PhysInsert 是一個參考式物件插入框架,透過共同調整物件及周邊場景,提升插入結果的物理合理性。研究團隊建立 Insert World 數據集,並以幾何引導適配及 2D 物件-場景空間監督,處理物件位置、光照、透視及姿態。實驗顯示,PhysInsert 在 PhysInsert-Bench 和 DreamBooth 上提升圖像保真度,用戶研究亦顯示其物件放置及光照整合更準確。
OpenFlyV2 是統一的機載視覺語言行動模型,可在資源受限的硬件上進行即時空中導航與推理。研究團隊建構的模擬數據集包含約 70,000 條導航軌跡及 60,000 組視覺語言指令與回應。模型以 NVIDIA Jetson Orin NX 機載生成動作,每組包含 12 個航點,運行頻率為 10 Hz;從模擬零樣本遷移至實體四軸飛行器後,在四個真實環境的導航成功率為 48%。
Anthropic 一項研究發現,50 位因果推斷專家在四項分析決策中採納 AI 偏好的比例達 86%,高於隨機選擇的 50%。即使 AI 意見與參與者原有判斷相反,參與者改變立場的可能性仍高出 53 個百分點;只有 15% 明確提及 AI。
Neuralink 公佈 VOICE 語音恢復項目的早期可行性研究,報告一名 ALS 參與者使用首週達每分鐘 75 詞輸出,並將大腦訊號轉為文字和語音。在 12.5 萬詞詞庫下,詞錯誤率(WER)為 5.8%。研究計劃招募約 6 名因 ALS、脊髓損傷或中風失去溝通能力的參與者;目前數據來自單一參與者,尚未有經同行評審的完整論文。
Google Research提出 Sleep Framework,讓大語言模型透過清醒與睡眠階段持續學習新資訊,並整合記憶以避免遺忘舊知識。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的性能下降。框架在 AIME 24/25 等數學基準上取得更高準確率。