跳到正文
10月31日週六
  1. HuggingFace Daily Papers(社區熱門論文)46

    以速度匹配學習動力系統演化

    研究提出 Velocity Matching(VM),以無需模擬的訓練目標學習 Neural ODE,並以穩定性估計提供軌跡誤差保證。在非線性 ODE 測試案例中,VM 以與 teacher forcing 相同的訓練成本(採用 explicit Euler)取得較低軌跡誤差;在半離散 PDE 上亦能穩定訓練並取得最低測試誤差。

  2. HuggingFace Daily Papers(社區熱門論文)47

    解鎖預訓練自回歸圖像模型的任意順序生成能力

    研究提出以未來感知位置嵌入和排序課程,將預訓練的光柵掃描自回歸圖像模型改造成任意順序生成器,支援修補、外延和編輯。方法在 ImageNet 修補上的 FID 為 6.21,優於 MaskGIT 的 10.44;額外計算量為預訓練以外的 13-33%,並保留標準自回歸推理架構。

  3. HuggingFace Daily Papers(社區熱門論文)44

    以單一演算法訓練基礎模型

    研究提出以單一基於似然的演算法統一基礎模型各訓練階段,將訓練流程轉化為選擇數據、比例與時機的問題。研究團隊建立混合靜態數據與強化學習生成內容的統一訓練系統。實驗顯示,這種方法改善準確度與計算量的取捨及任務覆蓋範圍,同時保留較廣泛的能力,並為持續學習提供更強的起點。

10月30日週五
  1. DEV Community40

    Android 翻譯中的雙重零寬空格,以及它為何常出現在「EXIF」之後

    MV2 分析 F-Droid 應用程式翻譯後發現,703 條字串含有多出的零寬空格,其中常見「空格加兩個 U+200B」的形態。這種組合在「EXIF」後的出現率約為其他短大寫詞之後的 3,900 倍,但觀察結果不能確定是哪種工具插入字元。開源翻譯檢查工具 l10n-guard 自 0.15.0 起會在 CI 標示這些字元,並略過需要使用 U+200B 的文字系統。

  2. Unite.AI54

    企業文件智能體會忽略螢光筆標記,研究顯示保留格式有助辨識重要要求

    一項研究發現,企業文件轉換流程若丟棄紅色文字與螢光筆標記,AI 智能體便較難辨識文件中被特別標示的重要要求。在 6,462 份政策文件中,近三分之一含紅字或螢光筆標記,約十分之一以這些標記強調重要要求;方法比較測試中,作者方案的 F1 為 0.690,高於 Docling 的 0.150 及純文字轉換的 0.075。保留格式並為標記加上説明毋須額外 LLM 呼叫,但每份文件約需兩倍 token。

  3. HuggingFace Daily Papers(社區熱門論文)42

    Flide:以精確狀態分叉加速決策推理

    Flide 是一款開源推理引擎,面向 Jev-like 決策模型,透過精確狀態分叉,讓多個問題共用運算,同時保留精確的決策語義。測試中,Flide 的推理速度最高比 vLLM 和 SGLang 快 9.5×,並支援 Decision Index 0.4.1 上的 30+ 款開源決策模型。

  4. HuggingFace Daily Papers(社區熱門論文)40

    ReLift:將稠密 3D 追蹤視為提升後軌跡的修復與補全

    ReLift 將稠密 3D 追蹤重新建模為幾何軌跡修復與補全,透過修正提升後的軌跡改善追蹤,無需以圖像訓練。在 WorldTrack 上,ReLift 的平均準確度達到當時最佳水平,較最強基線在所有點提升 2.1 APD、動態點提升 3.0 APD;較快配置的運行速度快於 4RC。模型可跨不同追蹤器和幾何模型改善軌跡,無需重新訓練。

  5. HuggingFace Daily Papers(社區熱門論文)44

    REA:面向非同步腦—小腦控制的路由式具身智能體執行時

    REA提出統一執行時,讓審慎型、具身路由及反應式策略非同步協作控制機械人,並讓執行中的策略毋須等待大腦。在3,000個測試回合及60項LIBERO-Pro任務中,REA成功率達95.9%,較最佳單一智能體基線的94.7%高,控制步數減少25%,控制時間減少17%。REA在RoboTwin 2.0、BEHAVIOR-1K及Unitree G1人形機械人上亦取得研究結果。

  6. DEV Community54

    MMLU-Pro 審計發現模型偏向最長選項,三個模型低於長度基準

    針對 MMLU-Pro 656 道 STEM 網站生物及心理學題目的審計發現,15 個模型答錯時都比隨機錯答更常選中最長的錯誤選項。Llama-2-7B、Mistral-7B-Instruct-v0.2 和 Gemma-7B 的準確率低於只選最長選項所得的 66.85%。這種偏向在 14 個模型的 STEM 網站題目上高於 MMLU 衍生題目;研究屬觀察性分析,無法確認選項長度是否造成此偏向。

  7. Epoch AI:Gradient Updates80

    GLM 5.3 可利用公開安全修補資訊,在用戶收到更新前製作可行漏洞利用程式

    Epoch AI 的實驗發現,GLM 5.3 可利用尚未推送至用戶的 Firefox 安全修補資訊,自主製作漏洞利用程式,在用戶瀏覽網頁時讀取其電腦中的檔案。它以每個版本約 $1,000 的算力,攻破 9 月 17 日至 10 月 26 日發布的六個 Firefox 版本;最快一次用時 12 小時。

    推薦理由:研究以六個 Firefox 版本全數遭攻破、Chrome 測試未成功作對照,並披露每次成功攻擊約需 $1,000 算力,具體呈現修補程式發布後的風險窗口。

  8. The Decoder78

    開放權重模型 GLM 5.3 無需人工介入,在不到 48 小時內為 Firefox 建立完整漏洞利用鏈

    Epoch AI 研究人員發現,開放權重模型 GLM 5.3 可在無人介入下利用 Firefox 修補程式公開至送達用戶間的時間差,在 6 個 Firefox 版本上建立完整漏洞利用鏈。

    推薦理由:研究呈現修補程式公開至用戶收到更新之間的時間差如何被模型利用,並對照 Firefox 與 Chrome 測試結果及研究者提出的緩解做法。

  9. 新浪科技58

    具身智能羣體經驗學習範式 CEL 發布,機械人可透過同伴作業軌跡學習

    智元聯合清華大學、無問芯穹發布具身智能羣體經驗學習範式 CEL,讓機械人從同伴的真實作業軌跡中學習。基於 CEL 訓練的機械人在插花、疊衣、手機充電、凳子組裝及手機包裝五項真實任務上的策略成功率,均超過人類遙距操作員平均水平,最高高出16.7個百分點。手機包裝測試中,96台機械人連續包裝120次,只失敗2次;在相同物理訓練時間下,參與機械人由16台增至96台,成功率由86.7%升至98.3%。

  10. DEV Community34

    炎熱天氣混凝土施工的機器學習:預測新拌及早齡期行為的批判性綜述

    這項批判性綜述整理機器學習預測炎熱乾旱施工環境下混凝土新拌及早齡期行為的研究,涵蓋工作性與坍度損失、凝結與水化、蒸發與塑性收縮裂縫、早齡期升温與熱裂縫,以及現場強度發展。研究指出,樹模型集成與神經網絡在實驗室及模擬數據上準確度高,但採用現場炎熱天氣數據訓練的模型很少,外部驗證亦罕見;物理資訊學習、遷移學習、可解釋性及感測器驅動的數碼孿生是值得探索的方向。

  11. HuggingFace Daily Papers(社區熱門論文)35

    ViT-HarDis:以困難樣本條件化的去相關注意力提升穩健人臉識別

    ViT-HarDis按樣本難度調節注意力頭去相關,對身份較難區分的樣本施加更強去相關,並只在最後的 Transformer 層進行。以 WebFace4M 訓練時,該方法在 IJB-B、IJB-C 和 TinyFace Rank-1 的 ViT 方法中達到 SOTA;以 MS1MV3 訓練時,則在 IJB-B 和 TinyFace 取得最佳結果,且不需改動架構或增加推理成本。

  12. 虎嗅36

    全球人均壽命延長約9年,不健康年數增至10.7年

    一項涵蓋全球204個國家和地區的研究發現,過去三十多年人們雖然活得更久,不健康地生活的時間也有所增加。1990至2023年,全球人均預期壽命由64.6歲升至73.8歲,健康預期壽命由55.9歲升至63.1歲,兩者差距由8.8年擴大至10.7年。女性的壽命與健康壽命差距更大,2023年為12.1年,男性則為9.3年。

  13. EleutherAI:Blog49

    機制異常檢測研究進展更新 2

    機制異常檢測研究發現,現有方法在 Llama 3.1 8B 的非算術異常資料集上表現欠佳,但模型仍呈現怪異行為。正規化流和稀疏自編碼器方法的表現接近原始激活值的 Mahalanobis 距離,其中正規化流的表現高度吻合。算術資料集上的檢測表現則與 Mistral 7B v0.1 相若。

  14. EleutherAI:Blog47

    以自然語言部分重寫大語言模型

    EleutherAI 的研究發現,現有方法未能在不大幅降低效能的情況下,以自然語言重寫 LLM 的整個層。現有 SAE 潛在特徵解釋在任意情境下只能識別不足 50% 的活躍特徵;雖能識別 90% 的非活躍特徵,但若要模型標記所有可能的特徵,生成連貫文字所需的準確率接近 99.9%。

  15. EleutherAI:Blog36

    透過局部體積研究隨機神經網絡的歸納偏置

    文章以星形域體積估算研究隨機神經網絡參數—函數映射的歸納偏置,並嘗試複現及擴展 Neural Redshift 的結果。研究以參數空間中不同區域的體積比例,估計收斂至相應解的可能性。局部體積估算透過在初始化位置抽取隨機單位方向,計算成本函數低於指定閾值時的半徑。

  16. EleutherAI:Blog39

    研究更新:局部體積測量的應用

    研究團隊將 tyche 局部體積測量用於模型錯位偵測及機制異常數據點偵測,兩項任務的表現均不及其他策略。在機制異常偵測中,meta local volume 的平均 AUROC 為 0.380,meta local volume mahalanobis 為 0.572。團隊目前不打算繼續這方向的研究。

  17. EleutherAI:Blog64

    EleutherAI 研究顯示預訓練數據過濾可降低開放權重模型的 WMDP-Bio 表現

    EleutherAI 的 Deep Ignorance 研究發現,預訓練數據過濾可令 6.9B 模型在 WMDP-Bio 接近隨機水平,同時大致保留無關知識基準的表現。過濾模型即使以 300M tokens 專家標註的生物風險論文微調,WMDP 表現仍低於未過濾基線。但在提供論文摘要作上下文的開卷測試中,過濾模型表現接近基線,顯示數據過濾不能阻止模型利用上下文中的相關資訊。

  18. EleutherAI:Blog53

    EleutherAI 研究以 Reasoning Interpolation 偵測獎勵破解的早期訊號

    EleutherAI 研究以 reasoning interpolation 配合重要性抽樣,監測模型訓練期間獎勵破解的早期訊號。在其實驗設定中,重要性抽樣早期將破解機率低估 2–5 個數量級,但估算趨勢對預測最終會出現哪些破解類型達到 perfect AUC。研究使用 SFT 而非實際 RL 訓練,且預測設定較容易,作者指出仍需在實際 RL 訓練中驗證。

  19. EleutherAI:Blog58

    EleutherAI 提出 AI 可治理性的量化動態模型

    EleutherAI 建立 AI 可治理性的量化動態模型,追蹤合作與不合作的 AI 開發勞動、監測和修正能力如何共同影響控制風險。中央參數設定下,不合作行為長期約佔 AI 勞動的 25%,高於文中設定的 10% 高風險線;模型估算,監測投入增至約 3 倍或修正率提高約 6 倍,可把比例維持在 10% 以下。

  20. HuggingFace Daily Papers(社區熱門論文)34

    PhysInsert:以幾何先驗及雙向物件-場景互動實現物理合理的物件插入

    PhysInsert 是一個參考式物件插入框架,透過共同調整物件及周邊場景,提升插入結果的物理合理性。研究團隊建立 Insert World 數據集,並以幾何引導適配及 2D 物件-場景空間監督,處理物件位置、光照、透視及姿態。實驗顯示,PhysInsert 在 PhysInsert-Bench 和 DreamBooth 上提升圖像保真度,用戶研究亦顯示其物件放置及光照整合更準確。

  21. HuggingFace Daily Papers(社區熱門論文)45

    OpenFlyV2:用於空中感知與導航的機載視覺語言行動模型

    OpenFlyV2 是統一的機載視覺語言行動模型,可在資源受限的硬件上進行即時空中導航與推理。研究團隊建構的模擬數據集包含約 70,000 條導航軌跡及 60,000 組視覺語言指令與回應。模型以 NVIDIA Jetson Orin NX 機載生成動作,每組包含 12 個航點,運行頻率為 10 Hz;從模擬零樣本遷移至實體四軸飛行器後,在四個真實環境的導航成功率為 48%。

  22. 新浪科技68

    Neuralink 公佈 VOICE 早期可行性研究:一名 ALS 參與者首週達每分鐘 75 詞輸出

    Neuralink 公佈 VOICE 語音恢復項目的早期可行性研究,報告一名 ALS 參與者使用首週達每分鐘 75 詞輸出,並將大腦訊號轉為文字和語音。在 12.5 萬詞詞庫下,詞錯誤率(WER)為 5.8%。研究計劃招募約 6 名因 ALS、脊髓損傷或中風失去溝通能力的參與者;目前數據來自單一參與者,尚未有經同行評審的完整論文。

  23. 新浪科技44

    告別知識截止日:Google 讓 AI 學會「睡眠」,邊用邊學且不忘舊知識

    Google Research提出 Sleep Framework,讓大語言模型透過清醒與睡眠階段持續學習新資訊,並整合記憶以避免遺忘舊知識。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的性能下降。框架在 AIME 24/25 等數學基準上取得更高準確率。