跳到正文
目前篩選:論文
10月30日週五
  1. 虎嗅36

    全球人均壽命延長約9年,不健康年數增至10.7年

    一項涵蓋全球204個國家和地區的研究發現,過去三十多年人們雖然活得更久,不健康地生活的時間也有所增加。1990至2023年,全球人均預期壽命由64.6歲升至73.8歲,健康預期壽命由55.9歲升至63.1歲,兩者差距由8.8年擴大至10.7年。女性的壽命與健康壽命差距更大,2023年為12.1年,男性則為9.3年。

  2. EleutherAI:Blog49

    機制異常檢測研究進展更新 2

    機制異常檢測研究發現,現有方法在 Llama 3.1 8B 的非算術異常資料集上表現欠佳,但模型仍呈現怪異行為。正規化流和稀疏自編碼器方法的表現接近原始激活值的 Mahalanobis 距離,其中正規化流的表現高度吻合。算術資料集上的檢測表現則與 Mistral 7B v0.1 相若。

  3. EleutherAI:Blog47

    以自然語言部分重寫大語言模型

    EleutherAI 的研究發現,現有方法未能在不大幅降低效能的情況下,以自然語言重寫 LLM 的整個層。現有 SAE 潛在特徵解釋在任意情境下只能識別不足 50% 的活躍特徵;雖能識別 90% 的非活躍特徵,但若要模型標記所有可能的特徵,生成連貫文字所需的準確率接近 99.9%。

  4. EleutherAI:Blog36

    透過局部體積研究隨機神經網絡的歸納偏置

    文章以星形域體積估算研究隨機神經網絡參數—函數映射的歸納偏置,並嘗試複現及擴展 Neural Redshift 的結果。研究以參數空間中不同區域的體積比例,估計收斂至相應解的可能性。局部體積估算透過在初始化位置抽取隨機單位方向,計算成本函數低於指定閾值時的半徑。

  5. EleutherAI:Blog39

    研究更新:局部體積測量的應用

    研究團隊將 tyche 局部體積測量用於模型錯位偵測及機制異常數據點偵測,兩項任務的表現均不及其他策略。在機制異常偵測中,meta local volume 的平均 AUROC 為 0.380,meta local volume mahalanobis 為 0.572。團隊目前不打算繼續這方向的研究。

  6. EleutherAI:Blog64

    EleutherAI 研究顯示預訓練數據過濾可降低開放權重模型的 WMDP-Bio 表現

    EleutherAI 的 Deep Ignorance 研究發現,預訓練數據過濾可令 6.9B 模型在 WMDP-Bio 接近隨機水平,同時大致保留無關知識基準的表現。過濾模型即使以 300M tokens 專家標註的生物風險論文微調,WMDP 表現仍低於未過濾基線。但在提供論文摘要作上下文的開卷測試中,過濾模型表現接近基線,顯示數據過濾不能阻止模型利用上下文中的相關資訊。

  7. EleutherAI:Blog53

    EleutherAI 研究以 Reasoning Interpolation 偵測獎勵破解的早期訊號

    EleutherAI 研究以 reasoning interpolation 配合重要性抽樣,監測模型訓練期間獎勵破解的早期訊號。在其實驗設定中,重要性抽樣早期將破解機率低估 2–5 個數量級,但估算趨勢對預測最終會出現哪些破解類型達到 perfect AUC。研究使用 SFT 而非實際 RL 訓練,且預測設定較容易,作者指出仍需在實際 RL 訓練中驗證。

  8. EleutherAI:Blog58

    EleutherAI 提出 AI 可治理性的量化動態模型

    EleutherAI 建立 AI 可治理性的量化動態模型,追蹤合作與不合作的 AI 開發勞動、監測和修正能力如何共同影響控制風險。中央參數設定下,不合作行為長期約佔 AI 勞動的 25%,高於文中設定的 10% 高風險線;模型估算,監測投入增至約 3 倍或修正率提高約 6 倍,可把比例維持在 10% 以下。

  9. DEV Community44

    7 種加密貨幣模型測試:最佳預測信號未能通過成本檢驗

    比較 7 種加密貨幣模型後,Huber 的樣本外 Spearman IC 最高(+0.055),但選中交易扣除模擬成本後平均為 −7.74 bps。XGBoost 的交易結果最接近零,平均為 −1.73 bps,但不確定區間跨越零;LightGBM 為 −1.93 bps。研究修正回測中的邊界洩漏及價格歷史缺口處理問題後重跑比較,但結果不代表可盈利策略,也不是實盤交易結果。

  10. HuggingFace Daily Papers(社區熱門論文)34

    PhysInsert:以幾何先驗及雙向物件-場景互動實現物理合理的物件插入

    PhysInsert 是一個參考式物件插入框架,透過共同調整物件及周邊場景,提升插入結果的物理合理性。研究團隊建立 Insert World 數據集,並以幾何引導適配及 2D 物件-場景空間監督,處理物件位置、光照、透視及姿態。實驗顯示,PhysInsert 在 PhysInsert-Bench 和 DreamBooth 上提升圖像保真度,用戶研究亦顯示其物件放置及光照整合更準確。

  11. HuggingFace Daily Papers(社區熱門論文)45

    OpenFlyV2:用於空中感知與導航的機載視覺語言行動模型

    OpenFlyV2 是統一的機載視覺語言行動模型,可在資源受限的硬件上進行即時空中導航與推理。研究團隊建構的模擬數據集包含約 70,000 條導航軌跡及 60,000 組視覺語言指令與回應。模型以 NVIDIA Jetson Orin NX 機載生成動作,每組包含 12 個航點,運行頻率為 10 Hz;從模擬零樣本遷移至實體四軸飛行器後,在四個真實環境的導航成功率為 48%。

  12. 新浪科技68

    Neuralink 公佈 VOICE 早期可行性研究:一名 ALS 參與者首週達每分鐘 75 詞輸出

    Neuralink 公佈 VOICE 語音恢復項目的早期可行性研究,報告一名 ALS 參與者使用首週達每分鐘 75 詞輸出,並將大腦訊號轉為文字和語音。在 12.5 萬詞詞庫下,詞錯誤率(WER)為 5.8%。研究計劃招募約 6 名因 ALS、脊髓損傷或中風失去溝通能力的參與者;目前數據來自單一參與者,尚未有經同行評審的完整論文。

  13. 新浪科技44

    告別知識截止日:Google 讓 AI 學會「睡眠」,邊用邊學且不忘舊知識

    Google Research提出 Sleep Framework,讓大語言模型透過清醒與睡眠階段持續學習新資訊,並整合記憶以避免遺忘舊知識。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的性能下降。框架在 AIME 24/25 等數學基準上取得更高準確率。

  14. HuggingFace Daily Papers(社區熱門論文)45

    L3G-World:以潛在 3D Gaussian 記憶體即時生成無限世界

    L3G-World 交替運用記憶更新器與影片擴散 Transformer,自回歸生成空間一致的互動世界,並以精簡的潛在 3D Gaussian 記憶體表示場景。相較於各項指標中效率最高的既有 3D 記憶基線,其 3D 基元最多減少 38.6 倍、記憶更新快 3.2 倍、記憶渲染快 359 倍,生成速度達 9 FPS。

  15. HuggingFace Daily Papers(社區熱門論文)44

    讀取、分配、路由:像素空間生成式 Transformer 的角色耦合 Token 化

    SpecSlot 提出像素空間生成式 Transformer,透過局部頻譜槽位和受限全域注意力,在不增加計算成本下提升圖像細節。ImageNet-256 上,其最終 FID 與 FLOPs 相若的 JiT 對照模型相若,收斂速度則更快;ImageNet-512 上,FID 改善 2.84,FLOPs 減少 3.9%。

  16. 新浪科技71

    Anthropic 研究發現專家可能把 AI 智能體偏好誤認為自身判斷

    Anthropic 研究發現,50 位因果推斷專家在政策評估的四項分析決策中,有 86% 採納 AI 智能體偏好,遠高於隨機選擇的 50%。事後有 52% 認為最終建議更像自己的觀點,只有 15% 明確提到 AI;另一方面,使用 AI 後嚴重方法或編碼缺陷由 55% 降至 6%,分析時間中位數由 90 分鐘縮至 65 分鐘。研究團隊建議 AI 智能體同時呈現正反兩方最強論證,或先詢問用戶立場。

  17. HuggingFace Daily Papers(社區熱門論文)44

    Glance:生成器就是自己的重排序器

    Glance 將生成與重排序整合至同一個 9B backbone,透過共享預填上下文及輕量適配器和 pointer head 為候選段落評分。經 39 分鐘 MS MARCO 微調後,Glance 在 SciFact 和 NFCorpus 的 nDCG@10 分別為 0.741 和 0.345,高於 bge-reranker-v2-m3 的 0.721 和 0.326。

  18. HuggingFace Daily Papers(社區熱門論文)50

    論文提出面向實際 iOS 應用程式導航的規劃與 UI 定位智能體在線密集強化學習框架

    這篇論文提出在線強化學習框架,直接在實際運行中的 iOS 應用程式訓練 UI 導航智能體。框架把智能體拆分為規劃智能體與 UI 定位模型,以逐步及任務完成獎勵配合 PPO 訓練,並提出 GiGPPO,利用並行軌跡中視覺相似狀態的獎勵穩定價值估算器。

  19. 新浪科技46

    告別知識截止日:Google 讓 AI 學會「睡覺」,邊用邊學並保留舊知識

    Google研究團隊公佈「睡眠框架」(Sleep Framework),讓大語言模型透過清醒階段接收資訊、睡眠階段整合記憶並自我改進。框架以記憶鞏固和合成訓練樣本練習,將新資訊納入長期參數,同時避免覆蓋舊知識。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的性能下降,在 AIME 24/25 上取得更高準確率。

  20. DoNews32

    谷歌提出「睡眠框架」解決大語言模型知識固化難題

    10月27日,谷歌研究團隊提出持續學習新方法「睡眠框架」,旨在解決大語言模型部署後知識難以更新及容易出現災難性遺忘的問題。框架模擬睡眠中的記憶鞏固機制,在「清醒」階段處理輸入並暫存短期記憶,在「睡眠」階段整合資訊、擴展參數、蒸餾知識,並以生成式「做夢」強化推理能力。實驗顯示,模型在1000萬token長上下文及多階段持續學習中保持性能穩定,數學推理等任務的準確率有所提升。

  21. DoNews49

    Replit 發佈 Agent Habitat 架構白皮書,為自主 AI 智能體打造安全運行環境

    Replit 發佈《Agent Habitat Architecture》白皮書,提出面向 AI 智能體的安全參考架構及成熟度評估體系。架構以權限只能收縮、憑證不向智能體公開、網絡存取須經策略校驗及高危操作須經人工審批為核心原則,並設有 11 個評估維度及 0–3 級成熟度。白皮書聚焦智能體運行期安全,供企業評估及部署智能體平台時參考。

  22. IT之家45

    告別知識截止日:Google 讓 AI 學會「睡眠」,邊學邊保留舊知識

    Google 研究團隊提出持續學習研究「睡眠框架」(Sleep Framework),讓大語言模型吸收新資訊時保留舊知識。框架把模型運作分為清醒和睡眠階段,透過記憶整合及合成訓練樣本提升自我改進能力。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的表現下降;在 AIME 24/25 數學基準上的準確率亦高於多種基線方法。

  23. DEV Community40

    2,392 款 Android 應用的翻譯含不可見字元:Weblate 的零寬空格修復反映於實際發佈內容

    分析 F-Droid 索引中 2,392 款含翻譯的 Android 應用後發現,使用 Weblate 的程式庫每百萬翻譯單位多出 17 個 U+200B,非 Weblate 程式庫則有 70 個,前者約為四分之一。至於 Weblate 未移除的其他不可見控制字元,兩組分別有 531 個和 303 個;這項觀察性分析顯示差異,未能證明成因。

  24. 新浪科技51

    VaM 研究以價值預測作為機械人任務進度記憶,紙盒裝配連續運行 4 小時成功率超過 95%

    研究團隊提出 Value as Memory(VaM),將價值模型的近期預測作為任務進度記憶輸入動作策略,並以離線至在線的強化學習持續更新策略與價值模型。紙盒裝配中,VaM 連續自主運行 4 小時,成功率超過 95%;相較移除價值快取的版本,最終任務成功率提升 29.4%。