跳到正文
10月11日週日
  1. Hacker News 熱門(buzzing.cc 中文翻譯)55

    如何用 Qwen/Qwen3-1.7B 構建及校準決策模型

    作者示範如何用 Qwen/Qwen3-1.7B 限制輸出為 A 至 E 選項,以建立決策模型,並用温度縮放校準輸出機率。在 CommonsenseQA 隨機留出樣本上,微調前準確率為 0.5938,微調後為 0.6241。校準後,0.90–1.00 信心區間的平均信心為 0.9333,準確率為 0.9541。

  2. IT之家47

    亞馬遜雲科技向姚明發起的姚基金捐贈 100 萬美元現金及雲 + AI 資源,目標培養 AI + 體育複合型人才

    亞馬遜雲科技與姚基金推出「雲上籃圖」體育 × 科技育人計劃,投入 100 萬美元現金及雲與 AI 技術資源,培養兼具 AI 素養與體育專業能力的人才。計劃涵蓋高校培訓、黑客松實戰及成果部署,並支持 10 所院校培訓,將優秀 AI 教學工具於 100 所基層學校試點。亞馬遜雲科技亦會支持姚基金籃球季,為學校提供籃球教育、訓練及賽事支持。

  3. HuggingFace Daily Papers(社區熱門論文)37

    Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping

    RSI-Nav 提出以數據為中心的導航遞迴自我改進框架,在共享模型中整合視覺-語言到動作的指令跟隨,以及視覺-動作到語言的指令生成。模型逐批處理未標註軌跡,生成並評估指令、保留合格樣本,再更新模型,使新生成的監督資料與不斷演進的策略同步。在 R2R-CE 和 RxR-CE 分別取得 68.6% SR 和 72.4% SR,指令生成效用更強,空間理解亦有小幅改善。

  4. HuggingFace Daily Papers(社區熱門論文)38

    RSIPO:透過技能與策略共同演化,實現智能體強化學習的遞迴自我改進策略最佳化

    RSIPO 是一種自我演化的智能體強化學習框架,讓智能體技能與策略模型在訓練過程中共同演化。它從已完成的軌跡中提取技能,並以經驗貝葉斯收縮方法校準對教師評分的信任度。以千問 Qwen2.5-7B 為基礎模型時,RSIPO 在 ALFWorld 的平均成功率達 98.6%,較次佳基線及標準 GRPO 分別絕對提升 2.5% 和 17.4%。

  5. HuggingFace Daily Papers(社區熱門論文)37

    重複使用數據的預訓練擴展:批次大小、正則化與 GPU 時間取捨

    研究分析訓練數據有限、需要重複使用時的預訓練,發現驗證損失與批次大小呈 U 形關係,較小批次較典型預訓練更受青睞,可能因梯度噪聲提供隱式正則化。每個 epoch 重新打包文件、權重共享等訓練配方亦可調整;期限較緊時較大批次較有利,但固定時間預算下,較小批次配較少 GPU 仍可取得比大批次配較多 GPU 更低的驗證損失。

  6. elsewhere:文章41

    心資本韓彥:AI 不止於大模型,未來屬於真實世界|心聲VOICE

    心資本創始合夥人韓彥認為,AI 的價值不止於大語言模型,未來更大的機會在於進入物理世界、改變生產方式。中國 AI 投資市場不一定缺乏資金,早期科技投資中外幣資本的參與比例已由三四年前約 90% 降至約 20%。韓彥並指出,機器人領域的關鍵可能是高質素的真實世界數據,而非數據數量。

10月10日週六
  1. Latent Space44

    如何打造可靠執行任務的 AI:工業機械人的經驗

    Standard Bots 分享其工業機械人 AI 的設計經驗,透過共享基礎模型和任務示範及微調,讓模型適應不同工作。其最大模型參數規模為數十億級,機器視覺骨幹模型以超過 10 億張圖片訓練;推理在本地執行,模型負責感知,傳統程式則處理動作和工作站邏輯。公司亦會按客戶情況使用部署中收集的失敗訊號及人手修正。

  2. Hacker News 熱門(buzzing.cc 中文翻譯)42

    自回歸擴散模型能否生成市場數據?

    研究實習生 Kavish 以自回歸擴散模型建立市場事件生成模型,發現全連續擴散難以呈現真實市場數據的鋸齒狀特徵。模型使用四年美國股票數據;DDPM 表現不穩定,所有 7 個連續目標中有 88-95% 的數值偏離分佈平均值逾 8 個標準差。Flow matching 則開箱即有較佳表現。

  3. 創業邦63

    從招聘看字節跳動 AI 戰略與戰術背後的邏輯及細節

    作者分析字節跳動招聘官網 10 月 5 日的 11,187 個國內社會招聘職位,其中 4,791 個與「AI」搜尋結果匹配,佔 42.8%。新發布職位中的 AI 職位比例由 33% 升至 55%;文章並梳理各業務板塊、職能及技能需求,指出招聘涵蓋芯片、算力、模型、雲服務、應用和硬件終端。作者將這種佈局概括為全棧投入,同時指出職位分散在 671 個業務線後綴,押注重點不夠明確。

  4. Ai2 / Allen Institute for AI40

    Ai2 參與 COLM 2026:從模型到科學研究智能體的開放研究

    Ai2 在 COLM 2026 分享開放研究成果,涵蓋 Olmo 模型、科學研究智能體及 Bolmo。Olmo Hybrid 在 MMLU 上達到與 Olmo 3 7B 相同的準確度,少用 49% 訓練 token。AstaBrief 是開放權重模型,可根據研究問題和檢索到的文獻生成附有引用的報告,並可在 Asta 的 Fast mode 使用或下載至自有基礎設施運行。

  5. HuggingFace Daily Papers(社區熱門論文)42

    ShellElastic: Scalable Elastic Pretraining with Simultaneous Maximal Updates and Hyperparameter Transfer

    ShellElastic提出一種可擴展的彈性 Transformer,將隱藏維度組成密集核心及逐層 shell,令一次全寬前向傳播包含各子網絡的精確隱藏狀態,並維持固定計算圖。\muE 將最大化更新參數化擴展至彈性架構,使超網絡內所有子網絡可同時獲得最大化更新。實驗顯示,單次訓練所得子網絡在參數量相同時勝過 MatFormer 和完全彈性基線,並接近分別訓練的模型。

  6. HuggingFace Daily Papers(社區熱門論文)47

    Probable but Not Valid: A Psychometric Audit of Decision Models as Synthetic Survey Respondents

    一項心理計量審核測試決策模型及生成式 LLM 能否充當人類問卷受訪者,結果顯示多數決策模型的表現低於生成式模型。測試涵蓋 14 個決策模型及 47 個生成式 LLM,最佳生成式模型 MiniMax M3 的 PSS 為 0.813。研究指出,以個人資料建立的合成受訪者應以樣本層面的相似度為目標,而非預測個別人士的答案。

  7. HuggingFace Daily Papers(社區熱門論文)41

    UltraBERT:超越 BERT 預訓練的極限

    UltraBERT 以單一編碼器在分類與檢索任務均達最先進水平,GLUE 得分為 91.0,BEIR 為 47.7。模型在同一批次為低、高遮罩比例分設 LM head,並將知識蒸餾目標限制於低遮罩比例;研究指出,較低遮罩比例有利分類,較高比例則有利檢索。

  8. HuggingFace Daily Papers(社區熱門論文)44

    Vela:以用戶行為作為監督訊號,激發大語言模型智能

    Vela 以真實用戶行為作為監督訊號,將行為資料轉化為訓練任務與軌跡,並用來微調 Qwen3.6-35B-A3B,提升其用戶相關能力。微調後,用戶相關任務最高提升 11.5 分,一般基準平均提升 4 分。微調後再進行強化學習,表現較從基礎模型開始進行強化學習最高提升 7.7 分。

10月9日週五
  1. Baseten 工程博客54

    高質素 NVFP4 量化的關鍵是甚麼?

    Baseten 工程博客解説如何為 NVFP4 量化選擇各層精度,並比較架構啟發式、逐層敏感度評分及 SaturationQuant 三種方法。校準會用具代表性的資料測量激活值範圍,再計算量化尺度;逐層評分估算單層量化的影響,SaturationQuant 則以 Aumann–Shapley 評分納入其他已量化層的影響。文章建議按搜尋速度、校準資料及記憶體目標選擇方法。

  2. Semafor55

    AI 為非洲帶來的機遇仍不確定

    非洲的 AI 發展機遇更取決於能否讓技術惠及更多人,而非建成最大模型;基礎設施與能源不足則限制其經濟效益。非洲人口佔全球 18%,數據中心容量卻只有 0.6%,其中僅 5% 配備支援先進 AI 工作負載的設施;世界銀行主張多數非洲經濟體採用並調適 AI,而非從零打造前沿模型。

  3. 創業邦46

    原創

    具身智能領域的創業者與研究者認為,機器人不必等到模型足夠強大才進入現實場景,可透過人機共駕和真實場景數據逐步提升操作能力。靈御智能的機器人已在超市執行試吃等任務,遇到困難時由人遠程介入。嘉賓指出,觸覺、真人與真機操作數據,以及系統工程和經濟效率,是機器人落地的重要課題。

  4. HuggingFace Daily Papers(社區熱門論文)48

    MiMo-V2.6:擴大強化學習規模,邁向自我改進

    MiMo-V2.6 全模態系列透過擴大強化學習算力,推進模型智能水平,並朝自我改進邁進。訓練每步使用 1,568 個樣本及 2.7-3.7B tokens,上下文長度最高達 1M,環境涵蓋程式碼、通用、視覺及網絡安全領域。項目開源訓練動態、強化學習環境及框架,便利重現和進一步研究。

  5. 創業邦50

    日薪120元,我給機械人當「老師」:五位數據採集員講述工作日常

    五位機械人數據採集從業者分享以日常動作錄製訓練數據的工作經歷,並談到薪酬、考核和身體負擔。採集方式包括戴 VR 頭顯遙操作、使用 UMI 手持夾爪,以及以第一人稱視角相機錄影;錄製的數據需經審核,部分任務要反覆操作。受訪者對這份工作的看法不一,有人視為過渡工作,也有人從操作經驗和參與機械人演示中獲得成就感。

  6. MIT News50

    三個問題:AI 在學術界的最佳前進方向是甚麼?

    MIT 統計與數據科學中心主任 Sasha Rakhlin 指出,面對 AI 改變學術研究與研究生教育,大學應重新思考研究評價、訓練方式,並建設共享科研基礎設施。他建議明確記錄研究者的貢獻與知識責任,並讓研究生學會提出問題、審核模型輸出和重現結果。他也主張投資運算資源、安全數據系統,以及調適和後訓練 AI 模型所需的專業能力,連接各實驗室的工作流程。

  7. Databricks:Blog46

    生物醫學影像的真正瓶頸是數據,而非模型

    生物醫學影像研究的真正瓶頸是數據難以存取、整理和共享,而非模型本身。EXAM 研究由 20 間機構共同訓練預測 COVID-19 氧氣需求的模型,患者數據留在各機構,聯邦模型的 AUC 平均提升 16%、泛化能力提升 38%。影像格式與標註差異,以及私隱和治理要求,令跨機構協作仍然困難。

  8. HuggingFace Daily Papers(社區熱門論文)41

    重新審視 On-policy 知識蒸餾中的相對策略差異遷移

    研究為 On-policy 知識蒸餾(OPD)建立統一框架,界定相對策略差異何時可有效監督目標策略。實驗顯示,強化學習或監督式微調形成的差異可穩定遷移,單靠模型規模形成的差異則效果微弱或無效。遷移須令目標策略接近專家並泛化至抽樣軌跡以外;適當參考策略可過濾共同行為,策略距離本身不能預測成效。

  9. HuggingFace Daily Papers(社區熱門論文)41

    SimVTA:以模擬為基礎的影片與軌跡對齊,應用於駕駛世界動作模型

    SimVTA 結合模擬器渲染的未來影片監督與強化學習軌跡最佳化,提升駕駛世界動作模型的規劃表現。NAVSIM v1 上,對 WAM 初始化模型應用 SimVTA 後,PDMS 由 86.2 升至 91.3(+5.1);NAVSIM v2 得 88.2 EPDMS,HUGSIM 閉環評估的平均 HD-Score 為 38.8。推理時,模型直接預測軌跡,無須呼叫模擬器。

  10. HuggingFace Daily Papers(社區熱門論文)45

    多流注意力殘差(MSAR)

    論文提出多流注意力殘差(MSAR),將 AttnRes 擴展為多頭深度注意力,並在 18B、28B MoE 規模的 12 項下游評測中均優於標準殘差、mHC 和 AttnRes。縮放定律實驗顯示,相較標準殘差基線,MSAR 的等損失計算速度提升 1.58 倍,高於 AttnRes 的 1.35 倍及 mHC 的 1.30 倍。MSAR 保留單流來源並按需擴展多流計算,無須持續儲存或通訊多流表示。

  11. HuggingFace Daily Papers(社區熱門論文)34

    超越領域路由監督:Road MOPD 的多教師在策略蒸餾跨教師防護方法

    Road MOPD 為多教師在策略蒸餾提出跨教師防護,讓非路由教師在同一學生生成軌跡上提供跨領域評判,並透過 token 級信用分配及梯度投影協調監督與更新。實驗顯示,該方法可減輕處於劣勢領域的效能下降;高衝突設定下提升超過 5 個百分點,並改善低衝突及三領域設定的整體表現。

  12. HuggingFace Daily Papers(社區熱門論文)40

    ClawLoop: Self-Improving Agents via Harness-Native Training Loop

    ClawLoop 提出一套無需外部教師模型、依賴先驗知識極少的自我改進框架,讓智能體透過任務合成、訓練及診斷回饋形成循環。以 Qwen3.6-27B 作為循環模型時,ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 均取得持續提升。循環中反覆優化的任務轉移至 Qwen3.5-4B 和 9B 後,亦在所有基準測試中帶來提升。

  13. HuggingFace Daily Papers(社區熱門論文)36

    以合成自我蒸餾持續後訓練小型模型

    研究提出合成自我蒸餾方法 SynthSelf,將任務交由同一模型系列中規模略大的 aligner 處理,為小型模型提供監督,同時避免破壞其原有分佈。SynthSelf 在 4 個能力獲取數據集及 14 個知識保留基準上,於 3 種小型模型規模均勝過 6 種方法。

  14. HuggingFace Daily Papers(社區熱門論文)43

    TerminalHorizon:擴展長時程終端智能體數據

    研究提出 TerminalHorizon,一套為長時程終端智能體合成數據的全自動引擎,並據此構建 1.5K 個任務環境。以所得數據監督式微調 Qwen3.5-27B 後,得到 TerminalHorizon-27B;該模型在涵蓋編碼智能體、真實生產環境智能體及一般推理的 12 項基準測試中均取得顯著提升。

  15. HuggingFace Daily Papers(社區熱門論文)45

    以更少訓練學得更多:不確定性引導的漸進式收縮,提升推理後訓練效率

    研究提出不確定性引導的漸進式收縮框架,聚焦高價值推理監督資料,並按學生模型的學習狀態調整 SFT,以降低訓練成本。實驗顯示,所需優化預算最低僅為全數據 SFT 的 0.22%,訓練曝光量減少逾 450 倍,同時維持或提升推理表現。此方法亦能泛化至不同學生模型系列、黑盒教師及弱轉強遷移。

  16. HuggingFace Daily Papers(社區熱門論文)45

    Branching On-Policy Distillation

    BranchOPD 透過學生模型的不確定性與師生分歧選取決策點,從共享前綴重新取樣後續生成,並對主軌跡及分支提供 token 級教師監督。在 ALFWorld 和 WebShop,重用共享前綴分別令學生生成 token 成本降低約 19% 和 31%;各項評測基準中,BranchOPD 均勝過 Vanilla OPD 和 Multi-Rollout OPD(n=7)。