跳到正文
10月26日週一
  1. 新浪科技73

    Pinal 蛋白質設計模型可按文字描述生成候選序列

    香港科技大學(廣州)、西湖大學及中國科學院深圳先進技術研究院團隊提出蛋白質設計模型 Pinal,可按自然語言功能描述生成蛋白質結構,再據此設計候選氨基酸序列。模型以17億組蛋白質—文本配對合成數據集訓練,參數規模為160億;團隊對四類蛋白進行實驗測試,其中設計的 pinalH02 在體外固碳體系中令甘氨酸最終濃度達11.1毫摩爾每升,是天然大腸桿菌H蛋白對應組件的1.7倍。

  2. HuggingFace Daily Papers(社區熱門論文)54

    Lipi-Ghor 研究提出大型多領域、具説話者分離標註的孟加拉語語音語料庫及可擴展建置流程

    Lipi-Ghor 研究提出大型弱監督孟加拉語語音語料庫,收錄 885 小時音訊,並附有説話者分離的長篇標註及 gold 評測集。語料來自 998 個 YouTube 影片、596 個頻道及 17 個領域,以自動説話者分離結合字幕製成 SSTT 標註;gold 評測集經 17 名志願標註者共 30 小時校訂,研究亦提供可複製的建置流程。

  3. HuggingFace Daily Papers(社區熱門論文)40

    預訓練數據的詞彙印記

    研究發現,預訓練語料與基準測試目標的詞彙對齊程度,能持續反映零樣本準確率。涵蓋 10 個零樣本基準、4 個預訓練語料及 3 種模型規模的實驗顯示,較低 UCE 對應較高準確率。按詞彙對齊程度挑選訓練文件可提升準確率,把提示詞路由至語料較匹配的 drafter 則可提升吞吐量。

  4. HuggingFace Daily Papers(社區熱門論文)31

    長時程 LLM 智能體的多尺度策略最佳化

    多尺度策略最佳化(MPO)透過在回合尺度對齊信用分配與策略更新,改善長時程 LLM 智能體的訓練。MPO 結合多尺度優勢估計(MAE)與回合層級重要性抽樣,在使用 4B 和 30B-A3B 模型進行的搜尋、工具使用及自動化任務實驗中,持續勝過多個強化學習基線。

  5. HuggingFace Daily Papers(社區熱門論文)57

    Outcome RL 帶來甚麼:改善作答完成度與可靠性,解題範圍拓展有限

    研究發現,Outcome RL 在固定 token 預算下提升 pass@1,主要靠提高答案完成率和作答可靠性,而非新增解題知識。研究比較 20 個已發布 RL 模型(1.5B 至 32B)及其基礎思考模型;Outcome RL 未提升大 k 下的 pass@k,四組物理及數學題的 Reach 增益最多為 2.1 個百分點。

  6. HuggingFace Daily Papers(社區熱門論文)43

    Fin-SD 如何提升金融推理:回溯自蒸餾的適用條件

    Fin-SD 透過學生模型自行撰寫錯誤評論,並以截斷至錯誤前的正確推理前綴進行按策略自蒸餾,改善多步金融推理,無須外部教師模型提供梯度。在 FinanceReasoning Hard 子集上,Fin-SD 比基礎模型準確率高 3.03 個百分點;以完整參考解答進行按策略自蒸餾時,準確率相若,但生成的 tokens 少 9.5%。使用 GPT-OSS-120B 撰寫提示,效益亦未見明顯高於自行撰寫。

  7. HuggingFace Daily Papers(社區熱門論文)36

    超越估計:Wiener-informed Decoding 讓像素空間 Flow 模型更易訓練

    Wiener-informed Decoding(WiD)將維納統計估計融入像素解碼器,透過統計量初始化新路徑,並與模型一同訓練,以改善像素空間 Flow 模型的學習。WiD 適用於類別條件及文字生成圖像,並支援不同解像度;統計量以約 50,000 張圖像估算,使用 GPU 加速約需一分鐘。

  8. HuggingFace Daily Papers(社區熱門論文)46

    語言模型有否使用外部資訊?CREDIT 反事實訓練提升自我歸因能力

    CREDIT 透過反事實訓練改善語言模型對外部資訊的自我歸因,減少模型錯誤承認未影響答案的資訊來源。該方法以反事實標籤直接監督最終答案,無需人工標註,並在四個開源模型(包括兩個蒸餾推理模型)上提升歸因表現,優於推理層微調及提示詞基線。提升效果亦部分泛化至未見資訊類型,以及包含支持相互矛盾答案來源的提示詞。

  9. HuggingFace Daily Papers(社區熱門論文)36

    DTCA:為擴散語言模型強化學習進行去噪 token 信用分配

    DTCA 透過衡量 token 提交後其餘遮罩位置的預測信心改善,估算 token 貢獻,並按詞性分類訊號,為擴散語言模型的強化學習進行 token 級信用分配。DTCA 亦按策略更新引起的 token 級熵變化校準學習訊號;在 LLaDA-8B-Instruct 上,MATH500 分數最高提升 9.0 分,GSM8K 最高提升 5.3 分。

  10. The Guardian Technology67

    Elvis Presley 音樂權利方起訴 Anthropic,指其未經許可用 274 首歌曲訓練 AI 模型

    持有 Elvis Presley 音樂作品及肖像權的授權機構 Authentic Brands Group 起訴 Anthropic,指其未經許可使用 Presley 的 274 首歌曲訓練 AI 模型。訴訟要求每首侵權歌曲賠償 $150,000,合計約 $41m(約 £31m)。案件是藝人遺產直接起訴 AI 開發商的首批重大法律挑戰之一,結果可能為 AI 公司使用既有音樂曲庫立下更廣泛的先例。

10月25日週日
  1. 阿里雲開發者社區 AI51

    700 億個數字裏,沒有一個寫着「貓」:模型的知識究竟存在哪裏?

    文章指出,大模型的知識並非對應某一個參數,而是分散編碼於多個參數的協同作用中。權重的實際貢獻取決於輸入,權重大小不能直接代表重要性,而偏置會影響神經元的激活門檻。研究曾把部分知識定位至 Transformer 前饋層及稀疏神經元,但定位不等於可解釋或可控;文章建議穩定背景知識可編入權重,易變事實則使用 RAG。

  2. 阿里雲開發者社區 AI58

    AI 如何學會與學壞:從外賣配送預測 21 分鐘、實際 25 分鐘看訓練閉環與早停

    文章以外賣配送預測為例,解説 AI 訓練如何透過前向傳播、計算損失、反向傳播、更新參數及重複迭代,逐步減少預測誤差。文章指出,訓練損失下降不代表模型學得好;訓練集、驗證集和測試集須分開,並可在驗證表現不再改善時早停及儲存最佳 checkpoint,以免過度擬合訓練資料。文中亦指出,大模型預訓練通常按預設 token 預算進行,而數據量較小的微調更容易過擬合,因此早停在微調時更有用。

  3. 新浪科技71

    Pinal以自然語言功能描述生成蛋白質結構並設計候選序列

    研究團隊提出蛋白質設計模型 Pinal,將自然語言功能描述轉為蛋白質結構,再據此設計候選氨基酸序列。團隊以17億組蛋白質—文本配對、涵蓋約1.35億條蛋白質序列的數據集訓練出160億參數模型,並對四類蛋白質進行實驗驗證;其中設計的 pinalH02 令甘氨酸濃度達11.1毫摩爾每升,為天然大腸桿菌H蛋白組件的1.7倍。

  4. DEV Community33

    MeterMinder:開源 AI 能源分析原型

    MeterMinder 是開源 AI 能源分析原型,使用 TabPFN v3.5_default 為每小時電錶讀數評分,協助用戶找出值得調查的用電模式。模型以 20,000 條已標註讀數擬合,在 2,500 條留出讀數的評估中,ROC-AUC 為 0.7170、Average Precision 為 0.04204,均高於基線。

  5. DEV Community64

    Mahmoud Mabrouk 的 GEPA 實戰指南:校準及優化 LLM 評估器

    Mahmoud Mabrouk 的演講以 Towbench 航空公司客服智能體數據,示範如何用 GEPA 迭代優化 LLM 評估器提示詞,使評估結果貼近人類標註。文中報告優化後的驗證集準確率為 74%,並改善了不合規項目的召回率和精確率。演講亦指出,效果取決於標註資料、種子提示詞及反思模板,小規模實驗的 Token 費用也可能達 $200-$300。

  6. DEV Community43

    SleepTrace:收集了 1,045 小時睡眠音訊,只有 53 小時可用於訓練

    SleepTrace 收集了 1,045 小時夜間睡房音訊,但只有約 53 小時可用於訓練睡眠階段模型。可用時數取決於錄音與穿戴式裝置資料能否準確對齊,以及夜晚是否完整、標籤來源是否明確;團隊因此先做對齊,並剔除不符合有效夜晚定義的資料。睡眠分析已由 iPhone 上的 Core ML 移植至 Android 上的 ONNX,相同輸入下兩者結果相差不超過 2.9×10⁻⁶。

  7. DEV Community57

    Saara CLI 加入 Gemma 4 本機 OCR,讀取掃描 PDF 並支援 8 種訓練資料格式匯出

    開發者在 Hacktoberfest Hack Day 為開源資料集 CLI Saara 加入 Gemma 4 本機掃描 PDF OCR,並加入多格式匯出與按文件分組切分功能。本機模式透過 Ollama 將掃描頁面轉成文字,文件不會離開電腦;匯出涵蓋 8 種格式,分組切分則避免同一文件的頁面同時進入訓練集與測試集。

  8. 新浪科技48

    人大等團隊開源 TabClustPFN,讓表格聚類開箱即用

    中國人民大學等機構的研究團隊提出並開源 TabClustPFN,以預訓練後的一次前向推斷,從無標籤表格預測樣本分組及簇數。模型為 2 到 10 類的候選簇數提供概率;在 3,200 個未參與訓練的合成數據集上,95% 累計概率候選集合的真實簇數覆蓋率為 96.8%。團隊亦在 44 個真實數據集上評估模型,簇數估計誤差中位數為 1。

  9. 創業邦64

    SK海力士終止 Solidigm IPO 評估,百億美元集資計劃告吹

    SK海力士於10月23日正式終止旗下 Solidigm 的 Pre-IPO 融資及 IPO 評估,並稱決定基於資本市場環境及股價走勢。此前市場報道估計,Solidigm IPO 集資約100億至150億美元,估值最高可達1500億美元;上市計劃引起股東反對,亦觸及韓國重複上市新規。SK海力士表示,Solidigm 的增長潛力及投資需求不變,美國新廠仍需興建,投資時間、規模及融資方式將重新評估。

  10. 新浪科技73

    亞馬遜 CEO 賈西稱,AI 算力需求持續高漲,AWS 容量至 2027 年基本售罄

    亞馬遜 CEO 安迪·賈西(Andy Jassy)於 10 月 23 日表示,受 AI 基礎設施需求推動,AWS 雲端運算容量至 2027 年基本售罄,並有大量長期算力訂單鎖定至 2028 年。報道指,AWS 2026 年產能已售罄,2027 年大部分容量已被預訂;模型訓練和推理需求增長,令雲服務供應商面臨持續的基礎設施壓力。

  11. 螞蟻 inclusionAI:HuggingFace 新模型61

    inclusionAI 發佈 Ling-3.1-flash-base 基礎模型檢查點

    inclusionAI 發佈 Ling-3.1-flash-base 基礎模型檢查點,總參數量為 560B,每個 token 啟用 25B 參數。它採用與 Ling-3.1-flash 相同的混合線性 MoE 架構,結合 KDA 和 Gated MLA,並在 47 項基準、八個領域進行評測。檢查點以 BF16 權重發佈,模型以 FP8 訓練,適用於持續預訓練、領域適配及後訓練研究。

  12. DEV Community43

    SNLI、MultiNLI 與 ChaosNLI 標註者一致度分析:哪些 NLI 標籤最難形成共識?

    對 SNLI 和 MultiNLI 的逐類別、逐文本類型統計顯示,金標籤類別比文本類型更能預測標註者的一致程度。兩個數據集的全體一致率排序均為 contradiction > entailment > neutral;MultiNLI 的類別間差距約為文本類型間差距的兩倍。ChaosNLI 的 3,113 個案例原本全是五人中三人同意,加入 100 份標註後,28.3% 的原金標籤被其他標籤超越。

  13. DEV Community43

    歷史資料選取不應因日後修訂而改變

    按時間點進行資料連接時,應以資料版本的可用時間,而非數值所描述的時期,決定歷史決策可使用的版本。例子以合成資料展示:10 月 4 日應選取數值 100,而 10 月 7 日發布的修訂值 80 不應改變這項選取。程式亦拒絕同一可用時間的修訂,並指出重現實際系統當時掌握的資料,須有接收歷史記錄。

  14. DEV Community58

    領域持續預訓練前的檢查清單

    Conor Bronsdon 整理了領域持續預訓練前的檢查清單,建議先界定訓練階段,按實際任務建立評測,並追蹤領域能力提升與原有能力保留。Thomson Reuters 在訪談時用於持續預訓練的內容語料不足 10%,並在訓練流程中結合微調、直接偏好最佳化(DPO)及智能體強化學習。文章亦建議以生產環境 A/B 測試把關,並檢查 RL、LLM 評判或合成數據可能帶來的獎勵投機與偏差。

  15. HuggingFace Daily Papers(社區熱門論文)63

    相同訓練的語言模型會在不同越獄提示下失守

    研究發現,相同數據配方及安全後訓練下,不同預訓練種子的語言模型仍會對不同越獄提示失守。在 25 種數據配方、共 150 個模型的比較中,同一預訓練運行的模型非拒答率相關係數為 0.984,換預訓練種子降至 0.811,換數據配方則為 0.779。

  16. HuggingFace Daily Papers(社區熱門論文)57

    ParetoRSI-Gym:AI 智能體能否跨多個領域改進語言模型?

    ParetoRSI-Gym 評估遞歸自我改進智能體能否透過整理數據與訓練,提升語言模型在多個領域的泛化表現。Claude Code 配合 Opus-5 的 proxy-best checkpoint 泛化分數,按三個基礎模型和五個領域等權平均,較起始模型提升 9.2%(絕對提升 2.3 點);單一領域最高相對提升 63%,出現在 Ministral-3-3B 的醫學領域。

  17. DEV Community26

    機器學習系統能否自我修復?構建自我修復機器學習系統:第一階段

    這項研究計劃旨在為信用卡違約預測建立自我修復機器學習系統,自動偵測故障、診斷成因、採取復原策略,並評估復原後的模型是否符合安全要求。第一階段選用包含 30,000 筆觀測資料的 UCI Default of Credit Card Clients 數據集,制定研究問題、系統架構、評估準則及可重現的實驗計劃。實驗將使用歷史數據和模擬故障,並以預測表現評估復原成效。