讓 DeepSeek 寫了幾個月微調流程,這次訓練令我成為真正的工程師
作者以自建的智能體工具使用軌跡微調 Qwen2.5 1.5B Instruct,schema valid rate 由 43.2% 升至 79.6%,工具名稱準確率由 31.1% 升至 47.4%。但編碼、數學推理及不應調用工具時的表現下滑,held-out loss 亦惡化,顯示模型過度擬合。新一輪訓練改用 LoRA、混合一般及推理數據,並以 held-out loss 作為停止依據。
作者以自建的智能體工具使用軌跡微調 Qwen2.5 1.5B Instruct,schema valid rate 由 43.2% 升至 79.6%,工具名稱準確率由 31.1% 升至 47.4%。但編碼、數學推理及不應調用工具時的表現下滑,held-out loss 亦惡化,顯示模型過度擬合。新一輪訓練改用 LoRA、混合一般及推理數據,並以 held-out loss 作為停止依據。
AWS 示範以 Ray Train DLC、KubeRay 和 EFA 在 EKS 上用 FSDP 微調 Qwen2.5-1.5B。
推薦理由:文章逐一説明容器、叢集與傳輸設定如何分工,並展示以預建映像部署多機訓練及檢查 EFA 網絡路徑的方法。
Cartesia 比較多種從 bytes 學習的語言模型方法,發現 H-Net 能兼具壓縮帶來的預訓練計算效率與 byte-level 模型的下游遷移表現。研究以 compute-to-loss 和 loss-to-loss scaling laws 評估模型,指出 H-Net 在 compute-to-OLMES 比較中相對 BPE 約有 2.06× 計算效率優勢。
Eli Lilly 獲 Alzheimer’s Drug Discovery Foundation(ADDF)授權使用 SpeechDx,將以這個縱向語音與生物標記數據集研究語音能否用於阿茲海默症研究。Lilly 是第三個獲授權機構,前兩個是 Siemens Healthineers 和 Callyope;ADDF 的計劃頁稱研究涵蓋 2,650 名參與者,並每季收集語音數據,為期三年。
NVIDIA 於 2026 年 10 月 28 日發佈開放權重語音模型 Nemotron 3.5 Transcribe,並同步推出 Granary v2 語音數據集及整理流程。
推薦理由:Nemotron 3.5 Transcribe 將多語轉錄、説話者標註、翻譯與音訊問答整合於單一檢查點;Granary v2 公開清單涵蓋 48 種語言及 463,062 小時,呈現模型功能與數據集範圍。
Nvidia 發佈 Nemotron 3.5 Transcribe 開放權重模型,可轉錄 40 種語言、翻譯其中 31 種,並在最長一小時的錄音中標記最多 8 位説話者。
Meta 表示,若與業界團體及領袖的諮詢延續至 11 月 20 日之後,將再次延後更新商業條款的實施。條款原定 10 月 30 日生效,後來已延至 11 月 20 日;出版商擔心條款可能容許 Meta 以使用 Facebook 和 Instagram 的新聞網站內容訓練 AI 模型。諮詢期間,Meta 現行條款維持生效。
研究人員調整 Ai2 開源模型 olmOCR 2,將歷史檔案照片及考古手寫記錄轉為可搜尋文字,並讓檔案機構可按研究需要在本地運行和微調模型。考古團隊以 LoRA 在 57 份記錄上微調模型後,在另外 450 份測試記錄上的轉錄錯誤率由 15.58% 降至 1.11%。團隊希望將方法擴展至 Carnuntum 約 70,000 份陶器記錄。
NVIDIA 推出開放權重的 Nemotron 3.5 Transcribe,並公開 Granary v2 多語言語音資料及整理流程。模型支援 40 種語言轉錄,其中 31 種可與英文互譯,並支援 13 種語言的説話者標註;Granary v2 公開清單涵蓋 48 種語言、463,062 小時及 16 個來源語料庫。醫療語音案例中,微調令留出説話者的 WER 較最佳提示詞基線相對下降 45.8%。
推薦理由:文章串連提示詞控制、資料整理與微調流程,並以留出説話者的醫療語音評估呈現 WER 相對下降 45.8% 的結果。
Artificial Analysis 改版 Intelligence Index,令開放模型與排行榜頂尖模型的分差由 3 點擴至 12 點。新版首次有 60% 的指數依據私人測試集;Kimi K3.1 Pro 從第四跌至第九,Grok 4.7 亦下跌 12 點。
Meta 商業條款調整後,英國及歐盟用戶可透過 Instagram 提交異議,反對 Meta 使用其資料。條款生效日期由 10 月 30 日改為 11 月 20 日;Meta 其後移除允許用途清單中的「train」,並將用途限於廣告及商業產品。用戶可在 Instagram 點按帳戶的三條線,前往私隱中心選擇「object」,再填寫表格説明反對理由;文中提到有用戶收到電郵確認異議獲批。
豆包公關負責人劉星迴應稱,橫店與字節合作、將15萬名羣演的肖像和聲音餵給字節大模型的傳言嚴重失實。橫店影視AI服務平台項目旨在把影視基地實景等資產製作成高質量數據集,協助劇組選景、籌備和拍攝,並降低中小影視企業使用 AI 的門檻。火山引擎是技術支持方,相關數據不會用於訓練字節大模型,涉及肖像和聲音使用須取得本人授權。
超衍智能發布 35B 模型 Apex-35B-V1.0,並讓 AI 參與實驗與結果分析,將遞歸自我改進(RSI)引入模型研發。在 21 項基準測試中,該模型較 Qwen3.6-35B-A3B 領先 20 項;對比 Recursive SuperIntelligence 的 Flint,則領先 18 項、1 項持平。
峯瑞資本認為,AI for Science(AI4S)是 AI 走向物理世界的重要橋樑,將模型能力延伸至原子、分子層面的計算與設計。文章以 AI 制藥、電池材料、生物製造及醫療等案例,指出 AI4S 正由基礎科研走向產業應用,並提及 AI 參與設計的藥物已進入 III 期臨牀。
字節豆包公關負責人表示,橫店與字節合作、將15萬名羣演的肖像和聲音用於訓練字節大模型的傳言嚴重失實。橫店影視 AI 服務平台建設項目目前處於中標階段,火山引擎僅提供技術支持,數據資產歸橫店或授權方所有。涉及個人肖像和聲音須獲本人授權,項目數據不會用於訓練字節大模型。
啟明創投投資企業本期十條要聞涵蓋 AI 影片生成、具身智能、醫療創新及自動駕駛等領域的合作、產品發布與研發進展。生數科技旗下 Vidu 為中國首部獲國家電影局公映許可證的 AI 超寫實院線電影提供首席技術支持;RLinf v0.4 開源發布,SharpaDex v1.0 數據集則已在 Hugging Face 開放獲取。
摩爾線程宣佈開源 Megatron-MUSA-Titan,這是一個面向其全功能 GPU、為萬卡級集羣訓練萬億參數 MoE 模型設計的訓練基礎設施項目。項目覆蓋預訓練與強化學習,並已在實際萬卡集羣完成長期穩定訓練驗證。框架整合 blockwise FP8 訓練、DeepEP 與 ACE 異步通信引擎,並支援 slime、miles、SGLang。
富士膠片計劃把磁帶產能提升至現時5倍,這將是公司約20年來規模最大的一次擴產。計劃主要涉及壓縮容量最高100TB、原生容量40TB的LTO磁帶,目標在2028財年完成;100億日元投資目前未獲公司公開確認。AI訓練帶來的冷數據儲存需求,令磁帶的低成本、低耗電和離線防護優勢受到關注,但其讀寫速度較慢,幾乎無法隨機存取。
個人及中小型團隊難以從零預訓練前沿模型,但可微調開放權重模型,打造專用 AI 系統。以 Apache 2.0 授權的 Qwen3.8-27B 為例,可用 LoRA、SFT 或 DPO 微調;其 VRAM 需求約為 14–16GB(4-bit)至 56GB(BF16)。原型開發可用免費方案,正式部署則可選雲端 GPU 或託管推理服務。
手億科技創辦人兼 CEO 許展瑋從清洗冷氣的熟練操作中,看到機械人學習真實操作經驗的需要,並將手部數據採集作為切入點。手億科技以輕量化腕帶、多種傳感器和算法記錄自然操作,目標是把手部位置誤差控制在毫米級。公司定位為具身智能領域的數據與模型基礎設施公司,並推進數據處理、評估及場景應用。
豆包公關負責人劉星10月28日表示,橫店與字節合作將15萬名羣眾演員的肖像和聲音提供給字節大模型的傳言嚴重失實。橫店影視AI服務平台項目旨在建設公共數碼基礎設施,將影視基地實景等資產整理成高質素數據集,以協助劇組選景、籌備和拍攝,並降低中小型影視企業使用AI的門檻。火山引擎是技術支持方,數據資產歸橫店或授權方所有;涉及任何人的肖像和聲音均須取得本人授權,項目數據不會用於訓練字節大模型。
豆包公關負責人劉星表示,關於橫店與字節合作將15萬名羣演的肖像和聲音餵給字節大模型的傳言嚴重失實。橫店影視 AI 服務平台項目計劃將影視基地實景等資產建成高質量數據集,供劇組選景、籌備和拍攝使用,並降低中小型影視企業使用 AI 的門檻。項目數據資產歸橫店或授權方所有,涉及個人肖像和聲音的使用須取得本人授權,項目數據不會用於訓練字節大模型。
豆包公關負責人劉星表示,橫店與字節合作將 15 萬名羣眾演員的肖像和聲音提供給大模型的傳言嚴重失實,項目數據不會用於訓練字節大模型。橫店影視 AI 服務平台旨在把影視基地實景等資產建成高質素數據集,協助劇組選景、籌備和拍攝,並降低中小型影視企業使用 AI 的門檻。項目數據資產歸橫店或授權方所有,涉及任何人的肖像或聲音使用均須取得本人授權。
作者在 RTX 5070 Ti 16 GB 顯示卡上測試 LoRA 微調,發現指定設定下 7B 是可在實體顯存內運行的上限;14B 雖未報錯,卻已溢出至系統記憶體。
宇樹上市後,部分投資機構重新審視人形機械人估值,甚至停止將具身智能項目提交投委會,或基本暫停實際投資決策。文章指出,機械人訂單和演示尚未充分轉化為可持續商業化;宇樹2025年前9個月人形機械人收入中,73.6%來自科研教育,IDC數據顯示2025年人形機械人出貨中,78.4%用於商演、科研及數據採集。
一項以小型網絡進行的 Permuted MNIST 實驗發現,連續微調令 Task A 準確率下跌 12.3 個百分點,未達預先設定的 20 點嚴重遺忘門檻。EWC 恢復了 98.0% 的準確率損失,使 Task A 準確率回升至 97.63%;Task B 準確率則比未受保護的情況低 0.41 個百分點。
RynnWorld-Latent 使用以 3D 為基礎的潛在動作作為共享條件介面,學習跨具身影片世界模型,並支援多種影片來源的聯合預訓練及合成數據生成。模型以 23 個數據集、約 553.5M 幀進行預訓練。合成中期訓練提升 LIBERO 和 LIBERO-Plus 的策略成功率;兩種數據生成途徑在受評估設定下,均較僅使用真實示範訓練提升真實世界策略成功率。
文章主張,企業選擇阿拉伯語大語言模型,應以自建資料集的評測結果及實測 token 成本為準,而非排行榜排名。文中列出 Falcon-H1-Arabic、ALLaM、Fanar 2、Jais 2 及 frontier API 作比較對象,並建議以 200 至 500 條企業自有資料建立評測集。
清華大學翟季冬教授團隊的八卦爐 2 論文獲 SC26 錄用,提出按實時顯存壓力調整激活保存、重計算與卸載的 MoE 訓練方案。
MLE-World 提出一種學習式世界模型,讓 AI 研究智能體無須實際執行程式即可預測機器學習實驗結果。它由 Qwen3.5-4B 微調而成,根據程式碼和數據描述預測程式的終端輸出;在 17 項 MLE-bench Lite 任務的留出程式中,與真實終端輸出的吻合率為 77.9%,而規模大得多的提示模型為 41.1%。
ThinkWorld提出一種視覺-語言-動作(VLA)學習框架,以世界動力學為動作推理奠基,並透過世界想像的強化學習提升機械人泛化能力。框架以動態鏈(CoD)表示動作,利用未標註人類影片中的狀態轉移提供監督;模擬及真實機械人實驗顯示,該方法能促進人類經驗向機械人遷移,並泛化至未見任務和環境。
Timestral 推出一系列用於機率預測的時間序列基礎模型,包含 5M、28M、123M 和 209M 參數四款模型。該系列在 GIFT-Eval、TIME 和 fev-bench 創下 SOTA,Timestral-209M 和 Timestral-123M 在每項指標均排名前兩位。四款模型的權重已在 Hugging Face 開放,推理程式碼則可在 GitHub 取得。
ModelCompare測試14款主流AI模型,發現41個答案中有35個都認為,人類將歸屬感置於真理之上。研究亦測試6款AI圖像模型,其中10幅畫作以相近笑點描繪人類沉迷手機、消費主義及破壞地球。研究認為,模型訓練資料高度重疊,令它們吸收相似的世界觀。
LLM 以 token 而非字母處理文字,因此可能數錯「strawberry」中的 R。文章以 Byte-Pair Encoding(BPE)解釋 token 的形成,並指出分詞方式也會影響拼寫任務、不同語言的 token 用量,以及 API 費用和上下文限制。文末提供 BiteLrn 的互動 Tokenization lab,可輸入文字查看分詞並逐步操作 BPE 合併。
百奧幾何(BioGeometry)宣佈完成A+輪融資,A輪系列融資總額超過1億美元,本輪由國壽資本領投。資金將用於持續迭代分子水平的 GeoFlow 與細胞水平的 GeoCell、擴建高通量自動化實驗室,以及推進自研藥物管線商業化。
文章建議,模型及訓練狀態可放入單張 GPU 時使用 DDP,否則使用 FSDP,並透過 torchrun 為每張 GPU 啟動一個程序。混合精度 Adam 完整訓練每個參數約需 16 bytes,未計激活值;8B 模型以 8 張 GPU 完全分片時,每張 GPU 約需 16 GB。
Exowatt 使用 SageMaker Tuning 建立兩款專用 AI 模型,AWS 稱其準確度勝過前沿模型,成本最多低 49x。AWS 表示,無伺服器模型自訂流程讓 Exowatt 無須預留專用調校基礎設施,並可建立適用於邊緣及雲端部署的可重複流程。AWS 另指出,若評測缺乏可靠的 ground-truth 測試,團隊可能高估大型通用模型。
Sharpness-Aware Minimization(SAM)透過最小化參數鄰域內的最壞情況損失,偏向平坦極小值,以提升模型對擾動的穩定性。每次更新需要計算兩次梯度,單步成本約為標準訓練的兩倍;實際上,SAM 可能以較少步數達到指定測試準確率,或在相同 epoch 數下取得較佳準確率。平坦程度並非泛化能力的完整理論,SAM 更適合視為一種訓練偏向。
作者分享一個用於衞星異常應對的私隱保護主動學習原型,在即時政策限制下篩選可供操作員標註的查詢。原型以 policy_mask 排除禁止查詢的樣本,並以 DP-SGD 保護遙測資料。由於連續遙測樣本高度相關,作者改為按 session 分組並在 session 層級裁剪梯度。
智合標準中心組織編制《人工智能 高質量語料庫建設運營與應用指南》團體標準,邀請各行業數據資源持有及開發服務企業、語料庫建設運營企業、人工智能與數據應用企業,以及相關專業機構和專家參與起草。標準涵蓋建設規劃、資源整合、加工治理、持續運營、複用應用及價值轉化,為語料庫建設、運營和應用提供全流程指引。