語言模型的一般智能可彌補特定訓練資料缺失
研究發現,語言模型的一般智能可彌補特定訓練資料缺失,資料過濾會延遲相關技能形成,而非永久排除能力。研究以棋類、分子字串、括號語言及網頁文本等任務隱去特定技能資料,並發現小模型表現可用來預測大模型技能延遲時間。另有 7-billion-parameter 模型在接觸被隱去的程式語言資料後恢復相關能力;模型智能越高,恢復技能所需資料越少。
研究發現,語言模型的一般智能可彌補特定訓練資料缺失,資料過濾會延遲相關技能形成,而非永久排除能力。研究以棋類、分子字串、括號語言及網頁文本等任務隱去特定技能資料,並發現小模型表現可用來預測大模型技能延遲時間。另有 7-billion-parameter 模型在接觸被隱去的程式語言資料後恢復相關能力;模型智能越高,恢復技能所需資料越少。
Squoosh Bench 評估 UX-1 對歷史網站 A/B 測試結果的預測,在 318 項測試中正確判定 267 項,準確率為 84.0%。UX-1 以人類瀏覽數據微調,每個測試組模擬 1,000 名購物者;Qwen3 Next 80B 正確判定 196/318 項,準確率為 61.6%。UX-1 在 126 項測試中預測變體勝出,其中 118 項實際勝出、4 項落敗,另有 4 項結果不明確。
澳洲創意界在 AI 公司遊説之際發起「Not AI’s To Take」運動,要求 Albanese 政府不要削弱版權法,Paul Kelly、Jimmy Barnes 等音樂人支持這項行動。創意界認為現行版權法無須更新,只需加強執法,並稱法律改動可能危及價值 $70bn 的創意產業及其 600,000 名從業者。政府預計於 2026 年底或 2027 年初公佈 AI 立法方案,涵蓋版權等議題。
Keshav 比較數據湖、數據倉庫與 Lakehouse 的儲存模式、資料保障和運作取捨,並整理按工作負載選型的考量。數據湖以物件儲存檔案為主,數據倉庫提供受管理的分析 SQL;Lakehouse 在湖中檔案上加入開放表格式,支援交易、寫入時結構描述約束及讀取舊版本。DuckDB 範例展示失敗寫入可能令數據湖讀者看見部分資料,而數據倉庫會回滾交易;Lakehouse 則須維護壓縮、清理和目錄。
SGLang 團隊回顧首屆 SGLang Summit,會上宣佈 SGLang v1.0、Miles v0.2,並成立由九名創始成員組成的 SGLang Consortium。
LanceDB 宣佈獲得 5,750 萬美元 B 輪融資,將用於拓展多模態數據平台,加速 AI 模型開發。平台基於開源數據格式 Lance,讓研究人員和模型開發者搜尋、整理及準備不同類型的訓練數據,並可直接連接現有雲端儲存而不需搬移數據。公司稱,Microsoft 用該平台訓練數百億行圖像及程式碼數據。
美國商務部工業與安全局擬以臨時規則收緊海外資料中心遠程取得美國 AI 算力的規定,並與實體出口禁令接軌。新加坡、馬來西亞、泰國、印尼及巴西的資料中心營運商,購買美國先進 AI 晶片前將須取得美國政府許可。Reuters 檢視逾300份中國論文、專利、招聘資訊及政府文件後指出,中國已形成以美國模型輸出蒸餾較小本地模型的產業鏈,藉此減少開發者的運算負荷。
Ali Ahmed 發現,其 AI 技術面試工具 Master the Interview 的程式碼檢測 API 會以 JavaScript 模型評估 Python 和 Java,原因是訓練迴圈後的程式碼把最後訓練的模型另存到頂層目錄,而 API 載入了這些檔案。
Epoch AI 梳理 AI 晶片如何影響 AI 發展,涵蓋供應鏈、市場、成本效益和能源需求。截至 2025 年第四季,五大晶片設計商累計出貨約 2,000 萬枚,Nvidia 約佔銷量一半及全球在用 AI 算力逾 66%;近乎所有先進 AI 晶片均由台積電代工。
都柏林生物科技公司 Nuritas 運用 AI 模型篩選天然肽,尋找可能有益健康的候選肽,再由科學團隊在實驗室測試。公司以自有系統和專有數據訓練模型,按特定生物目標搜尋,並表示傳統方法要花 3,000 萬年才能研發出 PeptiStrong。展開臨牀測試和確認安全、功效及商業可行性,是產品上市前的重要環節。
小型語言模型以較低的記憶體、延遲、能耗和部署要求,提供實用效能;是否適合取代大型模型,取決於具體目標和評估結果。文章以五個階段説明其運作:界定能力目標、選擇精簡架構和數據組合、蒸餾或高效訓練、針對裝置和延遲預算作最佳化,以及評估是否需要大型模型作後備。小型模型在長尾推理上仍可能失誤,即使平均基準測試表現具競爭力。
開源專案 sri 示範如何在 Colab 建立可重現的葡萄牙語 NLP 流程,將 JSON 資料中的標題整理成包含 id 和 documento 欄位的 CSV。準備筆記本使用 transformers==4.49.0 和葡萄牙語 BERT tokenizer,最多處理 500 列,並將標題截至 512 tokens。後續筆記本可使用這份 CSV 進行清理、詞性標註、命名實體識別、嵌入向量及分析。
巴黎初創公司 Remanence 獲得 $30m 種子輪融資,由 EQT Ventures 和 FirstMark 共同領投,Synthesia 聯合創辦人及 Datadog CEO 等天使投資者參與。
文章指出,AI 智能體的判斷一旦被企業流程接受並寫入紀錄,便可能在報告、儀錶板、搜尋索引及後續模型中被當作事實依據;即使原始證據更正,依賴舊判斷的決策仍可能繼續生效。
文章梳理大語言模型中的 Layer Norm、RMS Norm 和 Deep Norm 方法,以及 Layer normalization 在模型中的位置差異。RMS Norm 移除計算均值的步驟,速度較快,效果基本相當甚至略有提升;Deep Norm 透過調整殘差連接及模型參數,緩解模型更新爆炸,令訓練更穩定。
2026全球數商大會於10月30日至31日在上海舉行,期間圍繞「數鏈全球」「數智共生」等主題舉辦30餘場活動。集錦輯錄政產學研各界嘉賓的精華發言,聚焦數據要素市場化配置及全球數智生態共建。
AI4S正進入科研流程並吸引資本,但目前主要處於輔助和指導科研階段,距離AI獨立完成科學發現仍有差距。受訪者將發展分為輔助科研、指導科研和自主科研,並指出提出研究問題、設計方案、實驗驗證及取得高質素數據仍是主要難點。今年前10個月,國內AI4S賽道有超過80筆融資,已披露融資總額超過200億元;文章亦梳理醫藥、材料等行業的應用和商業化路徑。
九識智能與易咖智車簽署萬台智駕套件戰略合作協議,易咖、九識、合一新能源及寧德時代合作打造的M6無人物流車同步進入量產交付階段。易咖負責線控平台及整車製造,九識提供L4級自動駕駛方案;首批2000台正陸續交付。九識披露,截至2026年11月,採用其「九識大腦」的車輛累計超過4萬台;報道指出,行業分工正由技術驗證主導轉向商業化協同。
智源研究院聯合逆矩陣、北京大學、清華大學及北京航空航天大學推出悟界·PhysCapBench,評測第三人稱場景、第一人稱操作與手持夾爪示範中的影片描述物理資訊。
阿里雲計算平台算法團隊的 FAQ 訓練後量化技術入選 ACL 2026,旨在改善超大 MoE 模型低比特量化時的精度與部署問題。DeepSeek-R1 蒸餾至 Qwen3-8B 的 AWQ-INT4 測試中,使用家族源數據的準確率高出 1.37%,精度損失降低 28.9%。
文章指出,銀行若以 0.50 作為客戶流失分類閾值,可能錯過超過 45% 的真實流失客戶;按挽留成本、接受率及客戶終身價值計算,最佳閾值為 0.3333。引擎以五折 Isotonic Regression 校準 XGBoost 機率,在 2,000 名客戶的留出集上取得 0.8682 ROC-AUC、0.7174 PR-AUC,活動淨利潤為 +$17,850。
阿里雲團隊提出 HiExp 層級化經驗框架,將智能體搜尋的成功與失敗軌跡整理為可檢索的策略經驗,改善強化學習訓練。在與阿斯利康共建的醫療檢索問答場景中,經 HiExp 訓練的 8B 小模型綜合效果超越千億級旗艦模型,提升約 37%。框架已在阿里雲 AgenticRAG 產品體系中持續打磨。
瑞士神經科技公司 Indivi 收購 Cogitat,將共同開發 EEG 基礎模型 NeuroRVQ,用於解碼腦部活動。NeuroRVQ 能保留腦部訊號中的細微變化,並可跨不同腦部運作,無需個別訓練。Indivi 計劃運用該模型偵測阿茲海默症實驗療法的效果。
市場監管總局(國家標準委)批准發布《智能計算集羣效能指標與測試方法》國家標準化指導性技術文件,首次建立面向大模型訓練與推理場景的智能計算集羣效能指標體系和統一測試方法。文件由全國智能計算標準化工作組歸口,為我國智能算力基礎設施的規劃建設與高效運行提供支撐。
HumanCOIN DataManager 是用於搜尋、預覽及下載 HumanCOIN 數據集的網頁入口,可篩選數據集、儲存選擇,並生成可直接執行的下載指令。首批數據預計約有 1,200 小時;受限數據集須先在相應平台申請存取權限,Hugging Face 與 ModelScope 的權限分別管理。入口每日於 08:00 和 09:00(Asia/Shanghai)更新目錄。
英國、愛爾蘭、法國、西班牙、德國及意大利的六個遊戲業工會共同發表宣言,呼籲玩家以購買行動支持不使用生成式 AI 製作的遊戲。宣言指出,生成式 AI 會對環境造成負擔、令遊戲業初級職位數量明顯減少,並涉及模型使用未經授權的第三方資料訓練等問題。宣言亦主張是否使用生成式 AI、何時何地及如何使用,應由從業者決定,並提醒開發者考慮環境、成本、倫理、法律、透明度及尊重藝術創作等問題。
對300+份中國文件的檢視顯示,AI 知識蒸餾已由學術實驗走向廣泛工業應用。北京亦鼓勵這種做法。
最新一期 TOP500 榜單中,由 AMD 晶片驅動的系統有 202 套,佔榜單逾 40%;較 2025 年增加 25 套,增幅為 14.12%。AMD 與美國能源部(DOE)聯合開發的 Lux 由 HPE 建造,首次登上榜單即排第 14 位。Lux 每年提供 350 萬節點小時算力,其中一半預留予 Genesis Mission,用於訓練科學基礎模型、構建 AI 研究智能體及加快科研流程自動化。
中廣天擇在第三季度業績説明會表示,AI算料業務已成為公司新的增長曲線。旗下數智中心以40萬小時4K超高清影片及200萬小時高保真音訊建立垂類算料庫,並與國內頭部大模型企業達成合作。公司AI漫劇業務已有產品陸續上線。
文章整理大語言模型損失函數相關的常見問題,涵蓋 KL 散度、交叉熵、Softmax、多任務學習及分類損失函數的選擇。內容亦解釋資訊增益,並説明 Softmax 計算時若指數超出 float 範圍,可將分子和分母同時除以 x 中的最大值。
K2-Horizon 論文提出六款全開放語言模型,規模由 0.9B dense 至 375B-A23B MoE,面向數學、科學、軟件工程、深度研究及辦公自動化等推理與智能體工作。
FlagOpen 推出 HumanCOIN,一個基於 LeRobot 的多感測器、多頻率數據集擴展,讓各感測器按各自取樣率儲存,並在查詢時按時間對齊。各感測器資料分別存入 Parquet 檔,讀取時可按時間窗口查詢、插值或採用最近值匹配。套件可透過 PyPI 安裝,支援數值感測器、影片和音訊,並提供對齊檢查。
文章以本機雙跑示範,只設定 `torch.manual_seed(42)` 仍可能令同一訓練程式得出不同 loss,並提出四層種子加一層演算法確定性的排查方法。
潛在回饋將每個 token 的頂層狀態送入下一個 token 的輸入;除獨有數據相對模型規模不足的情況外,它能提升計算與數據效率。獨有數據固定時,潛在回饋可用較少計算達到 Transformer 的損失;最多可節省 48% 計算量及 47% 獨有數據。研究以 60M 至 271M 參數模型擬合的 scaling law,預測 778M 模型的損失誤差在 0.3% 以內。
Tree-Ising 用約 $0.90 和 31 分鐘修復 Qwen3.5-0.8B,在 MATH-500@4 得分 54.6%,高於 GPT-6 Astra 智能體編輯的 51.7%。
文章主張,中國 AI 產業不應把海外租用英偉達算力作為發展基礎,並應建立不依賴美國許可的算力體系。美國新規把第三國數據中心向中國等受管制地區提供遠程算力納入限制,符合條件且累計 TPP 超過 1200 萬的關聯集羣提供算力可能須申請許可證;新規亦要求重新審查既有相關算力服務,並設 90 日過渡安排。文章提出發展國產芯片及集羣軟件體系、以算法優化降低算力需求,並按任務把微調和推理盡可能轉向國產芯片。
推薦理由:文章將降低海外算力依賴拆解為供給體系、算法效率與任務配置三個層面,呈現算力自主涉及芯片以外的集羣、軟件與模型能力。
Perplexity 宣佈成立前沿實驗室 Frontier Research,至少投入 10,000 張 GPU,目標是打造能自行進行研究的系統。實驗室將聚焦多智能體協調、強化學習、持續學習、系統及預訓練,開發演算法、模型和評估方法並公開發布,亦會在 Perplexity 產品中測試。團隊將定期發布論文、模型、數據和基準測試,並在舊金山、帕洛阿爾托、紐約和倫敦招聘研究人員及工程師。
Google Cloud 在 MLPerf Training v6.1 首輪 DeepSeek-V3 預訓練測試中,以 8192 顆 Ironwood TPU 用 1.70 分鐘(約 102 秒)達到基準要求的模型質量。
Google 在 MLPerf Training v6.1 的 DeepSeek-V3 671B 預訓練測試中,以 8,192 顆 Ironwood TPU 約 102 秒達到基準要求的模型品質。
表格基礎模型(TFM)可在新數據集上進行預測而毋須針對該任務訓練,文章探討如何在 Databricks AI Runtime 上試驗及微調這類模型。TFM 以數百萬個合成數據集進行預訓練,並可透過上下文學習預測新數據。Databricks AI Runtime 提供受管理的 GPU 基礎設施、整合開發工具及模型治理支援。