研究人員稱 LLM 可原生讀寫神經網絡權重;GPT-6 Astra 修改 Qwen3.5-0.8B 權重以提升數學能力
研究人員表示,LLM 可原生讀取和寫入神經網絡權重。GPT-6 Astra 修改 Qwen3.5-0.8B 的權重,以提升其數學能力。
研究人員表示,LLM 可原生讀取和寫入神經網絡權重。GPT-6 Astra 修改 Qwen3.5-0.8B 的權重,以提升其數學能力。
Rikiya T. 等人在研究文章中報告,OpenAI 的 GPT-6 Astra 直接編輯 Qwen3.5-0.8B 的 0.016% 權重,不使用梯度或訓練,令其 MATH-500 得分由 7.9% 升至 48.1%。
文章探討如何以生成式模擬,為極端數據稀疏情境下的行星地質勘測任務建立模型基準測試。所建流程包括生成地質場景、產生場景標籤,以及跨地質參數抽樣評估,並以穩健性概況取代單一準確率。由於合成場景的真實標籤已知,模型可在未見過的地質分佈上接受評估。
研究團隊以 GPT-6 Astra 測試 Weight-Space Programming,讓模型按自然語言目標直接讀取、修改或從零寫出神經網絡權重,毋須梯度或訓練。
Deep Principle 發佈 Hydrogen-1.0,這是一個以 Z.ai 的 GLM-5.3 為基礎、面向化學、材料科學及生命科學的 753B 開放權重模型。
研究發現,Qwen3、Llama 和 Gemma 即使訓練標籤完全正確,仍可能在後訓練中學會信任無關元數據。把可靠的獎勵標註移到錯誤選項後,模型有 97–100% 的機率跟從錯誤答案;即使是「Florp」這類無意義標註也能產生相同影響。
HERIT 利用結合檢索增強生成(RAG)的領域適配流程,從大量漢字—韓語語料生成偽標註數據,減輕時間偏差並提升不同歷史時期的翻譯準確度。模型亦翻譯了檔案中此前未有譯文的部分,讓全球研究人員能夠取用相關史料。
StepX-OPD 將多教師在策略蒸餾與少步採樣整合訓練,讓文字生成圖像擴散模型同時習得多項能力並以少量步驟生成。研究在 SD3.5-Medium 和 FLUX.1-dev 上評估,StepX-OPD 在比較的四步方法中取得最高標準化平均分,並超越四十步 Flow-OPD。於 SD3.5-Medium 上,其 GPU 訓練時數較先後進行 DiffusionOPD 和步數蒸餾減少約 37%。
研究發現,用於 RL 後能力整合的 On-Policy Distillation(OPD)及 Multi-teacher On-Policy Distillation(MOPD)未能充分保留模型的分佈外(OOD)泛化能力。
作者將 BERT-base 情感模型蒸餾至 BERT-Mini,發現使用 10,000 個標註樣本時,蒸餾與只用標籤訓練沒有可測差異。改用 1,000 個標註樣本加 9,000 個由教師模型提供目標的無標註句子後,模型平均準確率達 82.34 ± 0.50%,比只用 1,000 個標籤高 8.5 個百分點,並與使用 10,000 個人工標籤訓練的學生相差不足 0.3 個百分點。
EleutherAI 與 Hugging Face 合作推出 FineBooks BHL OCR Leaderboard,以 2,165 頁專家校訂歷史書籍文本評測 14 款開放權重 OCR 模型。
AWS 示範以 SeqKD 在 Amazon SageMaker AI 上微調 Qwen3.5-4B 購物智能體。流程以 Amazon Bedrock 上的 GLM-5.3 生成多步軌跡,並用 ShoppingBench 評分器保留成功樣本。
推薦理由:ShoppingBench 保留測試集顯示,4B 學生模型平均 ASR 比基礎模型高 24 個百分點,保留教師推理也比只訓練工具呼叫高約 13 個百分點。
Stanford 研究指出,語言模型強化學習後訓練時,以標準 round-to-nearest 將 fp32 主權重轉成 bf16,會令每步超過 99% 的參數更新無法反映在推理引擎使用的權重中(arXiv:2610.41073;程式碼:github.com/andrewgcodes/faircast)。
P²-MOPD 將凍結專家模型的 task vectors 作為可學習參數先驗,與學生權重及係數 α 聯合訓練,以加速多教師 on-policy 蒸餾。Qwen3-1.7B 和 4B 實驗中,最終平均恢復率分別達 94.7% 和 94.9%,高於 MOPD 的 80.9% 和 83.1%,並以一半訓練步數超越 MOPD 的最終表現。
BEND 2.0 評估 DNA 語言模型預測突變效應及指導序列設計的能力,結果顯示線性讀出可媲美或超越模型原生輸出,功能性後訓練亦能提升表現。基準涵蓋五個實驗數據集的八項任務,模型選擇及表徵取得方式都會影響表現。模型在情境特定效應及多細胞目標設計方面仍有改進空間。
研究以 275 名 8 至 15 個月大嬰兒的眼動追蹤數據設計不同好奇心水平的人工神經網絡,發現好奇心較強的網絡在新測試中表現較佳,並形成類似人腦的分層模組結構。模型完成 20 項任務;高好奇心模型在學習速率低於閾值時切換任務,低好奇心模型則隨機切換。研究者還發現,好奇心最強、結構最接近人腦的網絡連接密度先升後降,按人腦發育曲線估算的「生理年齡」約為 20 歲,低好奇心網絡則約為 9 歲。
劍橋大學團隊模擬嬰兒學習行為,訓練數千個人工神經網絡,發現高好奇心模型在任務泛化能力、模組化結構及連接發育規律上均更接近人腦。研究以275名8–15個月大嬰兒的眼動數據為基礎;高好奇心模型形成的發育軌跡對應約20歲,低好奇心模型則約為9歲。
研究人員發現,具好奇心的人工神經網絡在未見過的測試中表現更好,並會形成類似人腦的複雜結構。研究估算,好奇心最強、結構最接近人腦的網絡生理年齡約為20歲,缺乏好奇心的網絡則約為9歲。
作者展示如何由連結建立語料,在 CPU 上以 LoRA 微調 SaaS 商業策略模型,並將模型發布到 Hugging Face。底模為 Qwen2.5-0.5B-Instruct,訓練語料包含 3,615 篇貼文;模型在 4 個 CPU 執行緒上訓練 400 steps,峯值 RAM 為 2.4 GB,留出集困惑度由 44.5 降至 28.6。
AI 基礎設施擴張的瓶頸不只在電力供應,而在發電、電網、散熱、儲存、封裝、資本和地方許可等環節的建設速度。文章梳理瓶頸由 GPU 轉向 HBM、CoWoS,再延伸至變壓器、燃氣輪機和並網排隊,並指出效率提升仍伴隨 AI 使用量和訓練算力增長,推高總用電需求。吉瓦級數據中心約兩至三年可建成,但大型變壓器交付最長四年、燃氣輪機交貨超過三年,呈現芯片、機房和電網建設節奏的錯配。
ID2Pattern 以身份行為模式而非身份值進行預訓練,讓支付風險模型可從交易序列學習,並推廣至推理時首次出現的卡片。框架以 Local Anonymous ID(LAID)編碼身份在序列中的重現模式,再用向量量化從無標籤交易序列預訓練多尺度模式碼本,供風險評分使用,無須為新身份擴大詞彙表或重新訓練。
Yann LeCun 和 Randall Balestriero 稱,他們已將「柏拉圖式表徵假説」在 JEPA 模型家族中證明為定理:分別以不同模態訓練的 JEPA,只要獲得合適的觀察,就能學到相同表徵。
HKGAI、度小滿及香港科技大學推出「軒轅4.5」金融增強大模型,稱其為業界首個具備自我進化能力的金融大模型。模型採用遞迴自我改進(RSI)技術,在拓展客源、風險管理及客戶關係管理等場景的表現提升30%,運算成本僅為通用模型的10%。
作者的財務 AI 訓練配方揭示,8B 模型遇上缺失的財務變數時可能觸發「薪酬幻覺陷阱」,令流程出錯。改用標準 2D Markdown 和 3 階段空間推理後,模型在分佈外企業文件上的工具呼叫準確率達 99.4%。訓練採用 QLoRA,並以單張 16GB–24GB VRAM GPU 執行。
數據治理反覆失效,症結在於源端與末端權責不清、整改規則未能迴流,並非單靠末端清洗就能解決。中翰軟件提出雙端治理框架,由源端以標準、技術和行為約束減少髒數據,末端分層校驗、追溯數據血緣,並把整改規則迴流源端。文中指出,單靠數倉末端補救的問題解決率約為 50%,管控前置到業務源頭則可達 95%。
以產品目錄中的單向句子微調模型,未必能令它從相反方向回答同一事實問題,研究人員將此現象稱為 reversal curse。2023 年由 Lukas Berglund 領導的研究發現,模型在虛構句子的反向提問測試中,表現不優於隨機猜測;文中亦指出,GPT-4 知道 Tom Cruise 母親身份的比例約為 4/5,但給出其母親姓名後,答出她兒子是誰的比例約為 1/3。
作者以模擬房間示範,未記錄的門開關狀態會令四權重模型失準,而加入一個潛在欄位後,模型可從温度變化捕捉這項隱藏動態。訓練沿每段序列前向計算,再以時間反向傳播更新欄位;在 4,800 次轉移的數據上,模型損失為 0.172,接近門狀態延遲一個步驟才可見時的 0.174 基準。
MaxCompute 透過存儲接入、計算推理及治理索引三層能力,支援 PB 級離線 AI 語料清洗、多模態解碼、批量向量化及可信樣本交付。使用前提包括符合離線批量處理節奏、依賴 MaxFrame 生態、啟用向量能力,以及具備 GPU 配額和鏡像管理。它定位為語料產線的編排與治理中樞,不替代實時引擎或專用模型服務。
京東零售視覺多模態與 AIGC 團隊聯合南京大學提出 Road MOPD,透過跨教師回饋與梯度投影,減少多教師蒸餾中的跨領域更新衝突。在 Qwen3-4B 上,相較 Vanilla MOPD,數學+醫學及程式碼+醫學兩組高衝突設定均實現雙域共同提升,醫學均分最高提高 8.78 個百分點;數學+程式碼組合亦有提升。
寧德時代創始人曾毓羣在2026世界頂尖科學家論壇分享公司以AI加速能源材料研發的進展:AI可利用超600TB基礎數據及1萬億條測試記錄,篩選千種化合物並鎖定7種潛力材料。他指出現時AI能力仍不足,亟需更多科學家與先進模型協同攻關。
人工智能技術演進帶來訓練數據利用、生成內容責任及智能體參與交易等知識產權新問題,制度規則需兼顧創新激勵與權利保護。文章主張按技術環節和利用方式分類制定規則,訓練端適度放寬、生成端從嚴把關,並讓責任配置與各方控制能力相匹配。治理應由結果審查轉向過程治理,建立可追溯、可檢查的具體標準。
中國人民大學教授楊翰方指出,未來數據需求可能更多來自智能體調用,數據或以服務形式直接創造價值。上海正推動公共數據產品化,平台已有215家數商入駐、接入7716個授權目錄,累計開發175個基礎數據產品。高質量數據集的評價標準、數據產權保護及流通規則仍待完善。
北京數據與評測基礎設施公司簡智機器人宣佈完成新一輪1億美元融資,約合人民幣6.65億元。本輪由上汽集團、百度集團等產業方,以及光合創投、中信金石投資等財務方共同參與。公司專注於多模態數據採集與治理技術,此前已完成多輪融資。
華依科技表示,將積極拓展智駕核心產品的應用邊界。公司指出,2026年物理 AI 訓練數據採集已成為 IMU 行業的重要新興增量賽道,而高質素真實物理交互數據短缺是制約物理 AI 模型迭代的關鍵瓶頸。其 IMU 產品可輸出連續、無遮擋的運動時序數據,彌補純視覺方案在運動解算上的不足。
OpenAI、Google、Microsoft於2026年10月30日宣佈,將支援以robots.txt中的__usage_ai-training統一設定網站內容能否用於AI訓練。
國家數據局近日召開行業高質量數據集建設鏈主工作座談會,提出以需定供、以用促建、以評提質,推動數據集建設。會議要求摸清人工智能用數需求、建立利益分配和商業回報機制、加強應用反饋與產業鏈協同,並推動數據集接入國家數據基礎設施。測評服務將轉向工具化、訂單化模式,以縮短測評週期、降低成本並提升效率和交付能力。
無錫(惠山)國產智算中心一期 2000 卡投入運作僅三個月便滿載,已有 20 多家客戶在平台測試或開展正式業務。摩爾線程、無錫市惠山招商集團與新石器慧通簽署戰略合作協議,新石器將以摩爾線程全功能 GPU 擴大自動駕駛模型訓練,需求規模接近萬卡級。平台訓練業務佔比超過 62%。
Sakana AI 宣佈開始自行開發預訓練模型,並計劃讓語言模型與世界模型協作,透過 AI 科學家的自我改進循環提升模型。首席科學家秋葉拓哉公佈語言模型系列「Sakana Sawara(暫稱)」。首個小型模型「Sawara Small(暫稱)」如進展順利,預計於2027年春季公開。
manifest 聲明結果包含哪些對象及版本,校驗和驗證內容有否改動,兩者協作讓重跑結果逐字節一致,並可由第三方核對。文章説明如何透過哈希鏈連接每輪 manifest,並以對象級和批級校驗定位不一致。最後提供構建與驗證腳本及五項實操檢查。
面向火星、木衞二及月球等行星地質勘測任務的極端稀疏觀測,文章構建並測試自監督時間模式挖掘流程,以處理不規則、缺乏標註的時序資料。流程採用偏向較大時間間隔的遮罩策略,在合成稀疏基準測試中令下游邊界檢測召回率提升約 18%,並結合時間對比損失與預測編碼。