PROLA:用於預測式時空天氣降尺度的主方向正交低秩適配
PROLA 提出一種低秩適配方法,將固定的低秩預算分配至預訓練權重的主方向及其正交補空間,並按梯度訊號重新縮放秩 1 優化器更新。研究以共享的預訓練骨幹網絡和空間、時間兩階段框架,預測未來高解像度天氣軌跡;實驗顯示,PROLA 優於具代表性的低秩適配基線,並在其他數據集及任務中展現更廣泛的適用性。
PROLA 提出一種低秩適配方法,將固定的低秩預算分配至預訓練權重的主方向及其正交補空間,並按梯度訊號重新縮放秩 1 優化器更新。研究以共享的預訓練骨幹網絡和空間、時間兩階段框架,預測未來高解像度天氣軌跡;實驗顯示,PROLA 優於具代表性的低秩適配基線,並在其他數據集及任務中展現更廣泛的適用性。
One Table Benchmark以56個數據集、46種已註冊方法及20項能力軸,對齊評測表格模型的生成、補值與預測能力。結果顯示三項任務共享有用的條件資訊,但分佈保真度排名各異;納入任務自身目標帶來最大的整體增益,跨目標效益則會互相影響。通用模型在效用上可勝過專項模型組合,但保真度仍以專項模型較佳。
PyTorch 2.15 重寫 NCCL 後端,旨在改善多 GPU 協作時的故障診斷與復原,令單一 GPU 異常未必再令整個訓練工作由頭開始。新後端規定每個 process group 初始化時只使用一個 communicator,並新增可在故障後檢查操作快照的 flight recorder。
PyTorch 2.15 重寫 NCCL 後端,旨在改善多 GPU 工作中的故障診斷與恢復,讓單一 GPU 異常時不一定需要整個訓練作業從頭開始。
Goodfire 發表研究探討 AI 的「獎勵駭取」,並推出名為 Mechanistic Shaping 的訓練方法,以識別模型作弊或走捷徑時出現的內部模式。研究人員可在訓練期間懲罰這些模式,而不只評分模型的最終答案。
WebGL 將張量映射為 GPU 紋理,並以片段着色器執行運算,讓瀏覽器可在 GPU 上訓練神經網絡。訓練步驟之間,資料留在 GPU,只有損失值等少量資料傳回 JavaScript;但 WebGL 有資料讀回慢、紋理記憶體管理及背景分頁節流等限制,較適合小至中型模型的學習、原型和視覺化。
清華團隊研發的星衍(ASTERIS)算法處理韋布望遠鏡 JADES 深場數據,找到162個早期星系候選體,較傳統方法找到的約50個為多。其中75%此前未被報告;在90%完備度下,算法將探測極限提升約1.0個星等,在90%純度下則提升超過1.5個星等。這套開源算法不要求升級硬件或佔用觀測時間,亦可用於地面及空間望遠鏡。
訓練 Vision 模型前,先完成三步數據質素檢查,檢視影像解像度與幾何特徵、標註準確度,以及類別分佈和長尾覆蓋。文章建議抽查分層抽樣的 5% 數據,並以 Cohen's Kappa 和 mean IoU 評估標註一致性;mean IoU 低於 0.75,代表標註指引含糊,需要澄清。類別失衡比例超過 50:1 時,應採取補救措施。
AI 訓練對數據順序敏感,因此可靠的數據管道須確保相同來源數據及設定產生相同記錄集合,並在順序具語義時保持一致。近似重複檢測若按先到先留,重試和並行讀取可能改變保留的記錄,而行數、結構描述及彙總統計校驗未必能察覺。文章建議去重前按內容雜湊、來源時間戳等穩定鍵排序;Kafka 只保證分區內順序,不能視為全局順序。
Nous Research 使用 53 million tokens 微調 Alibaba 的 Qwen3.8-27B,推出 Arete-27B;測試中帶有宣傳內容的回答比例由 22% 降至 0.9%。
模型蒸餾透過教師模型的輸出、內部訊號或軟化機率目標,把較大型或能力較強模型的行為轉移至較小的學生模型。流程包括選擇教師與目標、收集監督訊號、訓練學生、測試知識與校準損失,並迭代數據及目標;這不同於只移除參數的簡單壓縮。
Ninaivu 的 Hindsight 記憶實驗中,語言模型請求連續失敗兩次後會靜默改用隨機設定,令早期比較結果受到污染。追查時出現 429 限流錯誤,免費方案每日 token 限額接近用盡;作者認為這可能是早前回退的原因,但沒有當時記錄可證實,團隊其後讓限流錯誤中止執行並改用較小模型重跑,所有回退欄位均為 0。
一項神經校正實驗令位元組壓縮器的 1 MiB 樣本縮小 221 B,並追蹤預測改善如何轉化為實際編碼節省。實驗選定 epoch 2、step 159 的權重,兩份權重檔的成本增加 92 B。8 MiB 樣本共節省 697 B,但成熟區間只節省 98 B,低於所需的 1,692 B,因此停止在完整串流上繼續投入。
作者以開放數據構建馬裏教育中斷指數(EDI),為全國50個cercles評分,並製作互動地圖。指數按學校停課率、每十萬人的衝突事件及死亡人數加權計分,列出5個「Critical」cercles,涉及約856,000人;另有22個cercles因數據有限而不納入排名。
智元正把機器人部署到便利店、長隆等商業場景,並透過覓蜂派擴大具身智能數據採集,以推進商業化落地。智元已採集近百萬小時數據用於預訓練,據公司稱,覓蜂派上線一個多月,註冊用戶超過15萬。文章指出,設備、招募和場景拓展成本,以及平台與採集員之間的利益矛盾,令數據採集業務的規模化和經濟性面臨考驗。
Apple 研究團隊披露人形機械人自主控制系統 HALO,並在 6 個未預先掃描或建圖的真實環境完成 360 次單項任務,平均成功率為 91%。系統採三層架構,任務編排預設使用 Qwen3.6-35B-A3B,動作生成使用 Qwen3.5-2B;研究團隊亦公開數據生成、模型訓練及部署程式碼。
Lv Shao Mu 介紹 piimask 的 LLM 資料遮罩方法,以確定性假值取代原始個人資料,同時保留欄位格式、校驗有效性及跨資料列關聯。映射以 HMAC-SHA256 和密鑰生成,同一密鑰及輸入會得到相同假值;工具會先驗證中國居民身份證及銀行卡的校驗,再遮罩通過驗證的值。
Blucca 建立 GENCO Split Audit,核對電網模型的測試集成員資格,發現教程選出的 71 個案例中有 48 個曾用於訓練。
富士膠片於10月29日宣佈投資約100億日圓(約合人民幣4.22億元),計劃在2026至2028財年擴建工廠,將數據儲存磁帶產能提升至2025財年的五倍。生成式 AI 帶來的海量數據歸檔需求,令磁帶的低成本、低能耗及離線保存優勢重新受到重視。磁帶不適合頻繁存取,企業亦須處理保留舊設備或遷移歷史數據等相容性成本。
具身智能數據採集供給快速擴張,部分無本體數據報價跌至每小時20元,市場由數據稀缺轉向價格競爭與訂單壓力。真機遙操作數據報價仍為每小時500—1000元,EGO與UMI的實際成交價則為每小時30—150元;文章指出,競爭重心正由採集規模轉向標準化數據產品、真實場景適配與閉環運營能力。
這套 34 講大模型課程的第 6 講,系統梳理 LLM 的參數規模、訓練流程、推理階段及能力邊界。文中以 Kimi K3 為例,列出 2.78T 總參數及約 104B 每 token 激活參數,並説明 MoE 的激活參數與整體顯存需求不同。內容亦比較開源權重自託管與閉源 API 的選擇條件,並整理模型在幻覺、長上下文、多步推理及現實操作方面的限制。
企業在使用 AI 前應先審計業務流程,確認時間、資源和客戶旅程等數據是否已收集,因為 AI 無法還原未記錄的事件。盤點試算表、CRM、日曆、訊息和工作系統中的現有記錄,並確認能否連結。連接服務前,須檢查資料存取權限及分享客戶訊息和通話的權利。
AI 數據爬取機械人大量訪問大學圖書館網站,令原供學生、研究人員及公眾使用的網站變慢,甚至短暫停擺。北卡羅來納大學教堂山分校曾在一天內收到逾 11,000 次芬蘭音樂相關搜尋,機械人流量令圖書館目錄間歇性拒絕學生、教職員及職員存取。
Thinking Machines 發佈可自動化 AI 訓練工作的 Inkling 2 Small,模型現已透過 Tinker 雲端服務提供。模型有 594 billion 個參數,提示詞輸入時約 17 billion 個參數會啟用,並可分析圖像及視覺檢查生成圖像;公司稱它在 4.5 小時內令 Qwen3.5-4B 的預測評分翻倍。
MIT 與 BASF 研究人員開發開源分子基礎模型 CheMeleon,透過預訓練學習化學關係,再以少量特定任務數據微調,預測分子性質。模型約有 10 million 個參數,在 58 個基準數據集的統計比較中勝過傳統基準模型及現有基礎模型。CheMeleon 可透過 ChemProp 下載及微調,但仍須實驗確認候選分子的實際性質。
LinkDigest 新增影片時間戳標註格式,單次 API 呼叫可為每段影片輸出 JSON,批次處理則匯出為每行一段影片的 JSONL。輸出涵蓋語音、影格描述、畫面文字、章節和關鍵要點,coverage 會標示已讀取及未讀取的部分;上載影片每 10 分鐘收取 11 credits,每小時影片共 66 credits,按 credits 購買方式摺合 $0.92 至 $1.32。
osFoundry 的 Local Model 在桌面 App 內整合開放權重模型的探索、裝置端推論、量化、微調及評測流程。指南以個人筆電、小團隊共用桌機及營運主管三種情境,示範模型比較、速度基準測試、自訂資料集評測和 LoRA 訓練;本機推論、量化及本機訓練在電腦執行,Providers 和 Cloud GPU 則會使用外部服務。
MIT 團隊開發的 CheMeleon 預訓練模型,在目標分子性質數據有限時,篩選候選分子的表現優於其他現有方法。模型以 PubChem 中 100 萬種分子的數據及約 1,600 項分子描述符預訓練,並可按特定任務微調;研究在 58 個測試案例中將其與其他基礎模型及專家設計的傳統模型比較,CheMeleon 表現居首。這個開源模型可透過 ChemProp 下載和微調。
Modal 按秒計算訓練費用,合計 GPU、CPU 核心及記憶體費用,指定區域時再乘以 1.15x 或 1.75x。案例中,Modal 的 1 張 H100 執行 8 小時費用為 $38.70,8 張 B200 執行 12 小時為 $685.28;按 Nodus 列示機器時價計算則分別為 $20.80 和 $528.00,另有啟動與拆卸時段費用。
Horizon-Scalable Q-Learning(HQL)提出一種方法,透過自動平衡單步與多步回報,提升長時程離線價值學習的準確度。只有當評論家對數據集動作的評分不低於行為克隆策略所抽取 N 個動作中的最高評分時,HQL 才延伸目標;否則退回單步目標,且無需動作密度。
ConceptTime 以凍結的機率預測器產生的預測驚奇切分時間序列,將片段聚類為動態概念,再按概念序列分類,並在證據不足時棄權。在 17 個公開基準上,它的準確度與黑盒最先進方法相若,勝過所有可解釋基準;在 Epilepsy 上僅用 1% 標籤仍維持接近 98% 準確度。整個方法無需標註、語言模型呼叫或領域專家。
Deletion Tuning 在 LLM 後訓練中只將少於 0.05% 的權重歸零,便在可驗證獎勵強化學習、監督式微調及 on-policy 蒸餾三種設定下,達到與全量微調(FFT)相當的效果。其二元遮罩比相應 FFT checkpoint 小數百至數千倍,遺忘程度亦較低。強化學習中,其先前任務準確率維持接近基礎模型;FFT、LoRA 及隨機稀疏微調則最多下降 5.4 個百分點。
Databricks Feature Views 以同一套特徵定義產生符合時間點的訓練數據,並支援即時推理,減少訓練與線上服務之間的特徵差異及數據洩漏。文章示範由 Kafka 串流計算近期交易、消費基線和交易詳情,再由 Model Serving 取得線上特徵並提供詐騙風險評分。
NVIDIA 探討以 Reshard Collective 加速強化學習(RL)後訓練中的權重更新。分離式架構會在不同 GPU 資源上平行執行推理與訓練;策略模型只在訓練 GPU 上更新,系統則須定期刷新權重。
Baseten 宣佈 Serverless Loops 正式開放,提供按 token 計費的託管 SDK,支援開放模型的監督式微調和強化學習。Python SDK 以凍結基礎模型權重的方式訓練 LoRA adapters;Serverless runs 使用共用容量,按訓練及取樣所用 token 計費,不需預留 GPU。
本週多款前沿模型推出或公開權重之際,投資者對 AI 支出的態度轉趨審慎,Anthropic 公開提交 IPO 文件,OpenAI 最新一輪融資約為 $11 billion,低於原定的 $30 billion 目標。
The Decoder 的 Frontier Radar #5 梳理 27 間新型 AI 研究公司,將它們對 AI 發展路線的押注歸納為六類,並分析研究者離開大型實驗室的原因。
Muir 以敏感度分配閘控、匹配濾波讀出及穩定並行更新,改善線性注意力的語言建模、長上下文召回和訓練速度。在 166M-1.34B 規模下,其 perplexity 較 GDN-2 低 1.8-2.0%、較 Transformer 低 2.5-3.6%;1.34B 版本可由 4K 訓練長度外推至 10M-token streams,32K 訓練較 Transformer 快 2.7x。
巴黎初創公司 Physicl 融得 $10M 種子資金,開發為實體 AI 系統製作訓練數據的平台。Inovia Capital 領投,U.S. Venture Partners 亦有參與;其產品 Studio 讓研究人員在 3D 場景中重建模型失誤情境,生成針對性訓練數據。據公司表示,客戶 SpAItial 把 Physicl 的數據加入訓練集後,其房間建構模型的錯誤率降低逾半。
Fabian Theis 認為,現有數據集上的細胞擾動預測問題不足以證明複雜算法的必要,研究應轉向預測分子、細胞、組織等不同尺度如何演變及互相影響。Biohub 的數據收集計劃獲 $1.8B 承諾,旨在補足這類研究所需的大規模、高精度生物數據。