Transformer 架構還能怎樣改?嚴駿馳團隊提出兩條思路 | CNCC 2026
上海交通大學嚴駿馳團隊提出 JTok 和 xHC,探索在現有 Transformer 架構上擴展模型容量。JTok-M 在同一算力預算下令損失降低約 2.2%,達到同等損失所需訓練算力約為底座的 65%;18B MoE 模型的平均分則由 mHC 的 44.8 升至 xHC 的 48.8。研究仍須權衡推理延遲與訪存開銷。
上海交通大學嚴駿馳團隊提出 JTok 和 xHC,探索在現有 Transformer 架構上擴展模型容量。JTok-M 在同一算力預算下令損失降低約 2.2%,達到同等損失所需訓練算力約為底座的 65%;18B MoE 模型的平均分則由 mHC 的 44.8 升至 xHC 的 48.8。研究仍須權衡推理延遲與訪存開銷。
宇樹科技創始人王興興表示,2027年很大概率成為機械人行業或機械人模型發展的臨界點。他指出,機械人數據利用率仍偏低,物理 AI 模型自我進化有望讓模型自行採集數據、訓練和迭代;他所説的具身智能「GPT時刻」,是機械人在約80%的陌生場景中透過語音指令完成約80%的任務。
這篇指南説明如何以 S3 相容物件儲存承載 AI 訓練數據,並將 RustFS 作為可自託管的 S3 層。管道涵蓋原始資料、預處理分片、檢查點及執行日誌;按 fp16 權重估算,7B 參數模型約 14 GB,70B 約 140 GB,優化器狀態可能令空間需求約倍增。
研究人員獨立重新實作 DNO-Prct,並在 Llama 3.1 8B Instruct 和 Mistral 7B Instruct v0.1 上測試。方法包括按策略取樣、以教師回應評分 LLM、選取偏好對,再進行 DPO 式更新。獨立重現可檢驗 Nash 均衡偏好最佳化能否超越原有實作和標註者而泛化。
南韓 AI 公司 Movin 獲得由 IMM Investment 領投的 10 billion won A 輪融資,IBK Industrial Bank of Korea、Voyager Ventures 及現有投資者亦有參與。
LG Uplus 與首爾女子大學於11月2日簽署合作備忘錄,將共同研究個人資料保障、AI及數據,並培訓相關專才。雙方將利用首爾女子大學的創新區研究匿名化數據的整合與分析技術,並評估數據整合前後的重新識別風險。LG Uplus 亦會參與大學研究生課程,提供課程建議、專題項目、講座及實務指導。
DeepMem 是一種因果多尺度架構,以位元組級處理結合語義壓縮,應對直接處理原始位元組時的計算開銷。快速位元組流以滑動窗口局部注意力處理細節,深層記憶流則將歷史位元組流壓縮成階層式記憶。閘控交叉注意力讓快速位元組流從記憶庫提取歷史上下文,避免回看大量原始位元組,同時保留無損位元組重建能力。
上海創智學院與新序智能聯合發布 801-30B base 模型、輕量 SFT 數據及完整預訓練級 RSI 技術報告。報告把預訓練拆成三類可閉合的小循環,並以共享記憶記錄嘗試及失敗原因。在相同的 1T tokens 訓練量下,22 項基準平均分由初版試訓的 47.78,經修正版試訓的 51.96,升至正式訓練的 56.83;完整後訓練版本將於下一階段發布。
宇樹科技創辦人王興興表示,明年很可能是機械人行業或機械人模型的臨界點。機械人在單一工序或固定工位的任務成功率可接近100%,但效率仍需提升,精細操作亦有待改善。目前包括宇樹科技在內,機械人數據的利用率仍偏低,大量數據未獲充分利用。
車品覺指出,合成數據可補足訓練材料,但難以取代真實的人類行為數據;反覆以模型生成的數據訓練,亦可能令輸出多樣性下降。中國信通院監測到今年6月國內日均 Token 消耗約500萬億,接近去年12月的4倍;Cloudflare 數據顯示,自動化流量佔比達57%,首次超越人類。作者認為,未來3到5年,具稀缺性、來源可追溯、授權清晰及場景綁定的數據資產將重新估值。
MeitY 於 2026 年 10 月 31 日發佈 DEPA AI 訓練手冊草案,提出讓模型進入封閉運算環境,利用銀行或醫院資料訓練而不交出原始資料。方案結合電子合約、差分私隱和資料來源追蹤;部分情況下,資料使用方只會收到決策結果。發佈會展示銀行及 MRI 腫瘤偵測試點,銀行試點兩週處理逾 2 million requests;兩項示範均未經公開獨立審核,而手冊仍是討論草案,並非法律。
文章認為,若 Character.AI 是中國公司,除法律另有規定外,破產後把用戶聊天記錄拍賣予第三方作 AI 訓練,須取得用戶明確同意。美國40個州總檢察長就涉及用戶資料的出售提出九項條件;法院準許資產出售程序繼續,但未批准出售聊天記錄,並拒絕強制委任私隱監察員。文章亦指出,聊天記錄能否透過匿名化排除個人資料規管仍屬法律模糊地帶,色情、暴力、自殘等內容亦引出訓練語料的合規問題。
研究指出,未綁定權重的門控語言模型若出現近零輸入嵌入,梯度可放大最多 35 個數量級並導致訓練不穩,論文提出 GroupClip 和 GateFloor 兩種修正方法。
AI 數據公司正成為大模型競爭的重要供應方,向模型團隊提供專家整理的後訓練資料、任務環境及評分標準。報道稱,部分工作場景數據每條報價可達1000至3000元,帶完整操作過程的數據則約1萬元。模型公司開始收緊採購,追查數據質素及訓練效果;文章亦指出評測失真、供應鏈套利與個人資料私隱等風險。
這篇教程以 6 個問題和簡化數值例子,從 RNN 梯度消失講到 GPT 逐字生成,逐步手算 Self-Attention、Causal Mask、多頭注意力與 KV Cache。
選擇 PPO、DPO 或 GRPO,應按可用的訓練訊號決定:偏好配對適用於 DPO,可由程式評分的答案適用於 GRPO,學習式獎勵模型則適用於 PPO。以 8B 模型完整訓練估算,PPO 約需 295.2 GB、DPO 約需 147.6 GB、GRPO 在關閉 KL 項時約需 131.2 GB;估算未計 activations 及 PPO、GRPO 的生成快取。
印度新創 NeuroDX 的 240M 參數語言模型 Sphota,在公司公佈的約 11 項基準平均結果中取得 52.4%,高於 Liquid AI 同類模型的 52.1%。行政總裁 Siddharth Panwar 稱,Sphota 以少 50 倍的訓練數據達到相若表現,記憶體效率則提高 4.5 倍。相關結果仍屬初步,尚未經獨立公開評測驗證。
Applied Compute 融資 $350 million,估值達 $3.25 billion,並披露年化經常性收入已超過 $100 million。這輪融資由天使投資者 Elad Gil 領投,Nvidia、Shopify Ventures 和 HubSpot Ventures 等參與。其雲端平台涵蓋 LLM 訓練與推理,採用異步 RL 和自我蒸餾,並提供模型路由 Shift-1。
清華大學自動化系的論文提出,通往 AGI 不應只擴大 System‑2,而要與輕量 System‑1 協同設計,預先篩選有價值的交互。理想情況下,算力可縮減至接近 $1/\rho_u$,但預測錯誤和探索需求會削弱節省效果。論文並提出以有效資訊算力,而非總算力,描述模型縮放規律。
CAD AI 圖元與圖例識別融合多模態視覺大模型(VLM)及三維幾何深度學習,用於圖紙審核、工程算量、數字化轉錄及 BIM 逆向建模。系統結合矢量解析、柵格向量化、語義分割、拓撲重建與人機協同校核,工業級應用通常要求準確率達到 99% 以上。大型圖紙可透過分塊並行流式處理與 R-Tree 加速。
文章指出,目前不存在後訓練數據共享庫。評論認為,這類共享庫可能需要一定保護,因為建立相關數據需要付出大量努力,而且可能影響人們透過工作賺取收入的能力;也有人提出,政府可能為提升競爭力而以公共項目形式建立共享庫。
OpenAI 等 AI 公司正攻關數學,Lean 等形式化證明工具可嚴格檢查 AI 生成的證明。Mathlib 已累積超過兩百萬行形式化數學內容,通過驗證的證明亦可為 AI 提供反饋,但以此推動自進化的成效仍未可知。Lean 不能判斷問題是否正確表述或有實際價值,也不適用於難以形式化的現實問題。
教學示範如何以 Python 和 Scikit-Learn 建立端到端機器學習流程,利用巴西 DataSUS 的逾 260,000 筆 2025 年患者紀錄預測康復或死亡。流程以 Random Forest 配合 HalvingRandomSearchCV 搜尋超參數,並透過分層抽樣處理死亡病例約佔 8% 的類別不平衡。
這篇指南比較 LoRA 與 QLoRA 微調大語言模型的差異,建議在 16-bit 基礎模型可放進負擔得起的 GPU 時用 LoRA,否則選 QLoRA。QLoRA 以 4-bit NF4 儲存凍結的基礎模型,可減少約四分之三的基礎權重記憶體用量,但通常稍慢;文章建議用保留集比較任務表現。
作者打造戲仿語言模型 brAIAIn,讓用戶以每句 $2.49 付費提交訓練句子,生成輸出則免費。模型採用帶回退的詞級 trigram,有 476 個參數,GSM8K 得分為 0.0%;最新付費句子在訓練中計四次,每個版本生成的三段短文也會納入下一版訓練資料。
作者以 Switch 0.31.0 示範如何自託管 Switch,並把 Shield 數據質素智能體接入團隊聊天室,讓它解釋每日檢查結果,只在人手批准後修改數據。
Liam Warner 與 Nicola Bodill 首次從 PHerc. 306B 古卷讀出可辨識文字,並獲 $50K First Letters Prize。
Fireworks 在 Forge 發佈多項產品與功能,涵蓋推理服務、模型訓練、日常工作工具接入及企業部署治理。Fireworks Ultra-fast 公開預覽版在 DeepSeek V4.1 Flash 演示中達每秒 1,500 個 tokens;一項基準測試的 30 輪 Agent 任務,完成時間由 1 分鐘降至 8 秒。
AI 產品開發應設立明確決策關卡,按問題界定、資料權限、實驗、驗證及生產審查五個階段推進,避免未通過檢查便進入下一階段。訓練前須核實資料來源、使用權及私隱保障;部署前則要確認模型勝過簡單基準,並完成安全與偏差評估。上線後需持續監察數據漂移、延遲及錯誤率。
OpenHands 與 Snowflake 提供一套流程,讓開發者沿用既有 OpenHands Agent harness 為模型進行後訓練。流程以 Harbor 格式定義任務,由 Snowflake Cortex Training 提供 RL GPU 基礎設施;OpenHands 的 cortex-training-rl skill 可協助設定及執行訓練。
DreamFree 透過未來表徵蒸餾,構建無需生成未來影片的世界動作模型,並能隨影片模型規模及影片數據增加而提升控制表現。在 DROID 數據集上訓練後,DreamFree 在 10 項真實世界任務中取得 64% 成功率,高於 DreamZero 的 56% 和 π0.5 的 16%。其 14B 影片骨幹在單張 H200 上以 11 Hz 運行,推理速度較 DreamZero 快 17.8 倍。
Open-HumanScale 論文提出擴展具身基礎模型人類影片預訓練的開放方案,並發布附有手部動作及自然語言密集標註的 50,000 小時 Open-HumanScale-50K 資料集。
Zuse 由 4B、9B 和 27B 三個決策模型組成,面向 27 種歐洲語言,以凍結的開放權重基礎模型為底座,訓練低秩適配器和指針頭。涵蓋 27 種語言、9 個任務組別的評測中,27B 模型準確率為 87.5%,整體期望校準誤差為 0.016。研究發現,校準偏差主要按任務而非語言區分,且超出訓練語言的表現受基礎模型所涵蓋語言影響。
TailSteer 是一種最終階段訓練框架,透過令早期去噪動態貼近基礎模型,並在軌跡尾段學習保留修正,減少多輪圖片編輯中的累積視覺漂移。FLUX、SenseNova 和 Qwen 系列的實驗顯示,TailSteer 在 15-20 輪編輯中大幅減少漂移,同時大致保留基礎模型在文字生成圖片及單張圖片編輯基準上的表現。
對 Hyper-Connections 架構的系統研究提出 SimpleHC,透過移除殘差混合及共用記憶體存取,在維持 mHC 相若表現的同時簡化架構。SimpleHC 在最大測試規模下,端到端訓練時間僅較標準殘差基線多 2.4%。模型由 15B 擴展至 30B MoE 時仍維持相若表現,訓練期間梯度變化較平順,並在壓力測試下保持穩定。
MIT CSAIL 研究團隊的權重空間編程研究顯示,GPT-6 Astra 無需梯度下降或微調,便可修改 Qwen3.5-0.8B 的 131,072 個權重以修復重複循環。
推薦理由:文章並列成功與失敗案例,呈現直接編輯權重較適合移除單一故障障礙,未能補足模型原本欠缺的能力。
Ai2 推出 StateBench,這套基準評估語言模型在長篇文件中追蹤實體狀態變化的能力,並將任務按複雜度分為四級。從零開始訓練、參數量為 275 million 的模型在最長 64,000 次變數賦值序列測試中,Gated DeltaNet 及混合模型在前三級幾乎完美泛化;Transformer 則未能學會最難的通用有限狀態任務。
Bo Young Lee 認為,女性真正需要的不是把育兒及家務管理外判的「AI wife」,而是正視性別偏見、讓女性參與建構和審核的 AI。她引用的 2024 年 UNESCO 委託研究指出,模型會把女性名字與「家居、家庭、子女」等詞關聯;Meta 的 Llama 2 回答關於女性的句子時,約每五次有一次產生性別歧視或厭女內容。
Palette以LoRA微調20B開放權重模型,讓模型按指定設計語言規劃並生成簡報,並以檢查器核驗版面。訓練數據依據 IBM Design Language 合成,涵蓋約 1000 份簡報、約 10,000 張投影片;模型在 PresentBench 測試的三個領域中有兩個排名第一。設計與編寫程式碼分工後,每張投影片可並行處理,編碼階段快約 6–7×。
KAIST 的微調方法 CluSTER 透過挑選具代表性的訓練數據,將一次 10 小時的訓練縮至約 3 小時,測得效能幾乎不變。報告的最高節時幅度為 69.6%;31% 是醫療問答實驗所用的數據比例,並非通用值。測試涵蓋 7B 和 13B 模型及八項基準。