跳到正文
11月4日週三
  1. 新浪科技45

    Transformer 架構還能怎樣改?嚴駿馳團隊提出兩條思路 | CNCC 2026

    上海交通大學嚴駿馳團隊提出 JTok 和 xHC,探索在現有 Transformer 架構上擴展模型容量。JTok-M 在同一算力預算下令損失降低約 2.2%,達到同等損失所需訓練算力約為底座的 65%;18B MoE 模型的平均分則由 mHC 的 44.8 升至 xHC 的 48.8。研究仍須權衡推理延遲與訪存開銷。

  2. 新浪科技50

    宇樹科技王興興稱2027年大概率成為機械人行業臨界點

    宇樹科技創始人王興興表示,2027年很大概率成為機械人行業或機械人模型發展的臨界點。他指出,機械人數據利用率仍偏低,物理 AI 模型自我進化有望讓模型自行採集數據、訓練和迭代;他所説的具身智能「GPT時刻」,是機械人在約80%的陌生場景中透過語音指令完成約80%的任務。

  3. The Elec32

    LG Uplus 與首爾女子大學合作研究 AI 個人資料保障技術

    LG Uplus 與首爾女子大學於11月2日簽署合作備忘錄,將共同研究個人資料保障、AI及數據,並培訓相關專才。雙方將利用首爾女子大學的創新區研究匿名化數據的整合與分析技術,並評估數據整合前後的重新識別風險。LG Uplus 亦會參與大學研究生課程,提供課程建議、專題項目、講座及實務指導。

  4. DEV Community22

    DeepMem 位元組級大語言模型:深入解析與工程拆解

    DeepMem 是一種因果多尺度架構,以位元組級處理結合語義壓縮,應對直接處理原始位元組時的計算開銷。快速位元組流以滑動窗口局部注意力處理細節,深層記憶流則將歷史位元組流壓縮成階層式記憶。閘控交叉注意力讓快速位元組流從記憶庫提取歷史上下文,避免回看大量原始位元組,同時保留無損位元組重建能力。

  5. 新浪科技69

    上海創智學院與新序智能聯合發布 801-30B base 模型及預訓練 RSI 技術報告

    上海創智學院與新序智能聯合發布 801-30B base 模型、輕量 SFT 數據及完整預訓練級 RSI 技術報告。報告把預訓練拆成三類可閉合的小循環,並以共享記憶記錄嘗試及失敗原因。在相同的 1T tokens 訓練量下,22 項基準平均分由初版試訓的 47.78,經修正版試訓的 51.96,升至正式訓練的 56.83;完整後訓練版本將於下一階段發布。

  6. EJ Tech 信報科技 · AI42

    訓練模型:真人數據無可替代(車品覺)

    車品覺指出,合成數據可補足訓練材料,但難以取代真實的人類行為數據;反覆以模型生成的數據訓練,亦可能令輸出多樣性下降。中國信通院監測到今年6月國內日均 Token 消耗約500萬億,接近去年12月的4倍;Cloudflare 數據顯示,自動化流量佔比達57%,首次超越人類。作者認為,未來3到5年,具稀缺性、來源可追溯、授權清晰及場景綁定的數據資產將重新估值。

  7. DEV Community62

    MeitY 發佈 DEPA AI 訓練手冊草案,提出在封閉環境中訓練銀行及醫院資料

    MeitY 於 2026 年 10 月 31 日發佈 DEPA AI 訓練手冊草案,提出讓模型進入封閉運算環境,利用銀行或醫院資料訓練而不交出原始資料。方案結合電子合約、差分私隱和資料來源追蹤;部分情況下,資料使用方只會收到決策結果。發佈會展示銀行及 MRI 腫瘤偵測試點,銀行試點兩週處理逾 2 million requests;兩項示範均未經公開獨立審核,而手冊仍是討論草案,並非法律。

  8. 虎嗅70

    Character.AI 破產後,用戶私密聊天記錄能否拍賣?

    文章認為,若 Character.AI 是中國公司,除法律另有規定外,破產後把用戶聊天記錄拍賣予第三方作 AI 訓練,須取得用戶明確同意。美國40個州總檢察長就涉及用戶資料的出售提出九項條件;法院準許資產出售程序繼續,但未批准出售聊天記錄,並拒絕強制委任私隱監察員。文章亦指出,聊天記錄能否透過匿名化排除個人資料規管仍屬法律模糊地帶,色情、暴力、自殘等內容亦引出訓練語料的合規問題。

  9. 創業邦64

    AI 數據公司崛起,成為大模型競爭的重要一環

    AI 數據公司正成為大模型競爭的重要供應方,向模型團隊提供專家整理的後訓練資料、任務環境及評分標準。報道稱,部分工作場景數據每條報價可達1000至3000元,帶完整操作過程的數據則約1萬元。模型公司開始收緊採購,追查數據質素及訓練效果;文章亦指出評測失真、供應鏈套利與個人資料私隱等風險。

  10. Analytics India Magazine37

    印度前沿 AI 競賽添新選手:Sphota 240M 模型基準評分超越 Liquid AI

    印度新創 NeuroDX 的 240M 參數語言模型 Sphota,在公司公佈的約 11 項基準平均結果中取得 52.4%,高於 Liquid AI 同類模型的 52.1%。行政總裁 Siddharth Panwar 稱,Sphota 以少 50 倍的訓練數據達到相若表現,記憶體效率則提高 4.5 倍。相關結果仍屬初步,尚未經獨立公開評測驗證。

  11. DEV Community40

    通往 AI 超級智能的新公式:System‑1 與 System‑2 協同設計

    清華大學自動化系的論文提出,通往 AGI 不應只擴大 System‑2,而要與輕量 System‑1 協同設計,預先篩選有價值的交互。理想情況下,算力可縮減至接近 $1/\rho_u$,但預測錯誤和探索需求會削弱節省效果。論文並提出以有效資訊算力,而非總算力,描述模型縮放規律。

  12. 阿里雲開發者社區 AI19

    2026 年 CAD AI 圖元與圖例識別:技術演進與系統構建

    CAD AI 圖元與圖例識別融合多模態視覺大模型(VLM)及三維幾何深度學習,用於圖紙審核、工程算量、數字化轉錄及 BIM 逆向建模。系統結合矢量解析、柵格向量化、語義分割、拓撲重建與人機協同校核,工業級應用通常要求準確率達到 99% 以上。大型圖紙可透過分塊並行流式處理與 R-Tree 加速。

  13. Hacker News:AI 熱帖16

    不存在後訓練數據共享庫

    文章指出,目前不存在後訓練數據共享庫。評論認為,這類共享庫可能需要一定保護,因為建立相關數據需要付出大量努力,而且可能影響人們透過工作賺取收入的能力;也有人提出,政府可能為提升競爭力而以公共項目形式建立共享庫。

  14. 新浪科技46

    AI進軍數學界,人們才明白柯潔原來是一種處境

    OpenAI 等 AI 公司正攻關數學,Lean 等形式化證明工具可嚴格檢查 AI 生成的證明。Mathlib 已累積超過兩百萬行形式化數學內容,通過驗證的證明亦可為 AI 提供反饋,但以此推動自進化的成效仍未可知。Lean 不能判斷問題是否正確表述或有實際價值,也不適用於難以形式化的現實問題。

  15. DEV Community46

    AI 產品開發生命週期指南

    AI 產品開發應設立明確決策關卡,按問題界定、資料權限、實驗、驗證及生產審查五個階段推進,避免未通過檢查便進入下一階段。訓練前須核實資料來源、使用權及私隱保障;部署前則要確認模型勝過簡單基準,並完成安全與偏差評估。上線後需持續監察數據漂移、延遲及錯誤率。

  16. HuggingFace Daily Papers(社區熱門論文)48

    DreamFree:面向無想像世界動作模型的未來表徵蒸餾

    DreamFree 透過未來表徵蒸餾,構建無需生成未來影片的世界動作模型,並能隨影片模型規模及影片數據增加而提升控制表現。在 DROID 數據集上訓練後,DreamFree 在 10 項真實世界任務中取得 64% 成功率,高於 DreamZero 的 56% 和 π0.5 的 16%。其 14B 影片骨幹在單張 H200 上以 11 Hz 運行,推理速度較 DreamZero 快 17.8 倍。

  17. HuggingFace Daily Papers(社區熱門論文)41

    Zuse:面向歐洲語言的決策模型

    Zuse 由 4B、9B 和 27B 三個決策模型組成,面向 27 種歐洲語言,以凍結的開放權重基礎模型為底座,訓練低秩適配器和指針頭。涵蓋 27 種語言、9 個任務組別的評測中,27B 模型準確率為 87.5%,整體期望校準誤差為 0.016。研究發現,校準偏差主要按任務而非語言區分,且超出訓練語言的表現受基礎模型所涵蓋語言影響。

  18. HuggingFace Daily Papers(社區熱門論文)44

    TailSteer 如何減少多輪圖片編輯中的累積視覺漂移

    TailSteer 是一種最終階段訓練框架,透過令早期去噪動態貼近基礎模型,並在軌跡尾段學習保留修正,減少多輪圖片編輯中的累積視覺漂移。FLUX、SenseNova 和 Qwen 系列的實驗顯示,TailSteer 在 15-20 輪編輯中大幅減少漂移,同時大致保留基礎模型在文字生成圖片及單張圖片編輯基準上的表現。

  19. HuggingFace Daily Papers(社區熱門論文)46

    Hyper-Connections 的設計:簡化、穩定性與可擴展性

    對 Hyper-Connections 架構的系統研究提出 SimpleHC,透過移除殘差混合及共用記憶體存取,在維持 mHC 相若表現的同時簡化架構。SimpleHC 在最大測試規模下,端到端訓練時間僅較標準殘差基線多 2.4%。模型由 15B 擴展至 30B MoE 時仍維持相若表現,訓練期間梯度變化較平順,並在壓力測試下保持穩定。

  20. DEV Community78

    權重空間編程奏效:GPT-6 Astra 僅修改 Qwen3.5-0.8B 的 0.016% 權重,修復數學循環問題

    MIT CSAIL 研究團隊的權重空間編程研究顯示,GPT-6 Astra 無需梯度下降或微調,便可修改 Qwen3.5-0.8B 的 131,072 個權重以修復重複循環。

    推薦理由:文章並列成功與失敗案例,呈現直接編輯權重較適合移除單一故障障礙,未能補足模型原本欠缺的能力。

  21. Ai2 / Allen Institute for AI59

    StateBench 評估語言模型追蹤長篇文件狀態變化的能力

    Ai2 推出 StateBench,這套基準評估語言模型在長篇文件中追蹤實體狀態變化的能力,並將任務按複雜度分為四級。從零開始訓練、參數量為 275 million 的模型在最長 64,000 次變數賦值序列測試中,Gated DeltaNet 及混合模型在前三級幾乎完美泛化;Transformer 則未能學會最難的通用有限狀態任務。

  22. CNET51

    女性真正需要的 AI,並非「AI wife」

    Bo Young Lee 認為,女性真正需要的不是把育兒及家務管理外判的「AI wife」,而是正視性別偏見、讓女性參與建構和審核的 AI。她引用的 2024 年 UNESCO 委託研究指出,模型會把女性名字與「家居、家庭、子女」等詞關聯;Meta 的 Llama 2 回答關於女性的句子時,約每五次有一次產生性別歧視或厭女內容。

  23. Hugging Face Blog48

    Palette:教小型模型以你的設計語言製作簡報

    Palette以LoRA微調20B開放權重模型,讓模型按指定設計語言規劃並生成簡報,並以檢查器核驗版面。訓練數據依據 IBM Design Language 合成,涵蓋約 1000 份簡報、約 10,000 張投影片;模型在 PresentBench 測試的三個領域中有兩個排名第一。設計與編寫程式碼分工後,每張投影片可並行處理,編碼階段快約 6–7×。