模型刪除令要求追蹤訓練數據血緣
文章指出,要界定模型刪除令涉及的模型,企業必須保存從訓練數據到模型產物及部署的完整血緣紀錄。每次訓練應記錄數據來源及版本、篩選條件(包括同意條件)、數據集快照、執行資料、產物雜湊及部署版本;OpenLineage 和 MLflow 可記錄部分欄位,但同意條件須以自訂欄位補足。
文章指出,要界定模型刪除令涉及的模型,企業必須保存從訓練數據到模型產物及部署的完整血緣紀錄。每次訓練應記錄數據來源及版本、篩選條件(包括同意條件)、數據集快照、執行資料、產物雜湊及部署版本;OpenLineage 和 MLflow 可記錄部分欄位,但同意條件須以自訂欄位補足。
丹麥奧爾堡大學團隊研究擴散語言模型的記憶與訓練資料提取,發現採樣步數會影響原文被精確恢復的機率;在同規模電郵補全比較中,擴散模型的提取水平低於自回歸模型。1.1B 參數模型中,達到 50% 提取機率門檻的電郵樣本數分別為 16 個和 213 個;LLaDA-8B 從一步恢復改為逐詞恢復後,達到該門檻的樣本數由 9 個增至 179 個。
中國科學技術大學趙剛課題組利用 AI,從7.5萬餘種化合物中篩選出10餘個候選分子,並完成冰晶、細胞及組織層面的實驗驗證。加入候選分子的低甘油配方令紅細胞凍融回收率超過91%;常規慢速冷凍體系的回收率由約95%升至97%以上,而人臍帶來源間充質幹細胞的復温存活率達93.6%。
文章分析人形機械人難以回本的工程經濟原因,指出其經濟性取決於有效自主工作時間,以及覆蓋任務變異所需的成本。中國人形機械人2026年上半年出貨量約增至三倍,但估計只有約8%投入生產流程;每個常見任務類別的 VLA 示範資料收集,可能耗費數百萬美元及數月。文章建議按任務計算成本,並考慮以模擬訓練、經典控制流程及重新設計工序降低成本。
AuXSpec 提出一套 Lean 框架,將宣告式後置條件配對可執行版本,並以測試結果的一致性作為強化學習回饋,訓練自動形式化程式規格模型。
VODA 提出一種即插即用的體積監督方法,直接監督與物件相關的 Gaussians,突破傳統基於渲染的監督方式,以改善 3D Gaussian Splatting 的物件分割。研究亦提出 Removal-3D,透過移除物件評估分割在體積上的完整性。
研究發現,27B 語言模型可透過自身推理,在不使用梯度或訓練的情況下改寫自身權重,並在預先固定的 490 道未見題目上提升 6.6 個百分點的準確率。模型只在自身測試支持改動時才提交修訂;首八次修訂中,其準確率持續上升。此外,模型僅憑文字數學題定位受損矩陣並以自身數值重寫,令副本在六個未見圖像基準上的準確率由 7% 升至 70%,相當於未受損模型的 83%。
作者在免費 Google Colab GPU 上從零訓練出 5.9 million 參數的故事模型 tiny-storyteller,整個 Notebook 約需 5 分鐘。模型經 1,500 個訓練步驟,在 200 篇未參與訓練的故事上取得 perplexity 9。文章也展示一段逐字取自訓練資料的模型輸出,並公開權重、tokenizer 與建置 Notebook。
Walid Hadri 以「法國首都是甚麼?」為貫穿例子,梳理語言模型從 Shannon 的下一字母預測到現代 Agent 的演進。內容涵蓋 word2vec、RNN/LSTM、Transformer、RLHF、推理模型及 Agent,並附有多組開源模型實驗程式與輸出。實驗輸出是在 RTX 4070 Ti 上取得,硬件和精度不同時結果可能略有差異。
作者整理了九個公開項目,涵蓋 RAG、LangGraph 智能體、LLM 微調及分散式推理,並提供原始碼、實作示例和技術文件。項目涉及 FastAPI、Qdrant、LoRA、DPO、ORPO 和 PyTorch DDP,並探討檢索品質、模型評估及 GPU 效能等工程議題。作品集亦區分分散式訓練與多工作程序推理,提醒實作示例不等同已驗證效能。
作者建議在用偏好配對訓練獎勵模型前,先以答案長度、與提示詞的 TF-IDF 相似度及明顯特徵等簡單判別器測試配對;若準確率遠高於 50%,便先修正資料。另一位建構者修整嚴重程度配對後,在 84 組新配對中,長度和 TF-IDF 判別器均為 50%,關鍵詞判別器為 55%;作者自己的 300 組天氣驗證配對中,TF-IDF 判別器達 78%。
以400種藥用粉末混合物訓練的Random Forest及XGBoost,流動性預測準確率最高達85%,但實驗室標籤中的雜訊影響評估。變分自編碼器生成163個候選配方,其中12個經實驗驗證,83%符合模型預期。作者指出,評估模型前應先審核標籤,並人工檢視模型與標籤有分歧的案例。
本章説明圖深度學習實驗如何選擇與建構數據集,並涵蓋 Cora、PubMed、OGB 及自訂圖數據集。Cora 適合半監督節點分類及快速驗證模型,PubMed 可用作較大型的中間基準。OGB 提供節點、連結及圖級預測數據集,並以標準化資料處理、評估指標和預設數據切分提升比較的一致性。
日本信息通信研究機構(NICT)團隊提出 OptiMer,透過合併分佈向量搜尋持續預訓練的最優數據配比,並獲得 EMNLP 2026 傑出論文獎。實驗中,OptiMer 在配比優化階段加速 15~35 倍,平均得分為 70.37,高於傳統數據混合訓練的 63.71。團隊將方法應用於 Gemma-SEA-LION-v4-27B,日語得分由 66.34 提升至 74.40,同時保留東南亞語言任務表現。
梯度提升透過順序加入弱學習器,逐步修正預測誤差,建立加法集成模型。它利用可微損失函數的梯度決定改善方向;在平方誤差回歸中,可理解為學習殘差。XGBoost、LightGBM 和 CatBoost 均採用這種逐步改善集成模型的核心原理,並以不同方式提升效率或處理類別特徵。
監督式學習的模型選擇須平衡預測表現、泛化能力、可解釋性、效率及部署可行性,並從簡單基準模型開始比較候選模型。比較時應統一實驗條件,透過交叉驗證估算泛化表現,並按問題及實際需要選擇評估指標。超參數應根據驗證結果選取,保留測試集作獨立評估。
監督式學習把歷史觀測數據轉化為預測模型,協助工業系統分類設備狀態、估算連續數值及支援自動化決策。應用涵蓋預測性維護、品質檢查、生產良率優化、能源管理、物流及機械人;實際成效取決於問題定義、數據收集、標籤、驗證及與現有營運流程的整合。
STATERA Library 第09章説明如何把監督式學習概念整合成可重現的預測系統,涵蓋問題定義、數據準備、模型訓練、評估、選擇、部署及效能分析。專案須將數據分為訓練、驗證和測試部分,並防止數據洩漏,以免評估分數失真。章節亦介紹基準模型、超參數調校、交叉驗證,以及分類和回歸的評估指標。
監督式學習第 10 章總結了線性模型、正則化、分類、支持向量機、決策樹與集成學習等方法。內容亦涵蓋超參數優化、模型比較及評估指標,指出選擇方法和指標應配合預測問題的特性與實際目標。
集成學習透過結合多個模型的預測,提升預測的可靠性、準確度、穩健性及泛化能力。集成方法可分為平行與序列建模:Bagging 透過有放回抽樣訓練多個模型,再以平均或投票合併預測;Random Forest 加入特徵子集隨機選取,Boosting 則逐步針對現有模型的錯誤改進預測。
監督式學習透過從歷史觀察數據中學習輸入與已知結果的關係,協助工業系統分類運作狀態、估算連續數值及支援自動化決策。常見應用包括預測性維護、工業質量檢測、生產良率優化、能源管理及工業物流。實際成效取決於問題設定、數據收集、標籤可靠性、驗證方式,以及與現有營運流程的整合。
文章以 Klar 備考工具為例,分析課程材料轉成學習內容的工程管線,聚焦輸入處理、答案校驗和多形態渲染。文中建議先將內容整理成可追溯的結構化表示,再由多個渲染器輸出練習題、閃卡、預測卷和音訊播客,答案則另作獨立推導校驗。文中引述的 ARR 數據為產品上線 30 天時年化 13 萬歐元,由創始人提供且未經審計;750 萬歐元是管線潛力,未計入收入。
Palantir CEO Alex Karp 認為,AI 時代不能讓億萬富翁再富 100 倍、普通人只富 5%,但反對直接徵收財富税。他提出把增税與政府識別財政浪費掛鈎,並以 50% 遺產税作為方案例子。他認為按淨資產徵税會促使政府利用 AI 評估個人財物,將監控延伸至私人生活。
Hacker News 上一則標題為「End‑to‑End 4‑Bit Training」的帖文連結至 thinkingmachines.ai,獲得 22 點。頁面顯示有 1 則評論。
作者為 Omnitext 的樂譜辨識功能蒸餾出一個小型模型,執行相同工作,檔案比 oemer 的模型小 21 倍。新模型在同一部手提電腦上處理手機整頁樂譜需時 33 秒,原本需時 13.6 分鐘;測試集只有 14 頁,真實樂譜架照片尚未充分測試。
文章指出,地方社區支持已納入數據中心融資評估,並透過資金成本和建設進度影響雲端算力供應。2026 年首季,美國至少 75 個、價值約 $130 billion 的項目遭阻止或延誤,反對團體增至 833 個,分佈於 49 個州。工程團隊可透過跨區備援、容量錯誤回退方案,以及可暫停和恢復的工作負載,降低對單一地點供應的依賴。
DeepSeek-V3 技術報告中的架構被濃縮成 190 行純 JAX 程式碼,並在 24 GB MacBook Air M5 上從頭預訓練。示範模型有 36.2M 參數,以 207 本美國公有領域偵探小説訓練 12,000 steps,耗時約 2.6 h。
文章建議在選擇生產模型前,先挑選輸出目標穩定的高頻單一步驟,對照測試前沿模型與一個小型語言模型候選者。標註集應納入真實生產失敗、邊界措辭和含糊輸入;以同等提示詞投入比較通過率、p50 和 p95 延遲,以及每項成功任務成本。只有候選模型達到前沿模型測得的通過率門檻後,才考慮微調或知識蒸餾,並安排生產測試。
Runpod 已退役 spot Pods,舊有可中斷 Pod 租用方式不再提供;文章整理在 Runpod on-demand Pods 上保存及恢復訓練的方法,並介紹 Nodus 如何在中斷後接續工作。
研究以在合成航天器影像上訓練的單目姿態估算器檢驗 SPEED+ 模擬到真實的遷移,發現模型在真實影像上的姿態誤差伴隨過度自信,且適應效果因光照域而異。合成資料上按 90% 校準的區域,在 sunlamp 僅涵蓋 9-15% 的旋轉誤差,在 lightbox 則涵蓋 21-38%;調整骨幹網絡最後階段,可將 63-83% 的額外合成增益帶到兩個真實域。
SALA 利用人類與機械人影片的語言語義相似度對齊潛在動作,建立共享潛在動作空間,無需配對數據即可為具身基礎模型訓練提供監督。增加通用人類影片的預訓練數據,可持續降低下游任務的機械人動作預測誤差;增加特定任務的人類影片進行後訓練,則可大幅提升真實機械人任務成功率。
AllocFlow 以端到端 flow-matching 框架,從多資產原始市場歷史數據直接生成聯合投資組合配置,並透過模仿學習及 group-relative reinforcement learning 兩階段訓練。
研究檢視 40 份開放權重大語言模型技術報告,評估其新穎性主張是否有消融研究支持,以及報告的可重現性與透明度。73 項架構或訓練新穎性主張中,19 項有受控對照;40 份報告中,4 份披露多於一次訓練,只有 1 份同時披露數據混合、token 數量及計算資源。研究提出 7 項技術報告撰寫規則,並指出不評判模型質素,未經測試的主張仍可能成立。
Bromena 團隊建議,模型定期重訓後不要自動以新版本取代舊版本,而應先通過晉升閘門。閘門須以同一凍結評測集比較新舊模型,設定高於實測波動的最低增益及延遲上限;輸入漂移則可用 PSI 監測,並預先訂明告警門檻和負責人。發布可採用 shadow 或 canary,並預先演練回滾;少量模型可從 MLflow 或其他模型註冊庫配合排程流程起步。
文章解釋神經網絡的信心分數為何會失準,並介紹如何在訓練後及訓練期間改善校準。深度網絡即使準確率良好,仍可能過度自信;文章介紹可靠度圖、ECE 和 Brier score 等評估方式。實作方面建議先用留出的驗證集進行 temperature scaling,也可配合 label smoothing、mixup 或集成模型;數據分佈改變時須重新檢查校準。
作者以兩組數據比較 XGBoost、規則清單、通用 LLM 及多款 AI 決策 API 的詐欺偵測排序,XGBoost 在測試中表現最佳。合成數據(10,000 筆交易、310 宗詐欺)中,XGBoost 在首 100 宗審查案件內找到 84 宗詐欺,規則清單為 74 宗、通用 LLM 為 57 宗,決策 API 為 16–51 宗。
這篇 Python AI/ML 指南介紹如何運用 NumPy 向量化、Pandas GroupBy、Matplotlib 面向對象 API 和函數式模式,建立資料處理流程並穩妥處理 API/JSON。
黃仁勳辭職後,文章認為這不會加快國產算力和儲存技術成熟;訓練更大模型也會更困難,但推理晶片仍有望在2028年實現充足供應。文章預計明年的 AI 創新焦點將轉向物理 AI,包括機械人與世界模型,並指出機械人可為大模型提供真實場景數據。
前 Anthropic 研究員考克森稱,隨演算法效率加速提升,如今重新訓練 Mythos 只需最初訓練時的一小部分算力。他認為,Anthropic IPO 路演中以壓縮坐標軸展示的算力需求曲線仍急劇上升,反映演算法效率正加速提升,Mythos 的性能突破並非偶然。考克森主張明年暫停前沿 AI 模型研發,讓競爭對手追上,並認為此舉可使達到人類水平的智能成為廣泛可獲取的商品。
英偉達董事會宣佈,創始人黃仁勳即時辭任總裁、CEO及董事會成員,科萊特・克雷斯(Colette Kress)出任臨時 CEO,並繼續兼任 CFO。文章指出,東南亞算力租賃的供應與續約預期轉弱,尚未生效的美國法案亦令雲端算力監管邊界成為風險變數。IDC數據顯示,中國數據中心AI加速器上半年出貨約200.8萬顆,非GPU加速器101.6萬顆,首次超過GPU的99.1萬顆。
推薦理由:文章將算力租賃供應、遠程存取監管風險與國產加速器出貨結構並置,呈現企業擴容時面對的供應來源與交付確定性。