面向低功耗自主部署的深海探索棲息地設計:私隱保護主動學習
文章分享一套用於深海棲息地設計的私隱保護主動學習原型流程,應對低頻寬、低功耗、敏感數據及標註有限等限制。流程結合 Monte Carlo dropout 不確定性取樣、DP-SGD、8-bit 推理量化,以及聯邦訓練中的 top-k 稀疏化梯度更新。
文章分享一套用於深海棲息地設計的私隱保護主動學習原型流程,應對低頻寬、低功耗、敏感數據及標註有限等限制。流程結合 Monte Carlo dropout 不確定性取樣、DP-SGD、8-bit 推理量化,以及聯邦訓練中的 top-k 稀疏化梯度更新。
香港科技大學(廣州)、西湖大學及中國科學院深圳先進技術研究院團隊提出蛋白質設計模型 Pinal,可按自然語言功能描述生成蛋白質結構,再據此設計候選氨基酸序列。模型以17億組蛋白質—文本配對合成數據集訓練,參數規模為160億;團隊對四類蛋白進行實驗測試,其中設計的 pinalH02 在體外固碳體系中令甘氨酸最終濃度達11.1毫摩爾每升,是天然大腸桿菌H蛋白對應組件的1.7倍。
Arqam Waheed 開發 Slabwatch,讓巴基斯坦家庭根據電錶讀數預測每月用電量會否超過200度的受保障門檻。作者估算,典型2 kW家庭一旦超標,七期電費單合計會多付Rs 32,338;以65個接近門檻的計費週期回測,第14日預警了38個超標週期中的31個,32次提醒有30次屬實。
Lipi-Ghor 研究提出大型弱監督孟加拉語語音語料庫,收錄 885 小時音訊,並附有説話者分離的長篇標註及 gold 評測集。語料來自 998 個 YouTube 影片、596 個頻道及 17 個領域,以自動説話者分離結合字幕製成 SSTT 標註;gold 評測集經 17 名志願標註者共 30 小時校訂,研究亦提供可複製的建置流程。
研究發現,預訓練語料與基準測試目標的詞彙對齊程度,能持續反映零樣本準確率。涵蓋 10 個零樣本基準、4 個預訓練語料及 3 種模型規模的實驗顯示,較低 UCE 對應較高準確率。按詞彙對齊程度挑選訓練文件可提升準確率,把提示詞路由至語料較匹配的 drafter 則可提升吞吐量。
多尺度策略最佳化(MPO)透過在回合尺度對齊信用分配與策略更新,改善長時程 LLM 智能體的訓練。MPO 結合多尺度優勢估計(MAE)與回合層級重要性抽樣,在使用 4B 和 30B-A3B 模型進行的搜尋、工具使用及自動化任務實驗中,持續勝過多個強化學習基線。
研究發現,Outcome RL 在固定 token 預算下提升 pass@1,主要靠提高答案完成率和作答可靠性,而非新增解題知識。研究比較 20 個已發布 RL 模型(1.5B 至 32B)及其基礎思考模型;Outcome RL 未提升大 k 下的 pass@k,四組物理及數學題的 Reach 增益最多為 2.1 個百分點。
Fin-SD 透過學生模型自行撰寫錯誤評論,並以截斷至錯誤前的正確推理前綴進行按策略自蒸餾,改善多步金融推理,無須外部教師模型提供梯度。在 FinanceReasoning Hard 子集上,Fin-SD 比基礎模型準確率高 3.03 個百分點;以完整參考解答進行按策略自蒸餾時,準確率相若,但生成的 tokens 少 9.5%。使用 GPT-OSS-120B 撰寫提示,效益亦未見明顯高於自行撰寫。
Wiener-informed Decoding(WiD)將維納統計估計融入像素解碼器,透過統計量初始化新路徑,並與模型一同訓練,以改善像素空間 Flow 模型的學習。WiD 適用於類別條件及文字生成圖像,並支援不同解像度;統計量以約 50,000 張圖像估算,使用 GPU 加速約需一分鐘。
CREDIT 透過反事實訓練改善語言模型對外部資訊的自我歸因,減少模型錯誤承認未影響答案的資訊來源。該方法以反事實標籤直接監督最終答案,無需人工標註,並在四個開源模型(包括兩個蒸餾推理模型)上提升歸因表現,優於推理層微調及提示詞基線。提升效果亦部分泛化至未見資訊類型,以及包含支持相互矛盾答案來源的提示詞。
DTCA 透過衡量 token 提交後其餘遮罩位置的預測信心改善,估算 token 貢獻,並按詞性分類訊號,為擴散語言模型的強化學習進行 token 級信用分配。DTCA 亦按策略更新引起的 token 級熵變化校準學習訊號;在 LLaDA-8B-Instruct 上,MATH500 分數最高提升 9.0 分,GSM8K 最高提升 5.3 分。
持有 Elvis Presley 音樂作品及肖像權的授權機構 Authentic Brands Group 起訴 Anthropic,指其未經許可使用 Presley 的 274 首歌曲訓練 AI 模型。訴訟要求每首侵權歌曲賠償 $150,000,合計約 $41m(約 £31m)。案件是藝人遺產直接起訴 AI 開發商的首批重大法律挑戰之一,結果可能為 AI 公司使用既有音樂曲庫立下更廣泛的先例。
文章指出,大模型的知識並非對應某一個參數,而是分散編碼於多個參數的協同作用中。權重的實際貢獻取決於輸入,權重大小不能直接代表重要性,而偏置會影響神經元的激活門檻。研究曾把部分知識定位至 Transformer 前饋層及稀疏神經元,但定位不等於可解釋或可控;文章建議穩定背景知識可編入權重,易變事實則使用 RAG。
文章以外賣配送預測為例,解説 AI 訓練如何透過前向傳播、計算損失、反向傳播、更新參數及重複迭代,逐步減少預測誤差。文章指出,訓練損失下降不代表模型學得好;訓練集、驗證集和測試集須分開,並可在驗證表現不再改善時早停及儲存最佳 checkpoint,以免過度擬合訓練資料。文中亦指出,大模型預訓練通常按預設 token 預算進行,而數據量較小的微調更容易過擬合,因此早停在微調時更有用。
數據投毒透過操控訓練、微調、評估或檢索數據,令 AI 系統學到受污染行為或產生攻擊者指定的結果。五階段操作圖梳理了從影響數據來源、插入樣本,到改變模型或檢索內容並觸發影響的過程;只在模型部署後發生的逃避攻擊,則屬不同機制。
自然梯度下降以參數所定義的機率分佈之間的距離,而非參數向量的歐幾裏得距離,衡量更新步幅,因此不受重新參數化影響。它以 Fisher 資訊矩陣的逆矩陣預處理梯度,可在病態問題上大幅加快收斂,但計算成本高,實務上通常需要近似。
Nvidia 開源 Flora,估算其機械人影片標註成本為每小時 $0.72,對比 GPT-6 Astra 的約 $88.49。Flora 由三個微調的 Qwen3.5 模型組成,涵蓋影片動作分段、描述及成功評分;Nvidia 稱它已用於 GR00T 訓練,每日標註最多 200,000 小時影片。
AI21 Labs 於 2026 年 10 月 25 日發佈 LIFT-Bench、34,258 個任務的 LIFT-Train 及生成管線,將任務內容納入 RL 獎勵。
研究團隊提出蛋白質設計模型 Pinal,將自然語言功能描述轉為蛋白質結構,再據此設計候選氨基酸序列。團隊以17億組蛋白質—文本配對、涵蓋約1.35億條蛋白質序列的數據集訓練出160億參數模型,並對四類蛋白質進行實驗驗證;其中設計的 pinalH02 令甘氨酸濃度達11.1毫摩爾每升,為天然大腸桿菌H蛋白組件的1.7倍。
MeterMinder 是開源 AI 能源分析原型,使用 TabPFN v3.5_default 為每小時電錶讀數評分,協助用戶找出值得調查的用電模式。模型以 20,000 條已標註讀數擬合,在 2,500 條留出讀數的評估中,ROC-AUC 為 0.7170、Average Precision 為 0.04204,均高於基線。
Air Street Press 將於 11 月 3 日在巴黎舉行 State of AI 2026 發佈聚會,邀請創辦人、研究人員、工程師及營運人員參與。活動將分享《2026 State of AI Report》的研究、業界、安全及地緣政治發展,並探討機械人數據與自主空中防禦。
Mahmoud Mabrouk 的演講以 Towbench 航空公司客服智能體數據,示範如何用 GEPA 迭代優化 LLM 評估器提示詞,使評估結果貼近人類標註。文中報告優化後的驗證集準確率為 74%,並改善了不合規項目的召回率和精確率。演講亦指出,效果取決於標註資料、種子提示詞及反思模板,小規模實驗的 Token 費用也可能達 $200-$300。
SleepTrace 收集了 1,045 小時夜間睡房音訊,但只有約 53 小時可用於訓練睡眠階段模型。可用時數取決於錄音與穿戴式裝置資料能否準確對齊,以及夜晚是否完整、標籤來源是否明確;團隊因此先做對齊,並剔除不符合有效夜晚定義的資料。睡眠分析已由 iPhone 上的 Core ML 移植至 Android 上的 ONNX,相同輸入下兩者結果相差不超過 2.9×10⁻⁶。
開發者在 Hacktoberfest Hack Day 為開源資料集 CLI Saara 加入 Gemma 4 本機掃描 PDF OCR,並加入多格式匯出與按文件分組切分功能。本機模式透過 Ollama 將掃描頁面轉成文字,文件不會離開電腦;匯出涵蓋 8 種格式,分組切分則避免同一文件的頁面同時進入訓練集與測試集。
由華中科技大學同濟醫學院附屬同濟醫院牽頭的腦機接口高質素數據集建設項目,10月24日在武漢正式啟動。項目計劃於2027年建成投用,聚焦中風康復、脊髓損傷、帕金森病等10類神經疾病,建設自主可控數據庫。
華中科技大學同濟醫學院附屬同濟醫院牽頭的腦機接口高質量數據集建設項目,已在武漢啟動,聚焦 10 類疾病方向。項目擬於 2027 年建成投用,旨在建設自主可控的腦機接口高質量數據庫,以破解數據碎片化問題。
中國人民大學等機構的研究團隊提出並開源 TabClustPFN,以預訓練後的一次前向推斷,從無標籤表格預測樣本分組及簇數。模型為 2 到 10 類的候選簇數提供概率;在 3,200 個未參與訓練的合成數據集上,95% 累計概率候選集合的真實簇數覆蓋率為 96.8%。團隊亦在 44 個真實數據集上評估模型,簇數估計誤差中位數為 1。
Google DeepMind 的 Jonathan T. Barron 等人指出,PyTorch、JAX、TensorFlow 等框架的 Softmax 與交叉熵標準實作存在兩種數值精度缺陷,可能在特定條件下改變梯度。
SK海力士於10月23日正式終止旗下 Solidigm 的 Pre-IPO 融資及 IPO 評估,並稱決定基於資本市場環境及股價走勢。此前市場報道估計,Solidigm IPO 集資約100億至150億美元,估值最高可達1500億美元;上市計劃引起股東反對,亦觸及韓國重複上市新規。SK海力士表示,Solidigm 的增長潛力及投資需求不變,美國新廠仍需興建,投資時間、規模及融資方式將重新評估。
亞馬遜 CEO 安迪·賈西(Andy Jassy)於 10 月 23 日表示,受 AI 基礎設施需求推動,AWS 雲端運算容量至 2027 年基本售罄,並有大量長期算力訂單鎖定至 2028 年。報道指,AWS 2026 年產能已售罄,2027 年大部分容量已被預訂;模型訓練和推理需求增長,令雲服務供應商面臨持續的基礎設施壓力。
inclusionAI 發佈 Ling-3.1-flash-base 基礎模型檢查點,總參數量為 560B,每個 token 啟用 25B 參數。它採用與 Ling-3.1-flash 相同的混合線性 MoE 架構,結合 KDA 和 Gated MLA,並在 47 項基準、八個領域進行評測。檢查點以 BF16 權重發佈,模型以 FP8 訓練,適用於持續預訓練、領域適配及後訓練研究。
稀疏聯邦表徵學習方案讓循環製造供應鏈中的多家製造商協作學習物料流表徵,毋須分享原始生產數據,並將可審計性納入架構。方案只傳送稀疏的編碼器梯度,各參與者保留解碼器及任務頭;審計人員可檢視啟動的潛在維度,毋須接觸底層數據。
作者透過從磁碟逐塊串流權重,在配備 6 GB VRAM 的 RTX 3050 Laptop 上以 1024 tokens/step 微調 NF4 32B 模型,速度約 36.7 tokens/s,峯值 VRAM 為 4.61 GB。
對 SNLI 和 MultiNLI 的逐類別、逐文本類型統計顯示,金標籤類別比文本類型更能預測標註者的一致程度。兩個數據集的全體一致率排序均為 contradiction > entailment > neutral;MultiNLI 的類別間差距約為文本類型間差距的兩倍。ChaosNLI 的 3,113 個案例原本全是五人中三人同意,加入 100 份標註後,28.3% 的原金標籤被其他標籤超越。
按時間點進行資料連接時,應以資料版本的可用時間,而非數值所描述的時期,決定歷史決策可使用的版本。例子以合成資料展示:10 月 4 日應選取數值 100,而 10 月 7 日發布的修訂值 80 不應改變這項選取。程式亦拒絕同一可用時間的修訂,並指出重現實際系統當時掌握的資料,須有接收歷史記錄。
Conor Bronsdon 整理了領域持續預訓練前的檢查清單,建議先界定訓練階段,按實際任務建立評測,並追蹤領域能力提升與原有能力保留。Thomson Reuters 在訪談時用於持續預訓練的內容語料不足 10%,並在訓練流程中結合微調、直接偏好最佳化(DPO)及智能體強化學習。文章亦建議以生產環境 A/B 測試把關,並檢查 RL、LLM 評判或合成數據可能帶來的獎勵投機與偏差。
ChronoReplay 是提升串流視覺語言模型空間推理能力的訓練框架,旨在解決模型受單一答案格式限制、難以應對不同空間推理任務的問題。它將不同類型的空間監督資料整理成按時間排序的互動片段,保留各任務的答案格式並平衡不同監督類別。
研究發現,相同數據配方及安全後訓練下,不同預訓練種子的語言模型仍會對不同越獄提示失守。在 25 種數據配方、共 150 個模型的比較中,同一預訓練運行的模型非拒答率相關係數為 0.984,換預訓練種子降至 0.811,換數據配方則為 0.779。
ParetoRSI-Gym 評估遞歸自我改進智能體能否透過整理數據與訓練,提升語言模型在多個領域的泛化表現。Claude Code 配合 Opus-5 的 proxy-best checkpoint 泛化分數,按三個基礎模型和五個領域等權平均,較起始模型提升 9.2%(絕對提升 2.3 點);單一領域最高相對提升 63%,出現在 Ministral-3-3B 的醫學領域。
這項研究計劃旨在為信用卡違約預測建立自我修復機器學習系統,自動偵測故障、診斷成因、採取復原策略,並評估復原後的模型是否符合安全要求。第一階段選用包含 30,000 筆觀測資料的 UCI Default of Credit Card Clients 數據集,制定研究問題、系統架構、評估準則及可重現的實驗計劃。實驗將使用歷史數據和模擬故障,並以預測表現評估復原成效。