極端數據稀疏情境下行星地質勘測任務的自監督時間模式挖掘
面向火星、木衞二及月球等行星地質勘測任務的極端稀疏觀測,文章構建並測試自監督時間模式挖掘流程,以處理不規則、缺乏標註的時序資料。流程採用偏向較大時間間隔的遮罩策略,在合成稀疏基準測試中令下游邊界檢測召回率提升約 18%,並結合時間對比損失與預測編碼。
面向火星、木衞二及月球等行星地質勘測任務的極端稀疏觀測,文章構建並測試自監督時間模式挖掘流程,以處理不規則、缺乏標註的時序資料。流程採用偏向較大時間間隔的遮罩策略,在合成稀疏基準測試中令下游邊界檢測召回率提升約 18%,並結合時間對比損失與預測編碼。
研究提出柏拉圖表徵定理:若正樣本配對是同一場景的不同觀測,且其他情況下錯位有界,分開訓練的多模態 JEPA 可學得僅相差一次旋轉的相同表徵。研究以 145k 條圖片説明及 940M 張網頁圖片的文本驗證理論,並發現良好視角達到同等對齊所需樣本比下一 token 預測少 42 倍。
學習 AI 應先掌握線性代數、微積分、統計及數據清理,再透過親手做項目理解模型,避免只看教學而陷入教程陷阱。指南建議用 NumPy 和 Pandas 處理數據,並在 Kaggle 查看公開 notebooks、使用免費雲端 GPU;另應選定一個感興趣的子領域,持續數月,每日編程 45 分鐘。
WebHarbor 提供 153 個可執行、以 Docker 容器化的網站環境,用於穩定評測 GUI 智能體及進行強化學習訓練。這些環境在確定性控制下重建真實網上服務的介面、內容和功能流程,涵蓋 3,518 項任務,包括多步驟及登入後流程。
DepthGraft 以階層式 KV 共享架構,從較淺及中間層重建深層 KV,改善深層語言模型訓練,同時減少 KV 快取用量約三分之一。研究在參數規模由 0.5B 至 16B 的 dense 及 MoE 模型上,於 GQA 和 MLA 下均取得下游表現提升;在 16B MoE 模型上,MMLU-Pro 絕對提升 7.0%,CMMLU 提升 6.6%,C3 提升 6.4%。
Dory1.0-4B 是具彈性深度的 4-billion-parameter 循環式語言模型,透過重複使用共享區塊調整推理計算量,以 6 trillion tokens 預訓練,並將上下文長度延伸至 256K tokens。
邏輯迴歸透過 sigmoid 函數將輸出轉換為概率,再映射至離散類別,可用於二元及多類別分類。文章説明二元、多項及序數邏輯迴歸,並概述其優缺點,以及 L1、L2 和 Elastic Net 正則化如何影響模型係數與過度擬合。
Ilya Kalinin 開發 Rust CLI xrun,將跨平台訓練的啟動、數據上載、指標追蹤和 checkpoint 取回整合為一套流程。它支援 vast.ai、Kaggle、Lightning AI、Google Colab、SSH 自有伺服器及本機,並可先在免費 Kaggle GPU 做 smoke test,再轉到付費訓練。
NASA 正在研發面向月球南極探測任務的 SPEARS 固態電池,以提升電池對極端温度和真空環境的適應能力。小型原型電池在 80℃至-60℃範圍內正常工作,在-80℃仍可運行;經歷 100℃至-170℃的温度極值後沒有受損,經小型加熱器恢復至工作温度後可重新運行。
學習率排程會在訓練初期採用較大的步長,接近低點時逐步縮小,以減少噪聲造成的反彈。示例中,每 10 步將 0.45 減半的排程,60 步後與低點相距 0.07;在 2,000 組噪聲序列中,最後 10 步平均距離為 0.09,優於固定大步長的 0.49 和小步長的 1.31。文章亦示範如何在 PyTorch 使用 StepLR。
Pitjantjatjara 藝術家 Sally Scales 指,AI 正挪用澳洲原住民藝術並製造「Temu 劣質作品」,削弱藝術家的自主權及作品真實性。澳洲視覺藝術界團體稱,作品遭 AI 改動、移除作者姓名後出售,造成文化及經濟傷害;Temu、Shein 和 Amazon 上亦有無署名的原住民風格商品。
Adam 會按每個參數梯度的歷史幅度調整更新步長,避免所有參數共用同一設定時,陡峭方向更新過大、平坦方向進展緩慢。它結合動量與梯度平方的移動平均,並以偏差修正後的平均梯度除以平方根平均平方梯度來計算更新。文中兩個梯度相差 50 倍的參數首步都移動 0.1;在原始、陡 100 倍及平 100 倍的曲線上,Adam 均在 71 步時進入距離底部 0.05 的範圍。
文章以汽車工廠類比説明 LLM 因果語言模型的訓練流程,涵蓋下一 token 預測、交叉熵損失、反向傳播與優化器更新。文中以只有兩個候選 token 的 Python 範例演示一次參數更新,並指出訓練損失下降本身不足以證明模型能泛化或提升實際回答品質。
賽迪研究院發布的《新域新質創新發展十大趨勢》指出,中國人工智能推理數據量首次超過訓練數據量,並將此視為人工智能進入規模化產業應用階段的標誌。截至 2026 年 6 月,日均 token 調用量超過 175 萬億,較 2024 年初增長 1000 多倍;頂尖大模型迭代週期由數月縮短至數週甚至數天。
2026年11月1日,賽迪研究院發布《新域新質創新發展十大趨勢》報告,指出截至2026年6月,我國人工智能推理數據量首次超過訓練數據量。日均 token 調用量達175萬億,較2024年初增長超1000倍,大模型迭代週期縮短至數天。
Munim, Inc. 的稽核發現,Global-MMLU 的中文及韓文高中世界史資料列存在與 OpenAI MMMLU 相同的錯位。中文有180/237列(75.9%)、韓文有113/237列(47.7%)錯位;答案鍵仍對應各列實際題目,因此準確率不受影響。
文章探討機器學習是在從例子中辨認統計模式,還是能掌握並重用背後的原則,將知識應用於未遇過的情況。作者以兩名開發者準備編程面試作對比,並從零實作 Linear Regression,理解模型如何透過 Gradient Descent 調整參數。
DepForecast 是一款本機開源 CLI,旨在預測專案的 npm 依賴套件在未來 12 個月內被棄用的風險,並解釋原因及提供支援建議。目前資料收集、時間驗證和防止資料洩漏的機制已建成並測試,涵蓋 3,719 個 GitHub 儲存庫;TabPFN-3.5 預測器及 Gemma 解釋功能仍在計劃中。
這項研究探討語言模型資料歸因方法失效的原因,指出現有評測往往同時改變多項數據集屬性。研究提出 CATT 受控事實追蹤基準,透過完全虛構的知識進行微調,並設定明確的真實答案。此類受控合成基準可用於評估研究進展,再進一步檢視真實且受多種因素幹擾的訓練數據。
Revenant 使用 TabPFN-3.5 根據 npm 套件發佈歷史評估沉寂風險,在 1,141 個測試樣本上取得 0.8893 ROC AUC。回測以 3,803 個套件的 2024 年發佈紀錄作標籤,TabPFN-3.5 的 ROC AUC 高於邏輯迴歸的 0.8380,但兩者在工具實際使用的 top 10% 指標上相近,分別為 2.244 和 2.200 倍基準率。
作者獨自以 Python 開發開源氣候風險觀測平台 CaribScope,整理 1851–2022 年的大西洋颶風路徑,並整合即時地震資料、海面温度趨勢及 Random Forest 颶風等級分類器。平台以 16 個 Streamlit 頁面呈現,並以 Docker 部署在單一 VPS;分類器用於參照歷史風暴特徵,不是物理預報模型,亦不能取代 NOAA 的業務預報。
復旦創智邱錫鵬團隊比較長上下文混合架構,發現滑窗注意力與線性注意力各有優勢:前者較擅長長度外推,後者在長文續訓中的擬合能力較強。團隊提出滑窗線性注意力(SWLA),令 GLA-NoPE、GDN-NoPE 模型在 RULER 的 NIAH-SK1 任務中由 4k 外推至 64k,達到 16 倍免訓練外推並保持 100% 準確率。研究指出,混合架構的優勢來自不同注意力模組的互補。
高質素人類文本供應有限,合成數據可暫時填補模型訓練缺口,但過量使用會導致模型崩潰,令推理能力和事實回憶能力下降。研究顯示,合成數據佔約五分之一至三分之一有助提升表現,超過一半則開始侵蝕模型能力。訓練應以真實數據為基礎,並用獨立驗證器篩選合成數據。
Vacancy Autopsy 可核實招聘廣告中的職位是否仍能在僱主原始來源找到,並按結果提供連結、檢查紀錄或要求補充來源資料。作者以 97 筆公開 Lever 記錄微調 Qwen3-8B;在 100 筆 Greenhouse 驗證資料中,完整記錄準確率由 80% 升至 100%,欄位 micro-F1 由 0.95 升至 1.00。
上海儀電參與發起的「推動上海數據要素創新協同發展聯合行動」正式啟動,集中發布涵蓋五個方向的行動。旗下「一問用數」需求徵集智能體已於大會期間開放試用,可智能匹配公共數據目錄與數據產品。「智愛賽思」發布首批11項高質量標杆數據集,其社區要素庫已上線超3000項AI for Science資源,其中包括61項數據集。
mini-batch SGD 以隨機小批次估算完整梯度,讓每一步只需處理部分樣本;估計雖帶有噪聲,但平均而言等於真實梯度。批次大小為 B 時,噪聲約按 σ/√B 縮減;在 PyTorch 中,60,000 張 MNIST 訓練圖像以 batch_size 64 載入,每個 epoch 有 938 次迭代,最後一批有 32 張。
文章以二次損失説明,學習率決定梯度下降每一步的幅度,過小令訓練收斂緩慢,過大則會令誤差發散。對曲率為 λ 的二次損失,穩定條件是 0 < η < 2/λ,η = 1/λ 時一步到達最低點;在多個方向上,最陡方向會限制可用學習率。實作上可檢查有 C 個類別的 softmax 初始損失是否約為 ln C,再以相差 10 倍的學習率各跑約 100 次迭代,選擇令損失快速下降而不發散的設定。
反向傳播會由損失值向後傳遞梯度,逐層計算神經網絡各權重的梯度,作為調整權重的依據。例子中,第一個權重的梯度為 8/3,第二個為 4/9;使用 α = 0.05 更新後,損失由 0.44 降至 0.16。
文章以損失曲面示範梯度下降如何沿負梯度更新權重,逐步降低神經網絡的損失。例中學習率為 0.1 時,損失由 21 降至 20 步後的 0.001;學習率過小會令下降緩慢,過大則可能越過谷底並令損失上升。文章亦示範用 PyTorch 的 torch.func.grad 計算梯度,並建議試用 0.1、0.01、0.001 和 0.0001,比較前一百步的損失變化。
作者 Advik Divekar 建立 The Last Satellite,使用 TabPFN-v2 分析 OPS-SAT 遙測,並以 Tinker 微調 Qwen3-8B,將留出文件的欄位完全匹配率由 72.2% 提升至 86.3%。
損失函數把神經網絡的預測誤差轉成單一數值,訓練則逐步調整權重以降低損失。平方損失將誤差平方,3、2、1 的總損失為 14,平均平方誤差約 4.7;絕對損失相加得 6,平均絕對誤差為 2。新增誤差為 5 的離羣點,會令平方損失由 14 升至 39,絕對損失則由 6 升至 11,因此平方損失對大誤差更敏感。
TensorFlow 是 Google 於 2015 年推出的機器學習程式庫,以張量表示數據,提供建立、訓練及部署模型的工具。Keras 高階 API 可用於組合模型層,TensorFlow 亦支援即時執行及按需要編譯成計算圖。TensorFlow Lite、TensorFlow.js 及伺服工具可將訓練完成的模型部署到手機、瀏覽器及生產環境。
作者以 1,024-token 上限重跑 Qwen2.5-1.5B 的首 20 組配對,發現原先被 450-token 上限截斷的 13 條回覆中,有 8 條這次完成,另有 5 條仍未完成。完成回覆中,8 條獲補回的回覆有 4/24 個引文改動學生原話,雙次均完成的回覆則有 11/141;作者指出數據不足以構成結論。
O^{3}PD 以教師模型的 token 排序訓練學生模型,提升推理表現,且不需調整温度。在六組教師與學生模型配對中,O^{3}PD 在 HMMT25、AIME24 和 AIME25 的平均成績均高於 OPD,最高提升 2.9 分;在 AIME25 最高提升 5.6 分。
感知器是由一個人工神經元組成的模型,透過加權輸入總和與閾值輸出 1 或 0。預測錯誤時,它按輸入值與誤差調整權重;若一條直線能分隔兩類資料,這套規則便能在有限步驟內找到分界線。
OpenAI 將從 11 月 29 日起使用 Daybreak Blue 網絡安全會話資料訓練模型,這項政策變更由發給 Trusted Access 計劃成員的電郵確認。
機器學習讓電腦系統從示例中學習模式,並以訓練所得模型預測未見過的案例。常見類型包括監督式、非監督式及強化學習;可靠的流程涵蓋定義問題、準備數據、訓練基線模型、評估、部署和監察。評估時須避免數據洩漏、過度擬合及偏差數據,並按問題選擇合適指標。
《Deep Learning Crash Course》以 PyTorch 實作專案帶領讀者學習深度學習,書評認為內容兼具實用性與易讀性,適合希望把 AI 概念轉化為實際模型的讀者。全書涵蓋神經網絡、影像處理、自動編碼器及生成模型,並透過專案講解模型訓練與評估。
Stephen Witt 在《The Thinking Machine》中以 Jensen Huang 和 NVIDIA 為主線,指出現代 AI 的發展不只源於巧妙構想,也依賴運算方式的根本轉變。書中追溯 NVIDIA 如何由遊戲圖像晶片轉向平行運算,並透過 CUDA 讓 GPU 可用於圖像以外的通用運算;黃仁勳對平台、軟件及開發者支援的長期投入,也是這段歷程的重要部分。
Fei-Fei Li 在回憶錄《The Worlds I See》中,交織個人移民經歷與人工智能發展史,記述她如何從求學走向計算機視覺研究。書中重點回顧她以 WordNet 為概念框架建立 ImageNet,收錄逾十四百萬張標註圖片、涵蓋逾二萬個類別。