跳到正文
11月2日週一
  1. DEV Community27

    極端數據稀疏情境下行星地質勘測任務的自監督時間模式挖掘

    面向火星、木衞二及月球等行星地質勘測任務的極端稀疏觀測,文章構建並測試自監督時間模式挖掘流程,以處理不規則、缺乏標註的時序資料。流程採用偏向較大時間間隔的遮罩策略,在合成稀疏基準測試中令下游邊界檢測召回率提升約 18%,並結合時間對比損失與預測編碼。

  2. Hacker News 熱門(buzzing.cc 中文翻譯)51

    利用 JEPAs 證明並改進柏拉圖表徵假説

    研究提出柏拉圖表徵定理:若正樣本配對是同一場景的不同觀測,且其他情況下錯位有界,分開訓練的多模態 JEPA 可學得僅相差一次旋轉的相同表徵。研究以 145k 條圖片説明及 940M 張網頁圖片的文本驗證理論,並發現良好視角達到同等對齊所需樣本比下一 token 預測少 42 倍。

  3. HuggingFace Daily Papers(社區熱門論文)38

    DepthGraft:透過階層式跨層 KV 重建進行結構正則化

    DepthGraft 以階層式 KV 共享架構,從較淺及中間層重建深層 KV,改善深層語言模型訓練,同時減少 KV 快取用量約三分之一。研究在參數規模由 0.5B 至 16B 的 dense 及 MoE 模型上,於 GQA 和 MLA 下均取得下游表現提升;在 16B MoE 模型上,MMLU-Pro 絕對提升 7.0%,CMMLU 提升 6.6%,C3 提升 6.4%。

  4. DEV Community24

    探索用於分類的邏輯迴歸

    邏輯迴歸透過 sigmoid 函數將輸出轉換為概率,再映射至離散類別,可用於二元及多類別分類。文章説明二元、多項及序數邏輯迴歸,並概述其優缺點,以及 L1、L2 和 Elastic Net 正則化如何影響模型係數與過度擬合。

  5. 新浪科技28

    NASA 研發面向月球極端環境的固態電池

    NASA 正在研發面向月球南極探測任務的 SPEARS 固態電池,以提升電池對極端温度和真空環境的適應能力。小型原型電池在 80℃至-60℃範圍內正常工作,在-80℃仍可運行;經歷 100℃至-170℃的温度極值後沒有受損,經小型加熱器恢復至工作温度後可重新運行。

11月1日週日
  1. DEV Community50

    為甚麼接近終點時要放慢學習率?

    學習率排程會在訓練初期採用較大的步長,接近低點時逐步縮小,以減少噪聲造成的反彈。示例中,每 10 步將 0.45 減半的排程,60 步後與低點相距 0.07;在 2,000 組噪聲序列中,最後 10 步平均距離為 0.09,優於固定大步長的 0.49 和小步長的 1.31。文章亦示範如何在 PyTorch 使用 StepLR。

  2. The Guardian Technology63

    藝術家 Sally Scales 指 AI 挪用澳洲原住民藝術,製造「Temu 劣質作品」

    Pitjantjatjara 藝術家 Sally Scales 指,AI 正挪用澳洲原住民藝術並製造「Temu 劣質作品」,削弱藝術家的自主權及作品真實性。澳洲視覺藝術界團體稱,作品遭 AI 改動、移除作者姓名後出售,造成文化及經濟傷害;Temu、Shein 和 Amazon 上亦有無署名的原住民風格商品。

  3. DEV Community56

    Adam 如何為每個參數調整步長?

    Adam 會按每個參數梯度的歷史幅度調整更新步長,避免所有參數共用同一設定時,陡峭方向更新過大、平坦方向進展緩慢。它結合動量與梯度平方的移動平均,並以偏差修正後的平均梯度除以平方根平均平方梯度來計算更新。文中兩個梯度相差 50 倍的參數首步都移動 0.1;在原始、陡 100 倍及平 100 倍的曲線上,Adam 均在 71 步時進入距離底部 0.05 的範圍。

  4. DEV Community58

    LLM 訓練如何運作:汽車工廠類比解説

    文章以汽車工廠類比説明 LLM 因果語言模型的訓練流程,涵蓋下一 token 預測、交叉熵損失、反向傳播與優化器更新。文中以只有兩個候選 token 的 Python 範例演示一次參數更新,並指出訓練損失下降本身不足以證明模型能泛化或提升實際回答品質。

  5. 新浪科技64

    工信部賽迪研究院報告:中國人工智能推理數據量首超訓練數據量,截至 2026 年 6 月日均 token 調用量超 175 萬億

    賽迪研究院發布的《新域新質創新發展十大趨勢》指出,中國人工智能推理數據量首次超過訓練數據量,並將此視為人工智能進入規模化產業應用階段的標誌。截至 2026 年 6 月,日均 token 調用量超過 175 萬億,較 2024 年初增長 1000 多倍;頂尖大模型迭代週期由數月縮短至數週甚至數天。

  6. DEV Community34

    受控基準測試釐清語言模型資料歸因方法的失效原因

    這項研究探討語言模型資料歸因方法失效的原因,指出現有評測往往同時改變多項數據集屬性。研究提出 CATT 受控事實追蹤基準,透過完全虛構的知識進行微調,並設定明確的真實答案。此類受控合成基準可用於評估研究進展,再進一步檢視真實且受多種因素幹擾的訓練數據。

  7. DEV Community54

    Revenant 評估 npm 套件沉寂風險,TabPFN-3.5 回測 ROC AUC 為 0.8893

    Revenant 使用 TabPFN-3.5 根據 npm 套件發佈歷史評估沉寂風險,在 1,141 個測試樣本上取得 0.8893 ROC AUC。回測以 3,803 個套件的 2024 年發佈紀錄作標籤,TabPFN-3.5 的 ROC AUC 高於邏輯迴歸的 0.8380,但兩者在工具實際使用的 top 10% 指標上相近,分別為 2.244 和 2.200 倍基準率。

  8. DEV Community34

    我獨自用 Python 建成涵蓋 170 年加勒比海颶風的觀測平台

    作者獨自以 Python 開發開源氣候風險觀測平台 CaribScope,整理 1851–2022 年的大西洋颶風路徑,並整合即時地震資料、海面温度趨勢及 Random Forest 颶風等級分類器。平台以 16 個 Streamlit 頁面呈現,並以 Docker 部署在單一 VPS;分類器用於參照歷史風暴特徵,不是物理預報模型,亦不能取代 NOAA 的業務預報。

  9. 新浪科技50

    混合架構用線性注意力還是滑窗注意力?復旦創智 OpenMOSS 團隊:我全都要

    復旦創智邱錫鵬團隊比較長上下文混合架構,發現滑窗注意力與線性注意力各有優勢:前者較擅長長度外推,後者在長文續訓中的擬合能力較強。團隊提出滑窗線性注意力(SWLA),令 GLA-NoPE、GDN-NoPE 模型在 RULER 的 NIAH-SK1 任務中由 4k 外推至 64k,達到 16 倍免訓練外推並保持 100% 準確率。研究指出,混合架構的優勢來自不同注意力模組的互補。

  10. DEV Community42

    數據之牆:為何合成數據只能爭取時間,卻無法提升準確度

    高質素人類文本供應有限,合成數據可暫時填補模型訓練缺口,但過量使用會導致模型崩潰,令推理能力和事實回憶能力下降。研究顯示,合成數據佔約五分之一至三分之一有助提升表現,超過一半則開始侵蝕模型能力。訓練應以真實數據為基礎,並用獨立驗證器篩選合成數據。

  11. 第一財經35

    上海儀電攜多項行動成果亮相2026全球數商大會主論壇

    上海儀電參與發起的「推動上海數據要素創新協同發展聯合行動」正式啟動,集中發布涵蓋五個方向的行動。旗下「一問用數」需求徵集智能體已於大會期間開放試用,可智能匹配公共數據目錄與數據產品。「智愛賽思」發布首批11項高質量標杆數據集,其社區要素庫已上線超3000項AI for Science資源,其中包括61項數據集。

  12. DEV Community52

    mini-batch SGD 為何每次只用少量訓練樣本?

    mini-batch SGD 以隨機小批次估算完整梯度,讓每一步只需處理部分樣本;估計雖帶有噪聲,但平均而言等於真實梯度。批次大小為 B 時,噪聲約按 σ/√B 縮減;在 PyTorch 中,60,000 張 MNIST 訓練圖像以 batch_size 64 載入,每個 epoch 有 938 次迭代,最後一批有 32 張。

  13. DEV Community59

    學習率如何決定模型訓練的收斂速度與穩定性

    文章以二次損失説明,學習率決定梯度下降每一步的幅度,過小令訓練收斂緩慢,過大則會令誤差發散。對曲率為 λ 的二次損失,穩定條件是 0 < η < 2/λ,η = 1/λ 時一步到達最低點;在多個方向上,最陡方向會限制可用學習率。實作上可檢查有 C 個類別的 softmax 初始損失是否約為 ln C,再以相差 10 倍的學習率各跑約 100 次迭代,選擇令損失快速下降而不發散的設定。

  14. DEV Community58

    梯度下降如何沿損失曲面找到最低點?

    文章以損失曲面示範梯度下降如何沿負梯度更新權重,逐步降低神經網絡的損失。例中學習率為 0.1 時,損失由 21 降至 20 步後的 0.001;學習率過小會令下降緩慢,過大則可能越過谷底並令損失上升。文章亦示範用 PyTorch 的 torch.func.grad 計算梯度,並建議試用 0.1、0.01、0.001 和 0.0001,比較前一百步的損失變化。

  15. DEV Community39

    神經網絡如何衡量預測錯誤?

    損失函數把神經網絡的預測誤差轉成單一數值,訓練則逐步調整權重以降低損失。平方損失將誤差平方,3、2、1 的總損失為 14,平均平方誤差約 4.7;絕對損失相加得 6,平均絕對誤差為 2。新增誤差為 5 的離羣點,會令平方損失由 14 升至 39,絕對損失則由 6 升至 11,因此平方損失對大誤差更敏感。

  16. DEV Community37

    TensorFlow 解説:由張量到訓練的機器學習

    TensorFlow 是 Google 於 2015 年推出的機器學習程式庫,以張量表示數據,提供建立、訓練及部署模型的工具。Keras 高階 API 可用於組合模型層,TensorFlow 亦支援即時執行及按需要編譯成計算圖。TensorFlow Lite、TensorFlow.js 及伺服工具可將訓練完成的模型部署到手機、瀏覽器及生產環境。

  17. DEV Community44

    Qwen2.5-1.5B 的 450-token 上限截斷逾三分之一回覆:重跑 20 組舊配對揭示結果

    作者以 1,024-token 上限重跑 Qwen2.5-1.5B 的首 20 組配對,發現原先被 450-token 上限截斷的 13 條回覆中,有 8 條這次完成,另有 5 條仍未完成。完成回覆中,8 條獲補回的回覆有 4/24 個引文改動學生原話,雙次均完成的回覆則有 11/141;作者指出數據不足以構成結論。

  18. DEV Community26

    機器學習解説:電腦如何從數據中學習

    機器學習讓電腦系統從示例中學習模式,並以訓練所得模型預測未見過的案例。常見類型包括監督式、非監督式及強化學習;可靠的流程涵蓋定義問題、準備數據、訓練基線模型、評估、部署和監察。評估時須避免數據洩漏、過度擬合及偏差數據,並按問題選擇合適指標。

10月31日週六
  1. Unite.AI37

    書評:Stephen Witt《The Thinking Machine: Jensen Huang, NVIDIA, and the World’s Most Coveted Microchip》重述 AI 革命的運算根基

    Stephen Witt 在《The Thinking Machine》中以 Jensen Huang 和 NVIDIA 為主線,指出現代 AI 的發展不只源於巧妙構想,也依賴運算方式的根本轉變。書中追溯 NVIDIA 如何由遊戲圖像晶片轉向平行運算,並透過 CUDA 讓 GPU 可用於圖像以外的通用運算;黃仁勳對平台、軟件及開發者支援的長期投入,也是這段歷程的重要部分。