跳到正文
10月27日週二
  1. 創業邦63

    AI公司為何高價採購數據?

    AI公司的數據採購正由互聯網語料擴展至專業人才生產的資料及企業營運記錄,價格則隨專業門檻、稀缺程度和可驗證訓練價值而分化。Google曾開價1000萬美元購買Spirit Airlines的內部記錄;micro1則計劃在未來12個月投入10億美元,採購企業營運數據或取得授權,並將其轉化為強化學習環境。模型公司的數據支出尚缺統一披露口徑,預算取決於目標能力、現有數據缺口,以及不同數據帶來的額外收益。

  2. DEV Community59

    BPE 分詞:提示詞末尾空格令 300 次分類輸出中 41 次出錯

    作者在支援工單分類測試中發現,提示詞末尾的空格令 300 次輸出中有 41 次格式錯誤;移除空格後,錯誤減至 3 次。BPE 通常把空格併入下一個詞的 token,單獨結尾空格會形成模型訓練中少見的邊界,可能引發多餘空格、大小寫錯誤、詞片段或換行。文章建議移除補全提示詞及助手預填內容末尾的空白;無法控制邊界時,可使用 token healing 或受限解碼。

  3. DoNews49

    Q Labs 發佈 Dust 零階優化演算法,僅靠前向傳播預訓練大型模型

    Q Labs Research 推出 Dust 零階優化演算法,僅靠前向傳播即可預訓練 Transformer,並在預訓練任務上達到可與反向傳播抗衡的水平。基於 FineWeb 的實驗涵蓋 2M–243M 參數模型及最高 20M Token,Dust 比 EGGROLL-Transformer 效率提升千倍至萬倍。現階段 Dust 的整體計算開銷仍高於反向傳播,尚非可直接取代反向傳播的工程方案。

  4. Baseten 工程博客57

    Baseten 推出 BDN Sealed Volumes,讓唯讀資料可發布一次並掛載至任何部署

    Baseten 推出 BDN Sealed Volumes,讓用戶把唯讀資料封存為不可變版本,並掛載至不同部署。每個版本以內容雜湊值識別,部署固定引用該值後,各副本便會掛載相同的唯讀資料。BDN 按內容雜湊重用未變更區塊,並在容器啟動後按需串流資料,毋須預先下載整個 volume。

  5. HuggingFace Daily Papers(社區熱門論文)48

    WorkFactory:將專業意圖轉化為可執行工作,以擴展智能體訓練

    WorkFactory 從專業意圖建構連貫且可執行的工作任務,支援大規模智能體訓練。研究團隊以涵蓋 612 個職業的 112,686 項任務微調 Qwen,推出 4B、27B 和 35B-A3B 規模的 WorkPilot 模型。WorkPilot-35B-A3B 在 GDPval-AA v2.1 的 Elo 評分由 879 升至 1565,數據和模型均可取得。

  6. HuggingFace Daily Papers(社區熱門論文)63

    《Follow the Gradient》提出以梯度追溯訓練資料中的安全性退化

    論文提出 SimpleLoRIF,以梯度對齊找出會削弱大語言模型安全性的微調指令資料,並據此建立移除梯度最貼近不安全回應的 20% 樣本的 SafeTulu。在 Qwen、Llama 和 Olmo 上以 SafeTulu 訓練,GCG 攻擊成功率最多下降 22%,同時大致保留甚至提升模型能力。

  7. HuggingFace Daily Papers(社區熱門論文)42

    Muon 令首個混合專家層更難平衡

    使用 Muon 訓練混合專家(MoE)語言模型會加劇首個 MoE 層的路由失衡,其他層受影響較小。在活躍參數為 55M 和 108M 的模型中,首層偏置跨度在每個隨機種子下均上升,平均約增至兩倍;從路由器輸入中減去批次平均值可消除過載,而降低較小模型的 Muon 學習率亦能消除大部分增幅。此規模下,將路由器改用 AdamW 會令負載變化更大,結果較支持讓路由器繼續使用 Muon。

  8. DEV Community72

    如何檢查 AI 助手的資料答案:為各階段設計評測

    作者提出一套分階段評測 AI 助手資料答案的方法,從可信查詢開始,再按團隊規模加入不依賴標準答案的檢查、每週抽樣及經人手校準的 AI 評審。文章引用研究審核結果,指出 BIRD Mini-Dev 有 52.8% 題目存在標註錯誤;121 道提供參考查詢的 Spider 2.0-Snow 題目中,66.1% 有錯。文中亦建議固定模型版本並記錄每次測試,金額類問題不可只交由 AI 評審判定。

  9. DEV Community45

    微信公眾號文章(2026):免登入搜尋、全文擷取與監測

    指南展示如何透過搜狗公開文章搜尋,在毋須登入微信帳戶的情況下搜尋及擷取微信公眾號文章。一次測試以四個關鍵詞在 46 秒內取得 120 篇文章,來自 115 個帳號;另一輪擷取的 12 篇文章中,有 10 篇取得全文,字數中位數為 1,625 個中文字。搜尋結果每 1,000 篇收費 $2,全文每 1,000 篇收費 $5,另每次執行收費 $0.001。

  10. DEV Community52

    智能體循環中的上下文修正為何不持久?Self-Direction 如何把錯誤轉成長期修正

    普林斯頓大學與 Meta FAIR 團隊提出 Self-Direction,將智能體執行錯誤轉化為低秩 adapter 更新,讓修正可在後續工作階段按需使用。在 GAIA、Claw-Eval 和 Terminal-Bench 2.1 上,任務完成率較標準上下文反思基線高 8.9 至 17.0 個百分點。這個方法僅更新約 0.02% 的參數,並凍結基礎模型權重。

10月26日週一
  1. 英國 AI Security Institute:Blog61

    英國 AI Security Institute 評估開放權重生物模型的預訓練數據過濾效果

    英國 AI Security Institute 團隊以 ESM-2 蛋白質語言模型評估預訓練數據過濾,發現此方法可選擇性抑制病毒蛋白質相關能力,同時大致保留非病毒蛋白質能力。但以被排除的病毒數據微調可完全恢復該能力,即使最大、參數量為 3B 的模型,所需 H100 計算成本亦約 $80;相關數據通常公開可得,因此單靠過濾不足以構成穩健防護。

  2. 阿里雲開發者社區 AI54

    同一函數套 96 遍:一道初中函數題拆解大模型原理

    文章以 f(x)=20+10x 解釋大模型的函數結構,並以 GPT-3 説明將 TransformerBlock 重複套用 96 次的函數複合。文中指出,GPT-3 有 1750 億個參數;訓練會調整參數,推理則使用固定參數。文章並以定義域和高維外推説明,輸入超出訓練分佈時,模型仍可能輸出缺乏依據的答案;損失地形圖則只是高維空間的低維切片。

  3. 新浪科技60

    Omdia:2026年第三季全球 PC 出貨量約 5,810 萬台,同比下跌 21.2%

    Omdia數據顯示,2026年第三季全球桌上型電腦、手提電腦及工作站出貨量約5,810萬台,同比下跌21.2%。DRAM及固態硬碟佔PC整機物料成本的比例,由通常約15%升至接近40%,相關組件價格上漲超過四倍。文章指出,AI數據中心需求推高零件成本,提前採購需求消退及渠道庫存亦令市場承壓;Omdia預計第四季出貨量同比下跌約24%,2027年全年或再跌約7%。

  4. 新浪科技68

    西部數據 2026 年 HDD 產能售罄,2027 財年 Q1 營收按年增長 55%

    西部數據 2026 年 HDD 產能已全數售罄,2027 財年第一季度營收按年增長 55%。長期供應協議已簽至 2028 年,前七大核心客戶訂單可見度延伸至 2030 至 2031 年。管理層表示收入與出貨量仍受供給能力限制,文章指出 AI 訓練數據集、歷史版本、日誌、影片及備份等長期保存需求推高儲存容量需求。

  5. DEV Community54

    基準評測要固定數據集,再檢驗評分者一致性

    文章提出一套基準評測流程,先以雜湊固定數據集、評分規則及評判提示詞,再預先登記評分者一致性門檻,避免輸入變動被誤認為進步。示例門檻為 0.6;Python harness 以 Cohen's kappa 衡量兩位評分者的一致性,雜湊漂移時回傳 2,未達門檻時回傳 3。文章亦披露內容屬 MonkeyCode 產品推廣,並稱其免費模型存取及伺服器選項可降低雙評分和託管成本。

  6. 虎嗅60

    HDD為何成為AI時代的「數據終點站」?

    HDD之所以成為AI時代的「數據終點站」,是因為近線硬碟以較低每GB成本和大容量,承接不常存取的温冷數據。雲端約80%的數據仍存放於HDD;2026年第二季,HDD全行業收入按年增長47%,出貨容量增長29%,每GB均價上升14%。供給方面,希捷和西數不打算增加硬碟台數產能,零部件擴產亦需時;東芝雖計劃擴產,短期仍難填補行業缺口。

  7. Rest of World51

    使用非英語時,AI 模型的使用成本可能更高

    一項新研究發現,部分語言使用 AI 模型所需的 token 遠多於其他語言,可能推高使用成本,研究稱這種差異為隱性的 tokenizer tax。在網絡最常用的 20 種語言中,token 用量最高者所需 token 是最低者的 1.5 至 5 倍;擴大至 200 種語言後,一款 AI 模型的 token 成本差距增加 17 倍。

  8. Business Insider Tech65

    Micro1 計劃未來一年投入 $1 billion,取得並授權企業工作資料供 AI 模型開發者使用

    Micro1 計劃在未來一年投入 $1 billion,取得企業內部工作資料並授權予 AI 模型開發者。Micro1 表示,單家中型企業的資料可獲 $100,000 至 $2 million;合作方式包括處理及授權資料、提供開發中的 AI 智能體並收集企業回饋,以及把特定時間點的資料環境交予模型開發者作模擬訓練。報道亦指出,員工未必能就其工作資料用於 AI 獲得補償,或參與相關決策。

  9. 阿里雲開發者社區 AI39

    從 ECS 到 DSW、DLC:阿里雲生成式 AI 模型雲端訓練實踐

    阿里雲 ECS、PAI-DSW 和 PAI-DLC 在生成式 AI 項目中分別承擔輔助工程任務、交互式開發與多卡訓練,CPFS 則用於管理數據和實驗結果。針對批量推理時的視頻存儲異常,實踐完善了文件寫入檢測、結果校驗與任務恢復機制。25個階段性模型版本各執行17組測試,最終完成全部425項驗證任務,覆蓋率達到100%。

  10. 阿里雲開發者社區 AI26

    2026年國內數據治理廠商推薦:適合大型企業的AI治理平台

    阿里雲瓴羊Dataphin 2026版以語義知識圖譜、原生Data Agent和「治理即研發」架構,回應大型企業對機器可調用語義、治理流程嵌入AI能力及研發階段前置治理的需求。平台支援50餘種異構數據源,企業版年費為50萬至120萬元。它適合數據規模大、系統異構程度高,且希望推進數據治理與AI落地的大型企業。

  11. 阿里雲開發者社區 AI25

    企業數據與知識雙重治理對 AI 的重要性

    企業要讓 AI 在業務中可靠發揮作用,必須同時治理數據與知識,避免數據品質差、知識散落或過時,令 AI 得出失準甚至危險的結論。中翰軟件透過統一主數據標準、按用途整理知識,並把治理融入業務流程,為 AI 提供可讀、可用的資料與知識基礎。

  12. DoNews31

    諾亦騰機器人完成 Pre-A+++ 輪融資

    諾亦騰機器人(Noitom Robotics)宣佈完成 Pre-A+++ 輪融資,由河南投資集團旗下匯融基金獨家投資。公司總部位於北京,專注 Physical AI 全模態數據服務,為機器人本體企業、具身智能模型團隊及高校科研機構提供多模態訓練數據。本輪融資將用於加快數據基礎設施建設與技術迭代。

  13. 新浪科技52

    Q Labs 提出 Dust,探索不用反向傳播預訓練 Transformer

    Q Labs 提出 Dust,透過在 Transformer 線性層輸出按 token 加入隨機噪聲,估算更新方向並訓練模型。論文報告指,擴大虛擬種羣後,Dust 在部分設定下的效果超過反向傳播;最大實驗規模為 243M 參數、20M token。SOTAAZ Lab 的第三方復現基本重現論文設定,但指出反向傳播使用更合適的優化器或在同一數據上多訓練幾輪後明顯領先,計算成本亦低於 Dust。

  14. DEV Community57

    Second Look 推出,以 758 人實際醫療支出評估 2027 醫療計劃選擇

    作者推出 Second Look,讓用戶按僱主的 2027 醫療計劃及五項回答,查看選擇最低保費方案是否適合自己。它以 758 人在 2024 年的實際醫療支出,對照三家僱主的 2027 計劃;最低保費規則選中實際最便宜計劃的比例為 82%,TabPFN 則為 79%。Gemma 4 在本機讀取計劃 PDF,TabPFN 預測下一年的支出範圍,程式碼計算費用;整個流程在本機運行。

  15. DEV Community40

    AI 清理:自由工作者如何毋須編寫程式碼賺取收入

    AI 清理是運用人工智能模型清理資料、圖片或文字中的噪音、重複內容及標記錯誤,相關工作可在 Upwork、Fiverr、Sribulancer 和 Freelance.com 尋找。文章列出 Cleanformer、OpenAI API 等工具,以及每個項目 Rp 200 000 至 Rp 1 000 000 的常見收費。 freelancer 可從小型工作開始,建立專門檔案並收集評價。

  16. DEV Community40

    資訊瓶頸:為甚麼最佳表徵會忘掉大部分所見資訊

    資訊瓶頸(IB)把表徵學習描述為一種取捨:盡量壓縮輸入資訊,同時保留預測目標所需的資訊。它以互信息衡量壓縮與預測能力,避免只懲罰表徵的維度或範數;但高維連續變量的互信息難以估算。2017 年一項研究提出深度網絡訓練會經歷擬合與壓縮兩個階段,後續研究則指出壓縮現象會受激活函數及估算方法影響。

  17. 新浪科技54

    RoboCoach 如何為具身智能系統高效主動糾錯,邁向 Physical RSI?

    研究團隊提出 RoboCoach,以 CoachWorld 試跑長程任務並定位薄弱子任務,再引導人類定向示教、更新相應技能專家。三輪更新後,Franka 成功率由 13.3% 升至 75.0%,AgileX 由 40.0% 升至 83.8%;四條未見任務路線的平均成功率為 35.0%,均勻採集基線為 0%。論文見 https://arxiv.org/abs/2609.39685。

  18. Preferred Networks:AI 研究與產品51

    日本總合研究所與Preferred Networks簽署PLaMo授權合約,將部署 PLaMo 3.0 Prime

    日本總合研究所與Preferred Networks簽署PLaMo授權合約,將於2026年10月起在內部部署 PLaMo 3.0 Prime,供全體員工在本地環境使用。日本總合研究所亦開始驗證以自有數據對PLaMo進行追加訓練,並計劃應用於金融系統開發與運維、社內行政等工作。

  19. 新浪科技40

    AIGC服務提供者的版權侵權風險與治理

    生成式人工智能服務提供者的版權侵權風險貫穿數據訓練、內容生成及分發營運全流程,介入程度加深亦可能加重侵權責任。現行規則在主體定性、注意義務配置及履行判斷上缺乏統一標準,令同類案件裁判尺度不一。治理建議涵蓋規則供給、裁判統一、平台自治與生態協同,並建立訓練作品付酬機制。

  20. DEV Community34

    皮膚癌模型為何無法處理真實照片

    皮膚癌 CNN 模型在訓練資料以外的真實手機照片上,效能會由 ISIC 基準測試的 95% 跌至接近隨機水平,問題在於資料分佈偏移,而非模型容量。常見差異包括光線、拍攝比例及影像瑕疵;前處理可去除毛髮、校正光線並裁切影像。沒有真實照片標籤時,可用合成資料增強,低信心預測及罕見病灶則應交由人工分流。

  21. DEV Community46

    ANLI verifier_labels_R1-3.jsonl 檔案分析:解讀 29,803 項對抗式基準人工判斷的四種方式

    MV2 分析 ANLI 的 verifier_labels_R1-3.jsonl 檔案,從對抗輪次、模型錯誤、平局裁決和文本領域四個角度解讀 29,803 項人工判斷。29,803 行中有 29,765 行(99.87%)的標註者原始標籤符合驗證者嚴格多數;各輪中,R1 是唯一齣現殘留分歧的輪次。控制輪次後,類別仍影響驗證者的一致程度,文本領域的差異則幾乎消失。