跳到正文
11月18日週三
  1. Artificial Analysis 完整文章84

    OpenAI 發佈 GPT-6.2 Astra 與 GPT-6.2 Sol,Astra 位列 Artificial Analysis Intelligence Index 第二

    OpenAI 發佈 GPT-6.2 Astra 與 GPT-6.2 Sol,Astra 在 Artificial Analysis Intelligence Index 升至第二位,僅次於 Anthropic 的 Claude Fable 5.2。

    推薦理由:文章並列智能指數、成本前沿與編碼代理指數結果,呈現 GPT-6.2 Astra 與 GPT-6.2 Sol 在整體排名、成本和編碼表現上的差異。

  2. HuggingFace Daily Papers(社區熱門論文)47

    不要重新採樣:長時程 RL 專家的離線策略整合

    MRPD 透過重播專家的訓練紀錄,將多個長時程 RL 專家整合為一個模型,毋須重新採樣、呼叫環境或獎勵模型。在推理、搜尋和 SQL 三個智能體領域,MRPD 的學生模型表現最佳,勝過同一批專家訓練的 MOPD,整合成本約為訓練專家所需計算量的七分之一。研究亦指出,訓練紀錄的先後次序比數量或獎勵更重要。

  3. TechCrunch · AI64

    決策模型使用量急升,客戶數據調校會否成為下一個發展方向?

    Vercel 的 AI 模型路由器在 10 月有超過四分之一請求流向決策模型,而 Sqwish 正以客戶數據及內置後訓練工具,讓模型持續改善判斷。決策模型不生成輸出 token,而是快速、低成本地在預設選項中作出選擇,並記錄信心程度。受訪者認為基準測試不足以代表企業實際使用,開發者可在具體情境中替換模型測試,持續調校則是 Sqwish 留住客戶的理由。

  4. DEV Community40

    四篇新 AI 論文推進推理、TTS 與解碼效率

    1 月 31 日發表的四篇 AI 論文分別提出 RAPO 視覺保留方法、VoxMel 無 tokenizer 的 TTS 框架、LoopFill 推測解碼算法,以及 DominoBench 物理推理基準。RAPO 在貪婪解碼下的平均評分由 GRPO 的 27.87 提升至 31.41;VoxMel 的 0.6B 配置在 LibriSpeech 上達到 WER 1.98、SIM 0.721。

  5. Hacker News 熱門(buzzing.cc 中文翻譯)89

    OpenAI 發佈 GPT-6.2 Astra 和 GPT-6.2 Sol

    OpenAI 發佈 GPT-6.2 Astra 和 GPT-6.2 Sol,分別面向高難度專業項目及日常工作,並以較少輸出 token 處理高要求任務。

    推薦理由:文章比較 Astra 與 Sol 在專業工作、日常任務及基準測試中的定位與成本差異,並交代可用範圍和網絡安全防護限制。

  6. NVIDIA Technical Blog:Agentic AI / Generative AI15

    NVIDIA 如何協同設計稀疏注意力,提升長上下文推理效率

    NVIDIA 探討如何協同設計稀疏注意力,以提升長上下文推理效率。隨着 Agent 工作負載、長文件和大型程式碼庫推動上下文長度由數萬個 token 增至數十萬個 token,注意力機製成為 Transformer 層中成本最高的部分;在 128K token 時,密集註意力可佔用大部分預填充時間。

  7. Pragmatic Engineer68

    軟件工程師的推理工程實務解析

    文章梳理軟件團隊如何由前沿 AI 實驗室的 API,轉用推理服務商託管的開放權重模型,並選擇相應部署方式。轉用的常見原因包括降低成本、加強延遲控制和微調模型;典型路徑是先用多租戶 API,再按需求遷至專用 GPU。文章亦分析 TTFT 延遲、KV cache、快取命中率、速率限制和 GPU 容量等工程考量。

11月17日週二
  1. DEV Community58

    為何延長思考有幫助:測試時計算與新的擴展維度

    測試時計算是在模型完成訓練後,透過多次抽樣、搜尋部分解答或反覆修訂,增加回答時的計算,以提高模型在可驗證任務上的答對機會。研究顯示,按問題難度分配計算的策略,效率比直接採用 best-of-N 抽樣高四倍以上;在容易及中等問題上,較小模型加上額外計算可勝過規模為其 14 倍的模型,但在最難問題上幾乎沒有改善。這種方法的效益受驗證器可靠程度、延遲和每次查詢成本限制,也不能取代預訓練帶來的能力。

  2. IEEE Spectrum52

    AI 推理需求推動光學計算產業再度升温

    AI 推理需求帶動光學計算重新受到業界關注,多間初創公司正探索以光學元件處理矩陣向量乘法,或把計算加入數據中心的網絡傳輸路徑。相關市場估值由 2022 年的 US $0.4 billion 增至 US $2.22 billion,業界公司以較現有 GPU 高 10 至 80 倍的能源效率為目標。文章指出,數據編碼、模數轉換及其他無法由光學處理的運算,仍會影響整體能源收益。

  3. 第一財經60

    中國日均 Token 調用量已突破500萬億

    國內日均 Token 調用量已突破500萬億,算力市場需求暴漲。2025年,鄭緯民院士團隊研發的模型推理系統 Mooncake 獲埃裏克・裏德爾最佳論文獎,其核心 PD 分離技術將讀入用戶問題和生成回答分由兩組算力處理。在相同硬件規模下,系統可多承接75%的用戶請求,長文本吞吐能力提升五倍以上。

  4. Unite.AI52

    2027 年 AI 算力展望:推理成本將重塑數據中心

    文章預測,2027 年數據中心算力競爭將更著重在客戶服務要求下可交付的有效容量,以及可接受答案的推理成本。四項預測包括在固定硬件與模型下,達到延遲目標的吞吐量至少提升 30%;按工作負載拆分 prefill 與 decode;替代加速器在特定服務中具成本優勢;以及智能體基準同時衡量系統能耗與成功完成的任務。

  5. DEV Community53

    GRPO 如何運作:數學原理、零 Critic 設計,以及推理模型為何不需要 PPO

    文章拆解 GRPO 的數學原理與訓練流程,説明它如何以同一提示詞下多個輸出的組內獎勵作為基線,取代 PPO 的 Critic 網絡。每個輸出的獎勵經標準化後,會作為該序列各 token 的優勢值,並配合裁剪目標及 KL 正則化更新策略。文章亦介紹以規則驗證器為數學和程式任務提供獎勵,並附 PyTorch 實作及組大小、格式獎勵和生成長度等實作陷阱。

  6. 創業邦53

    AI4S熱潮升温,距離「ChatGPT時刻」還有多遠?

    AI4S正進入科研流程並吸引資本,但目前主要處於輔助和指導科研階段,距離AI獨立完成科學發現仍有差距。受訪者將發展分為輔助科研、指導科研和自主科研,並指出提出研究問題、設計方案、實驗驗證及取得高質素數據仍是主要難點。今年前10個月,國內AI4S賽道有超過80筆融資,已披露融資總額超過200億元;文章亦梳理醫藥、材料等行業的應用和商業化路徑。

  7. 阿里雲開發者社區 AI24

    阿里雲計算型 c8i 實例表現如何?性能、適用場景、優惠價格及購買攻略

    阿里雲計算型 c8i 實例採用 CIPU 架構及第四代 Intel 至強處理器,單核性能較第七代提升35%,AI推理速度提升2倍,ESSD PL3 隨機讀寫 IOPS 最高達100萬+。實例採用1:2的CPU與記憶體配比,適用於AI推理、影片編碼、遊戲前端及科學計算等場景。新用戶購買1年期並疊加7.5折優惠券後,2核4G、1M帶寬配置為1183.28元/年。

  8. 阿里雲開發者社區 AI39

    阿里雲首創 PVPO 技術入選 ACL 2026

    阿里雲研發的 PVPO 技術入選 ACL 2026,旨在提升智能體後訓練的穩定性與樣本效率。Qwen2.5-7B-Instruct 經 PVPO 訓練後,在四個多步檢索基準的平均準確率達 62.5%,高於 GPT-4.1 的 46.2% 及 Gemini-2.5-pro 的 60.2%。訓練成本僅為 GRPO 的 40%,訓練數據平均減少 50%,速度提升 1.7–2.5 倍。

  9. 第一財經52

    《智能計算集羣效能指標與測試方法》國家標準化指導性技術文件獲批發布

    市場監管總局(國家標準委)批准發布《智能計算集羣效能指標與測試方法》國家標準化指導性技術文件,首次建立面向大模型訓練與推理場景的智能計算集羣效能指標體系和統一測試方法。文件由全國智能計算標準化工作組歸口,為我國智能算力基礎設施的規劃建設與高效運行提供支撐。