跳到正文
11月6日週五
  1. DEV Community26

    Counterfactual Self Architecture:構建可審計的反事實自我架構,探索人生的多種可能版本

    Counterfactual Self Architecture(CSA)提出一套架構,以明確的參考資料、介入點和不確定性,呈現人物在不同決策下的可能人生,並讓假設可供審核。其 ICC 證據狀態分為 Preserved、Variable、Unknown 和 Disputed,並要求模型在證據不足時可以拒絕推斷;文章以 Alan Turing 的歷史案例探討這套架構。

  2. 新浪科技63

    NVIDIA 探索以全棧協同設計應對 AI 記憶體瓶頸

    NVIDIA 昨日發佈技術解讀,提出以 GPU、CPU、網絡、儲存和軟件的全棧協同設計,應對大模型、長上下文及智能體應用增長帶來的 GPU 記憶體壓力。方案以 NVFP4 壓縮模型權重和 KV cache,並把不活躍上下文移至 CMX 上下文儲存、在重用前取回;智能體工作流部分場景需處理多達 300 萬個 token。

  3. 新浪科技61

    NVIDIA 詳解 AI 記憶體全棧協同設計:特定 Agent 工作負載每美元吞吐量最高提升30倍,HBM 容量僅增約3%

    NVIDIA 詳解 AI 記憶體全棧協同設計,稱 Vera Rubin NVL72 相較 GB300 NVL72,在特定 Agent 工作負載下每美元吞吐量最高提升30倍。在每位用戶每秒125個Token的服務速度下,單顆 GPU 的 HBM 容量僅增加約3%。其做法包括以 NVFP4 壓縮模型權重和 KV Cache、分層卸載閒置上下文,並把 RAG 向量索引放到 CPU 記憶體及儲存層級。

  4. IT之家52

    英偉達提出全棧協同設計應對 AI 記憶體瓶頸,HBM 容量僅增約 3%、每美元智能體吞吐量最高提升 30 倍

    英偉達提出以 GPU、CPU、網絡、儲存和軟件全棧協同設計,應對大模型參數、上下文和智能體工作流增長帶來的 HBM 記憶體壓力。其方案以 NVFP4 壓縮模型權重和 KV cache,並把不活躍上下文遷移至 CMX 上下文儲存,讓 RAG 索引留在 CPU 與儲存端。

  5. 新浪科技66

    百度正式開源文心5.5 Flash Base(ERNIE 5.5 Flash Base),以33.5萬億個Token完成預訓練

    百度正式開源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),該模型以33.5萬億個Token完成預訓練。模型採用MoE架構,總參數2800億、每個Token激活140億,微調和推理階段最長支援100萬Token上下文。百度已在Hugging Face提供FP8和BF16版本權重;模型尚未經中訓練和後訓練,主要供開發者及企業作後續指令微調、領域適配和強化學習。

  6. DEV Community80

    Cloudflare 如何將 AI 程式碼審查的推理成本降低 68%

    Cloudflare 將 AI 程式碼審查的單次推理成本由高峯期 $2.43 降至 $0.77,減少 68%,中位審查時間亦由 4 分鐘 9 秒縮短至 1 分鐘 32 秒。

    推薦理由:文章拆解快取、模型選擇與無效呼叫對單次審查成本的影響,並展示品質評估如何找出降本後退步的審查器,整理出可複用的優化與驗證方法。

  7. DEV Community61

    AI 智能體執行一項任務要花多少成本?

    作者以 Amazon Bedrock 的模型呼叫和 FinOps 智能體示範,説明估算任務成本不能只看單次呼叫,還要計入智能體循環中累積的上下文及執行資源。同一句文字在 Claude Sonnet 4.6、Sonnet 5 和 Sonnet 5.5 的記錄分別有 32、40 和 42 個輸入 tokens;另一項任務則經過五次模型呼叫,累積 16,223 個輸入 tokens。

  8. DEV Community68

    THX-02 發佈 4.5B 開放決策模型,Decision Index 0.3 得分高於最佳 27B 同類模型並提供免費 API

    HAL-X 發佈 THX-02,這款 4.5B 參數決策模型的權重、運行環境和伺服器採用 Apache-2.0 授權,並提供免費 API。THX-02 在 Decision Index 0.3 得分 65.06,高於最佳 27B 決策模型的 62.25;評測使用分層抽取的 6,018 個請求,競品數字引用其公開指數,並非重新測試。

  9. HuggingFace Daily Papers(社區熱門論文)46

    探討權重空間編程:能力、泛化與限制

    研究顯示,Weight-Space Programming(WSP)可透過局部修改神經網絡參數提升推理表現,但跨任務泛化和編輯可靠性並不穩定。研究涵蓋七個基準及 Qwen3.5-0.8B、Qwen3.5-9B;只修改 1,023 個參數,MATH-500 準確率便提升 29.45 個百分點。16 條編輯軌跡中有六條保留原有權重,反映可靠驗證仍具挑戰。

  10. HuggingFace Daily Papers(社區熱門論文)43

    CPU-ARC:用於 CPU 推理重用的智能體推理快取

    CPU-ARC 提出智能體推理快取方法,從 LLM 推理軌跡構建可在 CPU 執行的快取,讓已推理任務的解法可高效套用至新問題。在多項具挑戰性的數學及科學任務中,快取的表現與前沿 LLM 相當,並具可解釋、可持續訓練及抵抗輸入擾動等特點;調用成本比來源模型低 16-291x。

  11. HuggingFace Daily Papers(社區熱門論文)37

    SIRIS:LLM 能否判斷模擬器誤差何時會影響 AI 系統研究?

    SIRIS 是一項基準測試,旨在評估 LLM 能否判斷模擬器的限制是否會令系統設計建議失效。研究評估了 13 個前沿 LLM 在 LLM 服務設計問題上的表現,發現辨識出限制不代表能作出正確選擇,最強模型有時也會推翻有效建議。加入覆核回合有助模型恢復有效選擇,但也令部分模型出現新錯誤。

  12. HuggingFace Daily Papers(社區熱門論文)46

    Energy-Based Reasoners:循環式推理模型應採用能量模型

    Energy-Based Reasoners(EBRs)以能量函數及其梯度引導循環式潛在推理狀態更新,並提供停止訊號。在四項算法推理基準中,EBRs 的表現媲美或優於先前的循環式推理模型,在 Sudoku-Extreme 達到 99.9% 準確率,所用推理計算量比次佳模型少 345 倍。在所有多解基準中,EBRs 均達到最先進的不同有效解覆蓋率,同時維持接近 100% 的單次樣本準確率。

  13. HuggingFace Daily Papers(社區熱門論文)39

    PISA 與 PISA-E:面向提示詞自適應、成本感知 LLM 推理的集成路由

    這項研究提出單模型路由器 PISA,以及可按提示詞調整組成和規模的集成路由器 PISA-E,後者毋須專門的集成訓練。兩者在四個路由基準的分佈內及分佈外設定下接受評估;PISA-E 在優先考慮品質時,集成任務表現的宏平均最高。相較最強的競爭集成方案,PISA-E 亦提供平均推理成本約低 36%(ID)及 25%(OOD)的運作選項。

  14. Hacker News 熱門(buzzing.cc 中文翻譯)67

    百度發佈 ERNIE 5.5 Flash Base 基礎模型

    百度發佈 ERNIE 5.5 Flash Base,這款稀疏 MoE 基礎模型共有 280B 參數,每個 token 啟用 14B 參數。模型由零開始以 33.5T tokens 預訓練,訓練上下文最高為 128K,微調及推理支援 1M-token 上下文;釋出的 checkpoint 未經中期訓練或後訓練。

11月5日週四