跳到正文
11月12日週四
  1. DEV Community42

    你用哪款顯示卡?實際每秒生成多少 token?

    文章作者邀請讀者分享顯示卡及記憶體、模型與量化方式、單序列 tokens/s、並行數和可用上下文,並會按各組數據計算速度上限及整理成表格。以 RTX 4090 的 1,008 GB/s 記憶體頻寬和 8B FP16 模型的 16.1 GB 體積計算,單序列速度上限為 62.8 tokens/s;實際速度通常為上限的 70% 至 90%。

  2. 創業邦57

    AI 算力租賃試行保底加 Token 分成模式

    中國算力租賃服務商自2026年第一季度起,開始在部分頭部戰略客戶中試行「保底服務費加 Token 超額分成」方案。一個案例中,年保底服務費由約1.20億元降至1.08億元;中性情景測算下,服務商全年綜合收入有望較固定租金方案增加20%到50%,但若調用量長期低於基準線,收入最高可能下滑10%。該模式仍屬小範圍探索,主要面向推理業務佔比較高、調用量具增長預期的戰略客戶,尚未取代傳統長租。

  3. Analytics India Magazine51

    Virtusa 行政總裁承認部分 AI 項目虧損,同時押注半導體業務

    Virtusa 行政總裁 Nitesh Banga 承認,公司部分 AI 項目仍在虧損,同時押注半導體業務,期望把服務能力由晶片設計延伸至網絡、雲端和應用。AI 活動約佔公司收入 21%;模型及 token 成本、舊系統複雜度等因素令項目成本難以估算,公司正轉向按成果或固定價格收費。Virtusa 正推動約 30,000 名員工轉型,並以 2030-31 年達到 $5 billion 為目標。

  4. 新浪科技51

    李彥宏首提「組織進化三原則」:智能組織是 AI 時代的新廠房

    李彥宏在百度世界2026開幕式上首次提出「組織進化三原則」,並稱人工智能的下一幕是智能組織。三項原則是打破崗位邊界、沉澱隱性知識、設計流程閉環,推動組織以任務協作、累積可調用的知識並持續迭代。他以部分企業Token支出增加而收入和利潤未同步增長為例,指出只增加 AI 工具而不重設組織,難以帶來預期經濟效益。

  5. IT之家72

    英國 AI 晶片初創企業 Fractile 獲政府資金支持,C 輪融資逾 7.2 億美元、估值達 70 億美元

    英國 AI 晶片初創企業 Fractile 宣佈完成逾 7.2 億美元 C 輪融資,據路透社報道估值達 70 億美元。英國政府主權人工智能風險投資基金及英國商業銀行支持本輪融資,其他投資者包括谷歌風投部門及貝萊德。Fractile 旨在打造更快的 AI 推理運算硬件,毋須在吞吐量、模型尺寸及上下文長度之間取捨。

  6. DEV Community58

    小型決策模型實作第 3 部:Gev 遊玩 Doom

    作者將 270M 參數的 Gev 決策模型微調為 Doom 玩家,每四個遊戲 tic 根據三張畫面,從 18 種控制組閤中選擇動作。模型以熟練 PPO 遊戲 bot 的 900,000 個決策作行為克隆訓練,並分開處理當前畫面與歷史畫面;混入 128,000 條英文決策題後,英文測試準確率回升至 75.7%。

  7. DEV Community53

    構建小型決策模型 Gev(四):自訂與接入日常服務

    作者介紹如何把基於 Google 的 T5Gemma 2、擁有 270M 參數的 Gev 決策模型接入日常服務,並透過選項描述在推理時調整判斷,毋須重新訓練。文章亦説明如何用 Gemma 4 生成合成樣本與軟標籤,再以自有領域的保留校準集重新擬合温度參數,並建議使用 500 至 1,000 個實際數據樣本校準。Gev 在單 GPU 上的決策延遲為 45 ms,完整微調約需 14 GiB VRAM。

  8. IT之家56

    Claude API 新增 Beta effort 調節功能,支援對話中途切換模型投入程度

    Anthropic 為 Claude API 加入 Beta effort 設定,開發者可在同一段對話中途調整模型的投入程度。開發者可在訊息序列插入一條空白 system 訊息,透過 output_config.effort 設定目標等級,無需修改頂層設定,提示快取仍可命中。新設定不會改變已生成的內容,從下一條帶有新輸入的用戶訊息起,才會影響後續回答。

  9. SiliconANGLE74

    Google 推出 Gemini Decisions API,進入決策模型市場

    Google推出 Gemini Decisions API,由 Gemini Decision 1 提供服務,專門回答是非題、多項選擇題,以及按用戶指定尺度評分的問題。Google稱,該模型在九項測試基準中的七項表現勝過 Jev 和 OpenAI Decisions API,但 Jev 的成本效益略高;API 每 100 萬個輸入 token 收費 $0.10,輸出 token 免費。

  10. DEV Community67

    從零訓練 757M 參數 LLM,再改為微調 Qwen2.5-0.5B-Instruct:實作經驗與教訓

    作者以情感支持對話為任務,比較從零訓練的 253M、757M 模型與微調後的 Qwen2.5-0.5B-Instruct;在所測提示中,自建模型的輸出質素較弱。初期語料缺少説話者標記,曾令回覆離題;基準測試亦顯示,沒有 KV cache 的 757M 模型生成速度比 Qwen2.5-0.5B-Instruct 基礎模型慢 2.1 倍。

  11. DEV Community58

    中國 AI 算力分配爭議:文章拆解「55% 用於 AI 影片生成」説法的口徑問題

    文章梳理中國「55% 的 Token 消耗用於 AI 短劇與影片生成」説法的傳播,指出原始數字未交代統計口徑和方法,不能直接當作全國算力佔比。文中援引字節方面的數據,指影片生成約佔其總算力 10%,影視創作類 Token 消耗不到 20%,並指出 Token、算力與收入不可混作同一指標。

  12. DEV Community68

    本地大語言模型智能體編碼實用指南:llama.cpp 與 MTPLX 的一般硬件配置

    Sugar Glider 撰寫本地大語言模型智能體編碼實用指南,介紹如何以 llama.cpp 或 MTPLX 配置推理引擎、模型及 Agent。作者在 48 GB RAM 的 MacBook M4 Pro 上測試,並整理按可用記憶體選模型、設定服務端及連接 Pi 的方法。文中以 PDF 匯出功能示範本地智能體的開發與檢查流程,整項工作約耗時一小時。

  13. Hacker News 熱門(buzzing.cc 中文翻譯)76

    Google 推出 Gemini Decisions API 及 Gemini Decision 1

    Google 推出 Gemini Decisions API,由新模型 Gemini Decision 1 對文字、圖片、音訊、影片及 PDF 輸入進行單次多模態評估,最多可處理 1,000 個獨立問題。

    推薦理由:API 將工具選擇、政策檢查及模型路由等封閉式判斷集中於單次評分,並列出延遲和輸入 token 費用,讓其應用取捨有具體依據。

  14. TechCrunch · AI68

    英國 AI 晶片初創 Fractile 獲 $720M C 輪融資

    英國 AI 晶片初創 Fractile 獲得 $720 million C 輪融資,英國 Sovereign AI Fund 參與支持。英國政府稱公司估值「超過 £5 billion」,另有報道指估值可能達 $7 billion。Fractile 以晶片上堆疊 DRAM 的硬件設計配合機器學習編譯器,並表示新資金將支持明年交付首批晶片及系統。

  15. DEV Community38

    推理時計算與增加模型參數:推理預算實際花在哪裏?

    推理時計算與增加模型參數,分別把能力成本放在推理階段和訓練階段,帶來不同的成本、延遲及服務配置取捨。驗證或搜尋循環若令最難的 10% 請求增加 8 倍推理計算,可能降低每個正確答案的成本,但也會推高相關請求的伺服器配置需求。公平比較應固定答案質素,並在有代表性的簡單與困難請求組合下,衡量每個正確答案的成本及尾延遲。

  16. Tomer Tunguz 博客(VC 分析)64

    AI 價值鏈各環節如何分配毛利?

    Tomer Tunguz 將 AI 價值鏈各環節統一換算至 $/w/yr,估算不同環節在總毛利池中的佔比。以 AI 應用毛利率 40% 為前提,電力、數據中心、新雲端服務商、推理服務及 AI 應用分別佔 3%、5%、28%、24% 和 40%,其中新雲端服務商比例未計 GPU 折舊。作者指出,算力價格上升會考驗各層的定價能力,而應用的 ROI 和企業垂直整合也會影響利潤分配。

  17. Apple Machine Learning Research40

    加權 State Souping 提升長上下文檢索效率

    研究提出加權 state souping,透過學習依據查詢調整的權重來組合已快取的狀態,改善狀態空間模型在長而密集的上下文中的表現。該方法提升多種文件問答、資訊檢索、變數追蹤和工具使用任務的表現;其稀疏版本在維持或提升效能的同時,令編碼成本近乎不隨上下文長度增加。

  18. HuggingFace Daily Papers(社區熱門論文)60

    研究:專家異議下,LLM 改答未必提升準確率

    這項研究以受控的兩輪審核測試語言模型在不同異議情境下如何修訂決策,發現模型在專家異議下往往未能有選擇地糾正錯誤,準確率最多下降 16.1 個百分點。研究涵蓋 5 個模型及醫學、科學和法律領域的 1,989 項有證據依據的決策;專家標籤令 5 個模型中的 4 個更常改答,但對準確率的影響介乎下降 5.2 個百分點至上升 2.4 個百分點。研究建議按模型和測試方案,使用成對的條件指標評估修訂流程。