你用哪款顯示卡?實際每秒生成多少 token?
文章作者邀請讀者分享顯示卡及記憶體、模型與量化方式、單序列 tokens/s、並行數和可用上下文,並會按各組數據計算速度上限及整理成表格。以 RTX 4090 的 1,008 GB/s 記憶體頻寬和 8B FP16 模型的 16.1 GB 體積計算,單序列速度上限為 62.8 tokens/s;實際速度通常為上限的 70% 至 90%。
文章作者邀請讀者分享顯示卡及記憶體、模型與量化方式、單序列 tokens/s、並行數和可用上下文,並會按各組數據計算速度上限及整理成表格。以 RTX 4090 的 1,008 GB/s 記憶體頻寬和 8B FP16 模型的 16.1 GB 體積計算,單序列速度上限為 62.8 tokens/s;實際速度通常為上限的 70% 至 90%。
中國算力租賃服務商自2026年第一季度起,開始在部分頭部戰略客戶中試行「保底服務費加 Token 超額分成」方案。一個案例中,年保底服務費由約1.20億元降至1.08億元;中性情景測算下,服務商全年綜合收入有望較固定租金方案增加20%到50%,但若調用量長期低於基準線,收入最高可能下滑10%。該模式仍屬小範圍探索,主要面向推理業務佔比較高、調用量具增長預期的戰略客戶,尚未取代傳統長租。
InferenceKey 以 vLLM 0.32.0 在單張 RTX 5090 上部署 Groot-19B-A3B,成功啟動完整 262,144-token 上下文,並讓一個 205,525-token 提示詞得到正確回覆。
通芯智能已完成數億元種子輪及天使輪融資,資金主要用於流片前的核心架構設計與研發。公司首款產品定位為支援 AGI 算法的推理晶片,面向大模型、世界模型及通用智能體等應用,計劃今年 12 月初進行 FPGA 原型驗證。
Google 發佈 Gemini Decision 1 及 Gemini Decisions API,以單次選項評分處理封閉式決策,而非逐個 token 生成文字。
Virtusa 行政總裁 Nitesh Banga 承認,公司部分 AI 項目仍在虧損,同時押注半導體業務,期望把服務能力由晶片設計延伸至網絡、雲端和應用。AI 活動約佔公司收入 21%;模型及 token 成本、舊系統複雜度等因素令項目成本難以估算,公司正轉向按成果或固定價格收費。Virtusa 正推動約 30,000 名員工轉型,並以 2030-31 年達到 $5 billion 為目標。
百度正式發布文心 5.5 Flash Preview,主打推理速度、成本與開源;API 已上線千帆平台,模型權重將於11月25日前按 Apache 2.0 授權面向全球開源社羣發布。
李彥宏在百度世界2026開幕式上首次提出「組織進化三原則」,並稱人工智能的下一幕是智能組織。三項原則是打破崗位邊界、沉澱隱性知識、設計流程閉環,推動組織以任務協作、累積可調用的知識並持續迭代。他以部分企業Token支出增加而收入和利潤未同步增長為例,指出只增加 AI 工具而不重設組織,難以帶來預期經濟效益。
作者在兩台 NVIDIA DGX Spark 上部署 DeepSeek-V4.1-Flash-1017,並接通 OpenAI 相容 API 與 Open WebUI。
李彥宏表示,隨着 AI 算力需求由以訓練為主轉為訓練與推理並重,推理將成為 AI 晶片長期持續增長的主要推動力。昆侖芯 M100 已如期上市,M300 將於明年推出;基於全新 N 架構的多顆芯片則計劃於 2028 年推向市場。
英國 AI 晶片初創企業 Fractile 宣佈完成逾 7.2 億美元 C 輪融資,據路透社報道估值達 70 億美元。英國政府主權人工智能風險投資基金及英國商業銀行支持本輪融資,其他投資者包括谷歌風投部門及貝萊德。Fractile 旨在打造更快的 AI 推理運算硬件,毋須在吞吐量、模型尺寸及上下文長度之間取捨。
作者將 270M 參數的 Gev 決策模型微調為 Doom 玩家,每四個遊戲 tic 根據三張畫面,從 18 種控制組閤中選擇動作。模型以熟練 PPO 遊戲 bot 的 900,000 個決策作行為克隆訓練,並分開處理當前畫面與歷史畫面;混入 128,000 條英文決策題後,英文測試準確率回升至 75.7%。
作者介紹如何把基於 Google 的 T5Gemma 2、擁有 270M 參數的 Gev 決策模型接入日常服務,並透過選項描述在推理時調整判斷,毋須重新訓練。文章亦説明如何用 Gemma 4 生成合成樣本與軟標籤,再以自有領域的保留校準集重新擬合温度參數,並建議使用 500 至 1,000 個實際數據樣本校準。Gev 在單 GPU 上的決策延遲為 45 ms,完整微調約需 14 GiB VRAM。
Anthropic 為 Claude API 加入 Beta effort 設定,開發者可在同一段對話中途調整模型的投入程度。開發者可在訊息序列插入一條空白 system 訊息,透過 output_config.effort 設定目標等級,無需修改頂層設定,提示快取仍可命中。新設定不會改變已生成的內容,從下一條帶有新輸入的用戶訊息起,才會影響後續回答。
同一個 w8a8 量化 NanoDet 在 Dragonwing RB3 Gen 2(QCS6490)的預編譯 QNN 路徑無法載入,Galaxy S25 則以 1.39 ms 在 NPU 執行全部 324 層。
Google推出 Gemini Decisions API,由 Gemini Decision 1 提供服務,專門回答是非題、多項選擇題,以及按用戶指定尺度評分的問題。Google稱,該模型在九項測試基準中的七項表現勝過 Jev 和 OpenAI Decisions API,但 Jev 的成本效益略高;API 每 100 萬個輸入 token 收費 $0.10,輸出 token 免費。
作者以情感支持對話為任務,比較從零訓練的 253M、757M 模型與微調後的 Qwen2.5-0.5B-Instruct;在所測提示中,自建模型的輸出質素較弱。初期語料缺少説話者標記,曾令回覆離題;基準測試亦顯示,沒有 KV cache 的 757M 模型生成速度比 Qwen2.5-0.5B-Instruct 基礎模型慢 2.1 倍。
Google 推出 Gemini Decisions API,由新的 Gemini Decision 1 模型驅動,可在一次前向傳播中評估有界問題,約 200 ms 返回經校準的概率,且不生成文字 token。
文章梳理中國「55% 的 Token 消耗用於 AI 短劇與影片生成」説法的傳播,指出原始數字未交代統計口徑和方法,不能直接當作全國算力佔比。文中援引字節方面的數據,指影片生成約佔其總算力 10%,影視創作類 Token 消耗不到 20%,並指出 Token、算力與收入不可混作同一指標。
阿里千問於 2026 年 11 月 11 日開放 Qwen4-Max 預覽版,僅支援 Token Plan 訂閲,不支援按量計費,預覽期至 11 月 25 日。
Google 發佈旗下首個決策模型 Gemini Decision 1,單次最多回答 1000 道是非題、選擇題或打分題。Google 公佈的 9 項比較評測中,Gemini Decision 1 有 7 項得分最高,JevBench 高 Jev 2.2 個百分點;Artificial Analysis 給予 66 分,與 Jev 1.14 持平。
exo 是點對點集羣執行環境,可將多台設備連成 AI 集羣,並按設備資源及連線狀況規劃模型拆分。設備須使用相同 cluster name、wire version 和 build 才能加入;目前 Linux 只支援 CPU 推理,Mac 與 Linux 節點不能組成集羣。
ExLlamaV3 與 TabbyAPI 的文件記載,透過 CPU 卸載 MoE 專家權重,可在 GPU 資源有限的消費級硬件上運行大型 MoE 模型,TabbyAPI 提供相應設定項。
作者比較十種本地推理引擎後,認為在約 100 GB 系統記憶體、配備兩張 16 GB 消費級 GPU 的單機上,PolyStrata 或 Xolotl 較合適。
Meta 團隊透過 vLLM,在 64-chip Google Cloud TPU v7 上優化 Qwen3-0.6B 的 GRPO 訓練,將完整 rollout-to-update 週期由約 100 分鐘縮至最快 56 秒;20 步中位數為 57.9 秒。
開源引擎 semi-persistent 以 anti-unification 比較形式化政策,合併共享結構,並用 Variants 節點標示分歧。
Sugar Glider 撰寫本地大語言模型智能體編碼實用指南,介紹如何以 llama.cpp 或 MTPLX 配置推理引擎、模型及 Agent。作者在 48 GB RAM 的 MacBook M4 Pro 上測試,並整理按可用記憶體選模型、設定服務端及連接 Pi 的方法。文中以 PDF 匯出功能示範本地智能體的開發與檢查流程,整項工作約耗時一小時。
Google 推出 Gemini Decisions API,由新模型 Gemini Decision 1 對文字、圖片、音訊、影片及 PDF 輸入進行單次多模態評估,最多可處理 1,000 個獨立問題。
推薦理由:API 將工具選擇、政策檢查及模型路由等封閉式判斷集中於單次評分,並列出延遲和輸入 token 費用,讓其應用取捨有具體依據。
英國推理晶片初創 Fractile 完成 $720M C 輪融資,估值達 $7B,資金由 Thrive Capital、Founders Fund、Lightspeed 和 Redpoint 領投。
Google DeepMind 推出 Gemini Decisions API,底層模型 Gemini Decision 1 可在單次處理中評估最多 1,000 個互相獨立的問題。
文章主張,當 AI 決策複雜至任何個人都無法完整理解,區塊鏈可提供可信數據層,令決策依據具透明度、可驗證性及一致性。AI 負責處理大量因素,人類仍參與決策,區塊鏈則支援核查系統所依據的資訊。
英國 AI 晶片初創 Fractile 獲得 $720 million C 輪融資,英國 Sovereign AI Fund 參與支持。英國政府稱公司估值「超過 £5 billion」,另有報道指估值可能達 $7 billion。Fractile 以晶片上堆疊 DRAM 的硬件設計配合機器學習編譯器,並表示新資金將支持明年交付首批晶片及系統。
Gemini Decisions API 支援以音訊及影片作為輸入,有留言認為這在特定情況下相當有用。留言亦指出,其價格較同類決策模型高。
倫敦晶片設計公司 Fractile 在 Series C 融資中籌得 $720 million,估值達 $7 billion,押注以記憶體頻寬為核心的 AI 推理晶片。其方案把自訂 DRAM 與邏輯晶片作三維堆疊,公司稱頻寬高於 HBM,推理速度最高可提升 10 倍。相關表現尚未在量產晶片上展示,首款晶片計劃明年推出。
推理時計算與增加模型參數,分別把能力成本放在推理階段和訓練階段,帶來不同的成本、延遲及服務配置取捨。驗證或搜尋循環若令最難的 10% 請求增加 8 倍推理計算,可能降低每個正確答案的成本,但也會推高相關請求的伺服器配置需求。公平比較應固定答案質素,並在有代表性的簡單與困難請求組合下,衡量每個正確答案的成本及尾延遲。
Tomer Tunguz 將 AI 價值鏈各環節統一換算至 $/w/yr,估算不同環節在總毛利池中的佔比。以 AI 應用毛利率 40% 為前提,電力、數據中心、新雲端服務商、推理服務及 AI 應用分別佔 3%、5%、28%、24% 和 40%,其中新雲端服務商比例未計 GPU 折舊。作者指出,算力價格上升會考驗各層的定價能力,而應用的 ROI 和企業垂直整合也會影響利潤分配。
研究提出加權 state souping,透過學習依據查詢調整的權重來組合已快取的狀態,改善狀態空間模型在長而密集的上下文中的表現。該方法提升多種文件問答、資訊檢索、變數追蹤和工具使用任務的表現;其稀疏版本在維持或提升效能的同時,令編碼成本近乎不隨上下文長度增加。
這項研究以受控的兩輪審核測試語言模型在不同異議情境下如何修訂決策,發現模型在專家異議下往往未能有選擇地糾正錯誤,準確率最多下降 16.1 個百分點。研究涵蓋 5 個模型及醫學、科學和法律領域的 1,989 項有證據依據的決策;專家標籤令 5 個模型中的 4 個更常改答,但對準確率的影響介乎下降 5.2 個百分點至上升 2.4 個百分點。研究建議按模型和測試方案,使用成對的條件指標評估修訂流程。
ComfyUI 重寫文字生成熱路徑後,Qwen3.x 模型在相同 checkpoint 和 GPU 上的 token 生成速度最高達原來兩倍,模型及輸出質素不變。
作者團隊為 Muse Spark Open 從零打造 CUDA C++ 與 PTX megakernel,在 Blackwell GPU 上把解碼速度由 517 提升至 1,109 tok/s。