跳到正文
第一財經·· 5 天前AI 評分60

中國日均 Token 調用量已突破500萬億

我国日均词元调用量已突破500万亿

AI 導讀

國內日均 Token 調用量已突破500萬億,算力市場需求暴漲。2025年,鄭緯民院士團隊研發的模型推理系統 Mooncake 獲埃裏克・裏德爾最佳論文獎,其核心 PD 分離技術將讀入用戶問題和生成回答分由兩組算力處理。在相同硬件規模下,系統可多承接75%的用戶請求,長文本吞吐能力提升五倍以上。

正文

第一财经 2026-11-17 22:22:40

责编:高明妍

我国日均词元调用量已突破500万亿

据央视财经,最新数据显示,国内日均词元调用量已突破500万亿,算力市场需求暴涨。智能算力短期补不上,只能向存量要效益。2025年,郑纬民院士团队研发的大模型推理系统Mooncake拿下埃里克・里德尔最佳论文奖,核心就是用PD分离技术盘活存量算力,用软件调度把现有算力用足。据悉,P负责“读入用户问题”,D负责“生成回答”。传统方式下,同一批算力轮流干两件事;PD分离让一组只读题,把结果传给另一组专门答题。同样硬件规模下,系统多承接75%的用户请求,长文本吞吐能力提升五倍以上。

举报

來源:第一財經 · yicai.com