硅基流動創始人袁進輝:推理所需算力沒有上限,晶片企業有很大機會
硅基流动创始人袁进辉:推理所需算力没有上限,芯片企业有很大机会
硅基流動創始人兼CEO袁進輝表示,推理所需算力遠大於訓練,需求沒有上限,晶片企業尤其新玩家在推理市場有很大機會。訓練一個較好的模型基本需要一百萬億 token,而不少企業每日推理用量已超過一百萬億 token。開源模型在寫作、翻譯、編程等能力足夠的場景,可帶來成本優勢與數據主權。
11月12日晚间消息,在今日“以发展应变局”为主题的第十七届财新峰会上,硅基流动创始人、CEO袁进辉发表讲话。
他表示,从需求端看,算力远远不够。针对“AI被称为人类最后一次技术革命”这一说法,袁进辉认为并不夸大,本次革命正在将人类智力变成可规模化生产的工业品。
当前,AI技术在各个场景渗透是循序渐进的。两三年前关注AI说话能力,近年关注AI办事能力,“这些能力对底层算力需求非常大,可以感受到供需矛盾非常突出。”袁进辉进一步判断,未来AI智力只要能让生活变好,这方面的需求也会变大。
袁进辉称,AI算力分两类,一类用于训练模型,一类用于使用模型。当前关于训练模型的算力已有较多讨论,然而,在使用环节,推理所需算力远大于训练。他指出,当前训练一个较好的模型基本上需要一百万亿token,但推理需要的token是没有上限的,现在许多企业每日使用量已超过一百万亿。同时,芯片企业进入推理市场的难度比进入训练市场更低,因此这对企业,尤其是新玩家,会有很大机会。
另外,谈及如何选择开源、闭源模型,他表示,当前国内开源模型能力仍在追赶闭源模型。但使用开源模型具有多重优势,在开源模型能力已能充分满足的场景,如写作、翻译、编程等工作中,开源模型将带来成本优势与数据主权。


海量资讯、精准解读,尽在新浪财经APP
责任编辑:刘万里 SF014
VIP课程推荐
加载中...
APP专享直播
1/10
热门推荐
收起
新浪财经公众号
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
來源:新浪科技 · finance.sina.com.cn