DeepSeek 如何以架構與算法實現大模型「四兩撥千斤」
大模型的“四两拨千斤”
DeepSeek 以較低訓練成本和 MoE 架構,展示大模型如何以較少算力取得高效能。DeepSeek-V3 訓練成本為557.6萬美元,總參數6710億,每次回答只激活370億個參數;DeepSeek-R1 則透過強化學習學會逐步解題。文章亦指出,降低算力需求有助推動大模型普及。
2026-11-10 3
版权
版权声明:
本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
简介: DeepSeek以557.6万美元训练成本、仅激活6%参数的MoE架构,重塑大模型效能边界;用强化学习与思维链技术,让AI更懂人、更省电、更普惠——算力迷信被打破,AI正从奢侈品变为人人可用的日用品。

557.6万美元的训练成本,不到6%的参数激活率,这笔账被重新算了一遍。
你有没有想过,你在手机上问AI的那一句“帮我写首诗”,背后烧掉了多少度电?你更想不到,那个陪你唠嗑、帮你整理报告、帮你算清账目的它,其实压根不认识你,也没法体会什么叫孤单。
可它为什么总能说到你心坎里?秘密,藏在三个字里——大模型。
一场悄无声息的技术变革,藏在这三个字的背后。AI大模型正迈入小投入也能出大效果的阶段,参数不再是核心,算法与架构的精妙设计,正推着这场变化往前发展。
01 600万美元,改写一笔账
先说一个颠覆常识的数字。训练一个顶尖大模型,行业里通行的报价是上亿美元,换成人民币得以十亿计。
到2024年底,一家不足两百人的中国公司深度求索,把这笔账改了过来。它推出的DeepSeek-V3,训练成本仅557.6万美元,性能却稳稳处在全球第一梯队。
大洋彼岸的多家科技巨头,在消息传开后连夜凑到一起开了会。
硅谷知名投资人马克·安德森感叹,AI的“斯普特尼克时刻”到了。
02 它是怎么“长大”的
凭什么?答案,要从AI是怎么“长大”的说起。一个大模型出生前,要经历漫长的“读书”阶段。研究者把互联网上的海量文本、电子书和代码,一股脑喂给它,这个过程叫预训练。
DeepSeek-V3一口气读完了14.8万亿个词元,相当于数百万人一辈子读不完的书。它并不真的“理解”世界,只是在一次次猜“下一个字该是什么”中,摸清了人类语言的规律。
03 只激活6%的“专家”
读万卷书只是起步。真正的魔法,发生在架构设计上。
传统AI就像个靠谱的学霸,碰到任何情况都会调动所有脑细胞,700亿参数全部启动,算力也跟着耗损。
DeepSeek换了一种思路:混合专家架构(MoE)。打个比方,医院里有个导诊台,你发烧就推你去内科,骨折就送骨科,没有谁的病需要全院医生齐上阵。
DeepSeek-V3总参数6710亿,可每回答一句话,只激活其中370亿,不到6%。
省下来的算力,全部换成了性能与低成本——同样的工程巧思,把训练成本从上亿美元,硬生生压到了不到600万美元。
04 让AI学会“讲人话”
光会读书还不够,AI还得学会“讲人话”。这就轮到强化学习登场。
早期的AI满嘴胡话,因为它只学过互联网文本,而互联网上什么人都有。研究者想了个笨办法:让AI回答,人类打分。答得好给糖,答得差挨打。这套机制,业内叫RLHF(人类反馈强化学习)。
ChatGPT之所以让你觉得“它懂我”,靠的不是天赋,是被亿万条人类反馈“调教”出来的分寸感。
到了DeepSeek-R1,研究者更进一步,干脆不教了,让AI自己琢磨。只给它说对错,不提供标准答案,让它自己琢磨着较劲。
经过好几千万轮的迭代,它居然自己学会了一步步解题,还学会了在草稿纸上写“等等,这里好像不对,我换个思路”。这就是思维链(Chain-of-Thought)。
它像极了小朋友做数学题:先列算式,再算结果,错了能回头查。
只要在提示词里补一句“让我们一步步思考”,AI在部分数学推理题上的正确率就能大幅提高,这是通过实验验证出来的结果。
05 那张被忽略的能耗账单
技术迭代的另一面,是惊人的能耗。完整训练一次GPT-4,有人估算过,耗电超过1600万度,碳排放约8692吨。
而DeepSeek-V3只用了约108.7万度电,碳排放583.5吨,是前者的7%。
国际能源署报告显示,全球数据中心年耗电量已超过4000亿度,接近法国一整年的用电量。电,只是这张账单的一角。
截至2025年6月,我国生成式AI用户规模已经达到5.15亿,普及率为36.5%,这是中国互联网络信息中心的报告给出的数据。半年时间,用户数量几乎翻了一番。
06 从奢侈品到日用品
这不是冷冰冰的数字。当外卖骑手用AI规划路线、县城医生用AI读CT、乡镇学生用AI学英语,大模型正从实验室里的奢侈品,滑向每个普通人的日用品。
回头再看这场技术竞逐,真正被改写的,是一个迷信:算力堆砌即竞争力。
现在的算力门槛,被中国工程师靠着算法的巧劲儿给拉低了;技术的封闭壁垒,也被他们借着开源的共享思路给打破了。
而且这片土地上代代传下来的老智慧,和这种四两拨千斤的做法,简直是一个路子。
真正被改写的,是“算力堆砌即竞争力”这个迷信。
下一次,当你对着手机说出“帮我写点什么”时,不妨停一秒。那行温柔流出的字,是十几万亿词元喂养出的语言直觉,是几千亿参数里370亿个“专家”的协作,是无数次人类反馈雕琢出的分寸,是自我博弈千万轮后长出的逻辑。它不是人的思维,却已足够让你,在某个瞬间,恍惚看见自己的影子。
本文权威参考来源
·DeepSeek《DeepSeek-V3 Technical Report》(2024年12月)
·DeepSeek《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》(2025年1月)
·中国互联网络信息中心《中国互联网络发展状况统计报告》(生成式人工智能用户规模与普及率数据)
·国际能源署(IEA)关于数据中心与人工智能用电量的相关报告
·关于 GPT-4 训练耗电量与碳排放的公开研究估算
·硅谷投资人马克·安德森关于 AI“斯普特尼克时刻”的公开评论
來源:阿里雲開發者社區 AI · developer.aliyun.com