跳到正文
DoNews·· 25 天前AI 評分49

摩爾線程開源萬卡級 MoE 訓練框架 Megatron-MUSA-Titan

摩尔线程开源万卡级MoE训练框架Megatron-MUSA-Titan 3小时前

AI 導讀

摩爾線程宣佈開源 Megatron-MUSA-Titan,這是一個面向其全功能 GPU、為萬卡級集羣訓練萬億參數 MoE 模型設計的訓練基礎設施項目。項目覆蓋預訓練與強化學習,並已在實際萬卡集羣完成長期穩定訓練驗證。框架整合 blockwise FP8 訓練、DeepEP 與 ACE 異步通信引擎,並支援 slime、miles、SGLang。

正文

10月28日,摩尔线程宣布开源大模型训练基础设施项目Megatron-MUSA-Titan。该项目面向其全功能GPU,专为万卡级集群下的万亿参数MoE模型训练设计,覆盖预训练与强化学习两大场景。已在实际万卡集群中完成长期稳定训练验证,实现高MFU与长稳运行,并支持slime、miles等RL框架及SGLang样本生成。技术上集成blockwise FP8训练、DeepEP与ACE异步通信引擎,优化Token分发、专家并行与计算重叠,显著提升端到端效率。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

來源:DoNews · donews.com