TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
TRACE 提出用於 MoE 語言模型強化學習訓練的 FP4 量化框架,利用 rollout 端的量化結果引導訓練端的 FP4 捨入決策,以減少兩條執行路徑之間的差異。評測顯示,TRACE 可同時採用 FP4 權重、激活值及 FP4 KV-cache 進行 rollout,強化學習表現與 BF16 rollout 相若,rollout 速度最高提升 5.4x。