DoNews·· 20 天前AI 評分46
MIT提出權重空間編程:LLM直接修改模型權重提升數學能力
MIT提出权重空间编程:LLM直接修改模型权重提升数学能力
AI 導讀
麻省理工學院 CSAIL 團隊提出「權重空間編程」,以 GPT-6 Astra 修改阿里雲 Qwen3.5-0.8B 的模型權重,令 MATH-500 準確率由 7.9% 升至 48.1%。方法只調整 0.016%(131072個)參數,繞過梯度下降與反向傳播;GSM8K 和 IFEval 成績亦顯著提升,且未新增模型固有知識。
正文
2026年11月2日,麻省理工学院CSAIL团队发布新方法“权重空间编程”。研究人员利用GPT-6 Astra直接读取并修改阿里云Qwen3.5-0.8B模型权重,仅调整0.016%参数(131072个),即在MATH-500测试中准确率从7.9%升至48.1%。该方法绕过梯度下降与反向传播,通过定位MLP层重复推理路径并局部修正实现优化。实验还显示GSM8K与IFEval成绩显著提升,且未新增模型固有知识。研究旨在推动神经网络可解释性与高效微调。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。
來源:DoNews · donews.com