跳到正文
新浪科技·· 23 天前AI 評分46

告別知識截止日:Google 讓 AI 學會「睡覺」,邊用邊學並保留舊知識

告别知识截止日:谷歌让 AI 学会“睡觉”,边用边学还不忘旧知识

AI 導讀

Google研究團隊公佈「睡眠框架」(Sleep Framework),讓大語言模型透過清醒階段接收資訊、睡眠階段整合記憶並自我改進。框架以記憶鞏固和合成訓練樣本練習,將新資訊納入長期參數,同時避免覆蓋舊知識。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的性能下降,在 AIME 24/25 上取得更高準確率。

正文

IT之家 10 月 30 日消息,谷歌研究团队于 10 月 27 日发布博文,介绍一项名为“睡眠框架”(Sleep Framework)的持续学习研究成果,试图解决大语言模型发布后知识固化、难以吸收新信息的难题。

该研究已于 10 月 27 日由 Google Research 公开,相关论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。

谷歌指出在通常情况下,当前主流大模型在完成预训练后便进入相对静态的部署状态,其知识存在“截止日期”;若依赖上下文学习,新信息又会随会话结束而丢失。若直接用新数据反复微调,则容易引发“灾难性遗忘”,而模型学会新知识后,原有能力显著下降。

谷歌的方案借鉴人类睡眠中的记忆巩固机制,将模型运行划分为“清醒阶段”和“睡眠阶段”。清醒时,模型接收并处理输入,将信息暂存于短期记忆;进入睡眠阶段后,模型暂停处理新输入,转而进行记忆整合与自我改进。

具体而言,“记忆巩固”环节通过参数扩展、混合专家记忆块和知识蒸馏,把脆弱的短期上下文信息写入长期参数,同时避免覆盖既有知识;“做梦”环节则让模型生成并筛选合成训练样本,借助强化学习反复练习,以提升推理与泛化能力。

实验显示,该框架在持续翻译、长上下文理解、事实知识吸收和数学推理等任务中优于多种基线方法:模型可处理最长约 1000 万 token 的上下文,并在未见语言的多阶段持续学习中保持接近零的性能下降;在 AIME 24/25 等数学基准上也取得更高准确率。

IT之家附上参考地址

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn