北航CASE框架:给大模型持续注入新知识

广告位

此处可放置广告联盟代码

北京航空航天大学近日发布CASE框架,这是一种让大模型持续注入新知识的轻量级方案。该框架可以实现编辑千次不失忆,额外参数不到1MB,为大模型的知识更新提供了全新思路。

在大模型时代,如何让AI学习新知识一直是一个难题。传统的微调方法需要大量计算资源,而且容易出现「灾难性遗忘」现象——学会新知识后会忘记旧知识。北京航空航天大学的研究团队针对这一问题提出了创新解决方案。

CASE框架的核心思想是将新知识编码为「编辑向量」,然后将这些向量叠加到模型的参数中。这种方法不仅计算效率高,而且不会影响模型已有的知识储备。实验表明,即使经过1000次知识编辑,模型仍能保持对之前知识的准确记忆。

该框架的另一个优势是占用资源极少。额外参数不到1MB,意味着几乎可以在任何设备上部署。这为在边缘设备上运行的大模型提供了实时的知识更新能力。

北航团队表示,CASE框架可以应用于多个场景,如实时新闻摘要、专业知识库问答、个性化推荐等。他们已经将该技术开源,期待更多开发者参与完善这一框架。

对于AI从业者而言,理解并掌握这类知识编辑技术非常重要。它不仅是学术研究的热点,也是实际应用中的关键技术之一。