是什么:模型一旦在某些数据上训练过,这些数据的影响就「长」在参数里。当数据涉及隐私(用户要求删除)、版权(授权到期)或安全(投毒样本)需要下线时,从头重训成本高到不可行。机器遗忘(machine unlearning)研究的就是:如何在不重训(或只小代价重训)的前提下,让模型忘掉指定样本的影响,效果尽量接近「用剩余数据从头重训」。
代表性工作
Bourtoule 等人 2019 年的论文正式提出 machine unlearning 框架,其 SISA 思路是把训练数据分片训练多个子模型,删除时只需重训受影响的分片,用架构上的准备换删除时的低成本。面向大语言模型,TOFU 基准提出了虚构作者传记数据集与评测指标(遗忘效果与模型可用性的联合衡量),成为 LLM 遗忘研究的常用标尺。常见技术路线包括梯度上升 forget、参数微调修正、表示层面干预等。
难点与边界
① 验证很困难——「忘掉」的判定标准(输出不再复现?参数距离?对下游任务影响?)至今没有共识,表面不吐露不等于影响真的消除,模型可能只是「学会了不提」;② 大模型上近似遗忘方法容易残留「残影」,对抗性提问可能把信息勾出来;③ 遗忘与模型能力保持之间存在权衡,忘得越狠、越容易伤及无关能力。它是隐私合规与研究热点,但工程上尚无「一键彻底删除」的成熟方案。