Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning

文章主要内容总结本文针对大型语言模型（LLMs）有监督微调（SFT）中对数据质量和数量过度依赖的问题，提出了一种名为“遗忘（forgetting）”的新机制。传统SFT若使用低质量或小规模数据，可能导致性能下降或泛化能力不足。为此，作者将语料中的token划分为“正token”（对提升性能有用）和“负token”（缺乏关键语义或具有误导性），对正token采用常规训练，对负token则通过“遗忘”机制降低其生成概率。该机制通过token级筛选保留数据规模，同时通过遗忘负token帮助模型建立清晰的知识边界，减少过拟合，最终提升模型性能和响应多样性。实验在多个基准数据集（如TruthfulQA、BoolQ、LogiQA等）和不同规模的LLaMA模型（1B、3B、8B等）上验证了有效性：例如，基于LLaMA3.1-8B的模型性能较全token微调提升8.25%，较仅忽略负token的方法提升4.21%。此外，该机制通过自适应平衡系数动态调整学习与遗忘梯度，增强了优化稳定性，且在不同模型规模和数据条件下均表现出鲁棒性。创新点token级筛选与处理：区别于传统样本级数据筛选（会减少数据规模），在token级别划分正负样本，保留数据总量的同时精准提取有效信息。主动遗忘机制：对负token不简单丢弃，而是通过“遗忘”（类似反学习）降低其生成概率，避免模型受误导信息影响，减少过拟合。自适应平衡系数：设计动态系数λ(step)，在训练过程中线性调整学习与遗忘的梯度权重，平衡优化目标，提升稳