Meta：后训练牺牲了解决问题的多样性

📖标题：Sharpening Tax in Post-Training🌐来源：arXiv, 2610.01509v1🛎️文章简介🔸研究问题：大语言模型经过强化学习后训练后，究竟是真正获得了新能力，还是仅仅放大了基座模型已有的行为，从而以牺牲解题覆盖面为代价换取了单次准确率的提升？🔸主要贡献：提出了量化后训练覆盖率损失的“锐化税”指标，并设计了能同时提升准确率和覆盖率的自适应采样方法PTGS。📝重点思路🔸对比实验发现，配备轻量级工具调用框架的预训练基座模型，在智能体任务中虽然单次准确率较低，但在允许多次尝试（增加测试时计算预算）的情况下，其解题覆盖面往往超过经过后训练的模型。🔸深入分析表明，后训练导致模型策略分布出现“双峰化”，即把任务推向“总能解决”或“总无法解决”两个极端，消除了中间状态，从而提高了采样效率和一致性，但损失了通过多次尝试解决难题的可能性。🔸提出“锐化税”这一诊断指标，用单个数值量化后训练导致的测试时可扩展性损失。实验显示该现象在多种模型和基准测试中普遍存在，且可通过少量采样快速预测。🔸提出后验温度调节组采样（PTGS），这是一种即插即用的贝叶斯采样器。它在训练过程中根据每个提示词的估计难度动态调整采样温度：对难任务提高温度以鼓励探索，对易任务降低温度以利用已知策略，从而在保持高准确率的同时保留解题覆盖面。🔎分析总结🔸后训练确实存在权衡：它显著提升了单次采样的准确率（pass@1）和结果的一致性，但大幅降低了在有限计算预算下的解题覆盖面（pass@K）。🔸模型规模越大，这种权衡越明显。大模型在后训练后，基座模型超越后训练模型所需的尝试次数阈值变得更小，意味着大模型基座本身蕴含更多潜在解法，后训练反而限制了其发挥。🔸锐化税具有高度可预测性，仅通过8次滚动的估算值就能高精度预测更大预算下的税收情况，并与一致性差距等指标强相关，可作为高效的评