CompKV: Compensation‑Aware KV Selection for Long‑Context LLM Inference 论文总结与翻译

# CompKV: Compensation‑Aware KV Selection for Long‑Context LLM Inference 论文总结与翻译 论文arXiv链接：[https://arxiv.org/abs/2609.26300](https://arxiv.org/abs/2609.26300)## 一、文章主要内容针对长上下文大语言模型推理过程中**KV缓存内存访问带来的性能瓶颈**，现有稀疏注意力方法采用“先选token、后补偿未选中token”的解耦设计：依据注意力权重筛选token，再对被丢弃的token块做粗粒度补偿近似。该方式忽略了**token选择与补偿机制之间的相互作用**——有些注意力权重高的块很容易被补偿近似，而部分注意力权重较低、块内logit变化大的块被丢弃后会带来很大补偿误差。本文提出**CompKV**，首个补偿感知的稀疏注意力框架。将token分块，直接面向后续补偿机制优化块选择策略。理论分析证明：块均值补偿带来的残差误差，同时由**块注意力权重**和**块内部logit的波动程度**共同决定。利用轻量级块级统计量对残差做近似，得到可落地的块打分选择准则；同时设计异步CPU卸载实现，把块统计、数据搬运、补偿计算做计算重叠，提升推理吞吐。在RULER、LongBench‑Pro长上下文数据集，基于Llama‑3.1‑8B‑Instruct、Qwen3‑8B、Qwen3‑32B完成实验。在对比的各类稀疏基线方法中CompKV取得最优精度，相比全量自注意力最高可实现 **\(6.85\times\)** 的加速比。## 二、核心创新点1. **指出选择‑补偿失配问题**：现有稀疏KV选择和补偿互相解耦，只看注意力大小，没