从 Query-Agnostic 到 Query-Aware读 Attention Matching把 KV 压缩提速两个数量级一、回到那个显存问题第一篇里算过KV Cache 会随上下文长度线性增长。放到真实模型上更直观一个 7B 模型KV Cache 约 0.5 MB/token128K 上下文的缓存光这一项就是 64 GB再叠加约 14 GB 的模型权重一张 80 GB 的 A100 直接被占满。所以问题很清楚既然历史 K、V 不能不存那就只能想办法存得少一点、存得小一点。这就是 KV Cache 压缩compaction要解决的事。二、Attention Matching不训练直接闭式求解之前有一类方法Cartridges用隐空间端到端训练来生成紧凑的 KV效果不错但要训练数小时没法在线部署。Attention Matching 换了一条路不做梯度训练直接把压缩定义成一个最小二乘拟合问题用代数闭式解算出来。它想达成的目标是——给定原始 KVK, V和一组参考查询 Q找一组更小的压缩键值C_k, C_v使得压缩后产生的注意力行为尽量等于原始行为。这里的注意力行为被精确拆成了两个量注意力输出softmax(QK^T/√d)·V注意力最终聚合出来的内容注意力质量softmax 归一化前的配分函数 Σexp(q·k/√d)这一块的总量。对这两个量的拟合对应三个闭式步骤**图 1说明**Attention Matching 的整体流程。顶部是优化目标用更少的键重建同样的注意力行为具体拆成注意力输出和注意力质量两个被对齐的量中间是三个闭式步骤——OMP 选键、NNLS 拟合偏置 β、最小二乘求压缩值 C_v橙色框是本文认为最容易被忽略的关键点softmax 归一化导致键变少后分母必然变小必须用 β 把注意力质量补回来底部是输出最高 50× 压缩、秒级完成。本图由作者根据论文方法部分绘制非论文原图。第 ② 步是整个方法最容易被人忽略、也最关键的一步。一个直觉softmax 是归一化的键一旦从 T 个减到 t 个分母配分函数必然变小。如果只是删掉一些 token、把剩下的原样保留压缩块的注意力质量会被系统性低估。β 的作用就是给保留下来的键重新加权把少掉的那部分质量补回来。这正对应论文 Eq.(2) 的主张——只丢 token 不补偏置是有代价的。效果论文报告最高 50× 压缩秒级完成性能逼近 Cartridges速度提升两个数量级。论文用一张图同时展示压得有多狠和快了多少**图 2说明**论文 Figure 1。横轴是压缩一个上下文所需的平均耗时秒对数刻度单张 H100纵轴是压缩后的下游问答准确率Qwen3-4BQuALITY 数据集n894固定 50× 压缩比。AM 系列方法在速度-质量上构成 Pareto 前沿比所有 token 选择类基线更优且显著快于 Cartridges。需要提醒的是图中各基线的位置是 50× 这一极限压缩比下的结果SnapKV 等方法的常规工作区间压缩比更温和不宜直接解读为谁更差。图片来源Zweiger et al., Fast KV Compaction via Attention Matching, ICML 2026, Figure 1。本文截图仅用于学习分析未修改图中数据。三、主流方案横向对比两条路线各自的短板把几类主流方案横向摆开各自有各自的代价方案核心做法短板Cartridges隐空间端到端训练生成紧凑 KV训练几小时无法在线部署H2O / PyramidKV按历史累计注意力分数淘汰 tokenQuery-Agnostic不关心当前问题SnapKV观察窗口投票选重要 tokenQuery-Aware但只是 token 级驱逐prefill 时一次选好文本 Summarization把长上下文压成文本摘要丢细粒度信息高压缩率精度暴跌PagedAttention (vLLM)分页管理消除碎片只解决碎片不减少 KV 总量Attention Matching闭式最小二乘隐空间压缩一次性压缩参考 query 固定把它们放在一起看可以得到一个更准确的图景Query-Agnostic 仍是主流但 SnapKV 已经在 Query-Aware 方向迈出了一步——只是这一步还停在 token 级驱逐上。不同的内容应该保留不同的 token这件事SnapKV 的实验恰好给出了正面证据下一节展开。四、SnapKVQuery-Aware 已经迈出的一步H2O 这类方法用整个历史的累计注意力分数决定谁留下和当前问题无关。SnapKV 换了一个信息来源prompt 末尾的观察窗口——也就是包含当前问题的那一小段。**图 3说明**SnapKV 的整体工作流论文 Figure 1。左侧是几条不同的问题指令中间是核心机制用 prompt 末尾的观察窗口绿色 Obs. window对前缀Prefix历史做投票与选择Voting Selecting Important Features再经过聚类与拼接Clustering Concatenating Features把选出的重要特征与完整观察窗口一起组成压缩后的 KV cacheCompressed KVs。图片来源Li et al., SnapKV, NeurIPS 2024, Figure 1。本文截图仅用于学习分析未修改图中内容。它有三个发现值得单独记下来每个注意力头在生成过程中始终关注特定的 prompt 特征而这个模式可以从观察窗口稳定获得——所以用窗口投票就能提前知道该保留谁重要的注意力特征会随问题instruction变化——这直接说明一套缓存服务所有问题存在系统性缺陷只选最高分位置会破坏上下文完整性论文举的例子可能只记住电话号码的国家码其余靠编所以要配合聚类把重要位置周围的 token 一起保留。其中第 2 条发现论文用了一张非常有说服力的实验图**图 4说明**不同问答对在同一文档上各自选出的重要位置的重叠率论文 Figure 4纵轴为 Overlap横轴为层号三个数据集为 QMSum / Openreview / SPACE。可以看到重叠率始终明显低于 1——也就是说不同的问题确实会关注不同的 token。这是一套缓存服务所有问题存在缺陷的直接证据也是我后面设想的出发点。图片来源Li et al., SnapKV, NeurIPS 2024, Figure 4。本文截图仅用于学习分析未修改图中数据。效果上SnapKV 在 16K 输入下生成速度提升 3.6 倍、内存效率提升 8.2 倍并在 16 个长序列数据集上保持与基线相当的性能。但它离我想要的方向还差两步第一它做的是 token 级驱逐——被保留的 token 原样保留没有隐空间压缩第二它在 prefill 阶段一次性选好生成阶段不再调整。五、我的设想把 AM 和 SnapKV 各往前推一步把前面两篇论文摆在一起能看到一个明显的空档AM手里有闭式隐空间压缩这个强工具秒级、50×但它是 Query-Agnostic 的SnapKV是 Query-Aware 的但只做 token 级驱逐且 prefill 一次选好。那么一个自然的延伸是用 query 信号驱动 AM 这套闭式压缩——拿到用户真实的提问之后动态地重新做一次隐空间压缩。**图 5说明**左列是现有方案含 AM的通用模式文章 prefill 产生一组固定参考 query压缩一次之后所有问题共用同一份压缩缓存右列是我的初步设想把当前问题也作为参考 query 的来源每个问题各做一次闭式压缩缓存与提问一一对应。底部橙色文字是这一设想必须诚实面对的代价——每个问题都要重算会带来额外延迟。本图由作者绘制非论文原图。问主旨 → 优先保留开头、结尾的 token问某个实验细节 → 优先保留对应段落的 token。来源启发也很直接AM 提供的秒级闭式工具让每来一个问题就重算一次从不可行变成可以尝试。但这里有一个必须诚实面对的代价每来一个新问题就重新做一次最小二乘会带来额外延迟。这正是我预判会被问到的点——动态压缩的准确率提升是否值得付出的时间开销这需要实验来回答而不是靠直觉。六、本周实操我已经在 CPU 上跑通了什么按先吃透底层、不急着造新算法的原则我做了四件事复现在纯 CPU 上加载 Qwen3-0.6B 真实 QuALITY 文章跑通 AM-OMP 的 50× 压缩链路。615 个 token 压到 12 个显存元素数缩减 94.2%压缩耗时约 5.7 秒。读代码把 OMP 选键、NNLS 拟合 β、最小二乘求 C_v 三个模块逐一拆开用合成数据验证了每步的数学含义和数值一致性。观察现象注意力越分散的 head 越难压缩——承载注意力质量的主导 token 越多重建质量越差余弦相似度从约 0.81 降到 0.54。基线对照在 50× 预算下AM 的注意力输出重建余弦相似度约 0.70而 H2O 式驱逐 / 截断 / 随机只有约 0.13~0.20更重要的是注意力质量配分函数相对误差AM 约 0.27~0.54不带 β 的驱逐高达 0.97~0.98——几乎丢光。这组数字直观说明了闭式求解 β 补偿到底好在哪。这些只是合成数据和小模型上的初步观察不能当作最终结论但已经足够支撑下一步的实验设计。七、下一步用实验回答动态压缩到底值不值接下来的核心实验只有一个问题在相同的缓存预算下Query-Aware用当前问题动态压缩是否比 Query-Agnostic一次性压缩带来更好的任务表现同时记录它额外付出多少时间。参考资料[1] Zweiger et al., Fast KV Compaction via Attention Matching, ICML 2026. arXiv:2602.16284.[2] Li et al., SnapKV: LLM Knows What You are Looking for Before Generation, NeurIPS 2024. arXiv:2404.14469.[3] Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention, SOSP 2023.推荐标签大语言模型LLMKV CacheAttention Matching闭式求解Query-Aware模型推理![请添加图片描述](https://i-blog.csdnimg.cn/direct/f19e00685f78429da911b3e32e51e4ce.png