长文本为何时好时坏?字节 Seed 揭秘:压缩 KV 缓存带来"相位敏感性",检索准确率最多差 40 个百分点
字节跳动 Seed 团队在最新论文中指出,大语言模型处理超长文本时性能波动,主要源于分块 KV 缓存压缩技术带来的"相位敏感性"。该技术为降低内存消耗,按固定步幅把连续标记窗口压缩成更少的条目,同时给每个 Token 引入了一个新的位置坐标,即它相对于压缩窗口边界的"相位"。实验显示,面对完全相同的信息,处于不同相位会使检索难度剧烈变化,部分大型开源模型的长文本检索准确率落差最高达 40 个百分点。研究提醒,平均基准测试可能掩盖模型的周期性弱点,也为优化长上下文推理稳定性提供了依据。