字节论文揭示 DeepSeek V4 分块 KV Cache 压缩导致周期性失忆，加空格即可触发答案剧变
字节跳动团队在 arXiv 论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》中指出，DeepSeek V4 系列模型采用的分块 KV Cache 压缩技术存在结构性缺陷：核心信息落在压缩块边界的“盲区槽位”时会被忽略，导致答案准确率随输入位置周期性剧烈波动，且该问题普遍存在于采用类似定长分块压缩的模型中。
为什么加几个空格会让 DeepSeek 从“天才”变“智障”？
字节实验发现，在代码补全任务前添加不同数量的等号（纯装饰字符），DeepSeek-V4-Flash-Base 输出正确答案（8）的概率随等号数量模 4 的余数周期性变化：余数 0/1 时错误率 71.3%，余数 2/3 时正确率 91.5%。根因是分块压缩将连续 Token 切分为固定长度块（步长 4），门控层给块内不同相对位置（相位）分配不同权重（槽位增益因子），处于弱势相位的 Token 在连续压缩中被丢弃，导致模型“周期性失忆”。
分块 KV Cache 压缩为何必然产生“信息盲区”？
- 标准 Transformer 注意力仅依赖相对距离，具备平移不变性。
- 分块压缩引入绝对位置敏感性：Token 在压缩块内的相对位置（相位）决定其被保留的权重。
- 注意力头形成相位专门化分工，特定相位成为薄弱环节。
- “大海捞针”测试（128K 上下文）显示，V4-Flash-Base 不同位置准确率差距达 40.2%，V4-Pro-Base 差距 34.8%，后训练优化（V4.1-Flash 步长减半至 2）仅将差距降至 6.1%，未根除。
该缺陷是否只存在于 DeepSeek？
字节用 Qwen3-0.6B 从头训练对照实验证明：
- 所有采用定长分块压缩的模型均出现周期性波动，全注意力基线无此现象。
- 波动周期严格等于压缩步长（设 4/6/8/12，周期即 4/6/8/12）。
- 去除 RoPE 或将门控改为平均分配，波动依然存在，排除位置编码偏差和参数调优不足。
结论：这是固定长度分块压缩方案的结构性缺陷，非单一模型问题，Llama 3 等采用类似技术的模型同受影响。
“动态分块”能否从根本上解决周期性失忆？
动态分块抛弃固定 Token 数量切分，按语义重要性灵活调整块大小，在数学上恢复平移不变性，并催生“快慢思考”推理机制。需协同重构三层技术栈：
- 注意力数学基础：信息密度低处大块合并，高密度处细粒度切分，关键信息不再落入固定盲区。
- 显存管理演进：从静态连续矩阵转向拓扑稀疏矩阵+动态索引，利用层间分块边界相似性复用寻址，摊薄开销。
- 硬件对齐破解：针对 GPU Tensor Core 偏好规整矩阵的特性，采用零填充算法在物理层紧密拼存动态块、逻辑层保留边界。
当前有哪些代表性的动态分块落地方向？
- 语义连续性路线（ChunkKV，港科大广州）：以连续语义块为压缩单位，整块保留或丢弃，保持短语句完整性。NIAH 基准（KV=128）下基于 LLaMA-3 准确率 73.8%，超越 SnapKV 58.9%。
- 检索优化路线（延迟分块，Jina AI 肖涵团队）：模型先完整读完全文建立全局理解，输出前再按语义边界切分，解决“先切后读”丢失上下文逻辑问题。
- 稀疏计算路线（MInference，微软亚洲研究院）：利用注意力矩阵固有稀疏规律，为不同头匹配稀疏计算模式，百万字长上下文 prefill 阶段最高 10 倍加速且不降准确率。
