上下文腐化（Context Rot）来自向量数据库公司 Chroma 的技术报告《Context Rot: How Increasing Input Tokens Impacts LLM Performance》（2025 年 7 月 14 日），作者为 Kelly Hong、Anton Troynikov、Jeff Huber。
它挑战的假设
业界通常默认模型对上下文的处理是均匀的——第 10,000 个 token 应该和第 100 个 token 一样可靠。报告实测后指出这个假设并不成立：模型性能会随输入长度显著变化，即使在简单任务上也是如此。
为什么 NIAH 分数会骗人
大海捞针（Needle in a Haystack）本质是简单检索任务——把一句已知的「针」放进无关长文里让模型找出来。它可扩展、易跑分，但测的主要是直接的词面匹配，不足以代表更灵活、更偏语义的任务。因此模型在 NIAH 上接近满分，并不等于长上下文真的可靠。
报告考察了哪些变量
报告评测了 18 个模型（包括 GPT-4.1、Claude 4、Gemini 2.5、Qwen3 等），并把标准 NIAH 扩展出多个维度——
- 针与问题的语义相似度（needle-question similarity）
- 干扰项的影响（distractors）
- 针与海量文本的相似度（needle-haystack similarity）
- 海量文本本身的结构（haystack structure）
- 重复词任务（Repeated Words）与 LongMemEval
工程含义
结论指向一个务实方向——不要因为窗口够大就把所有东西塞进去。提高上下文信噪比（删无关内容、把关键约束放在显眼位置、长文档先检索或摘要）比单纯扩大窗口更有效。