📉

中间信息丢失(Lost in the Middle)

Lost in the Middle
技术原理
长上下文位置偏差评测

「中间信息丢失」描述的是长上下文模型的一种位置偏差:即使上下文窗口足够长、信息确实在输入里,模型也未必能均匀地用上它。

论文怎么发现的

研究者用两类需要"在输入里找到相关信息"的任务做分析——多文档问答与键值检索。结论是:仅仅改变相关信息在输入中的位置,模型表现就会显著变化;信息出现在开头或结尾时表现通常最好,必须依赖中段信息时明显下降,而且即便标称支持长上下文的模型也存在这个现象。

实际含义

上下文窗口的长度是容量,位置偏差是利用率,两者不是一回事。把关键资料塞进一个超长提示词的中段,可能不如把它放在前面、或在结尾再复述一次。

与「大海捞针测试」的关系

大海捞针测的是"能不能在长文本里捞到指定事实",中间信息丢失揭示的是"捞得到也未必用得好"的偏差规律;前者是测试方法,后者是现象刻画。

适用边界

论文的实验设置是特定任务与特定代际模型,具体曲线的形状会随模型与任务变化。它提醒的是不要把"支持百万 token"直接等同于"能可靠利用百万 token",而不是给出一个固定的性能折损比例。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些自有内容板块,帮你从不同角度发现好工具。

☆ 0