上下文学习(In-context Learning,ICL)指大语言模型在不修改任何参数的情况下,仅通过在提示词(上下文)中放入示例或说明,就能学会执行新任务的能力。
工作原理
模型在训练时见过海量"模式+延续"的文本,当提示词中呈现"输入→输出"的示例序列时,模型会把当前问题识别为同类型模式,并顺着示例的规律给出输出。
三种形态
- 零样本(Zero-shot):只给任务指令,不给示例
- 少样本(Few-shot):给 2-5 个示例后让模型模仿
- 上下文学习:给大量示例或详细说明(甚至整本手册)
为什么重要
ICL 意味着不需要重新训练模型就能适配新任务——想要让AI学会新格式、新风格,只需在提示词里演示几遍即可。这是提示词工程(Prompt Engineering)能发挥巨大作用的理论基础,也是 RAG(把资料放进上下文)有效的根本原因。
局限
上下文窗口有限、示例太多会稀释注意力、成本随上下文长度上升。这些局限催生了提示词缓存(Prompt Caching)等优化技术。