📖

上下文学习(In-context Learning)

In-context Learning (ICL)
技术原理
提示词推理

上下文学习(In-context Learning,ICL)指大语言模型在不修改任何参数的情况下,仅通过在提示词(上下文)中放入示例或说明,就能学会执行新任务的能力。

工作原理

模型在训练时见过海量"模式+延续"的文本,当提示词中呈现"输入→输出"的示例序列时,模型会把当前问题识别为同类型模式,并顺着示例的规律给出输出。

三种形态

  • 零样本(Zero-shot):只给任务指令,不给示例
  • 少样本(Few-shot):给 2-5 个示例后让模型模仿
  • 上下文学习:给大量示例或详细说明(甚至整本手册)

为什么重要

ICL 意味着不需要重新训练模型就能适配新任务——想要让AI学会新格式、新风格,只需在提示词里演示几遍即可。这是提示词工程(Prompt Engineering)能发挥巨大作用的理论基础,也是 RAG(把资料放进上下文)有效的根本原因。

局限

上下文窗口有限、示例太多会稀释注意力、成本随上下文长度上升。这些局限催生了提示词缓存(Prompt Caching)等优化技术。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些独家内容板块,帮你从不同角度发现好工具。

0