迁移学习(Transfer Learning)是机器学习中的核心方法论,指将一个领域(源域)学到的知识迁移到另一个相关领域(目标域),从而减少对目标域大量标注数据的依赖。
核心原理
人类学骑自行车后,学摩托车就快很多——大脑复用了平衡和操控的通用知识。迁移学习在 AI 中做同样的事:先在大型通用数据集上预训练模型,再在特定任务的小数据集上微调。
在 LLM 时代的体现
- 预训练:在海量互联网文本上训练基础模型
- 微调(Fine-tuning):在特定领域数据上调整,让模型适应专业场景
- 指令微调(Instruction Tuning):让模型学会遵循人类指令
- LoRA 等参数高效方法:只更新少量参数实现迁移,大幅降低成本
关键概念
源域(Source Domain)、目标域(Target Domain)、负迁移(Negative Transfer)。
为什么重要
没有迁移学习,就没有 GPT 系列的涌现能力。它是少数标注数据场景(医疗影像、法律文档等)的支柱技术。