是什么：CLIP（Contrastive Language-Image Pre-training）是 OpenAI 在 2021 年论文《Learning Transferable Visual Models From Natural Language Supervision》中提出的多模态预训练方法：用图像编码器（如 ViT）和文本编码器（Transformer）两套模型，在海量互联网图文对上做对比学习——把配对的图和文在向量空间里拉近，把错配的推远。训练完成后，任意图像和任意文本都能映射到同一个语义空间，直接算相似度。
能做什么
① 零样本分类——把类别名写成「一张{类别}的照片」当文本输入，图像跟哪个类别文本最像就分到哪类，不需要为每个类别专门训练；② 图文检索——以文搜图、以图搜文的基础能力；③ 多模态模型的组件——大量文生图模型用 CLIP 文本编码器理解提示词，许多视觉问答、多模态对话模型用 CLIP 或其变体做视觉理解入口。
影响与边界
CLIP 证明「用自然语言监督学视觉表示」可以替代昂贵的人工标注，是现代多模态 AI 的关键地基之一。局限同样明确：它学的是图文粗粒度对齐，对图像细节（数量、位置关系、文字）不敏感；英文语料为主，跨语言与长文本能力有限，后续工作（SigLIP、EVA-CLIP、多语言 CLIP 等）在各自方向上做了改进。注意 OpenAI 的 CLIP 仓库为研究代码，与官网服务无直接关系。