视觉语言模型(Vision-Language Model,VLM)是能同时处理图像与文本的多模态大模型:把图像编码成模型能理解的“视觉词元”,与文本一起送入大语言模型,从而实现看图说话、读图问答、图表分析、界面操作理解等能力。
基本结构
视觉编码器(通常是 ViT 类模型)+ 连接层(把视觉特征对齐到语言空间)+ 大语言模型(负责理解与生成)。训练分两步:先用图文对做对齐预训练,再用指令数据微调出“看图听话”的能力。
能做什么
- 图像问答与描述:照片里有什么、这张梗图好笑在哪
- OCR 与文档理解:读扫描件、表格、票据(这也是文档智能的底座)
- GUI 理解:看懂软件截图与网页,是 Computer Use、浏览器智能体的眼睛
- 视觉推理:解几何题、看医学影像做辅助描述
代表模型
GPT-4o / GPT-5V、Claude、Gemini、Qwen-VL、InternVL、Llama 3.2 Vision 等。2026 年的主流大模型几乎全部 VLM 化——“纯文本大模型”正在成为历史概念。