👁️

视觉语言模型(VLM)

Vision-Language Model (VLM)
前沿概念
多模态大模型

视觉语言模型(Vision-Language Model,VLM)是能同时处理图像与文本的多模态大模型:把图像编码成模型能理解的“视觉词元”,与文本一起送入大语言模型,从而实现看图说话、读图问答、图表分析、界面操作理解等能力。

基本结构

视觉编码器(通常是 ViT 类模型)+ 连接层(把视觉特征对齐到语言空间)+ 大语言模型(负责理解与生成)。训练分两步:先用图文对做对齐预训练,再用指令数据微调出“看图听话”的能力。

能做什么

  • 图像问答与描述:照片里有什么、这张梗图好笑在哪
  • OCR 与文档理解:读扫描件、表格、票据(这也是文档智能的底座)
  • GUI 理解:看懂软件截图与网页,是 Computer Use、浏览器智能体的眼睛
  • 视觉推理:解几何题、看医学影像做辅助描述

代表模型

GPT-4o / GPT-5V、Claude、Gemini、Qwen-VL、InternVL、Llama 3.2 Vision 等。2026 年的主流大模型几乎全部 VLM 化——“纯文本大模型”正在成为历史概念。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些独家内容板块,帮你从不同角度发现好工具。

☆ 0