多模态AI是指能够同时处理和融合多种数据类型（文字、图像、音频、视频、代码等）的AI系统。2025-2026年，多模态已成为顶级AI模型的标配能力。
模态类型
- 文本：最基础、最成熟的模态
- 图像：理解图片内容（物体识别、场景理解、OCR文字提取）
- 音频：语音识别、情感分析、音乐理解
- 视频：理解动态画面中的事件、人物、动作
- 代码：理解程序逻辑和结构
核心能力
- 跨模态理解：看到一张图表，能用文字解释其含义
- 跨模态生成：根据文字描述生成图片（文生图）、视频（文生视频）
- 跨模态检索：用文字搜索图片、用图片搜索视频
技术原理
多模态模型的本质是将不同模态的数据映射到统一的向量空间。一张猫的照片和"猫"这个词在向量空间中位置相近。这样模型就能实现跨模态的"理解"和"关联"。
代表性产品
GPT-5（文本+图像+音频）、Gemini 2.5（原生多模态）、Claude 4（文本+图像）、GPT-5.1 Voice（实时语音对话）。