原生多模态（Native Multimodality）指大模型从底层架构上就把文本、图像、音频、视频等多种模态当作统一的「世界信息」来处理，而不是在语言模型上后期外挂视觉或音频模块。它代表了多模态AI从「拼装」走向「原生」的范式升级。
对比两种路线
- 拼装式：以语言模型为主，外加视觉编码器、音频编码器，把图片「翻译成文字」再理解。实现简单，但模态间有信息损失，跨模态推理较弱
- 原生式：所有模态在训练阶段就统一编码、统一建模，模型直接在图文音视频混合数据上学习，理解与生成互相打通
- 跨模态理解：看图理解、听声识物，多种信息「一起想」
- 跨模态生成：根据描述生成图像或音频，模型自身就能「画」和「说」
- 更强的一致性：图文对齐、音画同步比外挂方案更自然
- 新一代旗舰模型普遍宣称「原生多模态」，把视觉推理、语音输入输出纳入同一个模型
- 统一词元（Token）架构是主流实现方式，但不同实现各有取舍
- 与端到端语音结合，直接音频进、音频出，减少中间的文字损耗
- 真实世界的信息本来就是多模态混合的，原生多模态被视为通往通用智能体的关键一步
- 2026年的挑战集中在训练数据的规模与质量、跨模态对齐的稳定性，以及推理成本的控制上。