Transformer架构统治了AI领域近8年，但其二次复杂度（计算量随输入长度平方增长）在处理超长序列时成为了瓶颈。Mamba等状态空间模型（SSM）以线性复杂度提供了新的可能。
Transformer的局限
- Attention计算复杂度O(n²)：输入10万字，计算量暴增
- 上下文窗口扩展到1M tokens后，推理成本极高
- KV Cache占用大量显存
Mamba（状态空间模型）
- 2023年由CMU和普林斯顿提出
- 线性复杂度O(n)：处理长序列时效率远超Transformer
- 选择性机制：类似Attention，选择性地记住或遗忘信息
- 在长序列任务上表现优异
Mamba-2（2024）
- 揭示了SSM与Attention的数学联系
- 结合了两者的优势
- 在语言建模上接近Transformer但在长序列上更快
混合架构
- Jamba（AI21 Labs）：Transformer + Mamba混合
- Gemma 2（Google）：部分层用SSM替代Attention
- 趋势：不是"替代"而是"混合"，在不同层使用不同机制
2026年展望
- Transformer短期内不会被完全替代
- Mamba等架构在长文档处理、DNA序列分析等场景有优势
- 混合架构可能是未来的主流方向
- 对普通用户而言，Mamba还是一个"底层技术概念"，不影响日常使用
需要关注吗
对开发者来说值得了解，对普通用户来说Transformer还是Mamba对使用体验影响极小。