编码器-解码器架构(Encoder-Decoder,又称Seq2Seq,即Sequence-to-Sequence)是一种序列转换框架:编码器把输入序列「读进」一个中间表示,解码器再基于它逐词生成输出序列。该框架在2014年前后被确立,机器翻译是最经典的落地场景。
工作流程 1. 编码器逐词读入源语言句子,把语义压缩成上下文表示 2. 解码器接收该表示,逐个生成目标语言单词,直到生成结束符 3. 早期只有「一个固定向量」在两端之间传信息,长句子容易丢失细节;注意力机制的引入让解码器可以动态「回看」源句的各部分,翻译质量大幅提升
经典代表
- 2016年Google推出的神经机器翻译系统(GNMT)以Seq2Seq加注意力为核心,让机器翻译从统计方法全面转向深度学习
- BERT是「纯编码器」,GPT是「纯解码器」,T5则是编码器-解码器形态,它们都是Transformer对这一框架的继承与改造
- 如今的大语言模型普遍采用「纯解码器」架构,以自回归方式直接续写文本,训练更简单、通用能力更强
- 编码器-解码器仍活跃在需要「先理解再生成」的任务中,如翻译、摘要、语音转写
- 2026年,纯解码器模型通过推理时思考基本覆盖了Seq2Seq的传统领地,但「理解与生成分离」的框架思想依然深刻影响着模型设计。