MoE（Mixture of Experts，混合专家）是一种高效的模型架构。传统的大模型每次推理都要激活全部参数，MoE则将模型分成多个"专家"子网络，每次推理只激活其中一部分（通常2-8个），大幅降低计算成本。
工作原理
1. 输入到达 → 路由器（Router/Gate）判断这个输入适合哪些专家 2. 激活最相关的2-8个专家（而非全部） 3. 各专家独立处理输入 4. 加权合并专家的输出
关键概念
- 总参数 vs 激活参数：模型可能有1万亿总参数，但每次推理只激活100B
- 专家数量：通常是8、16、64或更多
- 负载均衡：防止某些专家"过劳"而其他专家"闲置"
代表模型
- Mixtral 8x7B：8个专家，每次激活2个（总47B，激活13B）
- DeepSeek-V3：256个专家，每次激活8个（总671B，激活37B）
- GPT-4：据信使用MoE架构（8个专家）
- Qwen3-MoE：阿里开源MoE模型
优势
- 推理速度快（只激活部分参数）
- 成本低（计算量远小于同规模Dense模型）
- 扩展性好（增加专家数量就能扩大模型容量）
挑战
- 训练不稳定（专家可能坍缩）
- 显存需求大（所有专家都要加载）
- 路由器可能成为瓶颈