「专家并行」是混合专家（MoE）模型专用的一种并行维度：MoE 层里有很多个"专家"子网络，每次前向只有被路由选中的少数专家参与计算，因此可以按专家为单位把参数切到不同设备上——每张卡只承载一部分专家，token 按路由结果被发送到对应设备计算，再送回原处。
和常见并行维度的区别
数据并行切分数据、复制模型，张量并行切单层内的矩阵，流水并行按层切分成阶段，专家并行切的是"专家"这一维，专门利用 MoE 的稀疏结构。实际大规模训练通常把几者组合使用。
Megatron Core 文档列出的相关能力
专家并行与 3D 并行集成；EP + DP + TP + PP + SP 的完整组合；面向长序列 MoE 训练的上下文并行；Parallel Folding 的异构并行映射；MoE 分布式优化器（等价 ZeRO-1）；token permutation 的内存优化；以及 DeepEP 对 H100 / B200 的支持。
适用边界
专家并行度越大，专家间的 all-to-all 通信与负载不均衡压力越高。工程上通常要配合不丢 token 的路由（dropless MoE）与负载均衡损失，否则会出现部分设备空转、部分设备排队。它解决的是"放得下、算得快"，不改变 MoE 本身的容量与稀疏性权衡。