1. 问题背景

在部署混合专家（MoE）模型时，我们常会遇到一个反直觉的限制。假设模型有 8 个 Expert，且分布式环境配置为 TP=2, DP=2（张量并行度为 2，数据并行度为 2，共 4 张卡）。

直觉上的合理配置（EP=2）：
将 4 张卡分为两个独立的 DP 副本，每个副本内部使用 2 张卡切分 Experts。

• DP 副本 0：GPU0 负责 Expert {0,1,2,3}，GPU1 负责 Expert {4,5,6,7}
• DP 副本 1：GPU2 负责 Expert {0,1,2,3}，GPU3 负责 Expert {4,5,6,7}

现实中的框架报错：
在 vLLM 等推理框架中，尝试上述配置会触发断言错误：

AssertionError(‘expert_parallel_size must be equal to tensor_model_parallel_size * data_parallel_size’)

框架强制要求 EP = TP × DP（即 EP 必须等于 4），不允许 EP=2。

这引出了一个核心问题：是 EP=2 在理论上不成立，还是框架在设计上另有考量？

2. 核心结论：理论可行 vs 框架实现

首先明确结论：直觉上的 EP=2 在分布式训练/推理理论中是完全合法的，它被称为“DP 组内专家并行”。vLLM 报错是因为它在底层实现上选择了另一种拓扑语义——“全局专家并行”。

我们可以通过下表清晰地对比这两种拓扑语义的差异：

vLLM 之所以强制 EP = TP × DP，是因为它仅实现了方案 B。这并非理论盲区，而是基于极致推理性能做出的工程取舍。

3. vLLM 为什么选择“全局 EP”设计？

vLLM 放弃灵活的组内 EP，强制绑定全局通信域，主要基于以下三大核心优势：

优势一：极致的显存效率（Zero Redundancy）

在“DP 组内 EP”模式下，为了保证每个 DP 副本都能独立处理请求，Expert 权重必须在多个 DP 副本间进行物理复制。随着 DP 数量的增加，显存占用呈线性增长。
而 vLLM 的“全局 EP”模式将所有卡视为一个统一的资源池。8 个 Expert 被均匀切分到 4 张卡上，全局不存在任何 Expert 权重的冗余副本。对于动辄数十 GB 的 MoE 层而言，节省下的显存可直接用于增大 KV Cache 或 Batch Size，从而拉高系统吞吐上限。

优势二：基于大数定律的负载均衡（Load Balancing）

MoE 架构最大的性能瓶颈在于专家负载不均（Expert Imbalance）。

• 局部路由的缺陷：如果每个 DP 副本独立处理自己的小 Batch，极易产生统计上的长尾效应。例如，某个副本的 Token 恰好大量涌入同一个 Expert，导致该节点成为严重拖慢整体速度的“长尾节点（Straggler）”。
• 全局路由的优势：vLLM 将所有副本的 Token 汇聚到一个全局大池中统一 Dispatch。根据大数定律，样本量（Token 数）越大，路由分布越趋近于整体期望。这种设计有效摊薄了局部小 Batch 带来的随机波动，显著降低了推理的尾延迟（Tail Latency）。

优势三：极简的通信拓扑（Topology Simplicity）

如果支持“DP 组内 EP”，框架底层需要维护极其复杂的嵌套通信组（全局 TP 组、全局 DP 组、以及多个并行的 EP 子组），且 MoE 层的调度逻辑会充满条件分支。
vLLM 选择将 EP 域直接等价于 TP × DP 域，使得 MoE 的 All-to-All 通信在一个扁平、固定的全局组中完成。这种确定性的设计极大地降低了死锁风险，简化了底层 Kernel 的开发与系统调优难度。

4. 总结

vLLM 中 EP = TP × DP 的硬性约束，本质上是用“更广的通信域”换取“更高的显存利用率与更稳定的负载均衡”。

在系统工程中，理论上最灵活的配置（如 DP 组内 EP），往往不如针对特定场景（如高吞吐 LLM 推理）进行全局优化的“硬编码”策略来得高效。理解这一约束，有助于我们在部署 MoE 模型时，更合理地规划集群的 TP 与 DP 比例。