> 数据图表咨询下各位2.2、DeepSeek开源库4：DualPipe EPLB多维度提升GPU计算效率2025-4-12.2、DeepSeek开源库4：DualPipe+EPLB多维度提升GPU计算效率&降低空闲率DualPipe（双向管道并行算法）基于DeepSeek-V3技术报告提出的双向管道等值算法。现有方法无法精确控制计算任务和通信任务对硬件资源的使用，导致计算和通信无法实现无缝重叠，进而产生大量流水线气泡，增加了系统的延迟。DualPipe算法通过实现向后和向前计算通信阶段的双向重叠，大幅减少了训练过程中的空闲时间。 EPLB（专家并行负载均衡器）具有动态负载均衡、分层与全局平衡结合以及流量优化三大特点。MoE 的专家网络分布在多个 GPU 上，每次计算需频繁执行Token分发与结果聚合，导致 GPU 计算资源大量闲置；因此如何将通信隐藏到计算的过程中、提升模型训练效率、节省计算资源，成为了 MoE 系统优化的关键。动态负载均衡功能基于混合专家（MoE）架构，通过复制高负载专家并采用启发式分配算法，优化了GPU之间的负载分布。在分层与全局平衡结合方面，EPLB不仅支持单个节点内的分层负载管理，还能实现跨节点的全局负载均衡，有效减少GPU闲置现象。此外，在流量优化方面，该技术能够在均衡负载的同时，通过调整专家分布降低节点间的数据通信量，从而提高整体训练效率。图：8个流水线并行阶段DualPipe在两个方向上的调度示例资料来源：新智元公众号请务必阅读报告附注中的风险提示和免责声明 28国海证券综合其他
