> 数据图表谁知道并行计算技术路线概述2025-11-5跨服务器张量并行和专家并行等技术带来跨节点通信需求。张量并行（Tensor Parallelism，TP）是将单个权重矩阵等拆分到不同 GPU 上运行的技术，用来解决极大模型中单服务器内存不足的问题，对于带宽和时延要求高。专家并行（Expert Parallelism，EP）是将不同专家子网络分布到不同 GPU 上的技术，不同的输入仅激活模型的部分参数，大幅减少计算和通信开销。在模型参数扩大和跨计算卡并行计算技术成熟的背景下，大规模算力集群部署有望显著增加，跨节点通信对超节点系统提出需求。西部证券公共服务
