> 数据图表怎样理解2.3 AI训推计算范式推动Scale Up升级、单卡带宽提升2025-8-22.3 AI训推计算范式推动Scale Up升级、单卡带宽提升• AI训推需要分布式并行计算，基于对计算效率不断提升的追求，并行计算方式有数据并行（DataParallelism）、流水线并行（Pipeline Parallelism）、专家并行（MoE Parallelism ）及张量并行（Tensor Parallelism）。• 数据并行：将输入数据分配给各个负载，各负载上基于不同数据进行同一模型的训练/推理；• 流水线并行：将模型分为若干层分配给各个负载，各负载分别进行不同层的计算；• 张量并行：将模型参数运算的矩阵拆分为子矩阵传输至各个负载，各负载分别进行不同的矩阵运算（由于篇幅有限本文未就技术原理做详细阐述，具体细节欢迎进一步交流）数据并行（左），流水线并行（右）计算原理张量并行计算原理资料来源：Github-Phillip Lippe，Hugging Face，东吴证券研究所12东吴证券综合其他
