> 数据图表

怎样理解2.2、DeepSeek开源库3:DeepGEMM为支持密集+混合专家的FP8 GEMM库

2025-4-1
怎样理解2.2、DeepSeek开源库3:DeepGEMM为支持密集+混合专家的FP8 GEMM库
2.2、DeepSeek开源库3:DeepGEMM为支持密集+混合专家的FP8 GEMM库GEMM(通用矩阵乘法)是线性代数中的基本运算,也是科学计算、机器学习、深度学习等领域中常用的计算方式,但由于计算量较大使得GEMM的性能优化至关重要。 DeepGEMM保持了DeepSeek“高性能+低成本”的技术特性,推动GEMM朝着更高效率方向发展;具体亮点包括:1)高性能:在Hopper架构的GPU上,DeepGEMM能够实现高达1350+FP8 TFLOPS的性能。2)简洁性:核心逻辑仅约 300 行代码,但性能却优于专家调优的内核。3)即时编译(JIT):采用完全即时编译的方式,可以在运行时动态生成优化的代码,从而适应不同的硬件和矩阵大小。4)无重依赖:轻量级设计,没有复杂的依赖关系,可以让部署和使用变得简单。5)支持多种矩阵布局:支持密集矩阵布局和两种 MoE 布局,能够适应不同的应用场景,包括但不限于深度学习中的混合专家模型。图:GEMM通用矩阵乘法示例图:分组GEMM(MoE模型)中,连续性布局、掩码布局下速度可提升1.1倍~1.2倍资料来源:DOIT、智东西公众号请务必阅读报告附注中的风险提示和免责声明 27