2.3 存储测试机：AI芯片发展出现“内存墙”，内存已成最大制约⚫ 内存墙问题包括内存容量有限、内存传输带宽不足及传输延迟问题。计算逻辑与片上内存之间、计算逻辑与 DRAM 内存之间、不同sockets上不同处理器之间都存在同样的问题。对于单个芯片，芯片内寄存器、二级缓存、全局存储器等之间的内存传输成为瓶颈。当模型超过了单芯片可用的内存容量和带宽，需要利用分布式内存并行技术将训练/服务扩展到多个加速器。由于片间带宽小于片内带宽，此时会面临更严重的内存墙问题。◆ 图：DRAM与互联带宽增速远低于服务器硬件算力增速数据来源：《AI and Memory Wall》（Amir Gholami等，2024），东吴证券研究所2525
