> 数据图表一起讨论下2.2 “内存墙”问题需要Scale Up网络将显存池化来缓解2025-8-22.2 “内存墙”问题需要Scale Up网络将显存池化来缓解训推计算的“内存墙”催生出通过Scale Up网络将显存池化的需求：• 单一大模型的参数量与单卡显存的差距（即模型内存墙）、单卡算力与单卡显存间的差距（即算力内存墙）均逐代放大• 除模型参数外，推理计算生成的KV Cache（关键中间值的缓存，用于简化计算）占用显存大小也可达模型的50%甚至以上• 因此单卡运算时需从多张卡的显存读取所需参数、数据，为了尽可能减少数据传输时延，目前产业化应用最优解是使用Scale Up网络将显存池化，如NVL72。（由于篇幅有限本文未就技术原理做详细阐述，具体细节欢迎进一步交流）模型内存墙逐代放大算力内存墙逐代放大资料来源：Medium，东吴证券研究所11东吴证券综合其他
