HBM 存储以高带宽、高密度和低功耗优势，成为 AI 服务器的标准配置。HBM 采用先进 3D 堆叠封装技术，通过硅通孔（TSV）垂直堆叠多颗 DRAM 芯片，并在底部集成逻辑芯片调度信号，在极小的面积上实现超高的数据吞吐，单颗带宽可超 1TBs，较传统GDDR6 提升 5 倍。物理布局上，HBM 堆叠体通常直接位于高性能逻辑芯片（如 GPU、AI 加速器）侧边，通过宽总线接口与主芯片连接。 “近距离、宽总线”架构极大缩短信号传输路径、降低延迟并提升能效，成为 AI 服务器大规模部署的核心基础。
