> 数据图表请问一下NVLink-C2C 一致性内存架构2026-8-4DRAM：模型权重KV 缓存推动 DRAMHBM 需求攀升推理阶段 AI 服务器对 DRAM、HBM 容量需求攀升。从推理的角度来看，推理对HBM 的需求主要来自模型权重静态内存、KV 缓存动态内存两大模块，以典型的 GPT 模型为例，根据优刻得数据，GPT-5 推理阶段整体对 HBM 的需求量可达至 26.8PB。其中，模型权重静态内存方面，对于 4.5 万亿参数的 MoE 架构 GPT-5 模型，其活跃专家权重需全部加载至 HBM 以保障响应效率，此部分需求约为 24PB其二是 KV 缓存动态内存，KV 缓存的核心作用是避免注意力权重的重复计算，通过 GQA 技术优化后，单个 token的 KV 缓存占用约 480KB，按照 58 亿的总并发 Token 规模计算，该模块需消耗 2.8PB 的HBM 资源。DRAM 的需求核心则主要来自 KV 缓存，且需结合缓存命中率进行综合测算。在 24 小时时间窗口内，若输入 KV 缓存的重用率达到 50%，可有效降低 Prefill 阶段的计算量。按每日 38 万亿的 Token 处理规模估算，GPT-5 推理所需的 DRAM 容量约为 9.1EB。财信证券综合其他
