> 数据图表如何解释KV 缓存存储层级结构2026-8-4享。现有的内存和存储层层级结构中，随着推理上下文持续扩展，其流转机制依次为 GPUHBM（G1）、系统 DRAM（G2）、本地 SSD（G3）、共享存储（G4）。在整个存储层级架构的顶层，GPU HBM（G1）可提供纳秒级访问和超高效率，使其成为直接用于 token生成的活跃 KV 缓存。随着上下文超出 HBM 的物理限制，KV 缓存会扩展到系统 DRAM（G2）和本地机架内存储（G3）中，此时访问延迟会增加，每个 token 的能耗和成本开始上升。虽然这些层级扩展了有效容量，但每向下迁移一个层级，都会产生额外的开销，从而降低整体效率。在整个存储层级架构的底层，共享对象和文件存储（G4）可提供持久性和存储容量，但延迟将达到毫秒级，推理效率也是最低的。虽然它适用于存储访问频率较低的或共享的数据资产，但将活跃或频繁复用 KV 缓存保存到此层级会增加功耗，并直接限制 AI 扩展的成本效益。财信证券综合其他
