我想了解一下AI 服务器对存储的需求呈几何级增长

> 数据图表

2026-6-2

KV Cache（键值缓存）机制对大模型推理的重要性为避免重复计算、减少推理时间，每一层、每个 token 的 Key Value 结果都需要存储。但随着大模型从短上下文向长上下文演进，加上高并发推理需求，KV Cache 占用空间随token 数量和并发请求量线性提升。