> 数据图表咨询大家1.3.1、Transformer受限于长序列场景，计算复杂度与输入序列表现为指数增长关系2025-4-11.3.1、Transformer受限于长序列场景，计算复杂度与输入序列表现为指数增长关系长序列场景下Transformer计算复杂度显著提升：自注意力机制的计算复杂度为O（N2，d），其中 N 代表序列长度，d 表示 token 嵌入的维度，这意味着 Transformer 模型的计算复杂度会随着输入序列长度（token 数量）的增加呈二次方增长，这种高计算复杂度会导致计算资源的大量消耗，对硬件性能提出了极高的要求。 随着基于 Transformer 架构的模型规模不断扩大，训练和部署成本也随之大幅增加。在计算资源方面，Transformer模型不仅需要大量的计算资源来支撑复杂的运算，还对并行处理能力有着较高的要求。训练成本不仅要涵盖高性能的 GPU，还需要大量的存储空间。并且，随着序列长度的增加，其平方级的扩展会导致内存使用量急剧上升。这使得训练和部署 Transformer 模型的成本居高不下，在一些资源受限的场景中，其应用受到了明显的限制。图：Transformer架构下序列长度和算力需求图：国内外大模型上下文已经有大幅提升资料来源：53AI、光锥智能请务必阅读报告附注中的风险提示和免责声明 17国海证券综合其他
