> 数据图表谁能回答1.3.2、Mamba架构集成Transformer+RNN优势,成为Transformer架构的强劲挑战者2025-4-11.3.2、Mamba架构集成Transformer+RNN优势,成为Transformer架构的强劲挑战者Mamba融合Transformer、RNN架构的特点,实现在推理和训练上的加速。结构化的状态空间序列模型(SSM)能高效捕获序列数据中的复杂依赖关系,其一大关键是融合了卷积神经网络以及循环神经网络的特点,让计算开销随序列长度而线性或近线性变化,大幅降低计算成本,而Mamba则为SSM的一种变体。 Mamba 可根据输入对 SSM 进行重新参数化,让模型在滤除不相关信息的同时无限期地保留必要和相关的数据。在CVPR 2025上,英伟达推出混合新架构MambaVision视觉骨干网络,打破精度/吞吐瓶颈。MambaVision是首个针对计算机视觉应用,结合Mamba和Transformer的混合架构的尝试。主要贡献包括1 )引入了重新设计的适用于视觉任务的Mamba模块,提升了相较于原始Mamba架构的准确性和图像处理能力;2)系统性地研究了Mamba和Transformer模块的融合模式,并展示了在最终阶段加入自注意力模块,显著提高了模型捕捉全局上下文和长距离空间依赖的能力。图:Mamba、Transformer、RNNs架构对比图:Mamba逐步成长为新模型基础资料来源:《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》Albert Gu、机器之心公众号请务必阅读报告附注中的风险提示和免责声明 18国海证券综合其他