> 数据图表想关注一下当前大模型的参数量
2025-9-1进入到 2025 年，大模型的演变呈现出参数量指数级扩张与结构性效率优化并行的趋势。在参数量上，大模型突破千亿级别，Meta 的 Llama 4 系列代表了当前开源 LLM的头部水平，其中 Scout 版本支持高达 1000 万 token 的上下文长度，Maverick 版本更是采用了 4000 亿参数的 MoE 架构。在架构设计上，MoE 通过使用大量小型的专家网络替换 Transformer 中密集的、计算量巨大的 FFN 层以控制计算和内存开销，以DeepSeek 为代表的模型厂商在 MoE 的基础上又不断提出如混合 FP8 精度、DualPipe算法等架构创新方式，使得大模型具有了成本端的优化可能。 
