咨询大家MoE 模型在增加总参数的同时通过稀疏激活控制计算成本 GPT-3 已表明模型参数量与输出性能呈正相关

> 数据图表

2025-11-5

大模型参数持续提升对算力集群扩大提出需求。更大的参数规模能够使大语言模型更有效的利用上下文信息，显著提升模型输出的准确性和综合性能。同时，如混合专家模型（MoE）等创新架构的广泛使用进一步提升了大模型的总参数规模，使得大模型的训练和推理需要在更大的算力卡集群中完成。