> 数据图表

你知道参数、数据和计算量与 LLM 性能的关系(在 WebText2 上的测试损失)

2025-3-1
你知道参数、数据和计算量与 LLM 性能的关系(在 WebText2 上的测试损失)
大模型参数数量、训练数据、用于训练是计算量的同时,带来系统能力稳步的增长。甚至在模型参数达到一定量级,模型能力会得到显著提升,表明较大模型有涌现能力。