1.2.4、训练侧Scaling law瓶颈出现，推理侧接过Scaling law叙事大旗Scaling Law 描述了模型性能随着模型参数、数据量和计算资源增加而提升的幂律关系，但这种提升并非线性，而是呈现出收益递减现象。在模型规模较大时，资源的增加对性能提升的影响变得有限，资源投入与性能提升之间的平衡关系并非单纯“大力出奇迹”。根据Epoch团队的论文《Willwe run out of data? Limits of LLM scaling based on human-generated data》中统计，高质量语言数据存量只剩下约4.6×10^12~1.7×10^13个单词。结合增长率，论文预测高质量文本数据会在2023~2027年间被AI耗尽。2024年，AI开发开始强调增强推理(Reasoning)，从简单的模式识别转向更逻辑化和结构化的思维过程。2024年9月，OpenAI发布o1-preview，据Altman在x上分享的数据，AIME 2024（高水平的数学竞赛）中，o1-preview将模型回答准确率从GPT4o的13.4%提升至56.7%，o1正式版是83.3%。图：人类高质量文本数据或在2026年被AI耗尽图：模型从范式1到范式2演进图：OpenAI发布的o1实现能力的跨越式提升资料来源：量子位公众号、《Government Nudging:A public policy tool to influence citizens behaviors》Aiudi Stefano、甲子光年公众号请务必阅读报告附注中的风险提示和免责声明 16
