Meta生成式推荐模型技术研究实现突破，助力推荐系统实现Scaling LawØ 传统DLRM（深度学习推荐排名模型）模型因为参数规模限制存在性能天花板。DLRM模型难以发展成为大模型，主要是难以扩大参数数量，这类模型并不存在NLP、CV领域模型中的Scaling Law，模型的效果并不会随着模型参数增大、训练数据增加而提升。Ø Meta基于GRs架构构建公司首个针对生成式推荐系统的大模型，实现Scaling Law。2024年4月，Meta发布开创性论文《Actions Speak Louder than Words:Trillion-Parameter Sequential Transducers for Generative Recommendations》(作者Jiaqi Zhai等)，首次提出基于Transformer的生成式推荐系统（GRs）架构。该研究验证了Scaling Law在GRs模型中的适用性，表明通过扩展序列长度和embedding维度，GRs可扩展至1.5万亿参数，而传统深度学习推荐模型（DLRMs）在约2000亿参数时性能趋于饱和。Ø Wukong模型通过创新的交互模块设计进一步实现推荐模型的深度改进。2024年6月，Meta发表的论文《Wukong: Towards a Scaling Law for Large-Scale Recommendation》（作者Buyun Zhang等）提出了Wukong模型，通过创新的交互模块设计，使得Wukong能够有效捕捉高阶特征交互，并确保模型质量随数据集大小和参数的增长而扩展。Meta生成式推荐模型(GRs)参数规模和训练算力逼近LLM大模型Meta生成式推荐模型(GRs)相较于传统推荐模型实现Scaling Law1.210^40.90.60.3日训练算力PetaFLOP10^-202010GRsLLMDLRMLLaMa-2GPT-3GR-24AlphaZeroGR-23BERTDLRM-22DLRM-21DLRM-20VGG ResNetAlexNet2012201420162018202020222024资料来源：论文《Wukong: Towards a Scaling Law for Large-Scale Recommendation》Buyun Zhang等、《Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations》Jiaqi Zhai、论文《Wide & Deep Learning for Recommender Systems》Heng-Tze Cheng等、国海证券研究所请务必阅读报告附注中的风险提示和免责声明 21
