> 数据图表

怎样理解4.4、DeepSeek带动模型加速私有化+低成本部署趋势

2025-4-1
怎样理解4.4、DeepSeek带动模型加速私有化+低成本部署趋势
4.4、DeepSeek带动模型加速私有化+低成本部署趋势DeepSeek引领大模型开源且低成本部署潮流,模型普世化趋势逐步明确。以DeepSeek为例,基于DeepSeekMoE架构,每次推理的时候仅激活37B参数;同时通过MLA等低秩分解的方式实现显存占用的大幅降低,推动计算资源以及内存消耗。DeepSeek R1/V3模型保持开源的同时,并在2月最后一周开源五大核心代码库,加速行业模型降本增效趋势。本地化部署DeepSeek-R1-32B及以下模型仅需要消费级显卡。从本地化部署DeepSeek所需硬件需求上看,本地化部署满血版的DeepSeek R1需要2台A100服务器(单台8卡);而部署32/70B的蒸馏版模型,只需要4090显卡,而对于7/8/14B等小参数模型,只需要3070/3080等基础消费级显卡即可。表:DeepSeek本地化部署所需的硬件要求模型版本DeepSeek-R1参数(B)671B模型大小>500GDeepSeek-R1-Distill-Llama-70BDeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Llama-8BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-DistillQwen-1.5B70B32B14B8B7B1.5B43G20G9G4.9G4.7G1.1GVRAM要求(GB)参考GPU配置~1,342~32.7~14.9~6.5~3.7~3.3~0.7多GPU配置(如:NVIDIA A100 80GB×16)NVIDIA RTX 4090 24GB×2NVIDIARTX4090 24GBNVIDIA RTX 3080 10GBNVIDIA RTX 3070 8GBNVIDIA RTX 3070 8GBNVIDIA RTX 3060 12GB资料来源:53AI、国海证券研究所请务必阅读报告附注中的风险提示和免责声明 52