> 数据图表想问下各位网友1.3、NPU显著提升AI模型运行效率2025-4-11.3、NPU显著提升AI模型运行效率◼ 对于部分DNN模型，NPU单独运行即可在保持精度几乎无损的同时显著减少处理时间；◼ 三星NPU案例：运行3种DNN模型，NPU 运行速度比 CPU 快 95%甚至以上。但不同模型在 NPU 上的精度损失不同，VGG模型几乎没有损失，VocNet 精度损失 30%，YOLO 损失50%以上。◼ 精度损失一是因为NPU特性，二也取决于模型种类。NPU 仅支持 FP16 运算，并使用 FP16 存储每一层的中间结果，浮点溢出或下溢会引起使用FP16 时的数值不稳定性；VocNet 模型和 Yolo 模型比 VGG 模型更复杂，VGG 模型是比较从人脸图像中提取的两个特征向量之间的相似度，NPU 引入的小误差可能会改变特征向量中的值，但绝大多数情况下不会影响结果，但VocNet 和 Yolo 特征向量中的每个值都代表一个物体的类别、位置或大小，NPU 引入的一个小误差就可能完全改变预测结果。图表：对比CPU和NPU运行3种DNN模型*的表现*图中VGG/VocNet/YOLO 均为DNN（深度学习模型），分别用于人脸识别/多目标识别/检测图像中的物体。来源：Efficient Execution of Deep Neural Networks on Mobile Devices with NPU，中泰证券研究所14中泰证券工业制造
