> 数据图表

咨询下各位3. 自动驾驶技术路线-端到端架构2.0

2025-6-3
咨询下各位3. 自动驾驶技术路线-端到端架构2.0
3. 自动驾驶技术路线-端到端架构2.0• 解决办法: 理想的VLM认知模型• 2024年7月,理想发布了视觉语言模型 (VLM) ,是一种多模态、生成式 AI 模型,能够理解和处理视频、图像和文本等多模态输入的信息并转化为语言输出,但无法执行动作。理想的VLM模型分为两个系统,即端到端E2E模型作为系统1(快系统),可以迅速的进行控制决策,而大语言模型LLM作为系统2(慢系统),可以进行深度思考,理解环境信息,识别Corner Case。除了理想之外,小鹏(2024年7月)、华为(2024年4月)、小米(2025年1月)等头部车企已经将VLM技术应用于量产车型。VLM主要解决了环境语义理解的问题,比如能够理解潮汐车道、特殊交通标识等。• 双系统的原理:参考人类的思考方式,让模型采用双系统,系统1处理95%常规场景,系统2破解5%长尾问题。人类的思考包含快系统和慢系统,“系统一”是本能反应,条件反射,潜意识的;”系统二“是逻辑性的,刻意且缓慢的,在开车时,大部分简单熟悉的道路均由系统一完成,遇到较难的路段以及危险路段,系统二会自动上限,人类会动用已有的经验(常识和驾驶知识)来应对极端场景。在自动驾驶中,神经网络通常通过暴力计算一个近似的函数来执行任务,类似于人类的系统一;而大语言模型拥有海量的知识库和超强的学习能力,能够处理复杂多变的任务,类似系统二。图:AI的分类图:理想汽车VLM数据来源:《思考的快与慢》, 西南证券整理数据来源:理想汽车的2024智能驾驶夏季发布会, 西南证券整理18