端到端大模型在自动驾驶的落地应用_驾驶员行为分析依托什么大模型

端到端大模型在自动驾驶的落地应用

5月20日，小鹏汽车在AI Day上发布了国内首个量产上车的端到端大模型。何小鹏表示：“此前的智驾方案从技术上说，汽车在感知、定位、规划、控制方面都是分开处理的，每一个环节并没有关联。因此车辆在遇到一些场景的时候会因为人类写入的规则互相博弈而产生犹豫。端到端大模型上车后，车辆可以直接通过传感器输入的内容来输出对车辆的控制，智驾会更加‘类人’。”此外，我们注意到，端到端大模型在汽车行业的应用前景非常广泛，不仅在智能座舱与智能驾驶领域，还可以应用在汽车行业企业管理领域，例如汽车制造、供应链管理、设计、市场营销等方面，从更全面、更深入的层面
推动汽车行业向智能化发展。

附赠自动驾驶最全的学习资料和量产经验：链接

以下是ISCM专业大模型就端到端大模型在汽车领域应用的最新进展，为您呈现的动态报告。

01

事件回顾

5月20日，小鹏汽车举办了以“开启AI智驾时代”为主题的520 AI DAY发布会，分享AI技术的最新进展，并宣布面向用户全量推送AI天玑系统。在智能驾驶方面，小鹏汽车发布国内首个量产上车的端到端大模型：神经网络XNet+规控大模型XPlanner+大语言模型XBrain。

这一技术方案有三个亮点。首先，三网合一的深度视觉感知神经网络XNet。通过聚合动态XNet、静态XNet和行业首个量产纯视觉2K占用网络，能够让自动驾驶系统如同裸眼3D。用超过200万个网格重构世界，对现实世界中的可通行空间进行3D高真实度还原，使得感知范围提升2倍，面积可达1.8个足球场大小，能精准识别50+个目标物。

**第二，小鹏汽车还推出了基于神经网络的规划大模型——XPlanner。**就像人类的小脑，通过海量数据时刻训练，使得驾驶策略不断向拟人进化，拥有“老司机般的脚法”，例如，前后顿挫减少50%、违停卡死减少40%、安全接管减少60%。在AI大语言模型XBrain加持下，自动驾驶系统拥有了人类大脑般理解学习的能力，处理复杂甚至未知场景的泛化处理能力大幅提升，进而做出兼顾安全和性能的拟人驾驶决策。

**第三，全量推送AI天玑系统，**小鹏汽车智能体验负责人于桐表示，AI天玑系统是行业首个将 AI 技术全面应用于智能座舱与智能驾驶的操作系统。基于AI大语言模型的深度应用，全新AI小P将具备更高级别的理解能力和需求推理能力。AI小P甚至可成为私人定制司机，拥有AI代驾、AI泊车、AI保镖三大功能，全面覆盖行车、泊车在内的全场景。

02

ISCM解读:

端到端大模型的优势

更高的感知能力

多模态融合: 传统方案通常将来自摄像头、雷达、激光雷达等不同传感器的数据分别处理，然后进行融合。而端到端大模型可以同时处理多模态数据，挖掘不同数据之间的关联性，实现更全面、更精准的环境感知。

更强的泛化能力: 传统方案依赖于大量人工标注的数据进行训练，对corner case的处理能力有限。而端到端大模型可以从海量数据中自主学习，提取更抽象的特征，具备更强的泛化能力，能够更好地应对未知场景。

更智能的决策规划

更接近人类驾驶行为: 端到端大模型可以学习人类驾驶员的驾驶风格和决策逻辑，例如预判其他车辆和行人的意图，从而实现更自然、更人性化的驾驶体验。

更优的路径规划: 传统方案通常采用基于规则的路径规划方法，难以处理复杂的交通场景。而端到端大模型可以学习更复杂的驾驶策略，生成更安全、更高效的路径。

更出色的性能：大语言模型已经展现出了在模型达到一定规模后出现涌现效应。端到端大模型在所服务的领域也将出现涌现效应，从而达到传统方案无法比拟的性能表现。

更高效的开发

简化开发流程: 传统方案需要分别开发感知、决策、控制等模块，开发流程复杂且效率低下。而端到端大模型将这些模块整合到一个模型中，可以大大简化开发流程，提高开发效率。

更快的迭代速度: 端到端大模型可以通过不断学习新的数据进行自我优化，迭代速度更快，能够更快地适应新的场景和需求。

ISCM小结

端到端大模型是一种基于大量训练数据直接完成一系列复杂过程的任务。除了自动驾驶，端到端大模型还可以应用到各种汽车场景。

03

大模型在智能汽车上的

应用场景

智能座舱领域

车内交互设计：传统NLP模型需要理解用户意图，再调用各种功能，满足用户需求。但端到端大模型可以通过用户的行为，语言等，直接调用对应的功能，甚至根据用户习惯做个性化微调训练。

布局公司：Momenta、地平线、百度 Apollo、科大讯飞、思必驰、云知声等

个性化推荐：根据用户驾驶习惯、偏好等信息，提供个性化的音乐、电台、新闻等内容推荐。

布局公司： 腾讯、阿里巴巴、字节跳动等

虚拟助手：提供行程规划、信息查询、娱乐服务等功能，并能与其他智能设备互联互通。

布局公司：小米、华为、OPPO等

情绪监测与疲劳驾驶预警：通过分析驾驶员的面部表情、语音语调等信息，识别其情绪状态和疲劳程度，直接配合自动驾驶作出反应。

布局公司： 商汤科技、旷视科技等

驾驶员行为分析：通过分析驾驶员的驾驶行为，包括驾驶习惯，情绪等。模型可以提供个性化的驾驶建议，提高驾驶安全性。

自动驾驶领域

感知算法优化： 提升自动驾驶系统对周围环境的感知能力，例如目标检测、车道线识别、语义分割等。

布局公司： 特斯拉、Waymo、小鹏汽车、蔚来汽车等

决策规划能力提升： 帮助自动驾驶系统做出更安全、高效的行驶决策，例如路径规划、避障、超车等。

布局公司： 百度 Apollo、AutoX、文远知行等

仿真测试：构建虚拟仿真环境，用于测试和验证自动驾驶算法和系统的性能。

布局公司: 特斯拉、51WORLD、PanoSim、Cognata 等

数据闭环和模型迭代： 加速自动驾驶数据的处理和分析，不断优化模型的精度和泛化能力。

布局公司：特斯拉、毫末智行、图森未来等

04

大模型在汽车管理领域的

应用场景

研发设计：辅助汽车造型设计、结构设计、性能优化等。模型可以通过分析大量的设计和测试数据，直接完成初步设计，帮助工程师优化车辆设计。

布局公司：Autodesk、达索系统等

供应商风控管理大语言模型（LLM）结合知识模型（LKM）形成汽车垂直领域专业大模型，为用户提供7*24小时，360度的供应商风控管理，实现从全网信息扫描到智能追踪并自动生成风险评估报告的端到端能力。

布局公司：ISCM智慧供应链管理

生产制造：优化生产流程、提高生产效率、实现智能质检等。

布局公司：英伟达、西门子、ABB 等

营销服务: 提供个性化营销方案、提升客户服务体验等。

布局公司：Salesforce、Adobe 等

预测性维护：通过分析车辆的运行数据，模型可以预测可能出现的故障，从而提前进行维护，避免故障发生。

车辆诊断：模型可以分析车辆的各种传感器数据，帮助诊断车辆的问题，提供维修建议。

能源管理：对于电动车，模型可以优化能源使用，提高行驶里程

05

中国企业在端到端大模型方面

取得的最新进展

华为：4月24日，华为车BU发布全新品牌乾崑。其中其智驾产品线发布新版本 ADS 3.0。ADS 3.0将架构进行了升级，感知变成一张GOD网络，决策与规划二合一成为PDP网络。ADS 3.0预计将在2025年下半年量产。此外，华为官方宣布，与东风汽车集团旗下的电动汽车品牌岚图汽车正式签署战略合作协议。

长城x字节跳动：2023年11月，字节跳动也与长城汽车达成了合作。据介绍，双方基于火山引擎方舟平台及插件生态，将在汽车产品端共建座舱大模型，打造长城汽车自主可控的下一代智能助手，利用大模型强大的理解、推理、创造能力，让座舱具备强大的“问题解决能力和自学习能力”。

中科创达 x 大众CARIAD：2023年4月，CARIAD与中科创达在中国成立合资公司，该合资公司将专注于智能互联和信息娱乐系统领域的定制软件产品与解决方案的研发。中科创达还披露，大模型+智能汽车是公司重要的战略方向，包含了大模型训练以及座舱，自动驾驶和整车操作系统等方面，在不断迭代更新。

阿里云智能：在汽车领域，阿里云将基于通义大模型，推动AI在行业具体应用场景的落地，目前阿里云已经为全国80%的科技企业和一半的大模型公司提供了算力支持。

哪吒汽车x商汤：绝影系列原生态大模型，端到端自动驾驶解决方案UniAD。将感知、决策、规划等模块都整合到一个全栈Transformer端到端模型，实现感知决策一体化的真·端到端自动驾驶。在北京车展期间，商汤还介绍了新一代自动驾驶大模型DriveAGI，依托多模态大模型强大的世界理解、推理能力、决策能力以及交互能力，DriveAGI将是目前最贴近人类思维模式、最能理解人类意图并有最强解决驾驶困难场景能力的技术方案。

元戎启行：2024北京车展上，正式对外展示了即将量产的高阶智驾平台DeepRoute IO，方案采用NVIDIA DRIVE Orin-X系统级芯片，200+TOPS算力， 1颗固态激光雷达，11颗摄像头，行泊一体，基于导航地图，可实现全域、全时、全场景的智慧领航辅助驾驶功能，具有极佳的综合性能，行车丝滑如“老司机”。基于此方案数款合作车型将于2024年陆续推向消费者市场。

蔚来汽车：将在今年上半年推出端到端架构的主动安全功能。

理想汽车：理想的新模型也将在今年上半年上线，算法新架构将不限制道路范围，

06

汽车行业端到端大模型

未来的趋势

随着端到端大模型在自动驾驶的落地，凭借其先进性，越来越多的端到端大模型将应用到汽车行业的各个场景。

对于智能汽车上的应用场景，端到端大模型将带来全新的用户体验。甚至出现多合一的端到端大模型。这将是车企争夺的新方向。同时，对于车载硬件的要求也会越来越高。

对于汽车行业相关业务的应用场景中，端到端大模型的冲击比智能汽车上的应用场景更加巨大，目前的供应链、汽车工程、制造、运营和合作方式也会因为端到端大模型而产生革新性的变革。端到端大模型能够通过其分析能力，真正实现智能决策辅助，从而大大简化业务的运营复杂度，赋能汽车行业变革。