进阶至端到端比赛，车企在智驾畛域的段位便显著拉开了差距。其中影响起因诸多，数据量和算力是两个关键起因，也是车企在端到端时代面临的最大应战。这面前，裹挟着车企的财力、人力与判别力。也或许过去数年的数据积攒，到如今一无用途。然而没人可以置身事外，回避就象征着被淘汰。角力智驾，端到端只是一个开局。
文 |
编辑 |
经营 |
智驾，曾经成了众车企不得不攻下的堡垒。
这是一个逆水行舟的赛场，稍不注意，就会被对手甩在身后。从2023年开启的开城之战，到如今的端到端比赛，场上的玩家不得不绷紧了神经，不敢有丝毫懒散。
所谓端到端，即深度学习中的概念，英文为“End-to-End（E2E）”，指的是一个AI模型，只需输入原始数据就可以输入最终结果。运行到智能驾驶畛域，象征着只用一个模型，就能把摄像头号传感器搜集到的感知消息，转换成车辆方向盘怎样转、油门踩多少等操作指令，让汽车智能行驶。
和传统的经过感知、布局与决策、管理三个模块体系下的智驾打算不同，端到端的长处在于，从感知到决策间接用一个大模型处置，输入传感器信号之后，系统间接收回执行指令，缩小了消息在不同模块之间传递时的“损耗”和偏向。
眼下，华为、蔚小理、特斯拉，甚至比亚迪和飞驰等传统车企，都在卷端到端，但各家的思绪与停顿，又各不相反。比如，特斯拉和现实的思绪是One Model（一个大模型），在此基础上，现实又率先在业内落地了双系统——端到端+VLM（视觉言语模型），华为和小鹏则是分段式端到端。
智能驾驶概念图。图 / 视觉中国
这其中孰优孰劣？现实以为，要想向L3、L4级别的智能驾驶进阶，One Model更适宜，这代表着一种更初级的迭代和研发流程，而分段式更适宜做L2级别的辅佐驾驶。
比蔚来和小鹏晚两年才自研智驾的现实，怎样就青出于蓝了？
在现实外部，有RD和PD两条头绪研发智驾，PD是产品交付研发，推送给全量用户、千人团测的版本由该团队担任，RD可以了解为“超前作业”，担任预研技术，探求现实通向未来人工智能的方向。在这样的架构下，现实的这套“端到端+VLM”的打算，只用了大约一年多的期间便成功了三代迭代。
现实“端到端+VLM”打算。图 / 现实汽车官网
这面前要求付出的期间与精神，旁人大略是难以构想的。现实汽车智能驾驶研发副总裁郎咸朋坦言，大家为此舍弃了“团体劳动期间”，但也别无选用、没有进路，“大家都清楚公司的目的是什么”。
去年现实春季策略会上，CEO李想明白强调，智能驾驶是外围策略，并给外部确定了期间节点，“2024年要成为智驾的相对头部”。
除了一号位自上而下传导的压力，还有用户层面的鞭笞，现实汽车智能驾驶技术研发担任人贾鹏自我调侃：“自从2020年由英伟达入职现实后，每天面临的环境就是——我们是后进生，天天被家长（用户）骂。”
这让现实如履薄冰，不得不减速追逐，且没有捷径可走。只管曾经有特斯拉提早交卷，但间接抄作业却行不通。郎咸朋与曾经担任小鹏智驾业务的吴新宙达成共识，整个环节可以减速，但不能跳过，否则会跳过对很多技术的了解。
因此，只管期间紧急，现实还是率先尝试了NPN打算（Neural Prior Net，先验神经算法，经常使用局部路途和地图的先验消息，协助车辆识别路途特色，缩小对高精地图的依赖），赶在年底成功了百城NOA的Flag，但现实发现“只需用图就做不了全国落地”，由于偏远城市的车不多，数据迭代就有疑问，而这些归根结底都是遭到了地图的限度。
现实汽车系统1率先尝试了NPN打算。图 / 现实汽车官网
看法到疑问，现实极速切换到无图打算。不过无图形式对资源的消耗很大，这种形式有处置不完的Coner case，郎咸朋解释：“我什么时刻超车变道？是前面车压我30公里时速时，还是20公里时？在某个速度条件下，旁边有实线我变不变？旁边有车我变不变？后边来车变不变？”Coner case的场景是无量无尽的，但“边界是显而易见的”（依托处置Coner case来处置极其场景的才干是有限的）。
到了这一步，端到端便摆在了现实面前。郎咸朋示意，现实不是为了端到端而做端到端，现实的智驾打算迭代，是“把技术全都做完一遍之后，遇到疑问处置疑问的一个捕风捉影的环节”。对手的进程不太会影响现实，李想强调，用户体验才是做决策的权衡规范。
在这个环节中，现实慢慢探索出自己的思绪。
在天津实测的时刻，郎咸朋发现天津的红绿灯是进度条式的，和其余城市的红绿灯不太一样，怎样让系统了解新的场景？这要求让系统取得逻辑推理的才干。在这个时刻，现实看到了双系统通常。
于是，现实在端到端模型外，衔接了一个VLM （视觉言语模型），这样便构成两个系统，系对抗担任行驶环节中及时的照应处置，系统二用来处置复杂的要求逻辑推理的疑问。
VLM（视觉言语模型）。图 / 现实汽车官网
端到端能否做好，关键影响起因是数据和算力。
往年终，特斯拉正式在北美推送FSD V12，现实智驾团队曾远赴美国体验该系统，总结上去，“特斯拉FSD在美国西海岸的体验确实很棒，不过到纽约之后性能急剧下滑”，这或许和数据量无关。
在这方面，郎咸朋体现出相对的自信。一方面，现实是增程车，没有里程焦虑，偏远的中央都能去，所以数据散布足够广。另一方面，被外界诟病的“套娃造车”，郎咸朋却感觉对智能驾驶来说是一种长处，一切的摄像头规格、装置位置都是分歧的，数据量十分短缺且可以复用。
海量的数据，也不是拿来就能间接用，要求挑选出优质数据，喂给系统，好让系统迅速学习、生长。现实树立了一套自己的数据挑选规范——“老司机”，依照驾驶安保状况、驾驶格调等维度对80万车主启动挑选，只要不到3%的车主经过了考核。在这套规范下，从12亿公里的原始数据里只能挑选出几千万公里的数据。
除了数量和品质，数据的配比也会影响大模型的学习成果。郎咸朋和团队曾经发现，在等红绿灯的时刻，系统总想并线、加塞。研发人员感觉很奇异，他们从没给系统输入这样的数据。起初发现，是由于他们把用户长期间等红灯的数据删除了，所以系统没学会等红灯，混杂了等红灯和堵车时的场景。补充这局部数据后，疑问隐没了。
期间到来2024年8月，车企在智驾赛道的角力意外强烈。大约一个月前，蔚来正式发表量产端到端AEB（紧急制动性能），一周前，小鹏在AI智驾发布会上强调，除了特斯拉，只要自己成功了端到端量产落地。未曾想，几天后，华为在享界S9实测中率先秀出了“车位到车位的端到端”才干。
享界S9。图 / 享界汽车官网微博
但这只是一个开局，智驾是一场费时费劲的马拉松，没有必定资本，甚至上不了赛道。
毕竟，在数据之外，影响端到端成果的另一个起因——算力，要求数额不菲的资金做后台。据郎咸朋泄漏，目前现实有1.5万张同等于A100、A800算力的GPU，每年光是在租卡上就要投入10亿人民币，但这还远远不够。未来，现实估量花在这方面的费用将高达每年10亿美元。
“假设你一年拿不出10亿美金训练系统，或许会在未来的智能驾驶竞争中被淘汰。”现实很清楚，在卷向智能驾驶的环节中，会拖死一批友商。
以下是现实汽车智能驾驶副总裁郎咸朋、现实汽车智能驾驶技术研发担任人贾鹏与每人Auto等对话的问答节选（在不影响原意的状况下，有删改）：
用系对抗还是系统二，未来大模型自己选择
问：为什么要切换至端到端？
去年一年我们做了三代技术研发，从最开局的高速做到城市，城市外面我们先是用了NPN打算。往年年终我们从“百城”切换到无图，在做无图的环节中，我们看法到无图的才干是有下限的，假设再继续做这个打算，就要求很多人和资源，去设计场景、成功场景、测试场景。
从无图再迭代到如今的端到端打算。在这个环节中，我们发现这套打算对前期的L3、L4级别智能驾驶来说，有一个十分大的疑问，就是遇到新的场景没方法正确处置。举个例子，天津的红绿灯是进度条式的，和其余中央灯泡或许倒计时类型的红绿灯不太一样。人类可以轻松识别，它就是红绿灯，并且依据红绿灯的批示，反常的中止启动。
我们要求让系统也有这种对场景的了解才干，在这个时刻我们看到双系统的通常：快系统做出及时的处置照应，慢系统对应复杂的思索和逻辑判别，双系统共同组成了人类认知和思想的机制，我们就想这套系统的通常怎样运用到智能驾驶上，最终选用了端到端模型来成功系对抗，系统二用VLM的视觉言语大模型来成功。
问：系对抗和系统二如何分工？
我们是两个模型，有两颗Orin-X，一颗是跑端到端，模型相对小一些，大略三四亿的参数量，而后跑到十几赫兹，会高频地控车，由于要实时控车。VLM只管参数量大，但也不能一两秒控一次性，如今我们把它优化到大略三四赫兹的准实时水平，大略三百毫秒的提早。系统每时每刻都在做决策，输入两个决策，比如一个是让行减速还是避让，而后第二个会给出参考的轨迹，比如说是朝这条车道还是朝那条车道开，这两个消息都会间接喂到模型里，而后同时出结果，大略是这么一个结构，系对抗并不是齐全采用系统二的意见，系统二是增强系对抗的决策。
L3阶段的智能驾驶，系对抗施展关键的作用，系统二只是一个参考或许咨询不凡状况，到L4的时刻，系统二施展作用会更多，不是说系统二时时辰刻都在控车，而是它真的在施展十分关键的决策和判别作用，在一些未知场景下，系统二的才干选择了能不能到L4，但系对抗的基础才干是L3的必要保证。
双英伟达Orin-X。图 / 现实汽车官网
问：未来两个系统集合二为一吗？
这是我们在预研的下一步，如今的想法是量产的还是两个模型，目前无图6.0曾经全国都能开了，我们想端到端+VLM这套物品可以做到全国都比拟好开，那再往后，究竟怎样做一个量产级的L4，我们的思绪是把模型的规模变得更大，容量更大，同时帧率变得更高。无时机是不是这两个模型可以合一，是走系对抗还是系统二让模型自己去选择。所以假设未来有更大的算力芯片，有更好的平台，这套系统可以施展极大的作用。
不悔恨，无图有图这些物品不去做，是领悟不到这些技术的一些特点的，技术研发就是踩坑的，踩了坑就连忙往外爬。有些友商就是做了一套物品舍不得丢掉，就掉坑里了。
问：现实的端到端技术和友商相比，优劣势在哪？
我们的双系统端到端有一些共同的中央。首先，我们的端到端模型是第一个One Model的端到端模型，跟其余友商采用的分段式有很大区别。第二，我们的VLM模型是第一个能在车端部署并且量产的模型，其余的模型或许在他自己的训练集群上做训练和测试，但真正用Orin-X这种量产的车端芯片去优化并且部署到车上，我们是第一个。而且这个模型足够大，有22亿的参数量，这曾经是一个实践意义上的大模型了。这套双系统也是我们第一个提进去并且落地的，从系统架构到系统实施上。
4D One Model端到端架构图。图 / 现实汽车官网
问：小鹏跟华为都是分段式的端到端？
依据地下资料来看是这样的。
问：要做端到端，会面临哪些应战？
我们做了一段期间端到端之后，发现十分关键的就是它的数据配比必定要做到平衡，不能由于北京上海的用户多，数据就加得多，而应该依照场景去平衡性能。由于关于Orin-X平台来说，它能允许的模型的下限或许也就三四亿参数，我能跑到十几赫兹就是它的天花板，但这1000万数据我怎样去婚配？新疆放多少，北京放多少，雨天放多少，雪天放多少，这其实要花精神去钻研这件事。这是端到端时代大家面临的一个最大应战。
1000万必需不是在某个城市或许某个场景。所以说训练也是十分关键的，我们如今在继续探求和迭代阶段，同时多版模型是在一同训练的，你的算力假设足够大，同时可以训练多版模型。
一是有没有足够多高品质的数据；二是有没有与之婚配的短缺的训练算力的集群。
问：有车企苦恼，以前的数据在端到端时代有很多用不上，他们得拆以前的桥，同时搭新的桥，又要建能够测验它的安整体系，你怎样看这个疑问？
在我看来，他这句话前后矛盾，他是说数据不那么关键，但又暗涵数据很关键。我第一次性跟李想说话的时刻，他问我你感觉成功智能驾驶最关键的是什么？过后很多人感觉是人才和资金，我和李想的想法十分分歧，我们都感觉是数据，没有数据，未来算法的训练也好，验证也好，都没有基础。
我们从2019年交付第一辆车开局，去积攒数据并且搭建我们的数据平台。大家都吐槽我们在套娃，但套娃对智能驾驶有极大的好处，一切的摄像头规格和装置的位置都是分歧的，这些数据我们齐全可以复用。其它车企有轿车，有SUV，或许传感器也不太一样，所以对他们来说确实是个应战。
问：如今国际车企在端到端这条路上是在同一同跑线吗？
国际厂商在端到端是同一同跑线，假设是看One Model的话，或许我们会上游一些。在One Model的基础上，我们首先发布了自己的鸟蛋版本，而且是千人规模这样一个比拟少量的发布和交付，大家在经常使用环节中也切身材验到端到端与之前无图打算相比，在性能和体验上的优化，这是我下判别的基础。
每年拿不出10亿美元，玩不了智驾
我们的产品团队和客观评估团队都是老司机，这些人开车的阅历十分丰盛，依照驾驶安保状况、驾驶格调等维度对80万车主启动挑选，只要不到3%的车主经过了考核。
问：现实挑选出的数据，是相对正确的？
我感觉还是幻觉疑问。我们去压抑幻觉，其实取决于前面GPU的局部怎样去参与这种处罚数据，跟教育孩子是一样的，你教育多了他就不犯错了，关键取决于最后做的好不好。
问：现实有多大算力，来允许端到端研发？
现实目前有同等15000张A100、A800算力的GPU。
端到端的四大亮点才干。图 / 现实汽车官网
问：现实每年在算力上的投入有多少？
现实租卡一年要破费10万人民币，未来或许要求10亿美金每年。
问：要求多大算力储藏，才干拿到未来的入场券？
如今现实通常上去，一年10亿人民币的算力花销，这是必定要有的。否则，要不及代速度慢，要不产品竞争力无余，未来我们感觉或许10亿美金一年是必要求有的算力投入。
我们自己也大略预算过，如今大略有15000张卡，曾经挺弛缓了，天天协调卡怎样调配，然而随着模型参数量的增长，我感觉至少要求3-4倍的算力，由于算力自身就优化了很多，那么它带宽存储都提高很多，约10万张A100对应的或许是30亿flops的算力。
问：端到端要正式推送给用户的规范是什么？
我感觉还是用户体验。我们为什么要有千人早鸟版本，而不是自己去设定一些接收目的，我感觉假设千人用户和万人用户，他们体验都挺好，就可以推，或许是逾越无图版的体验也可以。
问：从后进生到提早交卷，现实做了什么？
一是组织才干；二是效率，现实不时锻炼自己极速执行的才干；还有一点，就是我们5年来对数据驱动的工具链的树立。这个十分关键，即使如今有算力又有数据，假设没有一个完整高效的工具链或许数据系统，就不可高效运行。
问：现实的目的是往年要成为智驾相对头部，怎样定义相对头部？
最终还是看量，往年我们的AD MAX的车开售数量能否在市场上是上游的？这是最硬核的目的。我只看MAX版本的销量。
我们从6.0到端到端这一个月以来，进店量更多了，销量也优化了十几个点，这就证实用户在实打实地为你的技术买单，这是最有压服力的。
现实只落后特斯拉半年了
问：之前说，现实的产品体验落后特斯拉半年，这个论断是怎样推演进去的？
从特斯拉FSD V12.3开局，我们活期去美国测试。基本延续试了一周，西海岸东海岸都试过，感触上去，特斯拉在美国西海岸确实体现很棒，由于数据是最多的。但到了东海岸就会发现性能急剧下滑，尤其到了纽约之后基本MPI到10、11左右，其实跟我们如今在国际开基本没什么太大差异。但即使是纽约，你会发现它比上海、广州的复杂水平还是差很多。另一方面由于特斯拉可以取得很多国际没有的消息，是建在了很好的基础之上，才干做到这集体验，所以我们做出了这样的判别。
问：要到达特斯拉的这种所谓行业公认的才干，要求投入和他们一样的算力？
也不是非要看特斯拉，只是说在环节中遇到疑问处置疑问。其实就两点，一个是有短缺的数据，一个是短缺算力，这是树立在我们的模型参数的基础上，加上我们如今是两三个亿的端到端加22亿的VLM，未来或许随着下一代芯片的裁减，参数量还会增大，特斯拉曾经到百亿参数量级，是我们的5倍，5倍的数据，算力也要成倍参与。
现实汽车的智能驾驶系统考试打算。图 / 现实汽车官网
问：特斯拉是走纯视觉路途，现实保管了激光雷达，激光雷达是未来成功智能驾驶的必需性能？
激光雷达就是一个传感器，最大的作用是在安保上加分，这个安保不只是对智能驾驶系统，在人开车的时刻也可以提供安保，比如被动安保AEB、紧急转向AES等。激光雷达相关于视觉打算安保系数更高。我们把激光雷达看作安保带一样的性能，以后或许是车的标配。
问：业内以为，目前跑在最前面的是特斯拉和比亚迪。在下半场竞争中，会有什么样的格式出现？
上半场是电动化，下半场必需是智能化，接上去大家会看到我们在智能化方面的投入和体现，端到端只是一个开局。
文章为每人Auto原创，侵权必究。
本站内容来源于网络，如不慎侵犯了您的权益，请联系我们将迅速删除。
