Cruise以及其自动驾驶技术

在上次透过2021全球自动驾驶成绩单 -看哪家豪横，勤奋，介入少，自动驾驶主要问题文章中，发现一个很有意思的现象，Cruise 在自动驾驶路试的车辆，里程以及每次介入可行驶里程排名都处于第二名，数据比较稳定和一致。所以从各种指标上来推断Cruise 在自动驾驶方面应该是处于前茅。然后收到很多读者的咨询想了解一下Cruise到底是谁？他的技术有什么优势？等等一系列问题。

所以我找到相关视频以及资料，来探讨下：

• 
  

• 谁是Cruise?自动驾驶方案是怎么样的？

• 
  

• Cruise自动驾驶技术
  

• 
  

• - Cruise 感知算法- Cruise 决策算法- Cruise 的自动驾驶元宇宙验证开发- Cruise的自动驾驶工具链以及流程Cruise 未来方向




• 希望给大家一个全面的认识，也希望能给自动驾驶行业人员一些思考或者启发，Cruise比较有意思，文末有调研一起看看有多少人看好Cruise。

谁是CruiseCruise 是Kyle Vogt和Dan kan于2013年在美国旧金山联合创办，刚开始其实目标是开发自动驾驶高速自动驾驶套件RP-1然后推广到更多量产车上（这个场景我之前文章自动驾驶的先启之地-物流运输行业讲过），刚开始成功让奥迪A4和S4拥有高速自动驾驶功能。之后他们进军城市自动驾驶。随后就是2016被通用汽车看上了。

一路看来，基本上算通用汽车慧眼，或者通用汽车资本的助推，后来本田，软银，微软的加入，直接把市值现在推上了300亿美金。在2022年通用21亿购买了软银的股份，所以现在基本就是通用和本田绝对大股东，通用甚至在人事和资金上绝对主导。

所以现在Cruise在路上跑的测试车都来自于通用电动车bolt，技术方案是多种传感器冗余（5个激光雷达，14个摄像头，3个广角雷达，8个长距雷达，10个超声波）+高精地图+AI处理器。

显然从传感器的种类和数量，这些放到中国来和新势力的堆料拼参数有的一比（了解中国新势力传感器数量和种类可以点击视觉为王-小鹏以及特斯拉的自动驾驶方案）。5个激光雷达也只有通过广州车展-看自动驾驶激光雷达文中提到的长城机甲龙最多才4个，11个毫米波雷达，这种推料和拼参数的表现连中国新势力都无人能比，所以Cruise表示接下来其自动驾驶工作重点是：

• 减少以及融合各种传感器，以降低成本。减少对于高精地图的依赖，甚至未来和特斯拉方案一样不使用。为算法以及虚拟验证，设计通用的工具以及流程，使自动驾驶开发迅速高效容易规模化。

所以Cruise总结他的核心技术优势是软件以及算法，工具流程容易规模化，2023年拓展处理芯片自研装配到其自动驾驶平台车辆Origin。通过通用以及本田的合作，构建自动驾驶成本优势的自动驾驶平台例如其采用芯片到第四代时候成本减少10倍。

未来Cruise依托通用和本田合作Origin平台来实现自动驾驶出行（包括运人，运货）。

Cruise目前的计划，就是通过其软件算法，开发工具链容易规模的特征，降低自动驾驶车辆成本进行大规模拓展。

所以Cruise当前主要通过bolt进行商业化测试，未来的Robotaix 将会是其落地产品方向，当然Cruise的软件算法工具链按照创始人Kyle的初心也是容易移植和应用到其他车辆和公司。

大概了解Cruise公司之后，让我深入其自动驾驶技术，自动驾驶开发技术公司的评价，其实需要考虑到以下四个指标：

• 
  

• 感知算法能力

• 
  

• 决策算法能力

• 
  

• 虚拟验证能力

• 
  

• 开发工具以及流程

所以接下来我们通过这四个方面进行分析探讨

Cruise自动驾驶技术大概了解Cruise公司之后，让我深入其自动驾驶技术，自动驾驶开发技术公司的评价，其实需要考虑到以下四个指标：

• 感知算法能力

• 
  

• 决策算法能力

• 
  

• 虚拟验证能力

• 
  

• 开发工具以及流程

通过这四个能力，可以判断当前算法的能力，未来是不是容易快速拓展，未来是不是容易不断更新，所以接下来我们通过这四个方面进行分析探讨。感知其实自动驾驶发展到现在，很多通用的感知都不是太大的问题，环境感知的难点都藏在现实生活场景的长尾理论中：

• 不明道路物体，例如路上躺着一只猫，拉货超宽的车等不正常的驾驶，例如路上的特殊车辆警车，医护车，占到停车等不是仅仅跟随交通规则就好了，例如占到停车，借道行驶但是另外道路车辆汇入等。

虽然这些驾驶工况属于长尾问题，但Cruise 计算了在旧金山这种繁忙的城市里面，虽然是长尾的驾驶工况但发生频率却不低例如自行车匆忙行驶大概一个小时发生一次，汽车的匆忙行驶大概20分钟一次。所以对于自动驾驶这些长尾问题都是需要重点关注的，要不然安全隐患太多。Cruise当前感知的高级经理是中国人，之前供职于滴滴自动驾驶的zhang yun，她介绍Cruise感知分为四部分：

• 
  

• 摄像头

• 
  

• 激光雷达

• 
  

• 毫米波雷达

• 
  

• 声音，这比较特殊国内应该没有人提到这个感知方式。

以上四种环境感知传感器感知输入给AI主干算法处理。目前Cruise采用的算法除了主干算法还有分割，纹理分类，属性理解，目标跟随，预测，闭塞推理等

首先四种传感器应用相辅相成来覆盖各种场景和特征，例如消防车辆，他的驾驶是非常不寻常也不遵守常理， 所以通过视像头识别此类车辆的特征，通过激光雷达来检测其门等的开启（激光雷达能较好识别边缘等特征具体点击通过广州车展-看自动驾驶激光雷达，所以这也造就城市自动驾驶大家都加激光雷达原因）

再通过听觉识别其是否远去和靠近，（这个其实和奔驰的观点一样，通过加入对声音的识别来辅助识别目标物，了解点击你想知道的奔驰的L3自动驾驶-功能和硬件）如果当雨雾天气可以用雷达辅助识别。以上四种环境感知传感器感知输入给AI主干算法处理。然后分配给不同的算法任务例如

• 分割，用来识别物体例如垃圾桶。纹理分类，用来识别比较明显的车辆。属性理解，用来识别尾灯以及开关门。目标跟随预测行为闭塞推理，用来推理看不到的地方，保持谨慎驾驶。

•  

下面将对其中几个Cruise认为其有亮点和特色的地方进行分享：

对于预测行为，采用深度学习的模型来实现目标物跟踪而非采用传统算法。通过深度学习算法，比卡尔曼滤波算法快0.7s识别物体，而且更好的预测运动。所以Cruise 给出一个例子，就是在路边停着的车辆突然驶出泊车位，这个时候采用卡尔曼滤波算法的自动驾驶一般是选择停止，让行。但通过深度学习算法的自动驾驶可以不停避开行驶。

不但如此通过深度学习算法的自动驾驶还能更精准的预测驾驶行为，例如很多人在十字路口掉头的时候，先会向右打方向盘，让转弯半径变大，再左打方向掉头。这个时候一般的算法就会预测他是右转。

而这些主要基于以下Cruise的深度学习的预测神经元结构实现，其预测神经元结构主要分为以下三部分：

• 编码通过场景编码，目标历史编码，目标对目标图形， 通过Cruise“ Mixture of experts” gating(后文会介绍什么是Mixture of experts)解码的主体为初始轨迹，长期轨迹的精细化，同时伴有辅助性任务例如交汇轨迹预测，占用预测，多模不确定性，交互识别以及不确定性。自我监督，整个解码和编码如果成功就自我肯定，行为自我标签，交互自我标签。

这样一个深度学习方法可以自我们训练学习。此类方法可以拓展到各类场景例如：城市驾驶行为，一个简单的驾驶行为可以产生非常多的行为，所以Cruise将这些可能的行为编码成“Mixture of experts” 输入进入深度学习神经网络来识别所有可能的后续行为。例如，出泊车停车位，斜泊车位，有人倒出，水平泊车位，有人先倒车再前行。垂直泊车位一般先右转一点再左转出停车位。水平泊车的多次尝试，k自行的倒车。等等。

例如。当前面有自行车共同行驶时候，采用深度学习，交汇预测，交互不确定以及识别，最后通过对此事件结果进行自我标签进入深度学习下一次使用。

同理对于城市道路的人流繁忙的十字路口，同样适用。当然Cruise对于城市的不确定性也有一个task通过算法建立评估多模态不确定性，然后通过自我学习进行标签标注。

例如，一个人穿过路口，他是看到车子停在路中间还是直行。对于闭塞推理，识别不到的场景或者看不到的情况，采取闭塞推理各种场景，防御性驾驶方式

例如，汽车突然开门，大卡车盲区，十字路口推理等。对于人工智能算法的优化完善，必须要进行持续学习，所以Cruise设计位持续学习的机器，基于数据挖矿，通过对数据的挖掘可以显著增加感知的精准和有效性。

例如对于自行车的掉头， 类似于天真的搜寻持续学习保障对于自行车掉头的精准预测。以上为Cruise的环境感知的技术细节，主要亮点感知架构，预测架构采用深度学习，通过闭塞推理等保持安全谨慎自动驾驶。决策当环境提供了感知，那么接下来教给自动驾驶的是决策，在谈决策之前先要了解什么是一个好的决策？

Cruise 认为及时的，负责任的（对自己行为和他人），稳健和可重复的，决策是好决策，他给自动驾驶行为产生的结果会是，安全的，舒适的，像一个老司机。

那当前自动驾驶决策有哪些挑战呢？主要为以下两个方面： 

• 决策的密度，每个场景大概有100多次交互，5000个路径的考虑。而这种场景发生是10-100次每秒。不确定性，纵使使用无尽精准的模型，我们依然难以精准预测路面上的情况，例如十字路口自行车人摔倒等。

所以针对难点，Cruise决策机制如下：

• 决策生成，自车结合所有交通参与者的预测信息生成自车初始动作信息，由于自车有多种可能性的动作，比如加速通行、停车、避让等动作，会生成大量的备选轨迹，因此这里为了加速初解的计算效率，利用了机器学习的方法训练了一个模型，通过机器学习的方法加速选出最好的轨迹。

• 冲突解决，根据自车动作生成模块生成的初始动作，然后结合交通场景中的所有交通参与者可能的运动信息进行轨迹采样，并对轨迹进行评分，选出最好的运动轨迹，并经过多次迭代做出最好的决策（3到4次）。其中轨迹评分会考虑安全性（碰撞、远离骑行人和行人）、交通规则（停牌、红绿灯）、舒适性（轨迹平滑）、不确定性以及全局规划导航信息等。这里面还提到利用强化学习去解决不确定性问题。

• 计划执行，基于以上产生的路径，考虑车辆动态，现实环境控制干扰选择最优执行控制。

而决策的最终目的和结果主要为以下八个：

1，运动未知的不确定性例如一个是前方停车的行人去打开车门（如果按照正常预测行人应该是走向路外，如果按照预测进行决策则不安全），而这里考虑了运动学不确定性，自动驾驶车辆谨慎驾驶减速避让。另外一个案例是走到自动驾驶前方的时候自行车突然变为直行，从自车左方行驶过去，由于骑行人灵活，其预测一直是难点，而这里考虑了不确定性，提前反应保证了安全。

2，已知的不确定性一般由于自动驾驶确实感知困难，例如自动驾驶车辆右前方的车辆不能观测到，但自动驾驶车辆考虑右方有车往左方行驶，而谨慎驾驶，另外一个场景是，提前考虑到被遮挡的行人而缓慢行走。

3，3D不确定性，例如前方的路上是坡道，无法提前看到对向来车，cruise自动驾驶车辆会谨慎驾驶提前减速，这样处理是因为cruise考虑了前方是坡道的感知不确定性，当然下图属于2D无法识别3D上下坡等地形变化。

4，360环绕交互博弈自动驾驶博弈交互是难点，首先Cruise在交互时候，会考虑我们的决策怎么影响他人，他人的决策怎么影响我们，例如十字路口时候，自动驾驶车辆犹豫，那么另外车辆坚持；自动驾驶车辆坚持，那么另外车辆犹豫，还有很多情况。

通过对自车行为对他车影响及他车对自车的影响进行交互博弈决策，因为我们的自动驾驶系统中不能只考虑自身的舒适性、安全性，而不去考虑其他交通参与者的体验。我们的决策是需要在考虑整体的平衡时提高效率，所以设计评价指标时除了自车舒适性、效率、安全性等还需要考虑交互车辆的感受。这里举了两个例子，一个是让行，一个是抢行。

5，建模误差纠正一些场景没有符合我们期待的预测，例如人行道上两个人向右行走，但有一个人帽子掉了，很多种可能这人捡完帽子往左跑，捡完右跑，这里面的自由度非常大，所以Cruise采用强化学习的方法离线训练模型，进行仿真模拟确保多场景的考虑。

Cruise 用同样的方法去训练两台车同时停相邻停车位的场景，确保停车运动最优。

6，通过模仿学习决策

使用模仿学习的方法，并离线训练策略网络生成模型进行决策，例如学习前车超过前方慢行左转的车辆场景。

7，考虑滞后性

从自动驾驶车辆右方突然窜出一辆自行车，如果正常的决策流程的话很可能反应延迟撞上去，因此这里cruise利用强化学习的方法离线训练类似场景，跳过预测，直接输出决策给规划和控制，及时刹车。这里有点类似AEB（紧急自动刹车），在自动驾驶系统设计中需要考虑应急系统解决这样的场景，生活当中比较常见的事故发生原因 。

8，考虑整车动态性能（什么是整车动态性能点击干货 | 整车敏捷性Agility 开发101）

通过设计一个高保真车辆和环境的动力学模型在规划控制闭环系统，保证了自动驾驶驾驶的舒适性和安全。

以上结论，Cruise表示很自豪的采用机器学习offline 来加速决策算法的优化。

虚拟验证

显然从上文可以知道，自动驾驶主要是算法软件架构的竞争，而算法的完善需要大数据的挖掘，首先要有足够的长尾场景，基于长尾场景的corner case逼近极端状况重复测试学习得到最优解。所以Cruise 建立Morpheus虚拟验证开发系统，减少路试，利用规模化和未来拓展，这些同理类似于自动驾驶元宇宙的系统，和我们之前讲到Nvidia英伟达的 AI 智能汽车信仰中的Omniverse类似。

Morpheus提供了虚拟平台，但使虚拟平台需要构建虚拟场景，如何构建虚拟场景呢？Cruise 介绍其以下几个方面进行：

• 道路到虚拟Road to SIM， 把现实场景转化到可以编辑的虚拟场景。NPC（Non-player character） AI - 来自于游戏概念，把场景中的人，车辆赋予运动。World Gen 世界生成，规模化快速化拓展不同城市虚拟世界，而且支持不同光线和时间天气。其他同时包括对于汽车动态以及不同传感器虚拟。

当然自动驾驶元宇宙的构建并不意味着不需要测试，Cruise CEO在问题采访时候表示，其实自动驾驶算法的建立的原则使需要用户使用场景的定义输入，那么用户场景定义怎么来的呢？来自于三个方面：

1，路试以及数据采集

2，工程师的设计

3，根据路试采集的情况进行极端情况的虚拟

所以这里表示路试依然非常必要，他影响到最原始的需求定义，丰富的使用场景才能确保算法和接下来的工作正确。开发流程工具

自动驾驶的开发，其实和整车开发一样需要完善的流程和工具链才能确保众多参与开发的人员高效（了解整车开发流程点击整车开发流程-完结篇）。Cruise 宣称其工具链全覆盖从物理路试到云端代码，整个工具链相互融合数据自动流转，可以让路试数据实时传送分析，供工程师算法学习虚拟验证，可以在一周内进行多次的算法更新部署到路试车辆。

他的工具链包括：

Starfleet，Drive用于路试端的数据以及场景，一天可以采集上千个自动生产进入Webviz平台，logging，inspector，framework等工具自动提取高质量数据。Simulation系统通过采用与谷歌合作的Hydra批量调度平台进行虚拟，Galileo应该是算法管理系统. Cartographer 是 Cruise Maps 网络平台，允许用户创建、可视化、编辑和试验高清语义地图,所有地图创建和维护工作流程的中心。最后释放到starfleet 部署路试车辆。

听起来很美好，确实现代汽车开发，特别是大数据时代，工具就是生产力，我曾经见过各种因为工具和流程问题导致开发效率大大降低，纵使工程师没日没夜的加班也只是浪费精力降低创新度，这个在国内企业非常普遍，工程师拼加班时间，这是最大的浪费，用战术上的勤劳掩盖了战略上的懒惰。Cruise 未来方向当然通过上文看下来，如果问到Cruise的优势，应该是背靠大树北美的通用，日本的本田，能够快速落地毕竟这两家的汽车销量都非常高，所以Cruise不缺钱也不怕落地问题。

目前最快落地的就是Origin Robotaxi可以用于出行以及短途物流行业，依托通用以及本田的工程能力和供应链。这个项目有点像现代起亚集团的Purpose build vehicle系列（KIA起亚汽车的2030战略），也有点像咋们国内搞得很火滑板底盘（什么是“滑板底盘”？什么商业模式？）。

所以Cruise 目前得技术储备是大规模化可拓展，构建工具链，所以目前Cruise 在网上散步的信息也透露出对人才的饥渴，毕竟不缺钱，资本也希望看到接下来通过Origin的规模化，甚至对通用和本田内部的自动驾驶技术反哺。

当然除了自动驾驶落地，内部算法和工具链，Cruise也和特斯拉一样，走自研芯片的道路，芯片包括AI车端芯片，用于传感器，中央处理，也包括AI学习批量数据处理云端芯片。

所以总结，Cruise的野心在通用汽车以及本田汽车的催生下，应该是非常巨大，其商业模式以及算法工具链都为大规模铺开而准备。

那么你会看好Cruise吗？欢迎投票了解。

参考文章

通用Cruise 投资者报告 - Cruise

Autonomous Driving Moonshot Project with Quantum Leap from Hardware to Software & AI Focus - 德勤

Autonomous Vehicles: Navigating the legal and regulatory issues of a driverless world- MCCA 

自动驾驶安全报告-通用

The autonomous car A consumer perspective- Capgemini

自动驾驶测试以及部署问题 - CRS

Cruise 高清地图的三种方式为我们的自动驾驶提供优势- Cruise高级产品经理ERIN

Cruise自动驾驶决策规划技术解析 - 知乎自动驾驶拖拉机

Cruise under the hood视频-Cruise