自动驾驶需要更智能的激光雷达和传感器融合方式

奥迪发布带有L3自动驾驶功能的A8时，很多人都注意到了新车前脸的一款激光雷达——ScaLa。ScaLa是全球第一款车规激光雷达，研发设计它的是一家德国公司Ibeo Automotive Systems GmbH。

　　Ibeo并不是一家初创企业，1998年6月1日创立时，公司的主要业务就是车载激光雷达。在经历了2000年被并入SICK AG（一家工业传感器系统供应商），2009年被现总裁买断独立之后，便有了今天的智能驾驶激光雷达系统供应商Ibeo Automotive Systems GmbH。

　　和很多公司不同，Ibeo既可以提供激光雷达硬件，也可以提供配套的软件算法。正是因为在软件算法方面的积累，Ibeo的现有业务已经从出售激光雷达软硬件产品，扩展到了传感器融合，乃至提供整套ADAS系统。

　　虽然Ibeo已经在车载激光雷达领域潜伏了好多年，但在国内举办用户大会还是第一次。11月20日Ibeo联合国内合作伙伴北京欧百拓信息科技（以下简称“欧百拓”）正式亮相，Ibeo CEO Dr. Ulrich Lages向我们揭晓了一款更适合未来自动驾驶汽车的新一代3D固态激光雷达，也分享了一些Ibeo的经验和本土化思路。

Ibeo CEO Dr. Ulrich Lages

　　聪明的激光雷达知道“该看什么”

　　Ibeo成立至今，出售的激光雷达都是内部机械旋转式。产品主要有两款：一款就是和一级供应商法雷奥合作，完成车规量产的4线激光雷达ScaLa；另一款是LUX系列，有4线、8线两类，是很多自动驾驶预研项目中采用的重要传感器。

　　为了让传感器更智能，Ibeo会为自己的激光雷达产品提供点云处理和软件算法。目前Ibeo算法支持车道标线、目标物识别，支持的目标物分类包括乘用车、卡车、自行车和行人等。

　　在Ibeo用户大会现场，我们可以看到一张使用Ibeo激光雷达探测路面的示意图，对于Ibeo探测到的物体，都会被标准上具体分类，并提供道路信息。

　　在观察Ibeo现有产品时，我们很容易发现一个特点——Ibeo的机械旋转式产品只有4线和8线，适用于ADAS功能。而很多目标要做自动驾驶的公司，都在出售多线数3D扫描式激光雷达。

　　在我们提问线数是否越多越好时，Dr. Ulrich Lages把这个问题拆解成了两个部分来作答：1. 多线数机械旋转式激光雷达是未来车载激光雷达的方向吗？2. 自动驾驶需要的激光雷达一定是360°高分辨率吗？

　　对于第一个问题，Ibeo从车规和成本的角度考虑，看到了多线数机械旋转式激光雷达面临的挑战。机械旋转式的多线激光雷达的确可以获得更大的视场角，但收集的点云数据越多，对计算资源能力的要求也就越高，同时还要解决额外的供电和散热问题。机械旋转式的多线激光雷达是实现高分辨率探测的一种方法，但从车规和降成本方面考虑，是有瓶颈的。

　　第二个问题的想法比较特别。根据Ibeo的经验，我们需要的高分辨率并不是全环境的高分辨率，要做的第一步其实是发现哪些是真正影响本车行驶的路面目标。就像人开车看路时，对焦区域也只有5°，激光雷达不必达到全视野的“清晰”，聚焦区域外的阴影变化，就已经足以支持激光雷达做出判断。最后适用于自动驾驶的激光雷达，可以智能锁定那些会对本车产生影响的目标物，再把足够多的分辨率分给这个目标物。

　　因此对于未来的自动驾驶激光雷达，Ibeo选择直接跳过机械旋转式的多线数激光雷达，把更多精力放在下一代雷达技术研发上。他们认为下一代车载激光雷达应该彻底摆脱掉旋转部件，而且在“该关注什么”这件事情上足够智能。

Ibeo固态激光雷达模型

　　在接受车云菌专访时，Dr. Ulrich Lages介绍了他们心目中的下一代激光雷达 ——固态3D激光雷达。关于这款产品的技术方案他没有透露，只是向我们揭晓了产品的部分参数：探测范围可以达到0-300米，水平视场角范围可以根据客户需要定制。第一代固态激光雷达的水平角分辨率会做到0.25°，第二代升级为0.1°。

　　目前这款固态激光雷达还在A Sample阶段。2016年8月1日，采埃孚收购了Ibeo 40%的股份，主要合作研发的就是这款新型固态激光雷达。根据计划，新款固态3D激光雷达会在2021年完成车规量产。

　　自动驾驶需要原始数据层的融合

　　在聊到传感器融合时，Dr. Ulrich Lages认为现有的传感器融合方式（目标层融合）不能满足自动驾驶的安全需要，未来我们需要原始数据（Raw Data）层的深度融合。

　　这里做一个简单的科普。

　　所谓目标层的融合，是指摄像头、激光雷达、毫米波雷达这三个核心传感器各自提取目标，然后不同传感器间比对，得出一个结果——比如前方有一辆卡车。

　　这种融合方式会有一个问题——当不同传感器各自生成目标时，和目标无关的数据就会被丢掉。但实际上这些被过滤掉的原始数据可能包含有意义的特性信息，可以跟其他传感器数据融合，帮助做出更准确的判断。

　　一个例子很容易形容目标层融合出现的分歧。

　　上图中因为角度的问题，每个传感器看到的红球数量是不一样的。1号传感器检测到一个物体，2号传感器检测到两个物体。于是在传感器融合时出现了无法判断的情况。

　　Dr. Ulrich Lages认为，相比每个传感器给出自己的判断，更重要的是传感器告诉你它可能漏掉了什么。传感器融合的工作是建立一个数学模型，输出对目标物体可能性的一种描述。

　　因此，上面例子中，1号传感器在有限的视野中只检测到了一个物体，但它提交的报告应该是：因为有物体遮挡，所以我能确定的物体是“有一个，但还可能存在其他物体”。2号传感器可以毫无疑问地“确认检测到两个物体”。这样，传感器融合后可以轻易得出“前方有两个物体”的结果。

　　鉴于对传感器融合的理解，Ibeo除了提供激光雷达软硬件产品，还延展到提供传感器融合服务，核心技术就是建立上面提到的数学模型。

　　Dr. Ulrich Lages告诉车云菌，Ibeo自2005年开始研究多个激光雷达传感器的数据融合，并在几年前开发了新的概念模型，用于激光雷达和其他传感器数据的融合研究。他们在定义传感器融合的标准接口，包括每一类传感器在融合时提供的数据结构、采用的数据加密模式。

　　中国的本土研发与产品化

　　不同地区的交通场景不同，决定了自动驾驶研发需要区域定制。在中国，帮助Ibeo在中国落地产品的是欧百拓，这家初创公司成立于2015年初。其创始人剧学铭博士曾在德国慕尼黑工大任教，有多年参与宝马研究院自动驾驶项目的经验。

　　经历了激光雷达的科普期后，目前欧百拓根据中国市场的自动驾驶研发需求，主要在做两项工作。

　　一项是提供用于自动驾驶评测的参考平台。

　　例如在验证待测视觉传感器技术是否达标时，传统方法是人工在线下一帧一帧捕捉摄像头收集到的图像，标记出行人、车辆等目标。这种做法效率低，时间成本高。Ibeo的评测平台用激光雷达和算法代替了人工。在公共道路完成测试后，研发人员可以将数据导入到这个平台，自动完成对真实数据的标定。

欧百拓的测评车

　　另一项工作是做本地的算法研发，进行激光雷达的数据采集和场景分析工作。

　　车云菌在会场外，看到了一辆Ibeo欧百拓的数据采集车。车上有六个LUX四线激光雷达，和两个Sick一线激光雷达。欧百拓工程师告诉我们，采集车主要做的工作是采集本地数据，用于激光雷达软件算法研究，希望能提供更适用于中国交通环境和驾驶习惯的软件算法。剧学铭博士告诉车云菌，欧百拓与Ibeo合作的本地化自动驾驶落地项目，也将在近期公布。

　　车云小结

　　对于自动驾驶需要什么样的激光雷达，Ibeo给出的答案很克制。Dr. Ulrich Lages强调，满足未来L4\L5自动驾驶的传感器还未出现，不同传感器都要做技术迭代。剧学铭博士也告诉车云菌，要实现数据层的深度融合，不同传感器之间的配合会更紧密，需要更深层的数据共享。

　　因为很早就和车企共同进行自动驾驶预研，我们在和Dr. Ulrich Lages讨论产品时，可以感受到一种“熟知完整系统后再收敛到具体模块需求”的思考模式。这是在和其他激光雷达公司交流时，从未获得的体验。Ibeo也在用这种模式，探索着自动驾驶最终落地的方式。

　　以下为Dr. Ulrich Lages采访速记，车云菌做了不改变原意的删减：

　　Q：Ibeo正在研发一款固态3D激光雷达，能向我们详细介绍一下吗？

　　A：我们的新款激光雷达是一款3D激光雷达，可以检测车道线，地面覆盖物，目标物等等。探测范围可以达到0-300米，水平视场角可以达到32°，第一代固态激光雷达的水平角分辨率会做到0.25°，第二代升级为0.1°。可以根据客户需求定制。

　　Q：为什么传感器融合很难？

　　A：过去，人们在传感器探测到物体的时候会很高兴，因为识别物体这块很难做。但现在不一样了，你可以使用不同的传感器，有雷达、摄像头、激光雷达等等，它们都可以提供对目标物体的识别信息，但它们可能提供的是不同的信息，比如前方是三个物体，前方是四个物体，所以你需要找到解决这种争议的方法。

　　在自动驾驶应用中，重要的是传感器告诉你它可能漏掉了什么，而不是它识别到了什么物体。但是现在的传感器都在报告它们探测到了什么物体，也就是说提供给你的是各种各样的信息，这些信息是令人困惑的，因此也难以进行融合。

　　举例来说，在我们刚才进行的这个小小的实验中，1号传感器在有限的视野中只检测到了一个物体，但它提交给你的报告应该是：因为有物体遮挡，所以我能确定的物体是有一个，但还可能存在其他物体。对2号传感器来说，可以毫无疑问地确认检测到两个物体。因此，经过传感器融合就可以轻易得出前方是有两个物体的结果。

　　所以你会发现，传感器融合结果准确与否，很大程度上取决于各个传感器对自己局限性的认识。这些局限性可能包括其他物体的干扰，或者是有隐藏的部分，也可能来自于天气条件的干扰等，因为雷达、激光雷达等在雨天或者雾天的表现各不相同。每个传感器都应该上报自己的局限性，最终，这就意味着每个传感器提供的信息，包括原始数据，其实就是可能性的问题了。

　　之后，如果有某个固定的标准，每个传感器能够提供包括点云、可能性、可靠性在内相似的信息，你就能据此建立一个数学模型，但该数学模型输出的结果依然只是对目标物体可能性的一种描述，但这已经是一种生成环境模型很好的方式了。这意味着，最后就不存在上述实验可能出现的，到底是一个物体还是两个物体的争议了。

　　但问题在于，这样的数学模型是非常复杂的。绝大多数人在进行传感器融合时，一般开始采取的都是传统的方法。即你可能最开始只有一个雷达，紧接着有摄像头加入，这个时候就要融合雷达和传感器的数据。你可能发现了两种传感器提供数据有分歧，但通常人们是基于具体的使用案例来解决存在的争议的，比如在这个案例中我们主要参考摄像头的数据，因为雷达的数据并没有更可靠，结果就是随着传感器数量的增加，你就无法建立持续性的数学模型，因为它是基于不断进化这个基础产生的。如果采用这个方法来进行传感器融合的话，你可能永远都无法实现L5级的自动驾驶。

　　那么采取其他截然不同的方法呢？

　　你首先需要先建立一个数学模型，然后再根据这个数学模型来设计传感器，但不是很多公司会选择这种方法。因为一旦建立了数学模型之后，你就定义了接口（interface），即使有某个传感器失能，你完全可以选择对这些传感器的数据不予理会。

　　Q：做软件的开发人员需要懂其他传感器吗？

　　A：是的。你需要对其他传感器有基础知识的了解。因为你希望每个传感器能够提供相似的信息，而且你如果要比较两个不同类型传感器回传的数据，一定要保证这些数据是通过相似模型产生的，否则是无法进行比较的。

　　所以我们朝着这样的方向努力，保证传感器供应商提供的数据是通过某种标准生成的，即便不同的供应商提供的是不同的传感器，但它们上传数据的端口都是一样的，因此很容易将这些即插即用的传感器数据进行融合。

　　不过现在绝大多数都不是采取的这样方法，在你想要增加摄像头、雷达、激光雷达等传感器的时候，你可能就得从头开始了，你得搞清楚到底要怎么使用这些传感器的数据。这样就太糟了，浪费时间，不是高效的解决方案。如果未来我们能提供更多标准化的接口，传感器提供更多和自己探测能力匹配的数据，这样传感器融合也将能够更容易地进行。这也意味着你可以替换不同的传感器，比如说将A雷达换成B雷达，它照样会起作用。

　　Q：您能具体介绍一下Ibeo Reference System这款产品吗？这是用于自动驾驶汽车测试的产品吗？

　　A：如果一家传感器供应商生产了新的传感器套装，那它一定需要在公共交通中来测试这套传感器的性能。当在公共交通中测试并搜集数据后，剩下的还需要对这些数据进行分析处理。

　　但是通过雇用人工进行手动标定障碍物的方法耗时耗力，花费不菲。假设高速公路上实现一个小时的简单场景，可能就需要100个小时的人工标定工作。如果是更复杂场景的话，这个时间还会翻倍。因此，当你希望了解所搜集的数据是否有用时，通过传统的人工标定的方式其实是十分不可取的，这会大大拖延产品投放市场的进程。

　　有了ibeo Reference System，在公共道路完成测试后，可以将数据导入到这个平台。我们会基于时间轴上目标轨迹追踪历史来处理这些数据，通过算法自动完成对真实数据的标定（ground truth data），这要比人工更准确更快。这意味着假设你提交了8小时的测试数据，那么只需要8小时即可完成对这些数据的测算和标定，供系统分析使用。采用其他解决方案的话，你可能得等几周时间。

　　越来越多的公司出于时间和成本的考虑会优先选择ibeo的这套解决方案，这是我们业务增长非常迅速的一个版块，在中国已经由我们的合作方欧百拓开始提供相应的支持方案。

　　Q：从ADAS到自动驾驶，ibeo会提供哪些不同的产品用在哪些不同的阶段？

　　A：现在如果我们要测试一辆车，我们会直接从经销商那里买一辆车回来，我们打开CAN总线，将一个网关放进去，这样我们就能获得对整辆车子的控制权。之后我们启动车子，它就能够正常行驶了，但车子并不会觉察到增加了一个额外的网关，但我们却可以影响车子的转向、刹车等。这意味着在L5级别的自动驾驶，所有汽车内部传输的数据必须以安全加密的方式进行。

　　这其实需要一个和现在传统车型完全不同的架构，这意味着每一个传感器传输的信息必须是安全加密的。

　　但我们现在还没有这样的传感器，如今的传感器无法以这样的方式对传输数据进行安全加密。这其实是一个循序渐进的过程，随着技术的进步，整个汽车电子架构也会朝着更安全的方向演进，但是现在还没有能够让L5自动驾驶成为现实的架构。

　　所以让人们在谈论你需要多少ECU来做冗余，你如何在车内从A到B传输数据，所有人都明白如果要将车内数据向外传输的话，网络信息安全是首要考虑的问题。但车内数据的传输又如何呢？你可以为驾驶开发任何功能，只要有安全员在，就可以保证没有其他人对这辆无人车进行篡改。所以在L5自动驾驶实现后，车子本身要变得很聪明，能够自我保护，比如说在自我检测到异常后能够靠边停车等，保证乘客的安全。

　　所以目前量产的传感器并不符合L5自动驾驶要求，它们绝大部分是面向驾驶辅助功能应用开发的。

　　在机器完全取代人进行驾驶后，自动驾驶系统需要聪明到能够探测到异常的地步。尽管目前我们可以开发像L5级自动驾驶的功能，也可以进行相应的展示，我们甚至可以将这些车辆放进公共交通流中，但这将面临着非常大的风险。因为传感器并不完美，传感器融合技术也并不到位，数据传输也无法做到安全加密，我们还面临着很多方面的挑战，所以目前的自动驾驶还无法凌驾于ADAS之上。

　　对驾驶辅助系统而言，我们可以逐步开发各项功能，驾驶员可以起到督导的作用，但是自动驾驶就不一样了，目前还没有哪家公司可以提供完整的解决方案，我们还没到这项应用量产的技术。

　　Q：为什么Ibeo的激光雷达线只有4线或8线，激光雷达的线数是越多越好吗？

　　A：线数越多，就需要更多的能量来发射所有的激光。使用多线数激光雷达会存在能量的问题，供电的电池很快就会耗尽；会存在散热问题；会存在计算资源能力上限的问题，这些数据用于传感器融合时，数据量非常庞大。

　　我们需要的是覆盖车身高和宽的探测范围，所用线数的多少取决于具体案例和环境。当你开车的时候，你的集中观察的区域大约是5度，只要有5度你就能知道发生了什么。如果有一辆车快速地从路边切入，我问你那是一辆什么车，你可能并不知道具体是什么车。但是你可以感觉到有一辆车突然开过来，你可以看到一个影子，并且根据影子变化采取行动。

　　每个人都在研发传感器，希望覆盖非常大的范围。比如摄像头可以看到非常广泛的区域，但是在处理数据的时候就会出现问题。我并不认为这是一个关于需要越来越多线数的问题，而是智能可适应的传感器，可以根据环境的情况做相应的调节。

　　最后我们需要的传感器，会有特定的探测距离，探测角度，解决方案会足够好去探测和自动驾驶汽车有关系的物体。这个东西可能很小，比如路上的石头，有时候是一个大卡车。对于大卡车，我们自然不需要那么多的线数。对于路上的石头，如果我知道它在那里，我就可以把探测区域集中在那么一小块，而不需要全环境360度的探测，这种360度3D探测方式下，会有很大的探测区域是天空。

　　Q：Ibeo目前整个研发团队有多少的人员储备？

　　A：2005年我们开始进行传感器融合技术的研究，最初只是进行多个激光雷达传感器数据的融合研究。几年前，我们开发了新的概念模型，用于激光雷达和其他传感器数据的融合研究。我们的团队增长迅速，在传感器融合方面的研究我们现在有几十人的规模。