立体视觉或比雷达更适合自动驾驶

雷达技术一直在变得更好；如Magney所言，它抵抗天气的能力比摄像头更好。在另一方面，雷达的最大问题仍然是“误报”。

一家成立由20名员工组成的日本新创公司ITD Lab正在开发一种“智能立体摄像头”(Intelligent Stereo Camera，ISC)技术，锁定包括先进驾驶辅助系统(ADAS)、自动驾驶车辆、无人机、建筑用工具机、工业用机器人等应用。

ITD Lab的秘密武器是首席技术官実吉敬二(Keiji Saneyoshi)，他是日本车厂斯巴鲁(Subaru)智能驾驶辅助系统EyeSight之父，是该车厂原创立体视觉系统“Stereo Range Imager”幕后的首席工程师；実吉任职于Subaru时率领的团队，开发了第一套只利用立体摄像头(stereo cameras)来侦测物体，例如车辆、行人、自行车或机车骑士的驾驶辅助系统。

Keiji Saneyoshi

実吉在1998年离开Subaru进入学界，在东京工业大学(Tokyo Institute of Technology，TIT)担任教授直到2017年初；他在TIT任教期间指导的团队进一步提升了原始立体视觉算法，并在2016年5月成立ITD Lab

显然先进的立体视觉(stereo-vision technology)技术就是実吉与ITD Lab的专长所在，该技术可提供“距离估算”(distance estimation)，这是单眼摄像头无法做到的。然而，传感器融合在现今汽车产业领域蔚为风潮，ITD Lab推动立体视觉在ADAS的应用似乎是违背直觉。

尽管立体视觉曾经被视为ADAS来说至关重要的差异化技术，聚焦于高度自动化驾驶车辆的一线汽车零组件供应商(Tier One)与车厂倾向于认为立体视觉不那么相关；产业界形成的共识是，单视觉(Monovision)的局限可以透过单眼摄像头与雷达的结合来解决。

実吉坦承，雷达-单视觉方案确有进展，不过他仍然对ITD Lab的立体视觉技术有信心，因为该技术不需要融合雷达数据，能提供在3D距离量测、自我位置识别、防碰撞、物体追踪、车道识别、道路边界识别等方面表现卓越性能，速度可达每秒60讯框(frames)、最高甚至可达每秒160个讯框。

曾受教于実吉的ITD Lab首席执行官小仓明宏(Akihiro Ogura)接受EE Times采访时表示，该公司技术的其他优势包括支持“自动校准”(automatic calibration)，能吸收制造失误与安装时的连接失误；而小仓强调，ITD Lab的技术目标是以较低的成本提供最高安全性，该公司应用于ADAS的解决方案之成本会低于Intel/Mobileye的方案。

ITD Lab是在一个黑盒子里提供其先进立体视觉算法，以储存在ROM中的程序代码形式，用以启动Intel-Altera的Cyclone FPGA。

ITD Lab展示其智能立体摄像头(左上) （来源：EE Times）

与EyeSight系出同源

虽然ITD Lab是一家新创公司，却因为技术与Subaru的EyeSight有血缘关系而很少遇到信誉相关的问题。如技术顾问公司VSI Labs创办人暨首席顾问Phil Magney所言：“EyeSight是很可靠的解决方案，而且已经存在市场好一段时间；Subaru在推出前向(forward-facing) ADAS解决方案后不久就赢得不少赞赏，这成为Subaru车用安全解决方案阵容的基础。”

以実吉在Subaru开发的Stereo Range Imager为基础，ITD Lab声称其解决方案有进一步的改善，特别是在自动校准、视差影像精确度(parallax image accuracy)、计算性能(平行处理优化)等方面。不过也有部分产业观察家指出，立体视觉不再是ADAS的唯一解答。

针对Subaru的EyeSight，市场研究机构The Linley Group资深分析师Mike Demler的观察是：“Subaru显然利用了双摄像头进行距离估算，以支持其适应性巡航控制与自动剎车/油门等功能，这是罕见的选择；”他指出：“雷达现在是该类功能更热门的技术选项，也更精确可靠，因为不必顾虑光线情况与雨雪等情境。”

而Demler指出，使用立体摄像头的唯一理由是3D建模以及距离估算，他猜测実吉选择立体视觉方法而非摄像头-雷达系统，只是因为他对前者比较熟悉。不过実吉坚称，立体视觉方案──藉由在整个流程中保持光流(optical flow)──能让ADAS更简单而且容易，因为不需要传感器融合。

VSI Labs的Magney部分同意実吉的意见；他指出：“采用立体视觉做为主要传感器，就不必担心雷达，”而且能让你“把所有的处理程序包进立体视觉模块中，所以在布署之前一切都设定妥当；”然而他也指出：“更常见的方法是将单眼摄像头搭配雷达，可以更合理地量测物体的深度以及运动。”

确实，雷达技术一直在变得更好；如Magney所言，它抵抗天气的能力比摄像头更好。在另一方面，雷达的最大问题仍然是“误报”。随着传感器融合的势力不断扩大，ITD的立体视觉技术有可能已经过时，但该公司首席执行官小仓在充分意识到所面临的艰困市场竞争之同时，也表示：“给我们机会证明我们的技术，你一定不会失望。”

支持立体视觉技术，你不是一个人在战斗

日本新创公司ITD Lab并非唯一看好立体视觉技术的业者，还有包括汽车安全系统制造商Autoliv、Subaru/Eyesight以及Ambarella (VisLab)，也提供立体视觉解决方案。

市场研究机构The Linley Group资深分析师Mike Demler表示，来自欧洲的自动驾驶技术开发商AIMotive曾示范过利用立体摄像头支持高阶自动驾驶；技术顾问公司VSI Labs创办人暨首席顾问Phil Magney则指出，除了前面提到的那些公司：“有少数一线(Tier Ones)汽车电子厂商也仍支持立体视觉技术，就算目前没有将该技术列在产品列表中，也会提供立体视觉方案的询价(RFQ)。”

相较于其他立体视觉解决方案，ITD Lab首席技术官実吉敬二(Keiji Saneyoshi)强调，该公司的优势在于两个方面：“我们提供更清晰的物体边缘(object-edge)侦测，而且我们的处理速度快很多──大概是Subaru EyeSight速度的十倍。”

CMOS影像传感器拍摄的影像 （来源：ITD Lab）

ITD Lab竞争对手之立体视觉技术拍摄的影像 （来源：ITD Lab）

上面的第一张图是以CMOS影像传感器拍摄的影像，第二张图则是ITD Lab竞争对手的立体视觉技术所撷取的影像；実吉指出，物体之间的边缘粗糙而且模糊，可能导致某些物体消失在背景中。下方的影像则是由ITD Lab自家立体视觉技术拍摄的，每个物体的边缘更锐利，强化了可藉由转向避免碰撞的能力。

以ITD Lab立体视觉技术拍摄的影像 （来源：ITD Lab）

功能齐全的SoC

而ITD Lab与其他计算机视觉处理器业者的最大差异化所在，是実吉坚持利用FPGA做为视觉加速器，他相信FPGA不只对该公司的立体视觉算法很理想，也能在未来用以执行CNN或DNN等人工智能神经网络：“FPGA的平行处理流水线是为深度学习量身打造。”

虽然目前ITD Lab的智能立体摄像头(Intelligent Stereo Camera)还未提供深度学习功能，但该公司首席执行官小仓明宏(Akihiro Ogura)表示，他们计划利用“一款低成本FPGA”添加AI功能。根据ITD Lab代理商Macnica/Fuji Electronics总经理荒井文彦(Sachihiko Asakura)的说法，该公司正准备导入来自第三方业者的深度学习解决方案。

对此VSI Labs的Magney表示：“对ADAS来说，没有AI功能不会是一个缺陷，因为该类系统主要是决定性应用；不过对更多先进应用(例如自动驾驶)来说，你会需要对AI技术有所著墨，以保持与市场的关联性。”

ITD Lab的実吉坚信，立体视觉处理是在未进行训练的情况下侦测一般物体的理想方案；相较之下单眼视觉可能会在遇到未经过训练的状况时错失物体侦测；“举例来说，Volvo的自动驾驶技术据说在识别马路上的袋鼠时遭遇困难，”他表示，袋鼠的跳跃动作会混淆单眼相机的视觉处理。

但The Linley Group的Demler并不赞同，他提出的疑问是：“单眼视觉物体侦测与识别算法都已妥善经过证实，ImageNet竞赛都是以单眼拍摄影像为识别内容，这不是很有趣吗？”他进一步表示：“神经网络推理引擎是分类气，它们会计算一个物体有经过预先训练的概率，如我们所知道的，Uber的系统其实有侦测到牵着自行车穿越马路的女性路人，但软件当机了。”

对于Uber自驾车在美国发生的撞人致死事故，実吉的疑问是Mobileye视觉处理器有没有在足够快的时间内侦测到行人。为了证明今日的ADAS技术性能，Mobileye在来自警方提供之Uber交通事故视频馈入上执行其软件；英特尔资深副总裁Amnon Shashua在去年3月的一篇部落格文章中表示：“尽管条件不理想，大多数出现在实际场景中的高动态范围数据可能丢失，但在发生撞击大约1秒之前能达成清楚的侦测。”

実吉也有做过一样的工作，在Uber事故的视频馈入上执行其软件；根据他的说法，ITD的智能立体摄像头能在撞击发生前2.23秒侦测到穿越马路的女性行人。如下图所示，第一栏是单眼视觉处理器撷取的影像在撞击前1.29秒侦测到物体，第二栏是ITD的立体视觉撷取到的影像，第三栏则是警方提供的事故发生当时监视录像。

以不同技术模拟侦测Uber美国的撞人致死事故 （来源：ITD Lab）

ITD Lab准备推出其智能立体摄像头芯片──储存一组用以处理视差影像数据之FPGA程序代码的ROM芯片──以及包括光学组件在内的参考设计开发板；该公司表示，至少将有一家Tier One厂商正在评估其技术，而実吉表示该方案的功耗是3瓦。