事件相机正缓慢而稳定的上升

翻译自——EEtimes, Tobi Delbruck

在过去的20年里，CMOS图像传感器(CIS)的投资大约有10亿美元，这些美丽的成像仪每年都会带来数十亿美元的市场。随着CIS成为一种商品，神经形态的硅视网膜“事件相机”的发展停滞不前，直到三星和索尼最近将其最先进的图像传感器处理技术推向市场，获得了工业上的价值。

首先了解一下事件相机产品特点：

清晰：最高500万像素的记录图像，还原细节更清晰；

高效： 由信号触发上传视频/图片，剔除冗余信息，追溯，分析更方便；

量大：事件相机内部存储空间达32G，可存储35~1000个记录

坚固： 工业级设计，更适合于工业恶劣环境；

灵活： 可配合多种传感器灵活使用，独立个体安装灵活；

简单： 即插即用，浏览器访问设置（Sopas Air），无需另装软件；

安全：只有授权方可访问数据，防篡改。

我们在2006年ISSCC会议上推出的事件相机采用了350纳米工艺，包括40微米的超大像素。即便如此，CIS像素还是下降了几微米左右。2017年，三星发布了一篇ISSCC论文，使用的是9微米像素、背光VGA动态视觉传感器(DVS)，这是基于他们的90-mn CIS芯片。与此同时，insi公司发布了一款巧妙的双强度+ DVS像素的产品，其像素只有7.2 um。

三星和索尼都已经建立了基于堆叠技术的5um以下像素的DVS，在堆叠技术中，背面发光的55纳米光电传感器晶圆被铜撞击到28纳米的读出电路readout wafer上。

工业发展也带来了事件读出速度的惊人提高。这些巧妙的设计使DVS像素降至标准的全球快门机器视觉和自动相机像素大小。这意味着DVS有机会在“百万像素竞争”中成为一种可行的大规模生产视觉传感器技术。

神经形态硅视网膜的发展是一个很好的例子。硅视网膜事件相机的发展可以追溯到1989年福岛国彦的照相机，以及Carver Mead 和Misha Mahowald在20世纪90年代初在加州理工学院的研究。

我作为加州理工学院的研究生加入了这个项目，Mahowald和Mead是我的导师。我们神经形态工程师相信我们可以制造出像生物眼睛一样工作的相机。经过10年的早期工作，我们的“硅视网膜”像素实在是太大了(也就是说太贵了)，它们拍出来的照片很糟糕。

同样重要的是，它们没有对CIS提供足够的优势。

所有这些早期发展都是在独联体不断改善的同时发生的。当我和Patrick Lichtsteiner提出DVS像素电路时，我们在欧洲项目“鱼子酱”(CAVIAR)的工作中出现了某种突破。Anton Civit帮助我制作了第一台USB DVS相机。我们卖了几百个128-x-128像素的DVS相机给神经形态社区的早期采用者，他们不是ASIC的开发者。这种像素架构是所有主要参与者的所有后续代的基础(即使他们在自己的网站上没有这样说)。

DVS比以前的硅视网膜和标准相机带来了一个“独特的销售亮点”，因为它结合了稀疏，快速的峰值输出，可靠地响应低对比度的自然场景，同时提供了巨大的动态范围和速度。早期的DVS摄像机允许神经形态研究人员利用这项技术来确定它的潜力。

十年后，传统的机器视觉和机器人研究人员也做了同样的事情。如果没有我的学生Patrick Lichtsteiner、Raphael Berner和Christian Brandli，这一切都不会发生。他们现在领导着几家创业公司。另一个关键因素是来自UZH和ETH对基础技术发展的长期支持，还有来自欧洲委员会未来和新兴技术计划的资金。

在工业中的应用

在工业应用领域，事件相机（EventCam）尤其适合如下的场景：

安全区域闯入追溯

在工业生产的时候，安全扫描仪/安全光幕等等安全产品是作为人身保障的重要因素。由于工厂环境复杂，偶发人员误闯入或物体掉落到安全产品的检测区域内，进而导致报警信号产生，甚至影响正常生产。借助事件相机（EventCam）便可将这报警信号产生的前后的过程记录并保存下来，方便后方管理人员了解报警信号产生原因，改进流程达到提高生产效率。

倒包故障记录追溯

包装输送带上倒包故障让人相当头疼，配合SICK的智能传感器捕捉到倒包故障信号，事件相机（EventCam）记录倒包故障前后情景，为后续工艺分析改善提供有力支持，减少故障提高产能。

AGV碰撞记录追溯

在AGV/AGC上，事件相机（EventCam）由扫描仪/光电接近等传感器触发，记录保存其停车/碰撞的前后情景，为AGV/AGC行驶提供更有质量的行驶记录支持。

机械手装配故障记录

机械手在装配芯片到工件上时，机械手需要根据工件的尺寸及方向调整它的姿势，以便正确将芯片放到工件上。对于偶有芯片掉落或者装配不正确时候，设备发出报警信号，事件相机（EventCam）借助该信号记录其故障产生前和产生后的情景，便于后方管理人员快速找到和清晰了解故障的原因。即使故障偶然发生，也不会漏掉任何一个故障场景。

设备内部运行监控记录

对于监控设备运行状态，尤其不方便人员观察的场合（如被外壳遮挡的设备内部/有强光伤害人眼等等），事件相机可置于设备内部，帮助人员观察。配合设备的信号，可以轻松追溯/还原关键的情景信息。

输送带包裹条码检测监控记录

输送带上包裹的条码读取，偶会发生读码设备无法读取条码的情况。借助条码阅读器上的报警信号，事件相机（EventCam）可记录无法读取条码的情景，便于工程师了解原因，为后续分析和工艺改善提供支持。

无人工厂

事件相机（EventCam）置于无人工厂的关键位置，借助外部触发信号（如故障/启动等信号），记录和上传其信号发生前后的视频/照片信息，并上传到远端的服务器上。为管理人员对工厂设备工艺/流程/故障等提供快速，真实的场景记录，便于改善生产，提高效率。

日益增长的生态系统

与CMOS图像传感器类似，事件相机初创公司insi(被索尼收购)、iniVation(负责iniLabs任务)、上海赛睿科技(CelePixel)和高端公司Prophesee也已成立，并出售自己的产品。其他人肯定会效仿。

最近，主流的计算机视觉研究人员(主要通过学术合作或我们的神经形态研讨会)介绍了事件相机，并发表了来自事件相机的引人注目的结果。基于事件对亮度变化敏感的DVS在这些社区已经成为“事件相机”的同义词。尽管最初的神经形态定义包含了更广泛的一类视觉传感器，能够模仿生物视网膜的计算能力，但事实就是如此。

在过去的30年里，事件相机技术稳步发展。如果COVID-19的影响对研究不是很大的话，我们可能会在未来几年看到这些传感器的大规模生产(消费者可以在商店货架上找到三星的DVS产品)。从设备物理到CMOS电路设计，再到由人工智能驱动的机器人系统，我们一直在不同的层面上玩DVS，从中获得了很多乐趣。

现在我们把DVS的开发主要看作是一个工业企业，但是在过去的5年里，正是对稀疏计算的高度关注导致我们在硬件AI加速器中开发了激活稀疏性。在我们的大脑中，这些人工智能加速器只在需要的时候计算。这种方法被神经形态工程师推广了几十年，现在终于在主流电子学中得到了应用。

基本的神经形态组织原理，就像卡弗·米德可能说的那样，是只在需要的时候在那里计算。