斯坦福研发4D摄像头 强化光场摄像机画面及视场效果

据外媒报道，斯坦福大学及加州大学圣地亚哥分校（University of California San Diego，UCSD）研发了一款单中心透镜（monocentric lens），并将该透镜与多个采用了微透镜阵列（microlens array）的感器相连，大幅提升了光场（light field，LF）所能捕获的视场（field of view，FOV）——该款摄像头能生成4D影像，可捕获138°视场范围内的信息。

该摄像头被用于首款采用单镜头、宽视场（也有译为“广视域”，wide field of view）的光场摄像机中，可产生信息丰富的影像及视频帧，进而使机器人能更好地执行全球导航并了解物距（object distance）及表面纹理（surface texture）等特定环境信息。据研究人员预计，未来该项技术将被应用于自动驾驶车辆中并强化其性能。此外，该项技术还将被用于虚拟现实（VR）技术。研究人员在今年7月举办的2017计算机视觉与模式识别会议（CVPR 2017）上展示了该项新技术。   

据斯坦福大学电气工程学教授Gordon Wetzstein透露：“对计算机视觉应用的拓展而言，光场捕获及处理能力发挥着重要的作用，可提供丰富的纹理、深度信息（depth information），简化任务的复杂程度。尽管光场摄像头已实现商业化应用，但当前的设备尚无法提供宽视场影像，这是由于其在一定程度上受限于鱼眼透镜（fisheye lenses），从根本上讲，后者的入瞳直径（entrance pupil diameter）受限，进而严重制约了深度灵敏度（depth sensitivity）。”

他还表示：“在这项研究中，我们谈到了一款全新紧凑型光学设计，将单中心透镜与多个采用了微透镜阵列的传感器相连接，将光场摄像头的视场捕获能力提升到空前水平。得益于优异的光场表现能力，研究团队提出了一套全新的方法，高效地实现了球面透镜（spherical lens）与平面传感器（planar sensors）的连接，取代了价格高昂、体积庞大的纤维束（fiber bundles）。”

该团队制作了一部单传感器光场摄像机样机，旋转与固定式主透镜相对的传感器，进而模拟宽视场的多传感器情境。最终，该团队还谈到了一套处理工具链（processing toolchain），其中包括：一款实用的球面光场参数设定。此外，该团队还论证了关于室内及室外全景（indoor and outdoor panoramas with）的深度估算（depth estimation）及捕获后重新聚焦（post-capture refocus），其4D影像的像素值为15 × 15 × 1600 × 200（72 MPix），视场为138°。

Gordon Wetzstein教授与加州大学圣地亚哥分校的电气工程学教授Joseph Ford开展合作，共同推动该研究项目。加州大学圣地亚哥分校的研究人员设计了一款球面镜，可为该摄像头提供极宽的视场，其视场涵盖了摄像头周边近三分之一的区域。

Ford教授所带领的团队早前参与了美国国防部高级研究计划局（DARPA）的“SCENICC”计划并研发了一款球面镜，旨在打造一款紧凑型视频摄像头，该产品可捕获360度高清全景影像，各视频帧数可达1.25亿像素量（125 megapixels）。在该项目中，光导纤维束（fiber optic bundles）所用视频摄像头将球面影像与传统的平面影像焦点平面（flat focal planes）相结合，进而提升其画面性能，但其成本较高。

Dansereau教授

新款摄像头采用了一种球面透镜，可借助小晶体及数字信号处理来消除纤维束。Ford教授实验室的光学设计与系统集成硬件技术与Wetzstein实验室的信号处理及算法技术的结合产生了一套数字化方案，在产生极宽的影像的同时提升其图片分辨率。

该款摄像头还依赖于斯坦福大学研发的光场摄影（light field photography）技术，可提供4D影像。该款摄像头可捕获射向透镜的双轴线方向的光线，并将该光照信息与2D影像相结合。光场摄影的另一项特点是在捕获影像后可对影像重新聚焦，因为该影像包括光源位置及光源方向（light position and direction）。机器人或将采用该项技术，使其视野不受雨水及其他遮挡物的影响。

该款摄像头像常规摄像头一样，能够远距离运行，其设计旨在提升特写影像（close-up images）的品质。作为虚拟现实系统的一部分，其深度信息或将生成更多的现实场景的无缝效果图，以便更好地为实现这类场景与虚拟部件的一体化提供支持。

目前，该款摄像头处于概念验证阶段，该团队计划了制作一款紧凑型样机，用于在机器人上进行测试。该研究由美国国家科学基金会（NSF）/英特尔视觉及体验运算伙伴项目（Intel Partnership on Visual and Experiential Computing）提供资金。