搭载AI技术智能机摄像性能提升巨大 何时可以逼停传统相机？

随着AI技术的发展，AI技术渗透进了各种领域，在摄像领域，今年即将推出的智能手机3D传感器只是AI摄影技术的冰山一角。据说这一技术不仅将纠正智能手机传统相机的缺点，还将为大大提升照片质量。

摄影在我们现在的智能手机时代已经发生了质的改变。除了技术的提升，手机摄像头在光线捕捉以及细节处理抓拍降噪等整个过程完全都有了不小的提升。相机不再只是一组简单的镜头和传感器，相机还是一组算法的集合，这些算法可以自动处理图像，可以获得通过桌面软件进行数小时处理修图的效果。可以说科技时代社摄影已经成为计算算法摄影，再加上现在的人工智能机器学习，将给摄像带来更多的进步和惊喜。

最近的一个例子我们可以看到是谷歌Pixel 3智能手机拍摄的照片，以及苹果iPhone X拍摄的照片对比。我们可以看到，谷歌使用机器学习技术，使得其在低光照条件下可以捕捉更多的细节，使夜景甚至看起来像白天，这些不是自然的镜头，是经过计算处理后的照片。

苹果公司从2017年推出iPhone X开始，添加了“bokeh”焦外成像，巧妙地提升了图像背景模糊虚化处理。这并不像传统摄影那样通过更换镜头来实现的，这个是要在捕捉到图像后对其进行计算调整才能达到的效果。

如果摄像算法不断改进能够大大提升图片质量，希望能纠正智能手机摄影中固有的失真问题，这些失真使得智能手机还是比不上数码单反(DSLR)照片。

卷积神经网络(CNN)是如何从一张图片中重建现实的。来自查尔默斯理工大学的Torsten Sattler，慕尼黑理工大学的Qunjie Zhou和Laura Leal-Taixe，苏黎世理工学院的Marc Pollefeys和微软的“理解CNN的绝对姿势回归的局限性”。

事实上，算法还可以达到类似于镜头倾斜相机的效果，镜头倾斜相机中镜头的角度是为了弥补一一些特定的角度，从而纠正由于个人与场景之间的角度造成的图像失真。数码单反可以切换特定的镜头达到倾斜的效果。

我们一般的传统手机相机都只配有一个非常小的镜头，这个小镜头捕捉到的东西难免有些地方会扭曲。不过可能这些失真和扭曲比较细微大多数人可能不会注意到或在意，因为他们已经习惯了这些照片。但这也不是说那就完全别在意了，如果能稍微纠正一下当然更好。说不定这将是谷歌、苹果等公司下一轮智能手机的新卖点。

iPhone和其他越来越多的相机渐渐搭载带有3D传感器的后置摄像头。这些传感器由Lumentum Holdings和其他供应商制造，原理是通过发出类似光束的东西并计算它们在物体反弹后的数据，来测量手机周围环境的轮廓深度。还以一些技术可以让手机详细地测量周围环境的三维结构。

谷歌在其Pixel 3智能手机上的“夜景”功能：一些非自然的场景。

至于数据信息，可以利用近年来为了解二维图像和现实世界之间的关系而进行的大量统计信息。此前，人们做了大量的统计工作来研究倾斜镜头的物理特性。例如，一项名为“随机抽样一致性”(RANSAC)的算法可以追溯到1981年，专门用于寻找三维世界中的地标，这些地标可以映射到二维图像平面上的点，以了解二维图像与三维现实之间的关系。使用这种技术，可以更好地理解二维如何与现实世界相对应。

2015年，佛罗伦萨大学(University of Florence)的一组研究人员在“随机抽样一致性”(RANSAC)的基础上，通过对相机拍摄的照片进行逆向推理，他们能够通过软件来分析不同设置的相机在失真程度上的区别，从而将控制相机的因素和设置调至最佳状态。而且不仅仅是静止的图像适用，还可以用它来制作视频。

从接着就有系统可以通过对相机的角度位置等等因素来预估数码照片有多少程度的失真。2017年，德国埃尔兰根-纽伦堡大学(University of Erlangen-Nurnberg)和伍兹霍尔海洋学研究所(Woods Hole Oceanographic Institution)的研究人员展示了一个名为CameraTransform的Python库，它可以让人们通过对拍摄的图像进行逆向计算，来估算物体的真实尺寸。

研究人员创建的一种神经网络，用于推断图片中被遮挡的物体，由编码器和解码器结合生成的对抗性网络组成。由慕尼黑工业大学的Helisa Dhamo、Keisuke Tateno、Iro Laina、Nassir Navab和Federico Tombari提供，佳能公司提供相应支持。

去年，德国慕尼黑工业大学(Technical University of Munich)和佳能公司(Canon, Inc.)的研究人员表示，他们可以推断出被另一个物体遮挡的场景中的内容。这项技术被称为“分层深度图像”，可以从照片中删除一个对象并且补充被删除部分的背景。当然这些是通过图像计算得到的。该方法使用了许多神经网络应用中常见的编码-解码器方法来估计场景的深度，以及“生成对抗网络”(GAN)来构造场景中未实际出现在视野中的部分。

所有这些研究都在一直推动，将推动下一代配备3D传感器的智能手机相机的发展。这项研究如果成功，效果将是相当不错的，将大大提升照片的质量。用智能手机拍摄的人像不再会出现奇怪的面部扭曲，没有失真没有明显噪点。智能手机行业或许将能够在数码单反市场上取得一场胜利，因为到时候手机的功能和效果将逐渐向数码单反逼近。

但是，当然，智能手机摄影的长期趋势是拍摄远离现实的照片，引入一些更夸张的效果，对图片进行调整修改。这要放在传统摄影是不可能的。因此，我们可能会看到3D传感技术的应用趋向于非完全现实照片。

例如，倾斜相机可以用来创造一些奇怪的有美感的效果，如将参数调整一个极端的程度，风景会看起来就像玩具模型。有人说有这个效果些手机应用程序也能做到，但将3D传感器与人工智能技术结合起来的效果，将远远超出这些应用程序所能达到的效果。

未来，在机器学习技术方面还会有一个重要的问题。我们有可能放弃使用3D传感器，而仅仅使用卷积神经网络(CNN)来推断物体在空间中的坐标。这还可以省一笔手机安装传感器的费用。

然而，就像微软的研究人员和学术研究者在本周发表的一份报告中所讨论的那样，目前这种只使用软件还是不够的。他们写道，这种只使用软件的方法被称为“绝姿势回归”(absolute pose regression)，这意味着无论卷积神经网络(CNN)有多好，在用新图像进行测试时，都无法正确估计。

那么问题来了，这项工作将如何完成，不仅仅是要依靠研究人员，还需要许多智能手机用户的帮助。搭配上最新的带有3D传感器的模型，拍摄出一些图片。这样他们的设备，或者云，将会跟踪真实世界的几何形状与二维图像之间的关系。换句话说，它将利用所有这些日常活动来进行持续学习。总有一天，CNN和其他算法都能越来越好。