MIT与谷歌开发新系统 可以在手机上美化图片

　　新浪科技讯 北京时间8月2日消息，今天，数码相机捕捉的数据往往只是生成最终照片的原始数据。在我们将照片传到社交网络之前，即使只是普通的手机摄影师，也会花1分钟或者2分钟调节色彩和对比度，用图片处理软件处理，现在市场上有很多这样的软件。

　　在本周举办的Siggraph会议上，麻省理工学院（MIT）计算机科学与AI实验室和谷歌的研究人员展示了一套新系统，它可以自动按专业摄像师的处理方式润饰图片。系统相当节能，可以在手机上运行，处理速度很快，可以实时显示润饰的图片，这样一来摄影师可以一边拍摄一边查看最终图像。

　　MIT与谷歌合作

　　不只如此，这套系统还可以让现有的图像处理算法加速运行。谷歌有一套算法可以生成HDR图像，在标准数字图片中有些色彩细节会丢失，谷歌算法却可以捕捉到细节，研究人员在测试中发现，新系统生成的图像与谷歌算法生成的图像很难区分，但所用的时间只有十分之一，速度足够快，完全可以实时显示。

　　MIT与谷歌开发的系统是一套机器学习系统，也就是说它可以通过分析训练数据不断学习，提高完成任务的技能。在MIT系统中，每一次学习新任务都要用几千对图片进行训练，包括原始图片和润饰图片。

　　系统是根据MIT研究人员之前从事的项目开发的，在之前的项目中，研究人员用手机将低分辨率图片发送到网络服务器，服务器发回“转化方案”，用它就可以在手机上对高清版本的图片进行润饰，这样就可以降低带宽要求。

　　MIT电子工程、计算机科学研究生迈克尔·加哈比（Micha?l Gharbi）说：“谷歌听到了我们在做这样的研究，他们自己也跟着研究，我们见了面，将两套方案整合在一起。总的构想是这样的：要做我们之前所做的所有事，但是必须在云端处理一切，不断学习。学习的第一目标就是加快速度。”

　　两种关键技术

　　在新系统中，大量的图片处理任务是用低分辨率图片完成的，这样就可以大大缩短时间，降低能耗。采用新方法带来许多困难，因为机器学习系统输出的结果粗糙很多，新技术必须从粗糙结果推断出高清图像单个像素的颜色数值。

　　以前，研究人员尝试让机器学习系统学会一门技巧：增强低分辨率图片，系统会猜测遗漏像素的数值，然后提升分辨率。在训练时，研究人员向系统输入低分辨率图片，最终输出的却是高分辨率图片。方法看起来很好，但在实际应用中效果不好，为什么？因为低分辨率图片丢掉太多的数据。

　　加哈比与同事用两种技术解决此问题。首先，机器学习系统输出的结果不是图片，而是一组简单的公式，它可以对图片的像素色彩进行修改。在训练时，系统的性能如何由输出公式的表现来决定。

　　如何将公式应用于高分辨率图片的单个像素？那就要靠第二项关键技术。研究系统输出的是3D网络，16x16x8。网络16x16的一面对应原图像的像素位置，上面会堆叠共8层，它们对应不同的像素强度。每个网格单元都会有一个公式，它决定如何对源图像的色彩数值进行修改。

　　在网络16x16的一面有许多单元，每一个单元代表高清图片的几千个像素。假设每一组公式对应单元中央的一个位置，那么方块内每一个高清像素都是由四组公式决定的。

　　简单来说，该像素的色彩数值如何修改由方块四角的公式组合之后决定，它会根据距离判断。网络的第三维也这是样判断的，也就是对应像素强度的那一面。

　　速度大幅提升

　　研究人员用Durand和Adobe的数据集训练系统。数据包括5000张图片，每一张都由5位摄像师润饰过。然后研究人员用几千张配对图片训练系统，这些图片是用流行图片处理算法生成的，比如当中有一套算法专门生成HDR图片。软件处理图片时占用的内存空间与一张数码照片差不多，因此我们可以将软件装进手机，用手机将图片处理成各种风格。

　　最后，研究人员将还将自己的系统与其它机器学习系统对比，其它机器学习系统处理高分辨率图片，不是低分辨率。在处理过程中，全分辨率图片需要12GB的内存执行操作，而研究人员的新系统只要100MB左右，相当于1/100。全分辨率HDR系统的处理时间相当于原始算法的10倍，相当于MIT系统的100倍。