专访| 绘画机器人Andy的诞生,与美图秀秀在人工智能技术上的野心
文 | 李诗
来自雷锋网(leiphone-sz)的报道
近日,雷锋网发现不少明星和用户都在微博、朋友圈分享自己的插画像。这些插画像轮廓几乎与本人一致,神情神态有几分相似。但是细看,这些插画像似乎都出自同一位画师之手,哪位画师能同时画出成千上万的画像?
原来,这位画师是人工智能。
这些画像都来自于美图秀秀的最新产品——人工智能绘画机器人Andy。作为一位有绘画才艺的机器人,Andy可以根据用户的自拍照为用户画一张插画。
Andy背后的人工智能技术如何?美图作为一款P图软件为什么要发力人工智能?雷锋网特意采访了美图秀秀产品负责人姜晗与提供Andy技术支持的MTlab。
Andy背后的新技术——MTgeneration
雷锋网了解到,美图秀秀一直在做人工智能的研发, 2010年美图成立美图影像实验室 (MTlab),2012年,MTLab就开始关注人工智能、深度学习。
美图CTO张伟此前接受雷锋网采访时曾说: “我花70%的时间在上面...... 我们觉得如果再过三年,这家公司不做AI,可能就会空掉了。”
Andy正是MTlab技术的阶段性成果。MTlab相关人员告诉雷锋网,Andy实现的技术包括MTlab的MTface(人脸技术)和MTsegmentation(图像分割技术),以及最新的影像生成技术(MTgeneration)。影像生成技术(MTgeneration)核心是基于MTlab自主研发搭建的生成网络Draw Net,通过大数据和深度学习Draw Net可以构建绘画模型,这些模型包括大到构图、小到笔触的不同层面的艺术风格和绘制规则。
拆解一下Andy的技术,我们会发现Andy是这样制作插画像的:首先,Andy学习了大量的插画作品,在此基础上,自己创建出了通用的绘画模型。Andy看到用户的图片后,通过MTface技术,Andy可以掌握人脸的轮廓、五官位置和特征。再加上MTsegmentation技术,Andy掌握了头发、衣服和背景区域。最后,利用绘画模型将掌握的特征表现出来,就得到一张成品的图片。
从Andy的作品我们可以反观到其对绘画模型特点的把握,MTlab相关人员介绍到“比如以Garden风格为例,Andy画出的人脸,眼睛不会特意去描绘双眼皮,女生的眼睛下面会加一些腮红来显得可爱,这是根据前期的数据学习到的共有的特征,Andy会结合这些特征来绘画用户照片,形成插画风格。” 因为这些设定,不少用户也评价到,Andy的画笔也具备一贯的美图功能。
Andy的技术和产品形态是逐步积累过来的。在2017年初,美图秀秀上线了一款“手绘自拍”的产品。MTlab相关人员介绍到,手绘自拍初步运用了人工智能,但是当时用户对这个产品的反映特别好。
(美图手绘自拍)
手绘自拍主要用到的是人脸技术和图像分割,在人脸的基础上做美化。让人直接拥有漫画版魔幻光泽的头发、超大闪亮双眸和近似透明的皮肤。
我们也看到,现在用计算机绘画有多种方式:谷歌曾推出AutoDraw,将用户画出的简笔画,与已有的图片数据库进行匹配,进而生成一幅完整的画;而Prisma主要是在用户照片上添加风格滤镜。而Andy是首次完全让计算机去绘画、临摹一张照片。
Andy这个产品是MT generation技术成熟之后的应用。在Andy之前,美图还用MT generation技术做了一个“混血儿”的应用。通过大数据和深度学习,美图掌握了不同国家的人的面部特征,然后用Draw Net生成网络去将用户的亚洲人照片转换为欧洲人的照片,用户就能看到如果自己是欧洲人会长什么样子。
在问及Draw Net如何学习大量数据时,MTlab相关人员说目前这一部分还是保密状态,美图在之后可能会发表论文来解释,但是目前还是其技术壁垒。
MT generation可以说是MTlab目前最新的技术, MTlab相关人员介绍到MT generation技术也可以运用在别的应用场景。例如“AI美化”,AI会直接帮你调整出一张适合你本人的完美的脸,也就是可以学习亚洲人的审美习惯,然后直接对人脸进行优化。简单粗暴来说,堪比整容。
从新技术到落地的产品,Andy研发过程特别曲折,摸索过程中经历了很多次失败,研发过程周期也很长,前几个月几乎没有进展,直到近两个月才看到了成效,然后一步步优化。
这一张图片显示了Andy早期的绘画作品和目前的对比。
这也说明,AI绘画是一个长期学习和迭代的过程。Andy学习了6个月,而人类从零基础开始学习大概需要2-3年的时间。目前,我们看到Andy在绘画时只能大致画出相似的轮廓,还不够精细,Andy也无法识别眼镜、耳钉、衣服细节等。然而姜晗也说到,目前用户对于新的东西的忍耐度都比较高。Andy要继续走下去,则需要更多努力的学习。
绘画机器人Andy能火多久
美图类产品已经出了很多现象级的产品:脸萌、Prisma、“你的名字”版滤镜等等。而我们看到,这些产品一时间火爆朋友圈,却又很快被遗忘。
从各种爆款的出现到被人遗忘,反映出美图行业需要不断追逐新技术、新创意的现象。姜晗告诉雷锋网,“美图秀秀的所有产品都围绕着‘美’,而‘美’是一种时尚,用户一直都喜新厌旧。美图秀秀如果只是停留在现阶段,迟早会被市场淘汰,这是我们一直在思考的问题。”
姜晗说,“每个用户都会想要拥有一张自己的插画像,这是人工智能一个很好的落地点,Andy的出现正是为了满足这个普遍的愿望。”
在找到落地场景后,如何让Andy这款产品走得长远呢?
姜晗告诉雷锋网:“美图秀秀目前有两个方向:一个是专业化的方向,一个是娱乐化的方向。手绘自拍和绘画机器人Andy都是现象级的作品。但是如果有好的创意和好的效果,你也可以把这种现象级的生命力无限延长。美图从11年初推出手机版到现在已经做了很多引爆的项目,而我们会持续挖掘引爆点。专业化的这条路就是提供基础的图像功能,长久地去满足用户的需求。”
雷锋网也发现,目前美图秀秀新上线“美图黑科技”模块,“手绘自拍(跨次元相机)”、“梦幻娃娃机”、“少女照片馆”、“绘画机器人Andy”都放进了这个模块。这些产品都是在基础功能之上升级的娱乐功能。
姜晗介绍到,Andy在商业上有很大的想象空间,可以在美图的个性化定制上发挥很大效用。美图在上半年上线了“美图定制”,在用户用美图秀秀P图之后,美图会自动生成多种定制产品:手机壳、抱枕、T恤衫等。 而姜师傅认为Andy的人像插画很适合做用户的定制产品。
此外,美图自己研发的技术也开始走to B的路线,这也是商业化的一种。Andy的插画或许还需要很长时间来优化,但是其背后的MT generation技术则可以应用落地到更多的场景里。据称,MTlab会长期的专注于Andy和MT generation技术的研发。他们的最终期望是希望Andy能够超越插画师,成为AI界的绘画大师。
人工智能理解语义、理解图像是个漫长的过程,而人们一直热衷于在语言和图像表达上投入时间。尽管不能真的模拟人与人的对话,人们也很热衷于和Siri、Cortana、小冰交流,时不时调戏一下。
或许,调戏Andy的绘画能力也成了一件有趣的事情。
◆ ◆ ◆
推荐阅读
计算机视觉基础入门教程
计算机视觉基础班,上海交通大学博士讲师团队;从算法到实战应用,涵盖CV领域主要知识点;手把手项目演示,全程提供代码;深度剖析CV研究体系,轻松实战深度学习应用领域!详情点戳阅读原文链接或长按识别下方二维码~