首席科学家李飞飞却只关心人工智能技术的下一个突破点？

说起人工智能，孕育了卷积神经网络和深度学习算法的 ImageNet 挑战赛恐怕是世界上最著名的 AI 数据集。8 年来，在 ImageNet 数据集的训练下，人工智能对于图像识别的准确度整整提高了 10 倍，甚至超越了人类视觉本身。

然而，AI 领域的科学家们并没有停下前进的脚步。上个周末，人工智能领域最卓越的科学家之一：斯坦福大学终身教授、谷歌云首席科学家李飞飞在未来论坛年会上，为我们做了一场名为“超越 ImageNet 的视觉智能”的精彩演讲。她告诉我们，AI 不仅仅能够精准辨认物体，还能够理解图片内容、甚至能根据一张图片写一小段文章，还能“看懂”视频……

我们都知道，地球上有很多种动物，这其中的绝大多数都有眼睛，这告诉我们视觉是最为重要的一种感觉和认知方式。它对动物的生存和发展至关重要。

所以无论我们在讨论动物智能还是机器智能，视觉是非常重要的基石。世界上所存在的这些系统当中，我们目前了解最深入的是人类的视觉系统。从 5 亿多年前寒武纪大爆发开始，我们的视觉系统就不断地进化发展，这一重要的过程得以让我们理解这个世界。而且视觉系统是我们大脑当中最为复杂的系统，大脑中负责视觉加工的皮层占所有皮层的 50％，这告诉我们，人类的视觉系统非常了不起。

寒武纪物种大爆发

一位认知心理学家做过一个非常著名的实验，这个实验能告诉大家，人类的视觉体系有多么了不起。大家看一下这个视频，你的任务是如果看到一个人的话就举手。每张图呈现的时间是非常短的，也就是 1／10 秒。不仅这样，如果让大家去寻找一个人，你并不知道对方是什么样的人，或者 TA 站在哪里，用什么样的姿势，穿什么样的衣服，然而你仍然能快速准确地识别出这个人。

1996 年的时候，法国著名的心理学家、神经科学家 Simon J． Thorpe 的论文证明出视觉认知能力是人类大脑当中最为了不起的能力，因为它的速度非常快，大概是 150 毫秒。在 150 毫秒之内，我们的大脑能够把非常复杂的含动物和不含动物的图像区别出来。那个时候计算机与人类存在天壤之别，这激励着计算机科学家，他们希望解决的最为基本的问题就是图像识别问题。

在 ImageNet 之外，在单纯的物体识别之外，我们还能做些什么？

过了 20 年到现在，计算机领域内的专家们也针对物体识别发明了几代技术，这个就是众所周知的 ImageNet。我们在图像识别领域内取得了非常大的进步：8 年的时间里，在 ImageNet 挑战赛中，计算机对图像分类的错误率降低了 10 倍。同时，这 8 年当中一项巨大的革命也出现了： 2012 年，卷积神经网络（convolutionary neural network）和 GPU（图形处理器，Graphic Processing Unit）技术的出现，对于计算机视觉和人工智能研究来说是个非常令人激动的进步。作为科学家，我也在思考，在 ImageNet 之外，在单纯的物体识别之外，我们还能做些什么？

8年的时间里，在ImageNet挑战赛中，计算机对图像分类的错误率降低了10倍。

通过一个例子告诉大家：两张图片，都包含一个动物和一个人，如果只是单纯的观察这两张图中出现的事物，这两张图是非常相似的，但是他们呈现出来的故事却是完全不同的。当然你肯定不想出现在右边这张图的场景当中。

这里体现出了一个非常重要的问题，也就是人类能够做到的、最为重要、最为基础的图像识别功能——理解图像中物体之间的关系。为了模拟人类，在计算机的图像识别任务中，输入的是图像，计算机所输出的信息包括图像中的物体、它们所处的位置以及物体之间的关系。目前我们有一些前期工作，但是绝大多数由计算机所判断的物体之间的关系都是十分有限的。

最近我们开始了一项新的研究，我们使用深度学习算法和视觉语言模型，让计算机去了解图像中不同物体之间的关系。

计算机能够告诉我们不同物体之间的空间关系，能在物体之间进行比较，观察它们是否对称，然后了解他们之间的动作，以及他们之间的介词方位关系。所以这是一个更为丰富的方法，去了解我们的视觉世界，而不仅仅是简单识别一堆物体的名称。

Visual Relationship Detection with Language Priors

更有趣的是，我们甚至可以让计算机实现 Zero short（0 样本学习）对象关系识别。举个例子，用一张某人坐在椅子上、消防栓在旁边的图片训练算法。然后再拿出另一张图片，一个人坐在消防栓上。虽然算法没见过这张图片，但能够表达出这是“一个人坐在消防栓上”。类似的，算法能识别出“一匹马戴着帽子”，虽然训练集里只有“人骑马”以及“人戴着帽子”的图片。

让 AI 读懂图像

在物体识别问题已经很大程度上解决以后，我们的下一个目标是走出物体本身，关注更为广泛的对象之间的关系、语言等等。

ImageNet 为我们带来了很多，但是它从图像中识别出的信息是非常有限的。COCO 软件则能够识别一个场景中的多个物体，并且能够生成一个描述场景的短句子。但是视觉信息数据远不止这些。

经过三年的研究，我们发现了一个可以有更为丰富的方法来描述这些内容，通过不同的标签，描述这些物体，包括他们的性质、属性以及关系，然后通过这样的一个图谱建立起他们之间的联系，我们称之为 Visual Genome dataset（视觉基因组数据集）。这个数据集中包含 10 多万张图片，100 多万种属性和关系标签，还有几百万个描述和问答信息。在我们这样一个数据集中，能够非常精确地让我们超越物体识别，来进行更加精确的对于物体间关系识别的研究。

那么我们到底要怎么使用这个工具呢？场景识别就是一个例子：它单独来看是一项简单的任务，比如在谷歌里搜索“穿西装的男人”或者“可爱的小狗”，都能直接得到理想的结果。但是当你搜索“穿西装的男人抱着可爱的小狗”的时候，它的表现就变得糟糕了，这种物体间的关系是一件很难处理的事情。

绝大多数搜索引擎的这种算法，在搜索图像的时候，可能很多还是仅仅使用物体本身的信息，算法只是简单地了解这个图有什么物体，但是这是不够的。比如搜索一个坐在椅子上的男性的图片，如果我们能把物体之外、场景之内的关系全都包含进来，然后再想办法提取精确的关系，这个结果就会更好一些。

2015 年的时候，我们开始去探索这种新的呈现方法，我们可以去输入非常长的描述性的段落，放进 ImageNet 数据集中，然后反过来把它和我们的场景图进行对比，我们通过这种算法能够帮助我们进行很好的搜索，这就远远地超过了我们在之前的这个图像搜索技术当中所看到的结果。

Google图片的准确率已经得到了显著提升

这看起来非常棒，但是大家会有一个问题，在哪里能够找到这些场景图像呢？构建起一个场景图是一件非常复杂并且很困难的事情。目前 Visual Genome 数据集中的场景图都是人工定义的，里面的实体、结构、实体间的关系和到图像的匹配都是我们人工完成的，过程挺痛苦的，我们也不希望以后还要对每一个场景都做这样的工作。

所以我们下一步的工作，就是希望能够出现自动地产生场景图的一个技术。所以我们在今年夏天发表的一篇 CVPR 文章中做了这样一个自动生成场景图的方案：对于一张输入图像，我们首先得到物体识别的备选结果，然后用图推理算法得到实体和实体之间的关系等等；这个过程都是自动完成的。

Scene Graph Generation by Iterative Message Passing