AI把视频里的你抹掉了！效果丝滑，毫无痕迹，还能完美去水印 | ECCV

郭一璞 鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

男子骑自行车，越过沙丘，无影无踪，目击者称就消失在眼前：

因击球过猛，网球运动员携球拍共同湮灭：

男大学生热爱徒步运动，进入深山戈壁后失踪：

白色面包车离奇消失，查遍监控摄像头均未发现踪影：

妙龄少女广场起舞，光天白日下原地消失不知去向：

中学男生周末荡秋千，飞到半空只剩秋千椅，家长称1秒前孩子还安然无恙：

马术选手骑马越过栅栏后人马双双消失，网民怀疑任意门现世：

帆船选手出海后离奇失踪，主办方搜寻后仍未获踪影：

诡异的现象，让人怀疑视频中使用了和九又四分之三站台同样的魔法。

没错，这就是今年ECCV上最神奇的AI隐身衣技术。

让网友们惊叹，此情此景堪称灭霸。

甚至开始担心，如果这个技术被小偷用上，家具都会“飘走”。

也有外国网友开心，觉得可以用来屏蔽广告，很不错。

这件隐身衣，究竟是怎么创造出来的？

基于光流边缘引导的视频补全算法

AI这种完美去水印、删人物的「隐身」超能力，实际上是一种基于光流的视频修复算法。

此前，量子位就曾经介绍过港中大商汤联合实验室和南洋理工大学的光流引导视频修复算法。

不过，以往的基于光流的方法往往无法保留运动边界的锐度，使得修复后的画面不够平滑。

另外，由于此前的方法是在相邻帧之间的局部光流连接中传播色彩，但并非所有视频中被水印、物体遮住的区域都可以通过这种方式恢复，就会造成伪影。

为了解决这些问题，来自弗吉尼亚大学和Facebook的研究团队主要采取了以下三种方法：

• 分段平滑流补全（Piecewise-smooth flow completion）

• 非局部流连接（Non-local flow neighbors）

• 无缝融合（Seamless blending）

具体而言，首先，网络的输入包括待修复的视频本身，和一个二进制掩码视频，用以指明哪些部分需要算法合成。

然后，计算相邻帧之间的光流，以及一组非相邻帧之间的光流，提取并补完流的边缘。下图中红线部分，即为神经网络“脑补”出来的边缘。

接着用流边缘来引导视频中被水印/人物挡住的缺失区域的修复。

下一步，是按照光流的轨迹，为每个缺失的像素计算出一组候选像素。每个候选像素都有一个对应的置信度分数和一个二进制有效性指标。

以上图为例，绿色区域为缺失的部分，黄线、橙线和棕线分别代表第一非局部帧、当前帧和第三非局部帧的扫描线。

可以看到，通过跟踪光流轨迹（黑色虚线），图上蓝色的像素点的候选像素被计算了出来。但由于人腿的运动形成了遮挡，计算红色像素点的候选像素就出现了困难。

但在引入非相邻帧的非局部光流后，红色像素点就得到了额外的非局部领域（黄线和棕线上的红色像素点），由此，就可以计算出被人腿遮挡的真实背景。

然后，再在梯度域中，使用置信度加权平均，融合每个缺失像素点的候选对象以重建颜色。

最后，迭代这个过程，直到没有缺失像素为止。

实验结果：SOTA

从视觉效果上来说，这只AI的隐身大法修炼得十分成功。

与Diffusion和商汤的徐瑞等人的算法相比，新方法提供了更为清晰的运动边界，效果更加平滑。

那么定量对比的结果又如何呢？直接来看数据。

在DAVIS数据集上，研究人员将该方法与现有方法进行对比，比较了水印之类的静止对象和运动对象两类合成掩码的视频补完结果。

结果显示，新方法在各项指标上都达到了最佳性能。

关于作者

这件酷炫的AI隐身衣，由弗吉尼亚理工大学和Facebook打造。

一作是弗吉尼亚理工大学的三年级博士生Chen Gao。他的研究方向是计算摄影和计算机视觉，师从弗吉尼亚理工大学助理教授Jia-Bin Huang。

这项工作是他在Facebook实习期间完成。目前，他在谷歌担任研究实习生。

作者还表示，会很快开源这件AI隐形衣的代码，并放出在线Demo。

传送门

项目地址：
http://chengao.vision/FGVC/

论文地址：
https://arxiv.org/abs/2009.01835