Facebook用AI“移花接木”,速抠动态人物造假视频

2019-04-20来源: 智东西关键字:FACEBOOK  AI

导语:近日,Facebook表示,他们研发了新的AI模型,能够将现实视频与游戏形象结合。

  智东西4月19日消息,近日Facebook发表了一篇关于从现实视频中提取角色的论文Vid2Game: Controllable Characters Extracted from Real-World Videos(Vid2Game:从真实世界视频中提取可控制的角色)。

  在这篇论文中,Facebook提出了一个新的AI模型,这个模型可以对原始视频中的动态的角色进行定位和提取,提取后的角色可被开发者控制,并且添加上任意背景即可生成新视频。

  一、AI如何将现实视频与游戏形象结合?

  这个团队的方法依赖于两个神经网络,或者说是模仿生物神经元的数学函数层: Pose2Pose,一个将当前姿态和单一实例控制信号映射到下一个姿态的框架;Pose2Frame,将当前姿态和新姿态(以及给定的背景)一起放在输出帧上。这些操作可以由任何“低维”信号控制,比如来自操纵杆或键盘的信号。研究人员表示,该系统足够强大,可以在动态背景中定位提取图像,并将现有背景进行任意的更换,融合成新的图像后生成视频输出。

  这种AI模型生成新的视频有两个具体步骤。首先,将包含一个或多个图像的输入视频输送到一个特定区域(如舞蹈)训练的Pose2Pose网络中,该网络将这些图像(加上预估的前景空间掩模)和它们的运动隔离开来,特定区域将作为它们质心的轨迹。(掩模用于确定哪些区域的背景被合成的图像信息所取代。)

  然后,使用这些和组合而成数据,Pose2Frame将场景中与角色相关的变化(如阴影、被持有的物品和反射)和与角色无关的变化分开,最终可以形成任何想要的背景与动作的混合视频输出。

  二、通过训练对比提取可控角色

  为了训练这个AI系统,研究人员采集了三个视频,每个视频长度在5到8分钟之间。这三个视频分别为:一个网球运动员在户外、一个人在室内挥舞着剑、一个人在走路。

  研究人员报告说,将这三个视频与传输舞者三分钟视频的神经网络模型相比,他们的方法成功地对动态元素进行了对比,如其他人和摄像机角度的差异,以及角色服装和摄像机角度的变化。

  研究人员在论文中写道:“每个网络都解决了之前未完全满足的计算问题,同时为生成具有逼真图形的视频游戏铺平了道路。此外,从类似YouTube的视频中提取的可控角色可以在虚拟世界和增强现实中找到自己的位置。”

  三、利用AI系统优化游戏成为热潮

  Facebook并不是唯一一家研究可能有助于游戏设计AI系统的公司。

  初创AI技术公司Promethean AI利用机器学习帮助人类艺术家为视频游戏创作艺术形象,利用自动化省去重复的建模工作。

  AI视觉计算公司Nvidia的研究人员最近有展示了一种可以使用视频片段创建虚拟环境的生成模型。

  机器学习也被用来优化复古游戏中的旧游戏纹理,如《最终幻想VII”和“塞尔达传说:暮光公主》,以及在游戏《毁灭战士》中从零开始生成数千个关卡。

  结语:AI技术成为行业新突破

  AI已经被越来越广泛的应用到了各个领域,各行业都在利用AI技术寻找新的突破口。

  在图像处理领域,AI图像技术正在帮助游戏行业优化或者开发更有趣的产品,并逐渐成为游戏行业竞争的又一个重要因素。


关键字:FACEBOOK  AI

编辑:鲁迪 引用地址:http://news.eeworld.com.cn/szds/ic459264.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:Facebook新获专利,实现精确手势追踪
下一篇:高色域显示设备漫谈,消费级三大校色仪横评

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

Facebook:美元、欧元等将支持数字货币Libra

Facebook对美国参议员们表示,支持其加密货币Libra的最初货币可能包括美元、欧元 、日元、英镑和新加坡元。此前,美国议员曾质疑,中国可能会推动“天秤币协会”(Libra Association)将人民币纳入支持这种所谓“稳定币”的货币篮子中,因此,他要求Facebook承诺将人民币排除在支持Libra的货币篮子之外。Facebook此次通报支持Libra的最初货币名单就是为了回应美议员的质疑。不过,在提供上述清单时,Facebook也表示这种决定最终将由天秤币协会做出,而不只是由该公司自行决定。Facebook认为:“在决定是否将一种新的货币加入天秤币储备时,都将依据当时的所有事实和情况而定,包括任何直接或间接的监管限制
发表于 2019-09-12

Libra启动漏洞悬赏计划:发现关键缺陷最高可获得1万美元

据外媒报道,正如当初所承诺的那样,“天平币协会”为Facebook提出的加密货币Libra启动了漏洞悬赏计划,向发现Libra测试网代码中关键缺陷的参与者最高提供1万美元的赏金。 G7和美国国会都对Libra成为全球性主权货币的风险提出了担忧,担心其有可能被用于洗钱和其他犯罪活动,此举或有助于缓解这种情绪。 Facebook在6月份发布了加密货币Libra和数字钱包Calibra。越来越多的大公司和非营利组织,包括Visa、Mastercard、Spotify、Lyft、Uber和eBay等共同组成了天平币协会,负责处理网络交易和维护货币基础的区块链。这种加密货币预计将于2020年推出,届时该项目有望包括约
发表于 2019-08-29

Facebook竞争对手均获成功,为何在硬件领域步履艰难?

据国外媒体报道,雷吉娜·杜根(Regina Dugan)在Facebook担任副总裁的时间相对较短,在她的任期内,她每周都要和一个团队开会。2017年10月17日,在她管理先进项目实验室“八号楼”集团长达一年半的时间里,她召开了一次标准的会议。 但这一次,曾在谷歌工作过4年的硅谷资深工程师兼高管杜根要宣布一个令人震惊的消息。据八号楼的前员工说,她几乎要哭了,她告诉团队里的几十个人,她要离开公司,自己去探索新的创意。 这个消息令人震惊,不仅因为杜根18个月前才加入Facebook,还因为八号楼引领了Facebook进军硬件领域的努力,而首席执行官马克·扎克伯格(Mark Zuckerberg)迫切希望进入硬件领域
发表于 2019-08-06
Facebook竞争对手均获成功,为何在硬件领域步履艰难?

美联邦贸易委员会对Facebook展开反垄断调查

Facebook上周表示,联邦贸易委员会已于6月对该公司展开反垄断调查,调查领域包括“社交网络或社交媒体服务、数字广告和/或移动或在线应用程序”。  腾讯科技讯 不久前,美国政府对社交网络巨头Facebook开出了五十亿美元的天价罚款,原因是包括剑桥分析事件在内的侵犯用户隐私丑闻。据外媒最新消息,美国一家媒体周四援引知情人士的话报道称,美国联邦贸易委员会正在调查Facebook过去的收购交易,即这些交易的目的是否是在潜在竞争对手对这家社交媒体公司构成威胁之前将其全部收购。 这一报道称,该公司的收购行为是调查的主要焦点。美国联邦贸易委员会正在调查Facebook收购科技型初创企业的行为,该机构认为
发表于 2019-08-05
美联邦贸易委员会对Facebook展开反垄断调查

脑机接口又有了新进展:Facebook与马斯克有何不同?

再过不久,我们仅靠意念就可以打字聊天、向计算机发出指令了。今天,Facebook 与加州大学旧金山分校(UCSF)发布了有关脑机接口研究的最新进展,其论文出现在了最新一期的自然杂志子刊《Nature Communications》上。「今天我们分享的新工作有关构建非侵入式可穿戴设备,让人们只需通过想象要说的话即可完成『打字』动作,」Facebook 副总裁 Andrew Bosworth 表示。「这一进展显示了未来 AR 头戴设备输入和互动能力的新潜力。」这项研究证明了人们在对话时大脑产生的活动可以实时解码为电脑屏幕上的文字——而在此之前,这样的工作都是离线完成的,实时「翻译」文字是脑机接口研究领域
发表于 2019-07-31
脑机接口又有了新进展:Facebook与马斯克有何不同?

Libra想成为全球货币?Facebook真有这么大的野心?

全球社交网络巨头Facebook的全球数字货币Libra(天秤币)自发布白皮书起,就引发了全球监管对隐私保护的担忧和各国央行对数字货币的警惕。但实际上,技术专家表示,讨论Libra发布后的监管也许为时尚早,Libra白皮书中所描绘的“建立为数十亿人服务的金融基础设施”可能缺乏实现的条件。 在7月17日美国国会众议院对天秤币展开的听证会上,Facebook的区块链项目负责人马库斯默认,Libra与微信、支付宝将是竞争关系,同样是一种移动支付工具。对此,有国内技术专家指出,Libra想要做好全球移动支付并没有那么容易,至少要克服基础设施和区块链工程落地的实际问题。 “实际上目前全世界联网环境最好的地方就是中国”,众
发表于 2019-07-26

小广播

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 电视相关 白色家电 数字家庭 PC互联网 数码影像 维修拆解 综合资讯 其他技术 技术产品 应用设计 论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2019 EEWORLD.com.cn, Inc. All rights reserved