Facebook AI发力,可从杂乱和遮挡物体的图像中预测三维形状

2019-11-11来源: 猎云网关键字:Facebook  AI  三维形状

   

最先进的机器学习算法可以从照片中提取二维物体,并在三维中忠实地呈现它们。这种技术可以适用于增强现实的应用程序、机器人以及导航,因此它成为Facebook的一个重要研究领域。

Facebook AI发力,可从杂乱和遮挡物体的图像中预测三维形状

在近日于首尔举办的国际计算机视觉会议(ICCV)之前,Facebook在一篇博客文章中强调了其在智能内容理解方面的最新进展。据透露,它的系统甚至可以用来检测复杂的前景和背景对象,如椅子腿或重叠的家具。

“我们研究的最新进展是建立在利用深度学习来预测和定位图像中的物体,以及用新的工具和架构来理解三维形状,如体素、点云和网格,”Facebook的研究人员Georgia Gkioxari、Shubham Tulsiani和David Novotny在一篇博客中写道。“三维理解将在提高人工智能系统,更贴近地理解、解释和操作现实世界的能力方面发挥核心作用。”

其中一个亮点是Mesh R-CNN,这是一种能够从杂乱和遮挡物体的图像中预测三维形状的方法。

Facebook的研究人员表示,他们在开源的Mask R-CNN的二维目标分割系统上增加了一个网格预测分支,并使用一个包含高度优化的三维操作符的库(Torch3d),来进一步支持该系统。Mesh R-CNN有效地利用了Mask R-CNN对图像中不同的物体进行检测和分类,然后利用上述的预测器对三维形状进行推断。

Facebook表示,在公共可用的Pix3D语料库上进行评估后,Mesh R-CNN成功地检测到所有类别的物体,并在家具场景中估计它们的完整三维形状。在一个单独的数据集上(ShapeNet),Mesh R-CNN比之前的研究有7%的相对优势。

Facebook开发的另一个系统是Canonical 3D Pose Networks,简称为C3DPO,解决了网格和相应图像无法用于训练的情况。建立三维关键点模型重建,利用二维关键点监控实现最先进的重建结果。(这里的关键点指的是被跟踪的物体部分,它们提供了一组关于几何图形及其视角变化的线索。)

C3DPO利用重建模型预测相应摄像机视点参数和三维关键点位置。辅助组件与模型一起学习,以解决在分解三维视点和形状时引入的模糊性。

Facebook指出,这种重建在以前是可以实现的,部分原因是内存限制。C3DPO体系结构可以在硬件无法捕获的情况下进行三维重建,比如对大型的对象。

“(三维)计算机视觉有许多开放的研究问题,我们正在试验多种问题陈述、技术和监督方法,以探索推动该领域向前发展的最佳方式,就像我们在二维理解领域所做的那样,”Gkioxari、Tulsiani和Novotny表示。“随着数字世界适应并转向使用3D照片、沉浸式AR和VR体验等产品,我们需要不断推动复杂的系统更准确地理解视觉场景中的对象并与之互动。”


关键字:Facebook  AI  三维形状 编辑:北极风 引用地址:http://news.eeworld.com.cn/MEMS/ic479538.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:5年来首次!SONY砸9亿美元建CMOS图像传感器新厂
下一篇:最后一页

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

抖音高薪酬挖Facebook员工,向海外扩张?
多位知情人士称,抖音海外版TikTok已经在硅谷开设了一家办事处,并开始挖角Facebook员工,提供的薪酬最多比Facebook高出20%。 TikTok多位知情人士称,TikTok在近期搬进了加州山景城的一处办公地点,而这处办公地点此前由Facebook旗下消息应用WhatsApp使用。TikTok新办事处距离Facebook门洛帕克总部只有几英里,将两家公司之间的竞争从吸引年轻用户升级到了人才争夺战。TikTok在2017年由字节跳动公司发布,被称为抖音海外版,允许用户观看和制作通常是唱歌的短视频。字节跳动称,旗下产品的全球总日活跃用户超过7亿。相比之下,Facebook宣称有21亿人每天在使用其应用家族中的产品
发表于 2019-10-15
抖音高薪酬挖Facebook员工,向海外扩张?
Facebook收购CTRL-labs,脑控制技术或将成真?
Facebook CEO马克·扎克伯格(Mark Zuckerberg)表示,他希望研究脑控制可穿戴和植入式技术,而Facebook最近收购CTRL-labs就是朝这个方向迈出的一步。 扎克伯格在与Chan Zuckerberg BioHub研究中心的乔·德瑞斯(Joe DeRisi)博士和史蒂夫·奎克(Steve Quake)博士的对话中说:“最终目标是使它成为现实,以便你可以思考并控制虚拟或增强现实中的某些事物。”Chan Zuckerberg BioHub位于旧金山湾区,由扎克伯格及其妻子普里西拉·陈(Priscilla Chan)共同支持。Facebook上个月同意以5亿至10亿美元的价格收购
发表于 2019-10-12
特朗普与扎克伯格的会面对Facebook有何影响?
扎克伯格在白宫获特朗普接见 特朗普发推:“不错的会面”当地时间周四(19日),脸书首席执行官扎克伯格访问白宫,并获美国总统特朗普接见。特朗普当天晚些时候在推特上发布了一张与扎克伯格的合影,并称他们在椭圆形办公室举行了一次“不错的会面”。路透社20日报道称,脸书表示,扎克伯格“在白宫与特朗普总统举行了一次良好的、具有建设性的会面”,但双方均未透露讨论的具体内容。路透社还介绍说,与以往的连帽衫打扮不同,在对华盛顿为期3天的访问中,扎克伯格穿西装打领带,与多名美国参议员会面。路透社称,扎卡伯格将于周五(20日)会见众议院共和党领袖麦卡锡和司法委员会共和党籍成员道格·柯林斯,并将与几名众议院民主党高层会面。关于扎克伯格华盛顿之行的目的,路透
发表于 2019-09-21
特朗普与扎克伯格的会面对Facebook有何影响?
Facebook与雷朋正秘密研发AR智能眼镜,欲取代智能手机?
如果说未来有什么设备能够取代智能手机,那答案或许是可穿戴设备。 消息人士透露,facebook已经与全球最大太阳眼镜公司、意大利的罗萨奥蒂卡集团(Luxottica)合作,正着手开发具备增强现实(AR)功能的雷朋(Ray-Ban)智能眼镜。消息人士表示,过去几年facebook一直在其AR、VR研发中心Facebook Reality Labs研发AR智能眼镜,但由于开发过程屡遭挫败,因此转而向外寻求协助。 facebook希望藉由与雷朋母公司罗萨奥蒂卡集团的合作,可以完成该项目的研发,并在2023年、2024年或最晚2025年开始销售此款智能眼镜。 此款雷朋智能眼镜的内部代号为「猎户座」(Orion
发表于 2019-09-21
近三分之二的美国人支持将科技巨头拆分?
美国人非常支持分拆科技巨头,特别当亚马逊和谷歌这样的公司会因此停止把有利于创收的搜索结果排在最前面时。  如果能够加强竞争,近三分之二的美国人支持通过取消最近的合并来分拆科技公司,例如Facebook收购Instagram。 科技公司的另外一个问题似乎更能与人们产生共鸣:接近70%的美国人表示,当科技公司向人们展示的内容依据是他们能否从中赚钱时,就应该分拆科技巨头。具体而言,当用户在亚马逊上搜索行李箱时,系统可能会向用户展示其专有的Amazon Basics系列产品,而不是其他公司的产品。  这项结果来自美国智库Data for Progress与Youxov Blue合作发起的一项调查。此次调查覆盖了大多数
发表于 2019-09-21
近三分之二的美国人支持将科技巨头拆分?
Facebook:美元、欧元等将支持数字货币Libra
Facebook对美国参议员们表示,支持其加密货币Libra的最初货币可能包括美元、欧元 、日元、英镑和新加坡元。此前,美国议员曾质疑,中国可能会推动“天秤币协会”(Libra Association)将人民币纳入支持这种所谓“稳定币”的货币篮子中,因此,他要求Facebook承诺将人民币排除在支持Libra的货币篮子之外。Facebook此次通报支持Libra的最初货币名单就是为了回应美议员的质疑。不过,在提供上述清单时,Facebook也表示这种决定最终将由天秤币协会做出,而不只是由该公司自行决定。Facebook认为:“在决定是否将一种新的货币加入天秤币储备时,都将依据当时的所有事实和情况而定,包括任何直接或间接的监管限制
发表于 2019-09-12
小广播
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2019 EEWORLD.com.cn, Inc. All rights reserved