NVIDIA Research助力内容创作者使用3D物体进行即兴创作

最新更新时间:2022-06-23来源: EEWORLD关键字:NVIDIA 手机看文章 扫描二维码
随时随地手机看文章

得心应手的AI:NVIDIA Research助力内容创作者使用3D物体进行即兴创作


可逆渲染流程 NVIDIA 3D MoMa 将于本周在新奥尔良举行的计算机视觉和模式识别会议 CVPR上亮相。


 image.png


爵士乐的精髓在于即兴演奏, NVIDIA 正在通过 AI 研究向这一流派致敬。也许有一天,图形创作者可以使用快速创建出的 3D 物体,来一场即兴表演。


这个被称为“NVIDIA 3D MoMa”的方法可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎,并开始对其进行处理——修改比例、改变材质或尝试不同的照明效果。


NVIDIA Research 在庆祝爵士乐及其发源地新奥尔良的视频中展示了这项技术。本周,关于 3D MoMa 的论文将在 CVPR 上发表。


基于 2D 图像创建 3D 物体


逆渲染是将一系列静态照片重建为 3D 物体或场景模型的技术。 NVIDIA 图形学研究副总裁 David Luebke 表示: “该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”


他表示:“NVIDIA 3D MoMa 渲染流水线可以将逆渲染问题的每个部分表示为 GPU 加速的可微分组件,然后使用现代 AI 机器和 NVIDIA GPU 的原始算力快速生成 3D 物体,且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。”


为了使艺术家或工程师能够充分利用 3D 物体,其形式应能够导入游戏引擎、 3D 建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式,就是此类 3D 工具使用的通用语言。

 

image.png

三角网格是用于定义 3D 图形和建模形状的基本框架。


游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建 3D 物体,这需要耗费大量的时间和精力。近期的神经辐射场(Neural Radiance Fields)研究可以快速生成物体或场景的 3D 模型,但并不是使用易于编辑的三角网格形式


当在单个 NVIDIA Tensor Core GPU 上运行时, NVIDIA 3D MoMa 能在一个小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的 3D 图形引擎和建模工具直接兼容。


流水线的重建功能包括 3D 网格模型、材质和照明。网格就像由三角形构建的 3D 形状混凝纸浆模型。有了它,开发者就可以依照自己的创意对物体进行修改。材质是叠加在 3D 网格上的 2D 纹理,就像人的皮肤一样。 NVIDIA 3D MoMa 通过对场景光线进行估算,使创作者能够在日后修改物体上的照明。


为虚拟爵士乐队调校乐器


为了展示 NVIDIA 3D MoMa 的功能, NVIDIA 的研究和创意团队首先从不同角度收集了五种爵士乐队乐器(小号、长号、萨克斯、架子鼓和单簧管)的约 100 张图片。


NVIDIA 3D MoMa 将 2D 图像重建为每种乐器的 3D 表示,并以网格形式呈现。然后, NVIDIA 团队将这些乐器从原始场景中取出,并将其导入 NVIDIA Omniverse 3D 模拟平台中进行编辑。

 

image.png


在任何传统图形引擎中,创作者都可以轻松为形状调换由 NVIDIA 3D MoMa 生成的材质,就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法,将原来的塑料材质快速更换成黄金、大理石、木材或软木。


然后,创作者可以将新编辑的物体放入任何虚拟场景中。 NVIDIA 团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样:闪亮的铜管乐器反射出亮光,哑光的鼓皮则会吸收光线。


这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素。视频的最后展示了虚拟爵士乐队。


关于NVIDIA 3D MoMa的论文已于北京时间 6 月 23 日凌晨 2:30 分 CVPR 的分会场上发表。这是NVIDIA作者在本次会议上发表的38篇论文之一。进一步了解 NVIDIA Research 在 CVPR 上发布的内容。


关键字:NVIDIA 编辑:张工 引用地址:http://news.eeworld.com.cn/gykz/ic614587.html

上一篇:索斯科C2 杠杆锁发挥自动重锁功能
下一篇:最后一页

推荐阅读

小马智行基于NVIDIA DRIVE Orin的车规级域控制器完成大规模路测
小马智行将成为首批基于NVIDIA DRIVE Hyperion 计算架构及DRIVE Orin系统级芯片(SoC)量产自动驾驶系统的公司之一,将于2022年第四季度开启量产小马智行自研自动驾驶域控制器 ADC (Autonomous driving controller) ,已开始向用户交付样品1月起,小马智行已开启基于该域控制器的自动驾驶路测6月22日,领先自动驾驶企业小马智行宣布正式对客户交付基于NVIDIA DRIVE Hyperion 计算架构及DRIVE Orin 系统级芯片的自动驾驶域控制器ADC (Autonomous Driving Controller)样品,该域控制器的大规模量产将于2022年第四季度正式开启。
发表于 2022-06-22
小马智行基于<font color='red'>NVIDIA</font> DRIVE Orin的车规级域控制器完成大规模路测
英特尔、英伟达、AMD三大巨头在异构计算领域火拼已深入腹地 !
GPU是相对于CPU的一个概念,也就是图形处理器,由于在现代的计算机中(特别是家用系统,游戏的发烧友)图形的处理变得越来越重要,需要一个专门的图形的核心处理器。简单的说GPU = 显卡的“CPU”,CPU是电脑的心脏,所以GPU是显卡的心脏,它能让电脑在图像处理上更出色。GPU云服务器(GPU Cloud Computing)则是基于 GPU的快速、稳定、弹性的计算服务,具有实时高速的并行计算和浮点计算能力,突破单机的资源限制,让更多的机器共同完成一项任务;提供了存储和网络的虚拟化,通过虚拟化技术,让资源过剩的单台物理机独立、隔离地完成多个任务,实现了资源的按需分配、高利用率以及高可用性。GPU云主机的应用领域1、视频编解码:集成专
发表于 2022-06-20
英伟达申请专利:帮助自动驾驶车探测不同种类的急救车
据外媒报道,英伟达可能为自动驾驶汽车面临的最大挑战之一——如何处理道路上的急救车辆,提供了一个解决方案。配备英伟达技术的车辆(图片来源:英伟达)自动驾驶车辆无法像人类驾驶员一样自发做出反应,这一点也让人们质疑是否能够真正实现实现无人驾驶,而最近在美国旧金山发生的一起事故更是令这一潜在问题更加突出。在旧金山,有一辆Cruise自动驾驶出租车无意中挡住了一辆消防车,而且挡住的时间长达25秒,直到有一位人类驾驶员介入,移动了另一辆车,此种可能危及到生命的情况才有所缓解。不过,现在,人工智能专家英伟达(Nvidia)向美国专利商标局申请了一项专利,可能能够防止类似的情况再次发生。英伟达曾与奔驰、捷豹路虎、现代和沃尔沃等全球最大的一些汽车制造
发表于 2022-06-17
<font color='red'>英伟达</font>申请专利:帮助自动驾驶车探测不同种类的急救车
软银调整Arm上市计划 同时登陆英国美国
北京时间6月15日消息,知情人士透露说,软银集团准备将Arm公司部分持股在在伦敦股票交易所上市,之前软银只打算在美国上市。  软银集团调整了上市计划,它会将Arm持股的大部分在美国上市,还有一部分持股在伦敦上市,目前仍不清楚上市的融资规模及时间,计划仍然存在变数。  2016年软银收购Arm,如果Arm只在美国上市,对于英国政府和英国资本市场来说无疑是一记重拳。  本周早些时候,英国科技大臣克里斯。菲尔普(Chris Philp)曾表示,政府会与Arm合作确保它在故国上市。  软银创始人孙正义曾说,在明年3月财年结束之前寻求出售部分Arm。据报道,软银为Arm寻求的估值至少达到600亿美元。本来软银准备将Arm出售给Nvidia,但
发表于 2022-06-15
SK海力士将向英伟达供应业界首款HBM3 DRAM
首尔,2022年6月9日,SK海力士(或称“公司”,www.skhynix.com)宣布公司开始量产 HBM3——拥有当前业界最佳性能的 DRAM。* HBM (High Bandwidth Memory,高带宽存储器):是由垂直堆叠在一起的 DRAM 芯片组合而成的高价值、高性能内存,其数据处理速度大幅领先于传统 DRAM。HBM3 DRAM 是第四代 HBM 产品,此前三代分别为 HBM(第一代)、HBM2(第二代),以及 HBM2E(第三代)。SK海力士于去年十月宣布成功开发出业界首款 HBM3 DRAM,时隔七个月即宣布开始量产,这有望进一步巩固公司在高端 DRAM 市场的领导地位。随着人工智能和大数据等尖端技术的加速发展,
发表于 2022-06-10
SK海力士将向<font color='red'>英伟达</font>供应业界首款HBM3 DRAM
英飞凌为NVIDIA Jetson边缘AI平台提供AIROC™ Wi-Fi/蓝牙®解决方案
【2022年6月10日,德国慕尼黑讯】边缘AI将给许多垂直行业带来巨大影响,包括机器人、智慧城市、医疗、工业、零售、能源和农业等等。面向这些应用的AI同时涉及云端和边缘的处理。英飞凌科技股份公司 近日宣布,为NVIDIA Jetson边缘AI平台提供AIROC™ Wi-Fi和蓝牙®连接解决方案。NVIDIA AINVIDIA Jetson是领先的边缘AI计算平台,拥有超过100万名开发人员。得益于AI预训练模型、开发者SDK以及涵盖全系列Jetson产品的云原生技术的支持,智能机器制造商和AI开发人员可为嵌入式设备和边缘设备打造并部署高质量的软件定义功能。边缘AI设备需要可靠和即时的Wi-Fi云连接,以实现生命周期管理功能,如通过O
发表于 2022-06-10
英飞凌为<font color='red'>NVIDIA</font> Jetson边缘AI平台提供AIROC™ Wi-Fi/蓝牙®解决方案
小广播
换一换 更多 相关热搜器件
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2022 EEWORLD.com.cn, Inc. All rights reserved