实现无限创意,解读Omniverse与Studio重要更新

最新更新时间:2021-11-25来源: EEWORLD关键字:Studio 手机看文章 扫描二维码
随时随地手机看文章

近日,NVIDIA通过线下媒体沟通会,将NVIDIA Omniverse和 NVIDIA Studio两款产品的新变化、新技术、软硬件综合堆栈等相关内容,进行了详细诠释。

 

在刚刚闭幕的2021秋季GTC大会上,NVIDIA联合创始人及CEO黄仁勋先生演示了很多用NVIDIA Omniverse创建模拟仓库、模拟工厂,或者把物理和生物系统、5G的边缘部署、机器人、自动驾驶车辆,甚至数字孪生全部联结在一起的虚拟世界。

 

作为视觉运算领袖,GPU的发明者,NVIDIA在很多年前便提出了物理模型、物理加速的概念,使电脑渲染出的画面和图象逼真且更符合自然规律。NVIDIA致力于加速计算、智能计算,并把AI计算引入到Omniverse操作中,使其成为Omniverse的组件,最后把Omniverse变成创建和连接虚拟世界与真实世界的模拟引擎,这就是Omniverse的愿景和模拟引擎的初衷。

 

NVIDIA中国区高级技术市场经理施澄秋表示,以前的网站是非常简陋的,只有文字、MIDI音乐、 Flash等,与虚拟现实、虚拟世界、3D数字分身和虚拟数字人偶完全不同,且不具备AI。而NVIDIA Omniverse 能够创造一个全新且真正的虚拟世界,能够为科学家、创意工作者、大型商业公司建造并且遵循真实世界中物理定律的虚拟世界增加很多内容和创新。Omniverse是一个综合性平台,它能创造一个全新且真正的虚拟世界,将领先的图形计算、物理模拟和人工智能等技术全部融合在一起,让创意工作人员、科学家、物理学家以及电脑专家连接在虚拟世界里,是NVIDIA在整个工作体系中的巅峰之作。

 

从2020年秋季GTC大会上NVIDIA 推出Omniverse公测版至今,已拥有14个基于Omniverse Connect和扩展的程序,超过15款ISV专业应用程序和应用软件能支持USD(通用场景描述)。Omniverse与全球超过500位设计师进行合作,累计下载超过7万次。其中,还有 700 多家公司的专业人士使用。这些公司包括宝马集团、CannonDesign、Epigraph、Ericsson、建筑公司 HKS 和 KPF、Lockheed Martin 以及 Sony Pictures Animation。Omniverse的未来存在巨大发展潜力。

 

在2021秋季GTC大会上,Omniverse公布了几大全新特性:Showroom、Farm、AR和VR。


Omniverse Showroom:使用最新NVIDIA RTX技术的显卡,在Showroom里面可以看到Omniverse具体的作用是展示平台,让用户了解Omniverse的作用、给开发者提供灵感。它是NVIDIA的先导性、鼓舞性和启发性的演示场景。在NVIDIA看来,能够引导并启发Omniverse的开发者对Omniverse应用领域进行思考,对市场有一定的教育意义。


Omniverse Farm: 在Farm组件中,系统层(system layer)可以针对多GPU进行多节点渲染和模拟。在这次秋季GTC大会上超过6万帧的画面就是由Omniverse Farm来渲染和管理的,这些资源共跨越了大概800台设备去做整体的调度和管理,而且可以进行规模堆叠和拓展,资源伸缩非常弹性。这就是它的一个多节点的渲染和模拟的功能。


Omniverse AR:是用图形串流的方式,把增强型现实串流到设备上。至今已通过它来串流超过10个亿个iOS用户以AR的方式应用Omniverse平台去工作。

Omniverse VR:更加先进,支持全帧率的实时光线追踪,可以做到实时虚拟现实,目前还在开发中。

 

在此次GTC大会上,NVIDIA宣布主要针对大型企业用户的Omniverse Enterprise已进入正式发布阶段,Omniverse Enterprise允许跨多个软件套件工作的全球 3D 设计团队在共享虚拟空间中通过任意设备实时协作,提高远程协作能力,并对3D制作流程进行管理。Omniverse Enterprise是一个端到端的协作、仿真模拟平台,从软件到硬件都已经获得了NVIDIA的优化。NVIDIA从今年9月份开始,已经陆续完成对合作伙伴的认证,只要购买拥有认证贴纸的产品或参与这个项目的合作伙伴系统,就可以安全无忧地运行Omniverse Enterprise平台。目前已经有非常多的公司,顶级业界合作伙伴在使用Omniverse Enterprise平台,来帮助他们完成在分布式3D协同设计、工业级数字孪生等各行各业的应用。

 

Omniverse已经成为跨行业的数字孪生基础平台。这里展示两个基于Omniverse Enterprise应用例子,分别是爱立信的城市5G网络部署建设以及与洛克希德·马丁联合打造的美国西部山火预防与解决方案。


image.png 


爱立信在使用NVIDIA数字孪生城市实景来帮助他们建造和部署5G网络进行优化。Omniverse可以生成很多物理参数匹配到数字孪生城市里,能实时地模拟和像素化波束和5G信号。利用RTX GPU光线追踪功能做路径渲染,调整不同颜色的光线确定信号的强弱、数据吞吐量等等。借助这种思路可以调整基站的位置、防止移动车辆、虚拟大流量对信号造成的影响,甚至可以借助Omniverse VR在虚拟世界中亲身验证。验证得到可行之后才到真实的物理世界去做,大大提高部署的效率,降低成本,提升经济性。


下面这个例子是讲洛克希德·马丁公司用数字孪生来研究美国西部山火的解决方案。


image.png

 

NVIDIA与美国洛克希德·马丁公司建立一个以人工智能为基础的实验室,把这个实验室和基础建设照搬到Omniverse Enterprise这个平台上来,结合洛克希德·马丁公司的很多实时传感软件,在数字孪生的模拟平台,去预测整个加州山火蔓延的路径和规模,告诉消防人员什么时间可以采取什么策略。

 

在这次GTC大会上,NVIDIA还宣布基于Omniverse Enterprise为数字孪生开发的物理人工智能开发框架NVIDIA Modulus和NVIDIA Omniverse Replicator。

 

NVIDIA Modulus可通过使用物理加速的机器学习和训练数据,并进行深度神经网络模型训练,同时把自然界的一些物理规律分装到数字孪生中,让其中虚拟出来的替代模型,能够拥有跟自然界真实物理定律相媲美的真实性。最后NVIDIA Modulus输出一个替代模型,应用在各种各样的应用程序上。NVIDIA Modulus平台已经在Omniverse Enterprise可用,现支持多节点多范围的训练,能支持千倍甚至达到十万倍数字的提升。专为数字分身训练和深度神经网络来做优化。

 

NVIDIA Omniverse Replicator是一款性能强大的合成数据生成引擎,能够生成用于训练深度神经网络的物理模拟合成数据。基于Omniverse Replicator还有两个用于生成合成数据的应用,它们分别是用于承载自动驾驶汽车数字孪生的虚拟世界——NVIDIA DRIVE Sim和用于可操纵机器人数字孪生的虚拟世界——NVIDIA Isaac Sim。


image.png

 

这两个Replicator应用使开发者能够以人类无法做到的方式引导AI模型、填补现实世界的数据空白,并标记真值数据。在这些虚拟世界中产生的数据可以涵盖各类不同场景,包括在现实世界中无法经常经历或安全体验的罕见和危险情况。使用这些数据构建的自动驾驶汽车和机器人可以在一系列虚拟环境中掌握技能,然后再应用到物理世界中。

 

在本届GTC大会上,黄仁勋展示了两个数字分身的例子: Project Tokkio和 Toy-me。这两个例子都是基于Omniverse Avatar开发。Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术。在该平台上创建的虚拟形象是具有光线追踪3D图像效果的交互式角色,可以看到、说话、谈论各种主题,以及合理地理解表达意图。在第一个Project Tokkio演示中,黄仁勋展示了NVIDIA的同事们与一个黄仁勋的卡通虚拟形象进行互动——就生物学和气候科学等话题开展对话。

 

image.png 

 

在第二个Project Tokkio演示中,黄仁勋着重介绍了餐厅自助服务亭中的一个客户服务虚拟形象。演示中,有两名顾客正在订购素食汉堡、薯条和饮料,该虚拟形象看到了他们、与他们交谈并理解了他们。这些演示由NVIDIA AI软件和目前全球最大的可定制语言模型——Megatron 530B驱动。

 

Project Maxine是基于NVIDIA Maxine的SDK去做视频会议、远程协作、远程呈现数字人偶、数字化身的对话。它应用在黄仁勋的数字分身Toy-me上。

 

Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术。在该平台上创建的虚拟形象是具有光线追踪3D图像效果的交互式角色,可以看到、说话、谈论各种主题,以及合理地理解表达意图。

 

Omniverse Avatar为AI助手的创建开辟了道路,而且可以根据各个行业的需求轻松定制。AI助手可以帮助处理数十亿次日常客户服务互动,比如餐厅订单,银行交易,个人预约和预订等,带来更多商机并提升客户满意度。

 

除了Omniverse,NVIDIA Studio对于NVIDIA来说也非常重要。NVIDIA Studio是横跨了企业级和消费级的应用,最后会落地在Omniverse平台上。所有NVIDIA Studio的用户都可以通过NVIDIA Studio认证的设备,去使用NVIDIA Omniverse平台。

image.png 

 

NVIDIA Studio的用户数量非常庞大,除了数以亿计PC爱好者,还有4500万专业人士和自由职业者。超过3千万的实时流媒体UP主可能会利用到NVIDIA Studio平台、Omniverse技术,来加速后期创意工作流程,以制作更好的特效,实现更逼真、更栩栩如生、更有亲和力的画面效果、数字内容。还有8500万的学生,其中学习媒体、工程、数学、技术、理工等科目的学生需要配备非常强大的GPU的PC。

 

前面介绍的NVIDIA Omniverse中的许多组件:Replicator、Maxine、Avatar都是通过Studio SDK进行随时调用的,无论是物理模拟、仿真、加速、光线追踪等,还是基于Maxine的人工智能视频会议加速、调用Riva做嘴形的匹配,都可以融合到 NVIDIA Studio SDK 中,进而加速应用程序,优化应用程序在 Omniverse、NVIDIA GPU 上的性能。

 

这次会上还展示了NVIDIA Broadcast的更新,利用NVIDIA Broadcast和NVIDIA Studio SDK可以做出各式各样的应用和功能,而这些功能还在不断的增强、迭代。比如把Riva加进SDK,拥有了对于自然语言处理能力NLAP,它能识别背景里的尖叫声不是自然语言,不是语音段落的一部分,不是一个真实的需要呈现出来的声音,利用AI的方式把背景里的杂音,比如小孩跑闹、尖叫的声音滤掉。

 

通过这次沟通会可以看出,NVIDIA基于AI智能的创作之路走得即扎实又全面,NVIDIA Omniverse为创意者们带来福音,NVIDIA Studio为打造无限创意可能提供了支持。专注于自身的技术、软件平台和硬件基础,NVIDIA正在为探索元宇宙世界、实现元宇宙世界贡献力量。

 

 

 


关键字:Studio 编辑:王兆楠 引用地址:http://news.eeworld.com.cn/IoT/ic555645.html

上一篇:专利:苹果或开发智能项链、智能钥匙扣等 扩大可穿戴设备
下一篇:最后一页

推荐阅读

基于Omniverse的NVIDIA Isaac Sim目前已发布公测版
全新Isaac模拟引擎不但能够创造更逼真的环境,而且还能简化合成数据生成和域随机化,从而建立真值数据集来训练用于物流、仓库、未来工厂等的各种机器人。  Omniverse是NVIDIA模拟器的根本基础,包括加入了多项新功能的Isaac平台。NVIDIA Isaac Sim目前已发布公测版,您可以通过该平台探索更高级的机器人模拟功能。 Isaac Sim基于NVIDIA Omniverse平台而构建,它是一个机器人模拟应用与合成数据生成工具。机器人专家可使用它更高效地训练和测试机器人,模拟机器人与指定环境的真实互动,而且这些环境可以超越现实世界。 Isaac Sim的发布还增加了经过改进
发表于 2021-06-22
基于<font color='red'>Omniverse</font>的NVIDIA Isaac Sim目前已发布公测版
Knight Rider采用GAN模型:AI 和 NVIDIA Omniverse为 KITT 带来活力
Knight Rider采用GAN模型:AI 和 NVIDIA Omniverse为 KITT 带来活力NVIDIA 研究院的最新模型基于 GAN,将 2D 图像转化为3D,面向游戏开发者、艺术家、设计师和建筑师 NVIDIA 研究院正在研发一种全新深度学习引擎,该引擎可以根据标准的 2D 图像来创建 3D模型,并可以在NVIDIA Omniverse中,为诸如由Knight Rider 的 AI 驱动的 KITT 等标志性汽车带来活力。由多伦多的 NVIDIA AI 研究实验室开发的 GANverse3D 应用将平面图像放大成逼真的 3D 模型,可以在虚拟环境中可视化和控制。这种性能可以帮助建筑师、创作者、游戏开发人员
发表于 2021-04-23
Knight Rider采用GAN模型:AI 和 NVIDIA <font color='red'>Omniverse</font>为 KITT 带来活力
华为Freebuds Studio固件1.0.0.162更新了
      华为 Freebuds Studio 头戴式耳机近日获得了鸿蒙HarmonyOS 1.0.0.162 固件更新,新增支持了 HarmonyOS 超级终端功能。  更新内容:  1、音频连接中心(需搭配智慧生活 App 11.1.1.316 及以上版本使用,iOS 暂不支持)  2、HarmonyOS 超级终端(功能后台分批配置中,预计 11 月底完成;耳机固件 162 以下版本将影响超级终端的体验)  IT之家了解到,花粉俱乐部公告显示,本次固件更新预计 12 月 5 日完成全部推送,HarmonyOS 超级终端后台配置预计十一月底完成全部配置。  如果手机没有自动更新
发表于 2021-11-25
华为Freebuds <font color='red'>Studio</font>固件1.0.0.162更新了
Digi-Key、Seeed Studio 和 Machinechat 联合推出业界自用解决方案
Digi-Key、Seeed Studio 和 Machinechat 联合推出业界首个自用 LoRaWAN-in-a-Box 解决方案全球供应品类极为丰富、发货快速的现货电子元器件分销商Digi-Key Electronics,日前已与Seeed Studio 以及Machinechat联合推出行业首个用于物联网 (IoT) 的自用 LoRaWAN-in-a-Box solutions解决方案。 Digi-Key 是 Machinechat 和 Seeed Studio 的业界首个自用 LoRaWAN-in-a-Box 解决方案的独家经销商Digi-Key 物联网业务解决方案总监 Robbie Paul 表示
发表于 2021-11-23
Digi-Key、Seeed <font color='red'>Studio</font> 和 Machinechat 联合推出业界自用解决方案
CODASIP为其STUDIO处理器设计工具添翼AXI总线自动设计功能
CODASIP为其STUDIO处理器设计工具添翼AXI总线自动设计功能德国慕尼黑,2021年10月26日 – 领先的定制化RISC-V处理器半导体知识产权(IP)核供应商Codasip今日宣布进一步强化其Studio处理器设计工具套件。其Studio 9.1工具的新增功能包括面向高性能设计添加的完整AXI总线支持,完善了对LLVM的支持以及更高的代码密度。Studio工具是Codasip产品组合的核心组件,可用于简化定制化设计任务,确保各种规模的公司从处理器核心部分出发去实现产品的差异化。自从该工具套件在2014年推出以来,Studio一直是新兴处理器市场的领导者。通过简化处理器的定制化过程,设计师在利用Codasip
发表于 2021-10-29
CODASIP为其<font color='red'>STUDIO</font>处理器设计工具添翼AXI总线自动设计功能
腾讯版Mendix Studio正式上线将释放公民开发者力量
腾讯版Mendix Studio正式上线将释放公民开发者力量助力跨团队协作开发应用程序中国北京,2021年7月22日–企业低代码应用开发全球领导者Mendix, a Siemens business日前宣布,正式推出腾讯云版本Mendix Studio。目前该软件的在线与离线两个版本都已正式上线,可结合Mendix Studio Pro配套使用。此次推出的腾讯版Mendix Studio,有基于模型的视觉效果开发环境,是对Mendix开创性的无代码/低代码平台的重大更新,可助力各种技能的开发人员协作构建应用程序,推动企业数字化进程。Studio是一个协作的、基于Web的无代码应用程序开发环境,可帮助具备较少编码或软件开发经验的业务
发表于 2021-07-22
腾讯版Mendix <font color='red'>Studio</font>正式上线将释放公民开发者力量
小广播
换一换 更多 相关热搜器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关:

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2021 EEWORLD.com.cn, Inc. All rights reserved