在苏州举办的GTC CHINA 2019大会上,NVIDIA创始人兼CEO黄仁勋宣布了全新版本的Isaac(应该取自艾萨克·牛顿)软件开发套件(SDK),建立了一个统一的机器人开发平台,提供更新的AI感知、仿真、操控功能。
Isaac SDK套件包括提供应用程序框架的Isaac Robotics Engine,预先构建的深度神经网络模型、算法、库、驱动程序和API Isaac GEM,用于室内物流的参考应用程序,以及提供导航功能的Isaac Sim(首个版本)。
NVIDIA表示,全新的Isaac SDK可以大大加快研究人员、开发人员、初创企业和制造商开发和测试机器人的速度,使机器人能够通过仿真获得由人工智能技术驱动的感知和训练功能,从而可以在各种环境和情况下对机器人进行测试和验证,从而节省成本。
为了加快AI机器人的开发速度,Isaac SDK包含了各种基于摄像头的感知深度神经网络,比如:
- 对象检测:识别用于导航、交互或操控的对象
- 自由空间分割:检测和分割外部世界,例如确定人行道在哪里,以及机器人可以在哪里行驶
- 3D姿态估计:了解目标的位置和方向,从而实现诸如机械臂拾取物体的任务
- 2D人体姿态估计:将姿态估计应用于人,这对于与人互动的机器人(例如配送机器人)和协作机器人(专门设计用于与人合作)非常重要
Isaac SDK的对象检测也通过ResNet深度神经网络进行了更新,可以使用NVIDIA的迁移学习工具包对其进行训练,添加新对象进行检测和训练新模型变得更容易,这些新模型能以较高的准确度启动并运行。
借助新版SDK,还可以使用Isaac Sim训练机器人,并将所生成的软件部署到在现实世界中运行的真实机器人中,大大加快机器人的开发速度,从而实现综合数据的训练。
通过仿真,开发人员可以在困难或异常等极端情况下对机器人进行测试,以进一步加强对它的训练。将这些结果输入训练管道,使神经网络可以基于真实和模拟数据来提高准确性。
全新SDK也提供了多机器人仿真,可将多个机器人放入仿真环境中进行测试,以便它们学会彼此相关的工作。各个机器人可以在共享的虚拟环境中移动时,运行独立版本的Isaac导航软件堆栈。
最后,如果开发人员已经开发了自己代码的机器人,全新Isaac SDK也能集成他们的工作,并有基于C编程语言的新API,开发人员可以将自己的软件堆栈连接到Isaac SDK,并最大程度地减少编程语言转换,为用户提供通过C API访问路由的Isaac功能。
C-API访问权限同时支持开发人员在其他编程语言中使用Isaac SDK。
Isaac WebSight
Isaac项目上,NVIDIA已经与清华、北大等国内多所高校、科研机构和企业达成了合作。
在发布会现场,黄仁勋还演示了一款名为“Leonardo”的物体操纵机器人,体现了快速平滑的动作、6D姿态感知、交互式行为生成,在模拟和现实世界中通过学习,成为一个真正意义上的机器人。
Leonardo的仿真训练空间名为Isaac Gym,模拟了RGB、景深摄像头和Franka机器人传动装置。尽管是模拟世界,它依然遵循真实物理规则,并运行于NVIDIA GPU PhysX 5.0物理引擎之上。
作者:上方文Q
上一篇:机器人技术大提升:NVIDIA为构建自主机器统一平台树立里程碑
下一篇:远牧深圳城市合伙人计划启动 正式布局植保无人机市场
- XL6007低效辉光管升压模块
- LT1117CM-3.3 低压差正稳压器的典型应用,具有用于 SCSI-2 总线的有源端接器
- LTC3630AMPMSE 5V 至 76V 输入至 5V 输出、150mA 稳压器和 20kHz 最小突发频率的典型应用电路
- AD5644R 四路 14 位 nanoDAC 的典型应用
- UMFT220XA-01,用于 FT220XQ 全速 USB 2.0 接口的 USB 转 4 位 SPI/FT1248 开发模块
- CPU复位电路AZ7023ZTR电压检测器典型应用电路
- LTC2378-18、18 位、1Msps、低功耗 SAR ADC 的典型应用
- YOLO3D:基于yolo的3D物体检测在自动驾驶应用的项目源码
- CY8C21xxx PSoC 非易失性存储器控制器
- NLAS7222CMUGEVB:2 对 1 模拟开关评估板