Motion2Vec算法的开发主要基于暹罗网络和递归神经网络

发布者:xxoke624最新更新时间:2020-07-08 来源: 机器人大讲堂作者: Lemontree 手机看文章 扫描二维码
随时随地手机看文章

模仿是最原始的学习方法,也是实现人工智能的基石。

通过和算法,机器人也可以通过看视频学会各种各样的技能。

没错,它就是技艺高超,被大家所熟知的达芬奇机器人。

这次它又被赋予了新功能:通过观看教学视频,学会外科手术中的相关任务。比如缝合,穿针,以及打结等动作。

让达芬奇机器人变成‘模仿艺人’的关键,是一个叫做Moon2Vec的半监督式学习算法,近日由谷歌大脑,公司和加利福尼亚大学伯克利分校合作开发。

起初,加州大学伯克利分校的教授曾使用YouTube视频作为机器人学习各种动作(例如跳跃或跳舞)的指南。机器人模仿视频中的动作,成功学习了20多种杂技,比如侧空翻、单手翻、后空翻等高难度动作。

谷歌此前也有过相关研究,例如使用视频来教授四足机器人学习狗狗的灵活动作。

这些经历促成了他们彼此的合作,他们将这些知识应用于项目MoTIon2Vec中,在这个过程中,使用了实际手术过程的视频进行指导和训练。

在最近发布的论文中,研究人员概述了他们如何使用YouTube视频训练两臂的达芬奇机器人在织布机上插入针头并进行缝合。

人类在看视频的时候可以迅速理解内容,但机器人目前无法做到这一点,它们只是将其视为像素流。因此,要以机器人的方式让他们理解并学习——弄清并分析这些像素,然后将视频分割成有意义的序列。

事实上,MoTIon2Vec算法的开发主要基于暹罗网络和递归。

暹罗网络(Siamesenetwork)就是“连体的神经网络”,神经网络的“连体”是通过共享权值来实现的。它的主要功能是衡量两个物体的相似度。比如,看看某两个人长得像不像。

这样,研究人员就可以将视频中相同动作段的图像放到一起,并给它们做一个,比如‘针头插入’,或‘瞄准位置’等,从而对视频中的图像进行分割和分类。

然后,研究人员使用递归神经网络来找到那些没有被标记的图像,这些图像会反馈到暹罗网络中以改善动作片段的比对。

对于缝合任务,研究团队仅需要78个教学医学视频即可训练其引擎执行该过程,成功率为85%。

这似乎意味着机器人可以在外科手术中承担一些更基本,重复性的任务,但它们目前还无法完全代替医生来做手术。

加州大学伯克利分校实验室的负责人KenGoldberg解释说“我们想要看到的是,机器人在做基本缝合任务,而外科医生能够监视手术过程,比如像机器人表明他们想要在哪一排进行缝合,或传达出希望进行六次覆膜缝合的想法。” “这样,机器人能代替外科医生做最基本的任务,让医生们得到更多的休息,并能够专注于手术中更复杂或更细微的部分。”
       责任编辑:pj

引用地址:Motion2Vec算法的开发主要基于暹罗网络和递归神经网络

上一篇:机器人领域涉及到微型无人机和微型机器人系统
下一篇:佐治亚理工研究人员通过仿生树懒推出了自己的巡检机器人

小广播
最新机器人文章
换一换 更多 相关热搜器件
随便看看

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关:

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区中关村大街18号B座15层1530室 电话:(010)82350740 邮编:100190

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved