QbitAI量子位

文章数:9840 被阅读:145283027

账号入驻

机器人会模仿人类微笑了,但我总觉得这笑容……

最新更新时间:2021-09-03 15:48
    阅读数:
丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI

机器人只能用一张扑克脸、上面两只空洞的塑料珠子来面对人类吗?

不一定,它也可以冲你微笑

下面这个拥有着柔软面部的“小蓝人”,可以模仿人类的微笑等表情

就像这样:

“尬笑”、“龇牙咧嘴”……一改机器人“冷若冰霜、呆若木鸡”的形象。

可一向由金属或硬塑料制成的机器人,是如何露出微笑的呢?

由线和电机组成的人造“肌肉”

哥伦比亚大学(Columbia Engineering)创意机器实验室(Creative Machines Lab)的研究人员一直对机器人与人类之间的互动感兴趣。

面部表情在建立信任方面发挥着巨大作用,随着机器人已经被越来越多的用于疗养院、医院等与人类紧密合作的地方,相比“冷冰冰”,我们更需要灵敏、有“温度”的机器人。

于是,研究人员花了五年时间来创造上面这个可以模仿人类表情、叫做 EVA的机器人。

EVA的机械设计含以下四个模块,如下图:

A为电机伺服模块(motor servo module ),EVA就是由它驱动,该模块通过底部的树莓派4控制。“皮肤”通过尼龙绳与10个电机相连,以受到控制作出相应表情。

B为有6个转动角度的自由度的眼睛模块,与前颅骨分离。

C为RGB摄像机,用于人表情的随机数据采集。

D为6自由度的颈部模块。

其中,要想在机器人整个头部设计出一个足够紧凑的系统以适应人类头骨的大小,同时仍然具有足够的功能以产生各种面部表情可不容易。

里面要塞下电路、传感器和电机(motor)等各种体积不小的玩意儿。

为此,研究人员决定用3D 打印来制造形状复杂的零件,让这些零件在EVA 的脑瓜里无缝地集成在一起。

EVA通过由尼龙绳和电机(cables and motors)组成的人工“肌肉”,拉动脸上的特定点,模仿人类面部皮肤和骨骼上不同部位的42多块细小肌肉的运动,来表达愤怒、厌恶、恐惧、喜悦、悲伤和惊讶六种基本情绪,甚至更细微的表情。

“有一天,当 EVA 突然给我一个大大的、友好的微笑时,我正忙着自己的事情,我知道这纯粹是机械性的,但我发现自己条件反射地回以微笑。”

深度学习“阅读”人类表情,作出反应

上面的机械设计,表明EVA这个机器人在物理上具备作出各种表情的能力。那它又是如何自主完成模仿的呢?

下面就来揭开这款机器人的软件部分。

由于人类面部表情太复杂,预先设定好的规则根本不够随机应变,研究人员利用几个深度学习神经网络构建了EVA的“大脑”。

这个大脑需掌握两种能力:一是通过“阅读”人类的脸知道自己要做哪些表情;二是能把这些表情通过控制面部“肌肉”而呈现出来。

为了教EVA认清自己的“脸”是什么样子,团队拍摄了数小时它做各种“鬼脸”的视频。

眉毛也可以动~

然后,就像一个人类在Zoom视频软件里看着自己一样,EVA的内部神经网络学会了将肌肉运动和视频片段中自己的脸“配对”。

EVA对自己的脸是如何“运动”有了原始的感觉后,让它将自己与摄像机拍摄的人脸表情匹配上也就不难了。

经过多次改进和迭代,EVA终于获得了从相机读取人脸“姿势”的能力,并通过模仿人类面部表情来做出反应。

整个模仿过程如下:

EVA的大脑主要有两个神经网络:生成网络和逆生成网络(inverse network)。

给定一幅由普通RGB相机拍摄的人脸图像后,系统首先用OpenPose提取面部标志

OpenPose,人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库。

然后将人脸面部标志标准化为机器人尺寸,将它与静态机器人脸图像连接到生成网络,生成合成表情后的机器人图像。

逆生成网络以该图像为基础,输出电机指令让机器人执行,最终机器人脸上浮现出人类表情。

再来看一组EVA的模仿:

发现EVA还会眨眼睛、扭脖子,但是从正面看的话表情还是有点僵硬

研究人员指出,EVA 还只是一项实验室实验,只会模仿,也与真正和人类进行面部表情交流还相去甚远。但他们相信这种技术终有一天会在现实世界中产生有益的应用。

该研究于 2021 年 5 月 30 日在 ICRA 会议上发表,机器人的蓝图已在 Hardware-X(2021 年 4 月)开源。

关于作者

此次EVA机器人的研究团队主要成员一共5人,其中3名华人。

机器人软件部分的项目领导人为Chen Boyuan,吉大本科毕业,现哥伦比亚大学博士生,专业计算机科学与技术,研究方向:机器人、计算机视觉、机器学习。

文中出镜的小哥胡宇航 ,也是哥伦比亚大学的博士生。本科毕业于厦门大学嘉庚学院,本科期间就申请了多项国家专利,还开了公司,被称为“科创达人”。

Li Lianfeng, 哥伦比亚大学机器人技术与控制机械工程硕士。

论文地址:https://arxiv.org/abs/2105.12724
项目网站:http://www.cs.columbia.edu/~bchen/aiface/

参考链接:

https://www.eurekalert.org/pub_releases/2021-05/cuso-trs052721.php

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

点这里

推荐帖子

最近迷上了电子元件,有没有什么适合新手DIY的?
工作跟电子元件有关,原来对电子元件一窍不通的我整天接触着电子元件,也慢慢对它产生了兴趣。混迹于各种贴吧论坛,看到各大神的DIY,心里想着,不是吧,还可以这么干。知道自己是个小白,求助各位,有没有适合新人的电子DIY。最主要也是想看看自己的动手能力和发展一下兴趣,万分感谢啦。最后,放上几张让我感慨又羡慕的图。。。。。。。最近迷上了电子元件,有没有什么适合新手DIY的?DIY电子时钟,最适合入门啦。 哦哦,我去网上搜搜看教程,哈哈哈哈这几张DIY都好漂亮啊:victory:
咔擦咔擦 创意市集
NOR/NAND/PC存储控制寄存器与BANK(X)(X=1,2,3,4)有什么关系?
1:NOR/NAND/PC存储控制寄存器与BANK(X)(X=1,2,3,4)有什么关系?2:配置寄存器是用来干什么用的?NOR/NAND/PC存储控制寄存器与BANK(X)(X=1,2,3,4)有什么关系?
electrics stm32/stm8
USB 摄像头驱动中图像格式除了 NTSC还有别的吗?
我正在学习WINDOWS驱动开发,看到DDK自带的例子中给了那个虚拟摄像头驱动用得是NTSC的格式,想问一下,现在使用的摄像头都是数字的,还是使用这种图像格式吗?是不是直接有RGB格式。USB摄像头驱动中图像格式除了NTSC还有别的吗?有些直接有RGB格式。有些直接有YUV格式。谢谢回复,想问一下这个跟什么有关系,如果我想做一个虚拟的RGB格式的,应该做些什么工作,我是指YUV与RGB有驱动中的不同的地方。还有,应用程序使用的时候,需要考虑这两种不同格式吗?
dzkuchun 嵌入式系统
小功率信号发射
本帖最后由paulhyde于2014-9-1509:20编辑小功率信号发射器小功率信号发射
朱110800311 电子竞赛
电子信息工程的大学四年之感悟
本帖最后由paulhyde于2014-9-1509:13编辑题记:我平时懒于BBS的灌水,属于潜水一族,也看到很多人在毕业之际写一些心得体会之类,我本不想写这些东东,自我感觉有点哗众取宠,但终究是写下了。文中所述,仁者见仁,智者见智,同意或反对者均可保留自己的意见。我希望文中提及的部分话题不要引起口水战,与其在这里作无谓的口舌之争,倒不如多花点时间在复习考试上。电子工程专业四年的学习,就这样走了过来。回首过去,有苦有甜,但终究是有一些大学生活的感慨,在这里写出来以作纪
空气 电子竞赛
单片机芯片如何控制各种设备的?
单片机芯片如何控制各种设备的?单片机芯片如何控制各种设备的?通过IO输出的数字量,部分单片机可以输出模拟量在片内处理控制逻辑以达到控制目的...本公司专业承接PCB印制线路板厂家。主要生产单,双以及多层线路板,盲孔,高频板等。最小孔径0.15mm,是小线距0.1mm.表面处理:防氧化,镀金,镀锡.无铅工艺等等.质量保证,交货及时.最快24小时交货,月产量1.2万个平方米.本企业已经过ISO9000:2000/ISO14001质量休系/环保体系国际认证和UL认证.以及欧洲环保认证(R
kaitone 嵌入式系统

最新有关QbitAI量子位的文章

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区中关村大街18号B座15层1530室 电话:(010)82350740 邮编:100190

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2021 EEWORLD.com.cn, Inc. All rights reserved