QbitAI量子位

文章数:7459 被阅读:119355370

账号入驻

机器人会模仿人类微笑了,但我总觉得这笑容……

最新更新时间:2021-09-03 15:48
    阅读数:
丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI

机器人只能用一张扑克脸、上面两只空洞的塑料珠子来面对人类吗?

不一定,它也可以冲你微笑

下面这个拥有着柔软面部的“小蓝人”,可以模仿人类的微笑等表情

就像这样:

“尬笑”、“龇牙咧嘴”……一改机器人“冷若冰霜、呆若木鸡”的形象。

可一向由金属或硬塑料制成的机器人,是如何露出微笑的呢?

由线和电机组成的人造“肌肉”

哥伦比亚大学(Columbia Engineering)创意机器实验室(Creative Machines Lab)的研究人员一直对机器人与人类之间的互动感兴趣。

面部表情在建立信任方面发挥着巨大作用,随着机器人已经被越来越多的用于疗养院、医院等与人类紧密合作的地方,相比“冷冰冰”,我们更需要灵敏、有“温度”的机器人。

于是,研究人员花了五年时间来创造上面这个可以模仿人类表情、叫做 EVA的机器人。

EVA的机械设计含以下四个模块,如下图:

A为电机伺服模块(motor servo module ),EVA就是由它驱动,该模块通过底部的树莓派4控制。“皮肤”通过尼龙绳与10个电机相连,以受到控制作出相应表情。

B为有6个转动角度的自由度的眼睛模块,与前颅骨分离。

C为RGB摄像机,用于人表情的随机数据采集。

D为6自由度的颈部模块。

其中,要想在机器人整个头部设计出一个足够紧凑的系统以适应人类头骨的大小,同时仍然具有足够的功能以产生各种面部表情可不容易。

里面要塞下电路、传感器和电机(motor)等各种体积不小的玩意儿。

为此,研究人员决定用3D 打印来制造形状复杂的零件,让这些零件在EVA 的脑瓜里无缝地集成在一起。

EVA通过由尼龙绳和电机(cables and motors)组成的人工“肌肉”,拉动脸上的特定点,模仿人类面部皮肤和骨骼上不同部位的42多块细小肌肉的运动,来表达愤怒、厌恶、恐惧、喜悦、悲伤和惊讶六种基本情绪,甚至更细微的表情。

“有一天,当 EVA 突然给我一个大大的、友好的微笑时,我正忙着自己的事情,我知道这纯粹是机械性的,但我发现自己条件反射地回以微笑。”

深度学习“阅读”人类表情,作出反应

上面的机械设计,表明EVA这个机器人在物理上具备作出各种表情的能力。那它又是如何自主完成模仿的呢?

下面就来揭开这款机器人的软件部分。

由于人类面部表情太复杂,预先设定好的规则根本不够随机应变,研究人员利用几个深度学习神经网络构建了EVA的“大脑”。

这个大脑需掌握两种能力:一是通过“阅读”人类的脸知道自己要做哪些表情;二是能把这些表情通过控制面部“肌肉”而呈现出来。

为了教EVA认清自己的“脸”是什么样子,团队拍摄了数小时它做各种“鬼脸”的视频。

眉毛也可以动~

然后,就像一个人类在Zoom视频软件里看着自己一样,EVA的内部神经网络学会了将肌肉运动和视频片段中自己的脸“配对”。

EVA对自己的脸是如何“运动”有了原始的感觉后,让它将自己与摄像机拍摄的人脸表情匹配上也就不难了。

经过多次改进和迭代,EVA终于获得了从相机读取人脸“姿势”的能力,并通过模仿人类面部表情来做出反应。

整个模仿过程如下:

EVA的大脑主要有两个神经网络:生成网络和逆生成网络(inverse network)。

给定一幅由普通RGB相机拍摄的人脸图像后,系统首先用OpenPose提取面部标志

OpenPose,人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库。

然后将人脸面部标志标准化为机器人尺寸,将它与静态机器人脸图像连接到生成网络,生成合成表情后的机器人图像。

逆生成网络以该图像为基础,输出电机指令让机器人执行,最终机器人脸上浮现出人类表情。

再来看一组EVA的模仿:

发现EVA还会眨眼睛、扭脖子,但是从正面看的话表情还是有点僵硬

研究人员指出,EVA 还只是一项实验室实验,只会模仿,也与真正和人类进行面部表情交流还相去甚远。但他们相信这种技术终有一天会在现实世界中产生有益的应用。

该研究于 2021 年 5 月 30 日在 ICRA 会议上发表,机器人的蓝图已在 Hardware-X(2021 年 4 月)开源。

关于作者

此次EVA机器人的研究团队主要成员一共5人,其中3名华人。

机器人软件部分的项目领导人为Chen Boyuan,吉大本科毕业,现哥伦比亚大学博士生,专业计算机科学与技术,研究方向:机器人、计算机视觉、机器学习。

文中出镜的小哥胡宇航 ,也是哥伦比亚大学的博士生。本科毕业于厦门大学嘉庚学院,本科期间就申请了多项国家专利,还开了公司,被称为“科创达人”。

Li Lianfeng, 哥伦比亚大学机器人技术与控制机械工程硕士。

论文地址:https://arxiv.org/abs/2105.12724
项目网站:http://www.cs.columbia.edu/~bchen/aiface/

参考链接:

https://www.eurekalert.org/pub_releases/2021-05/cuso-trs052721.php

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

点这里

推荐帖子

俄罗斯“格洛纳斯”系统提供的服务不加密,定位精度可达1.5米以内
俄罗斯已经有21个卫星的“格洛纳斯”系统导航范围可以覆盖95%的俄罗斯国土面积和86%的地球表面。   目前美国GPS全球卫星导航系统提供的民用服务降低了定位精度,而“格洛纳斯”系统则是军民合用、提供的服务不加密,定位精度可达1.5米以内,整个系统将于2009年前完成全部24颗卫星的部署工作。 我国的“北斗”也不错,有什么特点呢?请指教。俄罗斯“格洛纳斯”系统提供的服务不加密,定位精度可达1.5米以内
ssbrida RF/无线
STM8S如何生成EEPROM的烧些文件
除了生成Flash的.s19格式,或.hex的文件外,怎么样才能生成EEPRM的烧些文件呢,定义了EEPROM段的变量,在map文件里查看,eeprom的使用量依然是0,很不解.以前使用AVR时,可以直接有EEPROM文件生成,烧些时有Flash和Eeprom两个文件.ST的MCU怎么做呢?STM8S如何生成EEPROM的烧些文件
peter.zhang stm32/stm8
ST MCU端口(模块)配置程序
用着不错,但灵活性还有待提高, 推荐给大家 别嫌麻烦,回复可见 dontium,如果您要查看本帖隐藏内容请回复 STMCU端口(模块)配置程序
dontium stm32/stm8
单片机自带液晶驱动功能,外接电阻驱动液晶屏,请教一下,外接电阻和电容对显示的影响
单片机自带液晶驱动功能,外接电阻驱动液晶屏,请教一下,外接电阻和电容的作用是什么,它们是怎样与单片机内部的液晶屏驱相配合来完成显示的?如下图所示电阻R3-R6电容C6-C8的数值是怎么影响液晶屏的显示效果的? 单片机自带液晶驱动功能,外接电阻驱动液晶屏,请教一下,外接电阻和电容对显示的影响
一沙一世 stm32/stm8
出一本 实用电工手册 和 电动车 转换器
本帖最后由ddllxxrr于2016-1-716:39编辑一共20元,需要的联系我QQ429512065 江浙沪邮费5元,不太好出掉,能出就出吧。 转换器是48V转12V的,新日电动车的 书是周希章的,亚马逊新书的价格是49元。 第一章电工基础知识 第一节常用电工名词解释 第二节常用量和单位 第三节常用基本定律及计算公式 第四节电工工具及其使用 第五节保证安全的技术措施和组织措施 第二章电工识图 第一节识图基本知识
乔海权 淘e淘

最新有关QbitAI量子位的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2021 EEWORLD.com.cn, Inc. All rights reserved