QbitAI量子位

文章数:1886 被阅读:23077247

账号入驻

谷歌开源手势识别器,手机能用,运行流畅,还有现成的App,但是被我们玩坏了

2019-08-23
    阅读数:
郭一璞 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

借助TensorFlow Lite和MediaPipe,谷歌刚刚开源了一款手势识别器,可以直接在手机上运行,实时跟踪,并且已经开源。

官方说,效果长这样:

有了这项应用,你可以开发手语识别、AR游戏,甚至用它来玩石头剪刀布。

有App可玩

谷歌已经把这款手势识别器做成了一款名为“Hand Tracking GPU”的App,在安卓端有对应的apk安装包,下载到手机上,安装成功后,无需联网就可以直接用了。

当然,iOS用户也可以安装,但是没有现成的安装包,可以下载源代码自行编译。

App默认调用前置摄像头,如果屏幕中出现的是你的脸,它是没有反应的。

伸手到屏幕前,就可以和官方演示的一样,识别出手部的各种姿势,123456789都可以识别:

或者比个“OK”:

点个赞:

反应还是非常敏锐的,效果不错。不过,不知是什么原因,有时候玩着玩着,屏幕也会突然“放空”,只能看到手,识别不出手势,这也被推特上的网友抓了包:

另外,这个App只支持一只手的手势识别,如果你把两只手都放到摄像头前,它只能识别一只:

说好的石头剪刀布呢?

当然,想想办法还是能让它识别两只手的,比如这样:

 它不知道我换了一只手

悄咪咪的,就把识别出的手势框图从一只手转移到了另一只手上。

 它也不知道我换回来了

当然,你也可以换回来,来去切换自如,仿佛背后的模型已经被忽悠瘸了。

三大模型

不过,被“忽悠瘸了”的锅,可不能让一个模型背,因为,这款应用的背后有3个模型。

BlazePalm

从整个图像中界定手部轮廓,找到手掌的位置,检测平均精度达到95.7%。

Hand Landmark

前一个模型找到手掌之后,这个模型负责定位关键点,它可以找到手掌上的21个关节坐标。

在训练过程中,研究人员们用到了将近30000张真实世界的标注过的手掌图片,来获取ground truth数据。

之后,用混合训练的方式训练模型。

Gesture Recognition

现在,手部关键点检测结果出来之后,需要判断比划出来的手势是什么意思,也就是识别出✌️是2,这里包含各种手势,除了123456789之外,还有yeah、ok等。

不过,遗憾的是似乎App里没有这个功能。

借助MediaPipe实现

最后的实现,借助了MediaPipe,这是一个构建机器学习pipeline的框架。用于手势识别的MediaPipe图长这样:

前面的各种模型,都融入到了这张整体的图里,可以看到从拍摄到出结果的全过程。

另外,借助MediaPipe,还可以做人脸检测:

头发分割:

物体检测:

具体内容,可以进入传送门体验:

传送门

MediaPipe
https://github.com/google/mediapipe

手部跟踪
https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_tracking_mobile_gpu.md

手势识别apk/源代码
https://drive.google.com/file/d/1uCjS0y0O0dTDItsMh8x2cf4-l3uHW1vE/view


加入社群 | 与优秀的人交流

小程序 | 全类别AI学习教程


量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !





最新有关QbitAI的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved