基于Kinect的自主康复系统的设计与实现

引言

　　Kinect体感传感器是微软公司于2010年发布的新兴体感交互式传感器^[1]，它打破了传统的人机交互方式，更加生动有效地展示了人机交互的理念和方式，因此在各行各业迅速得到应用推广。随着中国社会老龄化程度不断加深，老年人群比例逐年增大，老年病和慢性病成为社区医疗服务的重点关注疾病，老年痴呆、脑卒中、高血压等易发疾病不仅需要药物治疗，还需持久的康复训练^[2]，目前医疗资源较为紧张，将治疗后期用以增加肌体功能的康复训练转移到社区或家庭中进行能缓解老年疾病护理和医疗资源的需求供给矛盾，还能提高康复训练的信息化，有利于康复数据收集和研究^[3] 。本文结合Kinect和软件及数据库技术，开发了一套自主康复系统，患者登录系统获取康复训练计划，按计划要求的动作进行康复训练，系统使用Kinect传感器获取人体关节点的空间坐标并捕捉节点运动轨迹，经异常值处理后判定患者各节点康复训练动作是否达标，并根据训练效果制定进一步的康复计划，医生可随时进入数据库系统查询患者的康复状态。该系统经验证可准确识别关节运动，交互实时性、准确性达到系统设计要求，为老年疾病康复训练提供了较好的恢复平台，而且所获得的康复数据也为相关疾病康复研究提供了大量的数据信息。

1 系统结构

　　系统使用Kinect设备获取用户的骨骼空间坐标并进行轨迹生成再现，同时计算用户训练的关节点相对角度值与设置的阈值比较，当相对角度变化值超过阈值后系统将提示用户完成该训练动作内容并给出响应。为完成这一系列过程，系统需要四个主要部分：(1)传感器数据采集;(2)数据处理运算;(3)数据显示;(4)数据存储。其中传感器数据采集主要由Kinect传感器完成，数据处理运算在Visual C++的后台中进行运算，数据显示通过生成的系统软件在前台显示并对用户动作响应，数据存储功能由MySQL完成，医生可随时调用数据库数据查看患者自主康复数据，并根据用户自主康复训练结果更新训练计划，在软件前端显示并提供用户使用，从而形成一个良性循环的闭环系统。系统功能结构如图 1所示。

2 系统功能原理

2.1 数据采集

　　Kinect设备能够实时获得彩色图像和深度图像数据，而且支持实时的半身和全向骨骼跟踪模式并能识别一系列的动作^[4]，这是自主康复系统应用Kinect的关键原因。Kinect由红外发射器、RGB彩色摄像头和红外线COMS摄像机组成^[5]。Kinect能够提供人体内的二十个骨架关节点的三维坐标值，如图2所示。

　　以这二十个关节点为基础，计算任意两个关节点的距离和方位变化可得人体关节运动轨迹。Kinect可获取场景深度信息并进一步计算出人与相机间的空间间隔^[6]，设人体到Kinect设备的距离为d，可由式(1)求得：

　(1)

　　式中d_k是对象深度值，由Kinect设备获取，k=12.36厘米、H=3.5-10^-4rad、L=1.18rad、O=3.7厘米。

2.2 运动轨迹生成

　　将深度图像坐标(x_k，y_k，z_k)转化为实际坐标(x_r，y_r，z_r)，转化公式为：

(2)

　　式中F=0.0021，D'=-10，Kinect的分辨率[7]为w×h=680×480。这样利用(1)式、(2)式可得人体任意两个关节点的空间坐标值M(x_r1，y_r1，z_r1)和N(x_r2，y_r2，z_r2)，可得两关节点间的距离为：

(3)

　　由于Kinect的硬件误差或抖动^[8]等一系列因素导致骨骼关节点的相对位置在短时间内变化极大、数据中存在异常值，针对这一问题，在系统生成骨骼节点的运动轨迹时需对这类异常值进行筛选和删除，对运动轨迹进行平滑处理^[9]。为达到降噪效果，将活动关节当前时刻的坐标值与前N-1个采样周期的关节坐标的平均值当作当前时刻的关节位置，并按时序以N为步长对获取的坐标位置进行递进前移，该方法可以使系统获取并用于显示的人体关节活动轨迹更为平滑优美，带给康复患者较好的视觉感观，以增强康复的信心。

2.3 姿势判断

　　获取骨骼节点的坐标标据和运动轨迹是生成人体关节运动轨迹的基础，而判断患者动作是否达到要求是系统指导患者进行康复训练的关键，在关节点运动过程中还需判断患者是否完成康复动作并在完成动作后给予响应。考虑人体运动时很多骨骼关节并非直线运动，而是以某一关节为圆心的类似圆弧运动^[10]，因此可实时获取各时刻的关节点角度，通过活动关节点相对于转动圆心关节点的角度变化值来计算患者是否完成康复动作。

在系统中利用余弦定理计算如图 3所示的相关联的3个关节点连线的角度值 ，计算方法为：

(4)

　　通过(4)式，系统在Kinect检测到骷髅关节点的运动时可获取相关联的节点间在任意时刻的相对角度，继而求得在Δt时段内活动关节点相对于转动圆心关节点的角度变化值Δθ，并设该活动关节点对应角度阈值为θt ，并设BOOL型变量K，K通过(5)式确定：

(5)

　　在每一采样周期，系统计算此时刻与前Δt时刻的角度差Δθ，得到K的结果并判断，当K为假时继续采样追踪活动关节点位置，当K为真时给出对应语音和文字提示并结束追踪关节运动。

3 测试结果

　　对系统进行性能测试验证，为减少系统负担提高运算效率，对系统进行优化设计，当追踪某一关节活动时，系统只计算该关节与系统预先设定的关联关节活动轨迹，对其他关节点的动作不进行跟踪和建立轨迹。而且由于系统传感器使用了激光散斑原理，即激光在散射体表面发生漫反射的时候在附近光场中可看到无规则分布的亮暗光点，这就要求系统使用过程中使用者和背景环境有较为明显的区分度，而且Kinect传感器的有效探测区间是[0.8米，3.5米]，因此在测试时测试者身着深色服装、背靠白色墙壁、距Kinect传感器2.5米进行测试。图 4 系统界面所示为系统界面，用户登录系统后将进入到此界面，左侧为提示框和操作区，其中上方显示了当前动作的动作概念、锻炼部位和小贴示，下方为系统控制区，可进行重做、下一动作、寻求帮助、系统风格等操作，其中显示风格为系统右侧规定动作和展示使用者动作展示的显示风格，目前已完成钢铁机甲、与子偕老、夕阳红等三种风格;右侧为动作展示区和进行提示区，分别展示系统规定动作和使用者动作，并在下方提示用户完成进度。

　　为了测试系统的实时性和准确性，分别选取举手上伸、握拳抬小臂、击掌、小腿划圈、头部转圈等五个动作，前四个动作左右肢各进行50次，头部转圈动作进行100次，通过读取系统时戳以获取系统反应时间，并根据系统显示结果判断系统识别动作是否正确，测试结果如表1所示。

　　从表1数据可以看出，系统对举手上伸、握拳抬小臂、击掌等三个动作的识别率达到100%，而小腿划圈、头部转圈两个动作有不识别情况，不识别主要发生在测试者划圈速度较快的情况下，系统使用三关联点测角的方法发生误判，但考虑到康复患者普遍动作较慢，不识别的情况在系统实际使用中发生的可能性较小，系统的平均反应时间随着动作复杂度提升也会小幅增长，但都小于0.2秒的设计要求，因此本系统的准确性和实时性满足实际使用需求。

4 结束语

　　本文的系统使用Kinect开发完成，可实现对患者康复动作的引导教学和完成情况判定，并将最终的康复情况存入数据库中，医生可根据数据库中数据判断患者自主康复效果并更新训练计划提供给患者，在良好的人机交互的基础上实现了医生和患者远程良性互动，对患者自主进行康复具有积极促进作用，系统测试结果表明系统的实时性和准确性达到设计要求，因此系统具有一定的应用价值。但是系统也存在一定的不足，对用户的使用环境有一定的要求，同时软件使用方面还有较大的优化空间，而且对于老人来说系统操作还不够简洁，这些都将是下一步工作中重点进行改进的地方。

参考文献：

　　[1]鲁明,王真水,田元等.一种基于Kinect的虚拟现实姿态交互工具[J].系统仿真学报,2013,25(9):2124-2130

　　[2]徐献金.脑卒中执行功能障碍康复技术的研究进展[J].中国康复理论与实践,2013,1(19):57-61

　　[3]Y J Chang, S F Chen, A F Chuang.  A gesture recognition system to transition antonomously through vocational tasks for individuals with cognitive impairments [J].  Research in developmental disabilities, 2011, 32(6): 2064-2068

　　[4]X B Yang, S H Choi, K K Yuen, etc. An intuitive human-computer interface for large display virtual reality applications [J]. Computer-Aided Design & Applications, 2010, 7(2): 267-278

　　[5]赵建敏,许晓伟,贾慧媛.基于Kinect体感传感器的心理宣泄系统的实现[J].传感器与微系统,2014,33(8):119-122

　　[6]林海波,梅为林,张毅等.基于Kinect骨骼信息的机械臂体感交互系统的设计[J].计算机应用与软件,2013,30(2):157-160

　　[7]J Kang, D Seo, D Jung. A study on the control method of 3-dimensional space application using Kinect system [J]. International Journal of Computer Science and Network Security, 2011, 11(9): 55-59

　　[8]林海波,王浩,张毅.基于Kinet的无标定人机交互控制系统设计[J].计算机工程与设计,2015,26(2):551-555

　　[9]李任卓.图像序列中运动人体检测和跟踪算法研究[D].重庆:重庆大学,2008

　　[10] Jingen Liu, Ali S, Shah M. Recognizing human actions using multiple features [C]. Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, AK:IEEE, 2008