技术文章—利用OpenVINO™工具套件监控机器操作员情绪状态

国家安全委员会（NSC）的一项研究表明，每7秒就会发生一起工伤事故，相当于每年约有450万人受伤，这是一个相当惊人的数据。虽然现场监管人员可以观察员工的情绪，但监管人员不可能通过实时监控所有员工来避免事故发生。在本文中，我们将探讨如何利用英特尔®OpenVINO™工具套件来监控机器操作员，以根据机器操作员面部表情的视频输入，自动推断出他们的注意力和情绪状态。收集有关机器操作员情绪和注意力情况的信息能够为操作员提供保护，避免造成重大伤害事故。

机器操作员监控的数据流水线分析

图1是机器操作员监控深度学习应用的工作流水线。下面我们来分析一下该流水线及其各阶段所要采取的相应操作。

图1：操作员精神与情绪状态推断流水线，图中说明了深度神经网络和OpenVINO™工具套件如何根据捕捉到的图像确认机器操作员的注意力和情绪状态（来源：作者）

该应用通过安装在机器上的摄像头捕捉图像，然后通过三个深度神经网络（基于卷积神经网络即CNN，一种常用于图像处理的深度神经网络）处理捕捉到的图像，具体工作流程如下：第一个CNN先识别捕获帧中是否存在人脸，如果没有检测到人脸，就不需要进一步处理图像，如果在采用用户可配置检测阈值的情况下检测到人脸，就会被传递到下两个阶段；第二个CNN通过检测操作员是否正对着摄像头，来确定其是否在观察机器；最后一个CNN会检测操作员的面部表情，操作员必须在可配置的时间长度内保持一个特定表情，才会考虑进行分析。

图2显示了这个三阶段深度神经网络的整个运行过程。

图2：机器操作员监视器屏幕显示了OpenVino™工具套件应用处理捕获的图像后生成的输出示例（来源：Intel）

如图2所示，检测面部以及推断情绪和精神状态只需约140ms，从而能够快速做出响应，及时向操作员发出警告，将事故和伤害的可能性降至最低。本示例应用还演示了消息队列遥测传输（MQTT）协议如何将信息传递到工业数据分析系统。

作者简介

M. Tim Jones是一位经验丰富的嵌入式固件架构师，拥有超过30年的架构和开发经验。Tim曾撰写过多本书和许多文章，涉及软件和固件开发的各个领域。他的工程背景包括为地球同步轨道航天器开发内核以及嵌入式系统架构和协议开发。