基于人工智能的多模态机器人传感系统

开发具备模仿和超越人类传感能力的自主决策机器人系统，对于农业、环境和安全监测至关重要。尤其是针对一些危险环境的现场检测，需要借助具备多模态传感功能的机器人系统，以防止对人类健康和安全造成威胁。皮肤由于其高灵活性和适应性，被视作理想的人机界面，广泛用于多模态机器人传感系统中。

据麦姆斯咨询报道，加州理工学院（California Instu of Technology）一支研究团队开发出一款人工智能（）驱动的多模态机器人传感系统（M-Bot），该系统基于柔性电子皮肤人机界面（H），能够对温度、触觉压力和各种危险化学品进行快速、超灵敏现场分析。该研究有望提高智能机器人的感知能力，并为众多新的实用可穿戴和机器人应用铺平道路。相关研究成果已发表于Science RoboTIcs期刊。

M-Bot由两个全喷墨打印的柔性电子皮肤贴片组成，即e-skin-R（与机器人连接）和e-skin-H（与人体皮肤连接），e-skin-R由高性能多模态物理化学传感器阵列组成，可以安装在机器人手掌和手指上，e-skin-H由四个表面肌电信号（sEMG）电极阵列（通道）以及一对电刺激电极组成。在AI、多模态物理化学传感和电刺激反馈控制作用下，e-skin-R和e-skin-H形成了一个闭环的人机交互机器人传感系统。

e-skin-R：全喷墨打印的多模态阵列

e-skin-H：用于AI辅助人机交互

通过精准控制，M-Bot可实现高灵敏的人机互动。其多模态传感器数据可以通过一个便携式多通道恒电位仪实时采集，并无线传输显示在手机应用程序上。M-Bot还能够进行物体抓取、多点触觉和化学感应，多重物理化学数据可被同时记录并自动处理，且无信号干扰。研究人员指出，通过进一步增加多模态传感器阵列的数量和密度，将可以从任意物体和表面获得更准确、更翔实的数据。

基于M-Bot的人机交传感实验

M-Bot还可以进一步推广到用于跟踪物、爆炸物、化学威胁和生物危害等风险预警的机器人系统，并为提供互动触觉和威胁警报反馈。研究人员开展了相关实验，将e-skin-R应用于多模态传感机器人船（M-Boat），其感器阵列包含一个、三个化学传感器、两个（用于船推进和转向）和一个（），用于数据收集、信号处理和，能够在海水中进行连续的危害分析和自主泄漏跟踪。研究人员指出，必要时，还可将更多生物传感器（如pH和电导率传感器）集成在e-skin-R中，并引入更多用于精确分析的实时校准机制。未来，M-Boat系统还有望应用于领域，为汽车智能路径规划和决策提供解决方案。

e-skin-R技术可应用于多模态传感机器人船（M-Boat）

M-Bot为机器人自主决策提供了更深层次的交互认知能力，并极大拓宽了机器人可执行的任务范围。该技术策略将在设计更先进的智能机器人系统中发挥重要作用。

论文信息：https://doi.org/10.1126/sciroboTIcs.abn0495

编辑：黄飞