基于肌肉超声扫描和自监督学习的假肢手控制研究

近期，哈尔滨工业大学（深圳）的刘洪海教授团队实现了基于残肢肌肉超声扫描和自监督学习的假肢手控制，相关成果发表在控制领域顶级期刊IEEE Transaction on Cybernetics上。

研究背景

人手在日常生活中扮演重要角色，精确识别多自由度手部运动对假肢手的控制至关重要。传统方法使用表面肌电信号（sEMG）感知残肢肌肉活动，但表面肌电存在信噪比低、运动伪差大、缺少深层肌肉信息等缺陷。超声传感可以高分辨率地感知残肢肌肉的形态学信息，因而有望从残肢肌肉的超声信号中提取多自由度手势运动意图实现灵活的假肢手操控。监督学习可以建立肌肉活动和手部运动的映射模型，被广泛应用于假肢手控制等人机交互领域。然而，由于截肢患者的特殊性，通常很难采集患者的手势运动标签进行监督学习。因而，基于无（自）监督学习的假肢手控制将促进假肢手接口的临床应用。

研究概述

基于功能化导电聚合物的设计，研究团队设计了功能化聚苯胺基时序黏附水凝胶贴片。它可以实现心脏的同步机械生理监测和电耦合治疗，并牢固附着在心脏表面监测心脏的机械运动和电活动。

本研究提出一种基于肌肉超声扫描和自监督学习的假肢手控制模型，可实现腕部旋转和手部抓握两自由度运动的同步且连续控制。算法通过集成超声特征主成分分析和训练过程中的先验知识，从低维的超声特征空间中生成腕部旋转和手部抓握运动标签，进而构建自监督学习模型实现腕手两自由度运动的连续预测。

图1：超声信号采集和虚拟假肢交互平台

（图片来自原文）

9名健康受试者和1名截肢患者参与了实验。离线实验分析表明，低维超声特征中存在和腕手运动幅值/频率高度相关的成分。基于此基础，我们成功从超声特征中构建了腕手两自由度运动标签，并建立了腕手运动预测的自监督学习模型。针对健康受试者，腕部运动的估计精度（皮尔逊相关系数）达0.98，手部运动的估计精度达0.94；针对截肢患者，腕部运动的估计精度达0.98，手部运动的估计精度达0.90。截肢患者的自监督学习模型表现甚至优于监督学习模型。

图2：基于自监督学习的腕手运动同步控制框架

（图片来自原文）

图3：超声特征和手部抓取运动的频域相干性

（图片来自原文）

图4：腕手两自由度运动估计表现

（图片来自原文）

图5：腕手两自由度运动估计实例

（图片来自原文）

在线虚拟假肢控制实验表明，健康受试者和截肢患者都可以自然地控制两自由度虚拟假肢到达任意的目标位置。健康受试者的在线控制任务完成率为95%，任务完成时间为4.49秒，平滑度误差为10.2度；截肢患者的在线控制任务完成率为90%，任务完成时间为4.76秒，平滑度误差为17.76度。

图6：在线腕手虚拟假肢控制表现

（图片来自原文）

研究意义

该研究建立的基于肌肉超声扫描和自监督学习的假肢手控制模型将进一步推进假肢手接口的临床应用。

参考文献：

Yang, X., Yin, Z., Sheng, Y., Farina, D., & Liu, H. (2024). Self-Supervised Learning for Intuitive Control of Prosthetic Hand Movements via Sonomyography. IEEE Transactions on Cybernetics. https://ieeexplore.ieee.org/abstract/document/10752584

来源：BME康复工程分会

仅用于学术分享，若侵权请留言，即时删侵！