近日，来自哈尔滨工业大学的研究人员提出了一种专为盲人及视觉障碍（Blind and visually impaired ，BVI）截肢患者设计的辅助系统，该系统集成了语音交互、环境感知、抓取引导、假肢协同控制、听觉和触觉反馈，以帮助他们完成环境感知和物体抓取任务。他们提出了一个指导框架，并设计了原型样机。研究招募了8名健康受试者和4名盲人进行室内抓取实验，以评估该系统在移动导航和抓取引导方面的性能。相关结果发表于《IEEE Robotics and Automation Letters》。

人类的抓握技能是通过互动学习发展起来的，关键取决于视觉和触觉。BVI截肢患者失去了感知周围环境的视觉和手部触觉能力，使得寻找与抓取物品成为一项艰巨的任务。现有的假肢控制方法极大地依赖于截肢患者的视觉判断，需要患者依靠自身视觉接近并对准物体，这对于BVI截肢患者来说是极其困难的。将导盲研究与假肢控制相结合是一种可能的解决方案。导盲，即引导患者移动到物体附近（环境感知与移动导航），并准确的带动假肢对准物体（物体定位），是BVI截肢者完成抓取任务的前提条件。

除了具有高风险、高成本的视网膜假体技术外，采用听觉或触觉提供感官补偿是导盲研究的主要思路。实际应用中，普通BVI患者的手部触觉发挥了关键作用；但对于BVI截肢患者而言，基于触觉的导盲方法存在一定的局限性。因此，手部和视觉的同时丧失带来的困难不仅仅是上述问题的简单叠加。本研究提出了一套面向BVI截肢患者的假肢系统解决方案，并开发了实验样机，开展了室内验证实验。此外，基于对实验数据和用户反馈的全面分析，本研究概述了BVI假体系统的潜在研究方向。

基于功能化导电聚合物的设计，研究团队设计了功能化聚苯胺基时序黏附水凝胶贴片。它可以实现心脏的同步机械生理监测和电耦合治疗，并牢固附着在心脏表面监测心脏的机械运动和电活动。

面向BVI截肢患者需求，结合假肢控制及导盲研究，哈尔滨工业大学机器人技术与系统全国重点实验室研究团队提出了人机协同多感官闭环BVI假肢系统框架，如图1所示。该框架主要包括6大功能模块：1) 语音交互模块，2)环境感知模块，3)抓取引导模块，4)假肢协同控制模块，5)听觉反馈模块，6)触觉反馈模块。

基于上述框架，该团队研制了穿戴式BVI假肢系统原型样机，如图2所示。该系统样机可实现智能语音交互，使用全局视觉进行环境感知，使用局部视觉引导用户对准物体，使用多自由度假手进行物体抓取，通过空间声源与语音提示实现听觉反馈，通过震动马达提供触觉反馈。

穿戴式BVI假肢系统样机“viiat-hand”的硬件主要包括一个全局RGB-D相机（佩戴在用户的头上）、一个局部RGB-D相机（固定在假肢的手腕上）、一副骨传导耳机（集成麦克风和喇叭）、多自由度假肢（配备2自由度手腕）、一系列独立声源模块（与目标物体绑定）、震动反馈臂环（佩戴在用户大臂）、主控系统、移动电源和背包。该系统采用NVIDIA® Jetson Orin™ NX（外形尺寸85×85×40mm，功耗10-25w）作为控制器，在Ubuntu平台下构建Python多线程软件架构，集成了全局/局部环境识别和对象检测、自动语音识别（ASR）、文本转语音（TTS）、无线通信和假肢协同控制。

研究人员将BVI假体系统的抓取任务分为四个阶段：唤醒、到达、对准和抓取，如图3所示。

本研究采用一种多阶段、多通道、多阈值的反馈方法，多阶段是指上述提到的四个阶段分别对应不同的反馈规则，多通道是指同时采用听觉和触觉反馈通道，对于多阈值主要是指对准过程中采用不同计算阈值生成移动方向提示音。不同阶段的具体规则如图4所示。

到达阶段的全局方位划分和语音提示规则，如图5（a）所示。人类天生具有估计声源近似空间位置的能力，研究人员为不同类型的目标对象设计了相应的独立声源模块（如图5（b）所示）。每个独立声源模块都被分配了一个唯一的ID标识号，形成了一个完整的物联网空间声源系统。

图5：a)全局方位划分和语音提示规则；b)独立声源模块的结构示意图（图片来自原文）

为评估系统在室内场景下的导航和抓取引导效果，实验人员招募了8名健康的受试者和4名盲人受试者参与实验。实验区是一个半径为5m、角度为120度的扇形区域。

研究人员设置了两组对比实验，如图6（a）所示。与实验组的振动反馈相反，比较组1使用“雷达”提示声音来提供距离反馈。与实验组使用运动方向提示的方法相比，比较组2仍是使用“雷达”提示声音来引导用户完成对齐。比较组2中，“雷达”提示音的生成规则如图6（b）和（c）所示。

图6：对比实验设置和实验流程。a）两组对照实验采用的反馈方法；b）“雷达”提示音计算示意图；c）轴坐标值与“雷达”提示声音之间的关系；d） 每组实验的具体流程（图片来自原文）

研究人员将到达阶段所需的时间（t1）和对准阶段所需时间（t2）作为评估抓取效率的指标，并通过计算抓取的成功率，验证viiat-hand的实际效果。为了评估受试者的整体体验，研究人员还设计了一份反馈问卷，问卷由15个问题组成，所有12名受试者在实验结束时完成问卷。健康受试者和盲人受试者的实验数据分别如图7（A）和7（B）所示。

研究人员分别对到达和对准阶段进行了全面的分析，列举了影响实际表现的关键因素。总体而言，盲人受试者的实验数据与健全受试者大致相似，影响两组数据的因素大致相同。盲人受试者的表现优于健全受试者，这归因于他们对无视力生活的熟悉程度。

研究表明，在空间声源的引导下，在到达阶段，简单快速的粗略提示（语音或振动）就足够了。在对齐阶段，清晰的运动方向提示可以获得更好的效果，但提示的准确性和频率是进一步提高效果的关键。总之，实验揭示了BVI截肢者在抓握任务中面临的复杂性，其中场地熟悉度、动作精度、个人习惯和设备熟练度等因素起着重要作用。

此外，根据受试者的反馈问卷，研究人员获得了有助于优化设计的关键信息，并指出了未来工作的重点方向，主要包括：

1）恢复触觉的过程将有助于抓握。盲人通过不断用手触摸物体来理解和定位物体是一种常见的做法。采用适当的方法使BVI在通过假体触摸物体时获得逼真的触觉反馈是一个关键的研究思路。

2）根据BVI的特定需求定制假手设计。未来的努力将集中在提高假手的结构、质量和对BVI抓取任务的适应性上，旨在设计一种“手眼一体化”、自适应抓取、大容差和轻便的假手。

本研究介绍了一种适用于BVI截肢者的穿戴式假肢系统viiat-hand，并首次提出了完整的BVI假肢系统框架。通过室内实验，验证了viiat-hand在帮助BVI截肢者进行环境感知、移动导航和物体抓取方面的具体表现。这项研究不仅证实了viiat-hand在辅助日常活动方面的实用性，还指出了BVI假体系统的潜在方向。系统中所使用的相关方法和思路并不局限于视觉障碍截肢患者，对于导盲和假肢控制领域都具有一定的研究价值。

本文来自新知号自媒体，不代表商业新知观点和立场。
若有侵权嫌疑，请联系商业新知平台管理员。
联系方式：system@shangyexinzhi.com