首页 > 资讯 > 多人交互虚拟现实康复训练与评估系统的制作方法

多人交互虚拟现实康复训练与评估系统的制作方法

泰然健康网
2024-12-17 06:31

多人交互虚拟现实康复训练与评估系统的制作方法与工艺

本发明涉及医疗设备技术领域，具体涉及多人交互虚拟现实康复训练与评估系统。

背景技术：

随着社会的老龄化，脑卒中(俗称中风)以高发病率和高致残率的特点，成为威胁人们健康最常见的病因之一。目前我国每年死于脑卒中约150万人，新发脑卒中约200万人；约75％的存活者留有不同程度的功能障碍，估计每年社会经济负担400亿元。科学研究和临床应用表明，及时有效的康复训练，可以有效恢复部分肢体运动功能，提高脑卒中患者生活自理能力，降低致残率，减轻家庭和社会的经济负担。

康复训练的传统方法是康复治疗师手把手辅助治疗或者采用机械辅具对患者进行一对一治疗该方法存在诸多不足：治疗效率低，人力成本高；康复评估耗时长，主观性较强；康复方式和训练过程单调无趣；同时训练动作的选择不贴近生活，患者回归正常社会生活还有一定的难度。

随着科技水平的不断进步和新兴交叉学科不断涌现，国内外越来越多的研究机构将智能传感和虚拟现实技术应用于患者的运动功能恢复。虚拟现实技术的出现为康复医学开辟了一个新领域，打破了原有康复手段的局限性。患者可以用其自然技能对这个虚拟的现实进行交互式体验，体验的结果(即虚拟现实的反应)与在相应的真实环境中相似或相同，使沉浸其中的用户在交互体验中获得真实环境的临场感。

近年来，多人交互的虚拟现实概念被提出，多人交互系统可以让两个或多个患者与虚拟现实情景进行多人互动和反馈，相对于人机交互，具有更强的互动性，并且可以进行群组模式的康复训练。

技术实现要素：

为了解决上述技术问题，本发明提供了一种的基于多人交互虚拟现实的康复训练系统，多个脑卒中患者可以在康复训练场所或借助于互联网组成康复训练小组，进行群组康复训练，并与日常生活情景游戏进行多人互动反馈，大大提高患者康复训练的积极性，增强康复训练效果。

为了达到上述目的，本发明的技术方案如下：

多人交互虚拟现实康复训练与评估系统，其包括：

多源传感模块，其用于采集人体的各项训练动作的肢体运动信号；

信号接收器，其与传感模块进行信号连接，用于接收肢体运动信号；

计算机端，其与信号接收器进行信号连接，用于接收肢体运动信号并对肢体运动信号进行处理和存储；

虚拟现实处理单元，其单独设立或集成于计算机端中，虚拟现实处理单元连接计算机端，用于接收多源传感模块采集的肢体运动并对其进行信号处理，具体为：

1)对肢体运动信号进行预处理，剔除系统噪声的干扰和影响；

2)对肢体运动信号进行特征提取，具体从人体完成动作的运动幅度、运动方向、运动动态能量和运动平滑性进行特征提取；

3)通过多源融合算法对多个维度的特征进行量化评估，并根据结果对虚拟现实场景中的各个角色进行驱动。

进一步地，上述的多人交互虚拟现实康复训练与评估系统还包括显示屏，其单独设立或集成于计算机端中，显示屏用于显示康复训练信息反馈以及与虚拟现实场景进行人机交互。

进一步地，上述的多源传感器的信号通过多模态融合技术建立与Fugl-Meyer量表间的量化映射模型，并通过确定可视化的量化评估指标形成智能化的量化康复评定算法，对各个患者的康复训练过程进行评估。

进一步地，上述的多源传感器还具有与游戏间的接口，把肢体运动信号融合到游戏场景中，形成虚拟现实的游戏反馈控制，实现人体与虚拟现实场景之间的多人交互和信息反馈。

进一步地，上述的多源传感模块包括九轴姿态传感器和可穿戴式传感器。

进一步地，上述的九轴姿态传感器包括三轴加速度传感器、三轴陀螺仪、三轴磁力计，三轴加速度传感用于检测训练动作的速度和位移，三轴陀螺仪用于检测训练动作的角度和角速度，磁力计用于动作方向的检测和校准。

进一步地，上述的可穿戴式传感器包括手套式传感器和足垫式传感器，所述康复训练手套手指、手腕处内置弯曲传感器，指尖内置压力传感器，手背处内置表面肌电传感器，各个传感器实时采集手部的康复训练信息，通过无线网络上传至PC机进行信息处理。所述无线足底压力鞋垫由纵向和横向压力传感阵列、高速模拟开关和无线数据采集单元组成。

本发明多人交互虚拟现实康复训练与评估系统针对脑卒中患者的康复训练，多个脑卒中患者可以在康复训练场所或借助于互联网组成康复训练小组，进行群组康复训练。并针对患者身体各个部件的康复训练，开发基于加速度、陀螺仪、磁力计、力传感器、弯曲传感器等穿戴式的高精度运动捕获传感设备，进行康复训练数据采集、信号处理和特征提取；开发多个日常生活情景互动游戏，建立康复训练动作特征与日常生活情景互动游戏的模型和接口，使脑卒中患者可以进行多人互动反馈式康复训练，大大提高患者康复训练的积极性，增强康复训练效果，提高脑卒中患者日常生活自理能力。

附图说明

图1为本发明的基于多人交互虚拟现实的康复训练系统中的9轴高精度姿态传感模块的结构示意图。

图2为本发明的基于多人交互虚拟现实的康复训练系统中的穿戴式的康复训练躯体传感网络的结构示意图。

图3为本发明的基于多人交互虚拟现实的康复训练系统中的多人交互虚拟现实康复训练系统示意图。

图4为本发明的基于多人交互虚拟现实的康复训练系统中的特征提取的信号处理流程图。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

1.穿戴式多人交互肢体运动捕获系统

为了实现脑卒中患者与虚拟现实场景间的人机交互，首先需要实时捕获脑卒中患者的肢体运动信息。同时，为了实现本项目中的多人交互，需要同时采集多名脑卒中患者的肢体运动信息。为了精确捕获患者头颈部、上肢、髋部、下肢等多个部位康复训练的肢体运动信息，设计了如图1所示的9轴高精度姿态传感模块。

9轴高精度姿态传感模块采用3轴加速度、3轴陀螺仪、3轴磁力计进行设计，3轴加速度用于检测训练动作的速度和位移等，陀螺仪用于检测训练动作的角度、角速度等，磁力计用于动作方向的检测和校准。在9轴传感器的基础上，设计姿态解算算法，可以直角得出训练动作的精确运动方向。自动校准算法可以对传感器测量精度出现偏差的情况下进行自动校准。另外，专门设计了空间坐标变换算法，可以通过1个指令把当前位置变换为起始位置，这可以有效排除患者康复训练时传感器穿戴位置的影响。

另外，针对手部康复训练、足底平衡训练等其他部位的康复训练，分别设计了高精度的康复训练手套和智能压力鞋垫等高精度智能传感模块。康复训练手套手指、手腕处内置弯曲传感器，指尖内置压力传感器，手背处内置表面肌电传感器，各个传感器实时采集手部的康复训练信息，通过无线网络上传至PC机进行信息处理。无线足底压力鞋垫由纵向和横向压力传感阵列、高速模拟开关和无线数据采集单元组成。

在以上高精度传感模块的基础上，设计了如图2所示的穿戴式的康复训练躯体传感网络。

9轴传感器、康复训练手套、足底压力鞋垫等可穿戴智能传感设备与无线接收器之间ZigBee无线通信和组网协议。无线接收器与计算机之间通过USB等有线或Wifi等无线方式建立通信，计算机中的数据采集软件完成对各个可穿戴设备的数据实时采集、显示、存储和分析处理等功能。

多人交互虚拟现实康复训练系统如图3所示。在医院或康复中心的训练大厅进行康复训练的多名患者，形成康复训练小组，通过穿戴式的肢体运动捕获设备以及大显示屏PC康复训练软件和情景互动游戏进行康复训练。在大显示屏上显示等日常生活场景游戏中，多名患者进行比赛、协作等方式进行康复训练，同时给出训练得分等康复训练信息反馈。每位患者不仅能看到自己的康复训练和比赛结果，也可以看到其他小组成员的康复训练和比赛结果，以激发更大的康复训练积极性和热情。

多人交互虚拟现实康复训练，同时也包括在社区、家庭等进行远程康复训练的脑卒中患者，基于互联网和多人交互虚拟现实日常生活场景服务器和软件，与医院或康复中心的患者形成多人交互康复训练小组，进行群组康复训练。

2.康复训练动作特征提取及多人交互的虚拟现实角色接口

可穿戴设备采集的肢体运动信息无法直接驱动(控制)虚拟现实场景中的角色(元素)。从原始肢体运动信息出发，需要经过一系列的处理，方可实现可穿戴设备与虚拟现实场景中角色之间的接口连接。在本发明中，采用如图4所示的信号处理流程。具体而言，首先需要对各个脑卒中患者的肢体运动信号进行预处理，以剔除系统噪声的干扰和影响；接着需要对原始运动信号进行特征提取，在本项目中拟从脑卒中患者完成动作的完成度、平滑性等角度进行特征提取，各个特征详细的定义及其对应的物理意义如表1所列；最后，需要利用多源融合算法对多个维度的特征进行量化评估，并根据结果对虚拟现实场景中的各个角色进行驱动(控制)。

同时，利用多模态融合技术，建立多源传感器(9轴姿态传感器、康复训练手套、足底压力鞋垫等)信号与Fugl-Meyer量表间的量化映射模型，并通过确定可视化的量化评估指标，最终形成智能化的量化康复评定算法，可以对各个患者的康复训练过程进行评估。

表1提取出的特征及其物理意义

说明：(1)表中的x为原始信号；N为x的长度。

3.多人交互虚拟现实日常生活情景游戏和反馈系统

为了实现多人在同一个虚拟现实场景下的交互，本发明结合临床上常用的脑卒中患者肢体运动功能康复训练处方，分别针对头颈部、上肢、手部、髂部、下肢和足底等部位开发对应的多人交互虚拟现实日常生活场景，如足球赛、砍木头比赛、自行车比赛等竞赛性和协作性比较强的游戏场景。

融合多传感器的反馈数据，开发多源传感器与游戏间的接口，把传感器的数据融合到游戏场景中，形成虚拟现实的游戏反馈控制，实现康复训练患者与虚拟现实场景之间的多人交互和信息反馈。

多人交互虚拟现实日常生活场景游戏，可根据患者身体状态设置不同的训练难度，通过定时计数或定数计时等方式，进行多人交互游戏，并根据多传感器的反馈信息，实时给出完成的动作数量及得分情况。游戏分为单人模式，双人、多人比赛等训练模式。另外，游戏具有结果统计、历史查询、打印报表、上传云服务器等功能。

因此，本发明的优点总结来说具有以下几点：

1)首次提出群组康复训练和多人交互虚拟现实的康复训练系统和方法；

提出一种基于穿戴式运动捕获设备的多人交互虚拟现实康复训练系统，多个脑卒中患者可以在康复训练场所或借助于互联网组成康复训练小组，进行群组康复训练，并与日常生活情景游戏进行多人互动反馈，大大提高患者康复训练的积极性，增强康复训练效果。

2)针对脑卒中患者各个部位康复训练的穿戴式多人交互智能传感设备和传感网络；

针对患者头颈部、上肢、髋部、下肢等多个部位康复训练的肢体运动信息，设计了基于加速度、陀螺仪和磁力计以及姿态解算、自动校准、空间坐标变换等智能算法的高精度9轴姿态传感模块；针对手部康复训练、足底平衡训练等其他部位的康复训练，分别设计了高精度的康复训练手套和智能压力鞋垫等高精度智能传感模块；在康复训练运动检测传感模块的基础上，构建了康复训练躯体传感网络及多人交互传感网络。

3)多人交互虚拟现实康复训练日常生活情景游戏反馈及康复评估；

结合临床上常用的脑卒中患者肢体运动功能康复训练处方，分别针对头颈部、上肢、手部、髂部、下肢和足底等部位开发对应的多人交互虚拟现实日常生活场景游戏，如足球赛、砍木头比赛、自行车比赛等竞赛性和协作性比较强的游戏场景。

融合多传感器的反馈数据，开发多源传感器与游戏间的接口，把传感器的数据融合到游戏场景中，形成虚拟现实的游戏反馈控制，实现康复训练患者与虚拟现实场景之间的多人交互和信息反馈，并对各个患者康复训练及康复状态进行康复评估。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。