面向虚拟座舱仿真的虚拟现实头盔伺服系统关键技术研究

This project is focused on the intrusion feeling and vision delay problem when a user wears HMD in the virtual cockpit simulation environment. The target is to master the key technology of relevant design, measurement and control law, including getting head motion characteristics of cockpit trainer and the relationship between sEMG on the neck and head motion. Based on the above results, and incorporating characteristics of parallel robot, a HMD parallel supporting structure satisfying head motion constraints is designed first. And then a head motion prediction algorithm featuring low time delay and high resolution is proposed. Furthermore, a realtime robust relieving and tracking control algorithm is also proposed. Finally, we design subjective and objective experiments to evaluate the effectiveness of the system. The design goal is satisfying user's head motion demand, realizing good head motion detection and tracking and make HMD more comfortable in the high-fidelity virtual environment by fusing mechanical tracking and sEMG.

本项目针对在虚拟座舱仿真环境中佩戴虚拟现实头盔产生的侵入感与视觉延迟问题，设计和研制一种新型虚拟现实头盔伺服系统。突破相关的设计、测量和控制等关键技术，包括掌握座舱乘员的头部运动特性以及头颈部表面肌电信息与头部运动之间的规律关系，并以此为基础结合并联机构的特点，设计满足头部运动要求的头盔并联支撑系统结构、低时延高精度的头部运动预测算法以及实时鲁棒的头盔减负和头部随动控制算法，最终设计主客观评价实验对系统有效性进行评估。目标是在虚拟座舱环境中，满足使用者的头部运动要求，实现利用机械跟踪和表面肌电信息相融合的方式来进行高精度低时延的头部运动检测，实时主动跟踪头部运动，消除头盔的沉重感、束缚感和异物感，同时提供高实时性和高逼真度的虚拟场景。

头盔显示器作为一种虚拟显示装置，由于其成本低廉且沉浸感强，在虚拟现实仿真训练中应用得越来越广泛。但是头盔显示器在长时间使用过程中会产生沉重感、束缚感和异物感，影响用户在虚拟环境中的体验，甚至造成所谓的仿真病。针对这一问题，本课题基于人机工程学、生物力学、机器人学和控制仿真技术，从“仿真参与者头部运动统计分布”、“并联头盔机械系统结构优化”、“低时延头部跟踪”、“多自由度头颈部肌电—力关系模型”、“虚拟头盔伺服系统减负和随动力控制算法”、“头盔伺服系统原型系统”等几个方面开展了研究工作，取得了以下成果：.（1）在考虑人体骨骼模型和虚拟座舱约束的情况下，得到了飞行员在典型飞行过程中的头部统计特性和头部运动范围；.（2）基于六维超椭球体对头部运动特性进行描述，明确了执行机构的尺寸优化指标和设计约束，提出了一种基于CVT的非线性最小二乘法，对头盔并联机构进行了优化设计；.（3）融合头颈部表面肌电信号和机械测量信号输入，利用前向神经网络预测头部的突然运动，同时利用CA模型预测头部平滑运动，并在卡尔曼滤波框架下实现融合处理，实现高精度低时延的头部运动预测；.（4）利用理论和实验分析掌握了不同运动状态下的表面肌电信号和头部运动之间的规律，在OpenSim环境下建立了三自由度头颈部骨肌模型，并利用表面肌电信息对模型进行了验证和优化；.（5）利用牛顿-欧拉法建立了细粒度的头盔伺服系统动力学模型，并对模型参数进行实验辨识，提出了一种基于系统逆动力学模型和表面肌电信号力估计的交互力控制器，可以有效地减少广义接触力，降低使用者负荷；.（6）研制了新型头盔伺服系统的原型系统，并基于主客观评价对其进行了实验测试和性能优化。.本课题研究为高沉浸感虚拟现实环境的使用推广提供了一种新的解决方案，同时在研究过程中对人体在座舱环境下的运动约束、头颈部运动规律、并联机构的结构优化、基于人体表面肌电信息的运动跟踪和控制方法等方面的创新研究，也为人机工程学、机器人、控制、生物力学等领域提供了一定的理论基础和技术途径。特别是可用于医疗康复机器人、人体增强外骨骼等新兴的研究领域。