基于三维空间电荷源精确定位和轨迹识别的虚拟现实人机交互方法

Recent years, virtual reality (VR) system is applied in many kinds of fields and play very important role, but the way of human-computer interaction (HCI) used in VR show distinct limitations and disadvantages. In this project, a novel HCI method is proposed that electrostatic of human hand can be used to locate the accurate position of hand and recognize the moving trajectory, for precision virtual object control and procession, so that the method can be apply to VR system to improve interaction efficiency and user experience. Following research contents will be conducted in the project. Physical model for positioning of charged object in 3D space with electrostatic detection will be built, and the algorithm of real-time solving the target position. Recognize the trajectory of hand with freeman chain code, and design the interaction metaphor and the principle of mode transition, define the direct mapping and indirect mapping relationship to build the novel HCI paradigm. The study will provide the theoretical foundation for applying the electrostatic detection to VR. With the advantages of simple structure, low cost, less computing amount, and good real-time property, the HCI method based on electrostatic detection proposed in this project does not need the wearable device, and not disturbed by light and complex background. Solving the scientific issues of positioning of charged target and interaction paradigm of electrostatic detection will promote the development of VR greatly and with great significance for scientific research and society development.

虚拟现实技术近年取得突破性进展并被应用于工作生活各个领域，但现有人机交互方式限制了其进一步发展。项目提出利用人体静电进行手部三维空间精确定位和运动轨迹识别，研究非接触式的虚拟对象精细化操作控制方法，应用于虚拟现实系统提高人机交互的效率和用户体验。项目主要研究内容包括：建立三维空间电荷源精确定位物理模型，研究手部空间位置精确实时解算方法，利用三维链码方法进行手部轨迹的识别，设计基于手部静电探测的人机交互直接映射和间接映射及模式转换机制，建立新的人机交互范式，为基于手部静电探测的人机交互技术在虚拟现实系统的应用提供基础。基于静电探测的虚拟现实人机交互方式无需穿戴设备，不受环境光线和背景复杂度的影响，具有结构简单、成本低、运算量小及实时性高的优势。开展电荷源三维空间精确定位方法和静电探测人机交互范式等科学问题的研究将促进虚拟现实技术的进一步发展，具有重要的科学价值和社会意义。

针对虚拟现实技术日益发展、在各领域发挥越来越重要作用的背景，以及虚拟现实系统对于新的交互方法和交互范式的技术需要，项目提出了一种利用三维空间电荷源精确定位和轨迹识别的虚拟现实人机交互方法。围绕需解决的科学问题和关键技术，经过科学分析将人体手部近似为一个电荷源，通过研究建立了静电目标探测方程，研究了基于球形电极的手部静电信号特征，分析了信号的过零点和极值点特征，为三维空间电荷源精确定位方法奠定基础。在此基础上，提出了基于球形电极平面布设阵列的手部运动高度解算方法和运动角度解算方法。. 项目建立了基于静电探测方程的三维空间电荷运动少电极阵列探测模型，研究得到了基于6电极阵列的电荷运动方向和速度解算方法以及基于5电极阵列的手部实时位置探测模型。对6电极阵列的参数解算精度进行了分析，设计了测试人体手部方向与速度的系统，通过实验对提出的方法进行了验证。建立了基于5电极阵列的电荷源探测模型，能够实现以较小的运算量和较高的精度求解出电荷源的空间坐标及电荷源的运动参数，实现对了电荷源位置的实时跟踪。建立了基于三维链码的手部运动轨迹识别方法，可实现在三维空间利用静电探测识别获取手部运动轨迹。项目探索了基于静电探测定位识别方法的人机交互范式及其在虚拟现实系统里的应用，实现了将获得的手部空间位置信息通过直接映射的方式、手势及手部动作通过间接映射的方式投射到虚拟空间，进行虚拟对象的操作控制，为虚拟现实系统控制建立全新交互范式提供了理论基础。. 项目所提出的利用三维空间电荷源精确定位和轨迹识别的虚拟现实人机交互方法，是一种非接触式、无穿戴设备的交互方式，具有不受光照条件和环境影响的优势，通过手部动作进行系统交互控制更加方便快捷、人性化，符合人机交互技术的发展趋势。项目研究成果为非接触式人机交互技术提供了有益的理论积累和技术支撑，有望促进非接触式静电人机交互技术在可视化智能控制系统的应用。