虚拟现实中基于图像的纹理力触觉表达与再现方法研究

Haptic human-computer interaction,as one of the basic technique of virtual reality (VR),is currently the frontier and a hot spot of VR research. The texture is an extremely important attribution of the object surface.Texture haptic perception is one of the primary ways of the human being when exploring the world. Texture haptic display is a kind of human-computer interaction technique, by simulating human's perception and recognition of surface properties in haptic modality, to achieve the perception of virtual object surface texture information. It utilizes the bidirectional character of information and energy transmission in haptic display system,extremely improving interaction level of the virtual enviroment and telepresence performance of the human.Image,as the projection on the two-dimensional plane from the real-world three-dimentional scene,retains a lot of texture characteristics.The objective of this project is to research the haptic display method of the image texture in virtual reality. It consists of the separation of geometric texture and pattern texture on two-dimensional image,which accurately characterize the two different types of image texture information,texture feature extraction and haptic modeling,and haptic rendering based on transformation from energy space to three-dimensional force field. So it can let the operator haptically sense the surface texture of target in the image and achieve the realistic effect of the virtual environment that can not only be seen but also be touched.It can be expected that the research results of this project will not only effectively promote the development of the haptic virtual reality technology,but also have broad application prospects in the field of virtual medical training,education simulation,virtual museum,online shop,etc.

力触觉人机交互作为虚拟现实的支撑技术之一已成为当前研究的前沿和热点。纹理是物体表面极其重要的属性，纹理力触觉感知是人类探索世界的主要方式之一。纹理力触觉再现是模拟人类通过力触觉通道感知虚拟物体表面纹理信息的人机交互技术，它充分利用力触觉的信息和能量传递的双向性，极大提高了人类对虚拟环境的交互性和临场感。而图像作为真实世界的三维场景在二维平面上的投影，保留了大量纹理描述特征。本项目旨在研究虚拟现实中图像纹理的力触觉再现方法，即对二维图像进行几何纹理与图案纹理分离，准确刻画两类不同的图像纹理信息，并分别进行纹理特征提取和触觉建模，通过能量空间变换将其转换为三维力场信息，从而使操作者通过力触觉感知图像中目标的表面纹理，实现虚拟环境"可见又可触"的真实效果。可以预计，本项目的研究成果不仅将有力地促进力触觉虚拟现实技术的发展，而且在虚拟医疗、教学仿真、虚拟博物馆、网络商店等领域有广泛的应用前景。

本项目研究了虚拟现实中图像纹理的力触觉表达与再现方法，完成了全部研究内容，达到了预期目标，研究内容主要包括：（1）研究分析图像中三维几何纹理和图案纹理的不同，提出一种综合的本征图像分解方法，将二者进行分离，解决了二维图像中的三维形状信息和二维图案信息触感混淆问题；（2）提出一种基于CSGV的分数阶微分自适应纹理特征提取算法，解决了分数阶微分算法中选取最佳微分阶数繁琐的问题，实现了鲁棒的、全尺度的纹理特征的提取；（3）研究两类不同的图像纹理特征与三维力场的映射关系及力触觉建模，改进全局化明暗恢复三维形状算法，提出一种新的彩色图像纹理力触觉渲染模型，充分体现彩色图像的颜色特征、全面再现其纹理特征触感；（4）研制了一种便携式触觉反馈电容笔，提出基于振动原理的纹理触觉建模与再现方法，建立更具真实感的振动触觉模型；（5）建立基于图像的纹理力触觉表达系统，并以此为实验平台开展图像的纹理力触觉感知实验研究，研究了人在探索纹理信息过程中的力触觉感知生理和心理特性，为所提出的图像纹理的力触觉再现方法提供理论支撑；（6）研究了纹理力触觉交互的稳定性控制算法，为图像纹理力触觉表达系统的稳定性、连续性和真实性提供了保证。. 本项目发表论文26篇，其中SCI收录11篇，申请发明专利9项，其中已授权3项，培养博士生5名，硕士生9名。