面向多维虚拟感官的动作建模与行为理解

This project orients the natural human-machine interaction, proposes humanized interaction system - multidimentional virtual sense. It intends to make the computer system feel and understand the behavior meanings of the users, actively respond to the user behavior, and actively provide the service ulteriorly...The multidimentional virtual sense systems possess the characteristics as diversied interactions, higher level of complex information. This project proposes the action description and segmentation method based on locus-velocity spatio-temporal curve and arthrosis arthrosis action description. This method abstracts the continuous action information on the multidimentional human mechanic model, transfer the continuous frame information into spatial information at an interval. This is to solve the problem of physical meta action sepration and description. This project proposes information abstraction method based on information entropy. This method efficiently separates the strong information and weak one. It uses the filter method of information entropy, and eliminates of useless information without lost of information details. This projects proposes incremental self-growing and self-organizing neural network based on semi-supervised learning to solve the problem on data complex space distribution, incremental input and the difficulty in acquiring massive standard data...The research in this project is expected to solve the difficulties listed above in multidimentional virtual sense system research and production. It can advance the experience of the system users, realize the practical natual human machine interaction. Furthermore, it can provide the theoritical and technical support to the related industrial development.

本项目面向自然人机交互，提出拟人化的交互系统- - "多维虚拟感官"，使计算机系统"感受"并理解使用者的行为意图，主动对使用者的行为做出反应，进而主动提供服务。.针对"多维虚拟感官"交互方式多样，信息复杂度高等特点，提出了基于轨迹、速度的时空曲线和关节自由度的动作表示及分割方法。对多维人体机械模型下的人体连续运动数据进行提取，将连续帧信息转换为时间段内的空间信息，解决肢体元动作的分割和描述问题；提出基于信息熵的信息提取算法，对强信息和弱信息进行有效分离，并利用信息熵的过滤算法，在不损失信息细节的情况下，完成无用信息的剔除；提出基于半监督学习的增量式自生长自组织神经网络，解决采集数据的空间分布复杂、增量式输入以及获得大量标准数据困难的问题。.本项目的研究将有望解决"多维虚拟感官"研制过程中的上述难题，提升系统的用户体验，实现真正自然的人机交互，为促进相关产业的发展提供理论和技术支持。

本项目面向自然人机交互，提出拟人化的交互系统--“多维虚拟感官”，使计算机系统“感受”并理解使用者的行为意图，主动对使用者的行为做出反应，进而主动提供服务。.针对“多维虚拟感官”交互方式多样，信息复杂度高等特点，提出了新的人体姿态表征模型，对多维人体机械模型下的人体连续运动数据进行提取，使自然人机交互中的动作模型既符合人体生物学特性，又满足简化计算，提高运算效率；提出基于多特征融合框架的多种特征提取方法，在不损失信息细节的情况下，消除复杂背景影响，统一各动作特征的表征；提出基于肢干运动时空特征的在线序列分割方法和基于混合集成学习模型的动作识别方法，解决实时连续动作数据的分割和识别问题。.本项目的研究解决了“多维虚拟感官”研制过程中的上述难题，提升系统的用户体验，实现真正自然的人机交互，为促进相关产业的发展提供理论和技术支持。