自主虚拟人智能感知决策与真实感交互表现研究

To meet the urgent need for pushing the development of national informatization and modern service industry, this research proposal explores the key supporting technology in the field of virtual reality and multimodal human-computer interaction, which focuses on the research of intelligent perception, behavior decision and natural interaction of autonomous virtual human, and creates the autonomous virtual human centered intelligent virtual environment and multimodal natural human-computer interaction system. To this end, the research mainly involves following aspects: (1) Study the intelligent visual-auditory perception mechanism of virtual human, which enables virtual human to learn the context information of surrounding virtual environment, analyze and interpret the interactive motions and behaviors of human users in real world, and get visual-auditory perception of virtual environment. (2) Study the fusion mechanism for processing the multiple visual-auditory perceptual information and build up autonomous decision making system, which enables the virtual human to perceive the virtual environment, make a rational behavior decision and take optimal actions to react appropriately to the perceived virtual environment according to his internal state, personal experiences, knowledge and external environment. (3) Study the realistic human motion control, the multimodal behavioral expressing and action performance for natural interaction of virtual human in the real-virtual environment, which makes the synthetic human motions and synthetic speech of virtual humans coordinated and cooperated to create the realistic virtual human with multimodal natural interaction and expression. Upon the research results, we build a prototype intelligent virtual environment system of multimodal real-virtual natural interactions on the autonomous virtual humans with visual-auditory perception and interaction behaviors, and aim to establish a primary research system for intelligent perception and natural interaction of autonomous virtual humans.

本项目是根据我国信息化建设与现代服务业发展的迫切需求背景提出的，对虚拟现实与多通道人机交互领域的关键支撑技术-自主虚拟人的行为感知与自然交互进行研究，构建以自主虚拟人为核心的智能化虚拟环境多通道自然人机交互系统。主要内容包括：（1）研究虚拟人智能视听感知机制，以虚拟空间作为环境背景，实现虚拟人对真实空间用户运动视觉感知分析与理解，以及对虚拟空间视听觉信息的感知与理解；（2）研究虚拟人多源感知信息融合处理与自主行为决策，使虚拟人根据自身状态、环境事件和经验知识做出当前最佳的行为决策；（3）研究虚拟人真实感运动控制及自然交互协同机制，实现虚拟人合成运动与合成语音的协同表现，合成出具有多通道和谐表达能力的逼真虚拟人。在研究成果基础上，构建以具有视听觉感知交互能力的自主虚拟人为核心，实现多通道虚实自然交互的智能虚拟环境原型系统，力图建立起自主虚拟人智能感知与自然交互的研究体系。

本项目是根据我国信息化建设与现代服务业发展的迫切需求背景提出的，对虚拟现实与多通道人机交互领域的关键支撑技术-自主虚拟人感知理解与自然交互进行研究，构建智能化多通道虚实结合的自然人机交互系统。项目主要完成研究内容如下：（1）在人体运动数据的交互行为分析理解方面，对运动数据行为分割、运动模板提取计算、人体运动行为识别与语义标注等进行了深入研究，从人体运动捕捉数据中获得对交互运动行为感知理解；（2）在人体运动视觉感知理解与交互行为识别分析方面，重点研究了基于多视点视频序列图像的无标识人体运动捕捉技术、基于视频监控轨迹数据的人群运动行为与模式学习、基于视频小轨迹关联的多人运动目标跟踪等，实现对交互行为运动视觉感知理解与识别分析；（3）在人脸表情的视觉感知交互与识别分析方面，重点研究了人脸微表情识别感知、人脸面部表情识别感知、低分辨率人脸识别算法等，实现交互环境中面部表情的交互感知；（4）研究视听觉多源特征感知融合处理机制与计算方法，包括：多特征感知融合机制与场景分类，视频概念感知理解、基于上下文的音视频语义标注、图像内容感知理解、三维景物模型的形状分析与语义感知等，基于多特征感知融合与决策机制，实现对交互场景多感知信息融合理解处理和语义分析；（5）研究复杂环境中虚拟人真实感运动合成，实现复杂场景中虚拟人对于交互环境对象的行为动作响应，使合成的人体运动更为真实丰富；（6）结合项目研究工作，项目组在相关图像及视觉信息处理基础理论及技术方面进行了大量的基础研究工作，取得了丰富的成果。项目组顺利完成了申报书的研究任务，达到了研究目标要求。研究成果为自然人机交互、虚拟现实、运动分析与智能行为监控等诸多应用领域，提供新的有效技术手段和解决方案。