基于多模态深度神经网络的人体行为识别技术研究

Human activity recognition is an important part of robots sensing human beings and environments, and a key area of Human-Computer Interaction, Human-robot collaboration and robot application. Human activity recognition is a challenging task. How to reduce the effects of environments on recognition is the research hotspots. This research is on how to improve the accuracy of recognition in complex environments or missing multi-modal data, as well as the difference between the similarity and speciality of people. This research uses the idea of multi-modal depth learning and designs multi-modal depth neural network model based on vision and wearable sensors so as to improve the accuracy of robots recognizing human behavior under complex environments; depth Boltzmann network utilized in multi-modal depth learning model can reduce the influence on recognition accuracy caused by missing data; a method that employs the ideas of network structure adjustment combining speciality characteristics and supervised learning is proposed to fine-tune common models. The results of this research prove the improvement on the human-robot collaboration capability. Since human-robot collaboration is an essential problem of current robot research, therefore, this project also has certain significance to the development of robot technology.

人体行为识别是机器人对人以及外界环境感知的重要环节，是人机交互、人机协作以及机器人应用的关键领域。而人体行为识别是一项具有挑战性的任务，如何降低场景多样性、背景复杂等噪声因素对识别效果的影响，一直是人体行为识别研究的热点。本课题重点研究复杂场景下或多模态数据发生缺失时，如何提高机器人对人体行为识别的准确率以及机器人对人体的共性和个性识别等方面的问题。本研究采用多模态深度学习思想，构建基于视觉和可穿戴传感器的多模态深度神经网络模型，可提高在复杂场景下人体行为识别的准确率；采用深度玻尔兹曼机网络构建多模态深度学习模型，可减少缺失数据对行为识别准确度造成的影响；结合个性特征调整网络结构和有标签样本训练，建立自适应共性模型的方法，从而提高机器人对个体行为识别的准确率。本课题研究有助于提高人机交互及协作能力，是推动机器人技术发展的重要动力。

本项目开展了基于可穿戴和视觉传感器的多模态深度神经网络的人体行为识别技术研究，提出一整套基于多模态深度神经网络的人体行为识别方法，从而提高在复杂场景下人体行为识别的准确率。其中包括：基于可穿戴传感器的深度神经网络的特征提取方法研究、基于视觉的深度神经网络的特征提取方法研究、基于多传感器数据融合的人体行为识别研究、基于深度学习网络实现对缺失数据重构的研究和基于自适应共性模型的跨用户行为识别研究，并分别在这些方面本研究方法对比已有的方法，人体行为识别的性能得到了提升。同时搭建了动作识别的软硬件平台，并用于人与机器人的交互技术中，具有较好的应用前景。. 在本项目的研究过程中，针对深度学习网络模型设计、在线学习方法、动作识别、输入数据处理方法以及实验系统开发方面发表了论文、申请和授权了专利和软件著作权：（1）撰写相关的论文13篇，其中已发表11篇，录用待发表2篇；期刊论文6篇，会议论文7篇，SCI索引5篇，EI索引7篇。（2）已授权发明专利1项，申请发明专利3项。（3）已授权实用新型专利1项，申请实用新型专利1项。（4）授权软件著作权4项。（5）实现一套了基于可穿戴传感器和视觉的动作采集和识别处理系统。