基于RGB-D图像序列和加速度信号融合的人体动作识别方法研究

Human action recognition has attracted more and more attention in recent years, which can be applied into robot, intelligent hardware, etc. Much of the existing studies cannot satisfy the adaptability to various environmental conditions, as based on simplex data or signal, e.g., color images, depth maps, and accelerometer. Hereby we focus on the diversified and refined human action recognition, and aim to investigate a robust approach by fusing RGB-D image sequences and acceleration signals. Focusing on the key issues of middle-level representation for visual-based feature, feature selection for acceleration signal, and multi-feature fusion, we will carry out the following research: 1) propose the sparse differences distribution as the middle-level visual representation to investigate the prospective relationship between coarse features and advanced semantics, thus enhance robustness of pattern representation; 2) represent acceleration data by tensor, and extract discriminative tensor based feature using discriminant projection analysis, thus preserve the intrinsic information; 3) by using Cauchy estimator and privileged information-based distance metric learning, proposed multi-feature fusion strategy can achieve the consistent and complementary expression, and improve generalization ability of the model. This study will expand application scenarios of human action recognition, and has important theoretical significance and application prospect.

人体动作识别是人机交互领域的研究热点之一，可应用到机器人、智能硬件等领域。目前大多数研究都是基于可见光图像、深度图像或加速度传感器等单一信号展开的，存在场景限制、识别精度不高等问题。为此我们提出一种基于RGB-D图像序列和加速度信号融合的人体动作识别研究方案，以实现鲁棒、精细的人体动作识别。针对视觉信息的中层特征表达、加速度信号张量特征选择、多特征融合等关键问题，开展以下研究：1）提出用稀疏差异分布作为底层视觉特征的中层表达，揭示底层特征与高层语义之间的潜在联系，增强模型表达的鲁棒性；2）采用张量表达提取加速度信号，利用鉴别投影对张量特征进行选择，有效提取信号的结构信息；3）提出基于柯西估计量和特权信息度量学习的多特征融合算法，实现多模态与单模态多特征间一致性与互补性描述，增强模型的泛化能力，提高多场景下动作识别精度。本研究有助于拓展人体动作识别的应用范围，具有重要的研究价值和应用前景。

根据国内外研究现状和研究内容，构建了面向RGB-D 图像序列和加速度传感器信号的人体动作识别框架，分别对视觉和加速度特征进行中层表达及选择以得到其隐含的语义信息；结合原始信息和特权信息，实现高效鲁棒的多模态信号特征融合的人体动作类型判别，解决目前普遍存在的多场景下动作识别精度不高、可判别动作规模较小等问题，并对单特征和多特征场景具有很好的适应性。. 本项目针对研究任务和目标，开展了基于可见光图像、深度图像和加速度传感器等多模态信号条件下的人体动作识别方法，提出了多种数据模态特征学习动作识别算法。基于技术发展和硬件平台进步，我们进一步研究了深度神经网络算法框架下的动作识别方法，很大程度上提升了动作识别模型的动作识别效率和模型泛化能力；并基于WIFI等信号开辟和研究了更加通用的无扰式动作识别方法。本项目的顺利执行，研究了原定计划内的研究目标任务，很大程度上扩展了算法的研究范围和模型的适用场景。..通过本项目的研究，共发表论文56篇，其中SCI论文29篇，EI论文27篇，获得Helthcom 2020最佳学生论文奖；申请了20项专利，其中国内发明专利17项，国际PCT发明专利1项，国内实用新型专利2项；依托本项目相关成果，获得云南省自然科学二等奖、吴文俊技术发明二等奖和自动化学会技术发明奖二等奖。