基于双链深度时空网络的跨域人体动作识别算法研究

Automated cross-domain human action recognition is essential for intelligent surveillance, human-machine interface, digital entertainment and etc. In this proposal, we propose cross-domain human action recognition based on pairwise deep spatio-temporal network. The proposed method consists of three steps, object detection and tracking, action modeling and action inferring. Our research will focus on the latter two steps. Specifically, it includes four main problems: 1) Pairwise deep spatio-temporal network based on spatio-temporal information and deep learning is designed to finish cross-domain human action recognition; 2) Under multiple constraints, domain invariance and discriminative spatio-temporal feature is extracted based on pattern recognition and sample distribution theory; 3) Correlation between parameters are adaptive chosen by deep interaction of the corresponding layer parameters of pairwise deep network; 4) We predict the optimal parameters of the network based on proximal gradient descent method, and cross-domain human action recognition model is built based on the transform function of the corresponding layer parameters of pairwise deep network and the target domain network. This research will promote the system construction for human action recognition. Moreover, it will not only benefit the research of computer vision and pattern recognition but also provide the feasible and novel techniques for multiple applications.

智能地跨域人体动作识别已成为智能监控、人机交互和数字娱乐等实际应用领域亟待解决的问题。为了解决该问题，拟提出基于双链深度时空网络的跨域人体动作识别方法。该方法包括目标检测和跟踪，动作建模和推断三部分，本课题将侧重解决跨域下动作特征提取、动作建模和推断的端到端统一问题，其主要内容包括4个方面：首先，拟基于时空信息和深度学习理论，实现双链深度时空网络的跨域人体动作识别模型构建；其次，拟基于样本分布理论和模式识别理论，实现多约束下具有域不变性和区分性的时空特征提取；再次，拟通过双链深度时空网络对应层参数的深度交互，实现参数相关性的自适应挖选择；最后，拟基于近端梯度下降算法对模型参数进行联合求解，并基于参数关系的变换函数和目标域网络构建跨域人体动作识别模型；本课题的相关研究成果对计算机视觉和模式识别研究领域新问题和新方法的探索具有重要意义，并为相关工业界新应用的发展提供可行和创新性技术基础。

跨域人体动作识别已成为智能监控、人机交互和数字娱乐等实际应用领域亟待解决的难题。虽然目前研究人员提出了部分跨域动作识别算法，但是在源域样本和目标域样本的潜在关联挖掘、域不变的时空特征提取、小样本学习以及端到端的双链网络构建等方面还有待进一步探究。因此，本课题首先通过多个数据集从时空特征、无监督学习和有监督学习等三个不同层面探究影响跨域动作识别的因素；其次，深入研究视频时序动作的特点、小样本学习理论以及迁移学习理论，设计时序动作特征提取模块、跨域动作识别模块以及多模态特征自适应融合模块，搭建深度双链时空网络的跨域人体动作识别模型，并设计对应的正则项和损失函数，使得所提取特征具有更好的域不变性以及区分性，从而提高模型的跨域动作识别性能；最后，通过跨域图像识别、图像篡改检测、行人重识别以及3D物体检索等任务，对深度双链网络和多模态特征的自适应融合进行了深层次的探讨，进一步验证了上述算法的可行性；在多个公开的跨域动作数据集以及课题组构建的动作数据集上对所提理论和算法进行了验证，结果表明本课题构建的TR3D时空特征提取模块能够更好的提取视频动作的时空特征，同时，基于深度双流自适应网络、基于双链注意力对抗时空网络以及多视角对抗学习网络等都能够使得所提取时空特征具有更好的跨域特性和区分性，且对于目标域标签样本的数量也很低，课题组所提算法比State-of-the-art算法性能有较大的提高，进一步减少了跨域动作识别技术应用的推广难度。此外，本课题的相关研究成果对计算机视觉和模式识别研究领域新问题和新方法的探索具有重要意义，并为相关工业界新应用的发展提供可行和创新性技术基础。