复合语境下细粒度视频行为检测与识别关键技术研究

The research on fine-grained activity detection and recognition in the compound context include five aspects as follow: compound contextual components detection, co-occurrence description, fine-grained activity detection and recognition, as well as action space modeling. In this work, we design relatively parallel sub-tasks for further studies, so that we could achieve the ultimate goal from different perspectives. Specifically, this work is based on fine-grained activity, incorporating the concept of transfer learning and attention models into deep learning-related architectures, to explore the abundant contextual relationship in the compound context driven by a small amount of samples as well as to solve some problems, like limited labeled data, the modeling of unknown contextual action space, the complex contextual relationship, the accuracy of fine-grained activity detection and recognition in the compound context. It combines many technologies including image processing, computer vision, pattern recognition and artificial intelligence, and has important theoretical value. Along with the fast development of intelligent surveillance and robot industry, to deal with social problems (e.g. the aging problem) through these technologies has become the future direction. The main research content in this project is one of the most significant technologies in the field of human-computer interaction, which has broad applied prospects and vital social significance.

复合语境下细粒度视频行为检测与识别的研究拟从复合语境要素检测与协同描述、细粒度行为检测与识别以及行为空间建模五方面展开，其中设计了相对并行的子任务作为具体研究内容,以期从不同角度达成本项目的研究目标。项目的特色是以细粒度行为为研究对象，结合深度学习相关框架及算法，挖掘复合语境中丰富的上下文关系，以小数据驱动模式，结合知识迁移和注意力模型，重点关注和解决复合语境下细粒度行为检测和识别的标注样本数量不足的瓶颈、未知语境行为空间的建模、复合语境上下文关系的挖掘以及细粒度行为的精确检测和识别等问题。所研究内容将涉及图像处理、计算机视觉、模式识别和人工智能等多个研究领域，具有重要的理论研究价值。在应用前景方面，老龄化问题日益突出，智能监控和机器人产业的蓬勃发展为解决这一社会问题提供了技术支撑，本项目的研究作为其中关键技术之一，具有广泛的应用前景和重要的社会意义。

本项目围绕复合语境下细粒度视频行为检测与识别关键技术研究这一主题，以视觉感知原理和理论为依据，从拓扑知觉理论的多尺度空间、视觉注意机制的信息处理、视觉感知特征整合理论以及视觉感知双通路等视觉感知理论出发，结合深度学习、特征融合、特征选择、多模态学习等方法，从复合语境要素检测、复合语境协同描述、细粒度行为空间建模以及细粒度行为检测与识别四个层面展开了具体研究。典型研究成果包括：1）提出了以基于层级编码的视频描述方法为代表性成果的复合语境要素检测方法，其中基于层级编码的视频描述方法可有效解决独立编码致特征关联信息缺失、无序编码致时空信息缺失以及单层编码致高层信息缺失问题，提高现实场景下复杂人体行为的正确识别率。2）提出了以自训练半监督子空间学习为代表性成果的复合语境协同描述方法，其中自训练半监督子空间学习方法首先利用有限的有标签样本学习一个初始投影方向，然后将其余的无标签样本用此投影方向映射到一个低维子空间中，用此空间中的最近邻关系构建样本的伪成对关系，并将这种伪成对关系转化为图拉普拉斯正则项，与CCA算法结合，学习新投影方向。该算法只需要标注少量训练样本，即可取得与全监督算法相当的准确率。3）提出了以全局与局部知识感知的注意力模型为代表性成果的细粒度行为空间建模方法，其中全局与局部知识感知的注意力模型可充分挖掘全局的行为场景信息和局部的行为细节信息，对行为进行全面表示。所提模型生成的注意力区域能够随着行为的变化而动态的聚焦运动主体上，证明其能够准确的捕捉到人体行为的动态信息。4）提出了以协作多层特征选择网络以及样本对齐及动态保持识别算法为代表性成果的细粒度行为检测与识别方法，其中协作多层特征选择网络可以根据行为内容，对多层次特征进行选择和聚集，学习到具有鲁棒表征能力的金字塔特征，用于行为对象间复杂交互过程情境化表征与认知；样本对齐及动态保持识别算法，解决了时序信息缺失、域偏移现象严重以及类类间差异性信息缺失的问题，可缓解域偏移现象，提高零样本人体行为识别的正确率。以上成果在公开数据集上进行了大量实验评估和分析，共完成学术论文30篇，其中包括IEEE Trans. NNLS论文2篇，IEEE Trans. CSVT、IEEE Trans. IP和PR高水平期刊论文各1篇，获得授权发明专利1项，举办国际学术会议3次。