基于时空上下文的主观视角行为识别方法研究

This proposal studies theories and methods of activity recognition from egocentric perspective, and enables one to recognize his activities from recorded daily videos. We aim to solve three basic problems in this field, i.e. extraction of image features, representation of activity features and learning of activity model. Firstly, we propose an image feature evolutionary model with global reliability, which can ensure the effectiveness and integrity of image features. Next, we study representing activities combining image content and temporal information. Finally the context between image, time and activities are investigated to build a recognition model. This study is of great benefit to making use of the large amount of video resources and to helping the industry make intelligent decision.

本申请对主观视角视频的行为识别方法展开研究，建立能够通过视频内容判断观测者自身行为的理论和方法，拟解决该领域的三个关键问题：图像特征提取、行为特征表示与行为模型的学习。申请人拟从以下方面着手开展研究。首先，研究基于全局可靠性的图像特征演化模型，保证图像特征在整个行为进程中的有效性和完整性；其次，研究基于环境信息与时序信息的行为特征表达方法，实现行为特征的表达；最后，研究环境信息、时序信息与行为之间的上下文关系，建立基于时空上下文的行为识别模型。上述关键问题的解决将使海量的视频资源得到更有效的利用，实现基于视频数据的智能化分析与决策。

伴随着可穿戴设备的成熟，越来越多的视频数据以主观视角的形式出现。相对于研究主体出现在视频中的客观视角视频，主观视角视频适用范围更广，拍摄限制更少，成为机器视觉领域行为分析与识别的重要研究对象。本课题对基于时空上下文的主观视角行为识别方法展开研究，重点探索了本领域内的三个关键科学问题，即图像特征提取、行为特征表达与行为模型。首先，在图像特征提取方面，课题组对基于全局可靠性的图像特征演化模型进行了研究，提出了基于度量学习的多目标相似性特征匹配方法，克服了图像特征匹配中的混淆问题，在实践中取得了好的效果。其次，在行为特征表达方面，课题组提出了针对动态非刚性目标的马尔可夫特征描述子，利用多帧图像对行为特征进行建模，综合使用3D描述子、马尔科夫形变动态模型、运动姿态运动直方图，并通过极限学习机（ELM）模型来综合各种特征描述子得到行为特征，并通过综合利用频域特征和空域特征，克服了在特殊遮挡条件下的目标丢失问题，实现了行为特征的一致性表达。在最重要的行为模型建模方面，课题组研究了利用深度强化学习模型来获取上下文目标之间关系的方法，通过在大规模目标检测数据库上训练得到每个实体的特征、以及实体之间的相互关系，通过训练不断优化上下文目标关系网络，实现模型的更新和优化；此外，在行为识别方面，课题组针对主观视角视频目标尺度大范围变化的特性，设计了长短时间对称变换神经网络，充分利用自底向上算法的特点，一次性处理视频段中所有尺度的目标特征；并提出了一种递归的时域稀疏自编码（RTSAE）模型，它能够在获取稀疏关键帧信息的同时保留对视频特征的分辨能力，从而在剔除视频冗余信息的同时保护了可从视频中推断行为的能力。通过利用上述一系列方法的组合，我们极大提升了双向循环神经网络在标准行为数据集上的精度和速度，为解决主观视角视频行为识别的难题提出了一种有效途径。