基于稀疏时空特征的视频运动模式检测与挖掘方法研究

视频序列的运动模式检测与挖掘是计算机视觉与模式识别领域的一个重要研究内容。在本项目申请中，我们提出建立一种全新的基于稀疏时空特征的运动模式检测与挖掘的理论研究框架。基于该框架，在运动特征提取方面，我们首先将视频序列沿时间方向组织成为一个三维数据集，然后在时空域研究三维数据集的局部不变特征。这种时空局部特征不仅继承了二维局部兴趣点对光照变化、视点变化以及局部遮挡等因素不敏感的优点，而且还描述了具备时间不变性的离散运动模式。在运动模式挖掘方面，我们针对HMMs及其扩展模型的某些局限性，提出引入tDPMM来描述三维局部兴趣点的运动模式。tDPMM不要求时间序列满足马尔可夫假设，同时其状态空间能够无限扩展，因此非常适合描述复杂的运动模式。该理论框架能够在视频序列中存在背景干扰、局部遮挡、光照变化以及视点变化的情况下，对其中的运动事件和运动模式进行有效的检测与挖掘。