视频时空兴趣点检测与描述的几何代数方法

As video becomes one important source of information and more and more data need to be processed, that how to intelligently analyze and process massive video images have become one important topic in the area of video information processing. Spatio-temporal interest point (STIP) is one important feature that could be utilized in intelligent video processing, which is also fundamental to intelligent video search, event detection and action recognition. STIP has received much attention in recent years. It is superior to other features because it can be extracted directly from video images without the use of difficult techniques such as target detection and tracking. But current STIP detection and description algorithms tend to focus more on the algorithms themselves, while lack the model and method for efficient and systematic analysis of video spatio-temporal correlation, and lack the consideration of video spatio-temporal correlation, hence affecting the performance of STIP. Base on our previous work, we make use of the geometry algebra method to build a video image processing and analyzing model. We aim to investigate the correlation of spatio-temporal domain, and propose new algorithms on STIP detector and descriptor in video image with the consideration of spatio-temporal correlation. Hence provide new methods for video image processing.

随着视频数据的急剧增加，如何对海量视频进行智能分析已成为视频信息处理领域重要的研究课题。视频时空兴趣点是一类可以用于智能视频处理的重要特征，是智能视频搜索、事件检测、行为识别等智能视频分析的基础。由于它能从视频中直接提取，不需进行视频目标提取、跟踪等存在技术难点的中间环节，具有其他特征不可比拟的优越性，已引起国内外大量研究者的关注。但是，已有时空兴趣点检测与描述算法过多注重算法及其实现的研究，缺乏对视频时空域相关性进行有效、系统分析的模型与方法支持，缺乏将视频时空域上的相关性融入到算法中，影响了视频时空兴趣点的性能。本项目在我们原来的工作上，以几何代数为工具，建立新的视频处理与分析模型，分析和挖掘时空域相关性，研究一套新的融入了时空相关性的视频时空兴趣点的检测与描述算法，同时为视频处理提供新的方法和手段。

视频时空兴趣点（Spatio-temporal interest point, STIP）是一种视频图像上的局部不变特征，已被广泛地应用于计算机视觉、模式识别等领域。然而，现有的STIP检测和描述算法均是由二维图像的局部不变特征的检测和描述算法上扩展而来，没有充分利用视频图像的表观信息与运动信息，从而降低了STIP的抗变换能力、抗干扰能力和计算的高效性。. 本项目针对现有STIP算法中存在的问题，根据研究计划对视频图像的时空兴趣点的几何代数方法展开深入研究。首先，构建了视频图像的几何代数空间，研究了几何代数空间中的视频图像表观和运动信息，提出了一个视频图像几何代数时空域基本模型、一个基于视频表观与运动信息的统一模型（Unified model of appearance and motion，UMAM）、一个基于视频表观和运动变化信息的统一模型（Unified model of appearance and motion-variation，UMAMV）。接着，研究了上述模型下的高斯核函数，提出了一个基于几何代数的视频时空域尺度空间生成理论和方法。然后，在上述基础上，提出了一个视频图像的UMAM-Harris 检测算法、UMAMV-SIFT检测和描述算法以及UMAMV-SURF检测和描述算法。最后，本项目在交通异常视频图像检测和人体行为识别中验证了所提的多个算法的有效性与先进性，并对实验和应用中涉及到的关键技术做了深入研究，包括提出一种基于模糊集理论的词袋模型框架，提出了一个基于高维模糊几何的图像表示模型，提出了基于模糊几何的SPM算法和基于模糊几何的LLC算法，提出一种基于局部不变特征的交通异常视频图像检测方法等一系列算法。实验结果显示，本项目所提算法具有比现存算法更好的性能。本项目的研究不仅为视频时空兴趣点检测和描述提供了新的方法和手段，而且给视频处理领域和信息几何领域带来了理论和方法的革新。. 本项目发表论文14篇，其中SCI论文9篇；申请国内发明专利25个，获授权国内发明专利7个，申请美国专利2个，申请日本专利1个，国际PCT专利8个，获软件著作权2个；组织或参加国内国际学术会议10人次，合作培养博士研究生2名，硕士研究生6名。