视频大数据时空协同关联及视觉跟踪模型研究

Effectively target detection and visual tracking algorithm for massive video data, is the important direction in computer visual research field. The current visual tracking methods either from the perspective of matching, detection and classification, ignore the video internal rich information of spatial and temporal correlation, and limited to a specific scenario and application requirements. As a result, these methods cannot be obtained the both robustness, accuracy and real-time performance. Aim at the massive video of unstructured data, this project is devoted to studying the synergistic characteristics of spatial and temporal correlation and robust real-time target tracking model, and propose the new method of processing deformation and occlusion by sparse representation. The main issues include: (1) we study the fusion of spatial-temporal correlation and hybrid feature representation, and establish the global appearance model for target in videos. (2) we study the online discriminating dictionary learning and updating schema for small amount of samples, and achieve the best recognition performance for object in a dynamic feature space; (3) we propose a novel approach of pose variance and occlusion handling in structure sparse model, and introduce structure constraints and low rank noise to establish adaptive regression model based on nuclear norm. All the research achievements of this project can provide new theoretical and technical support for visual tracking in massive video data, and can be promoted to the visual applications in the applications including intelligent monitoring, human-computer interaction and VR.

有效处理海量视频中目标的识别和跟踪，提高算法的准确率，是计算机视觉研究领域发展的重要方向。当前视觉跟踪方法无论是从匹配、检测还是分类的角度，都忽略了视频内在丰富的时空信息，受限于特定的场景和应用需求，无法取得兼具鲁棒性、准确性和实时性的高效算法。本项目针对海量非结构化的视频数据，致力于研究时空协同关联性和实时鲁棒的目标跟踪模型，提出处理目标形变、遮挡的稀疏分析与处理新方法。研究内容包括：(1)研究融合视频时空关联特性的多特征目标表示，构建全局目标外观模型；(2)研究基于小样本的判别字典学习和在线更新方法，寻求在动态特征空间内对目标维持良好描述的目标跟踪算法；(3)研究基于先验结构约束和低秩噪声的核范数回归模型，提出复杂视频场景下处理遮挡与目标形变问题的新方法。通过本项目可为视频大数据的目标跟踪研究提供新的理论和技术支持，最终研究成果将在智能监控、人机交互、虚拟现实等应用中加以推广。

建立实时高性能的计算模型和准确的目标跟踪模型，是跨学科融合、极具挑战性的问题，具有重要的学术研究意义和社会经济价值。当前多视角、复杂场景下的海量视频目标识别和跟踪方法均受限于特定的场景和应用需求，无法取得兼具鲁棒性、准确性和实时性的高效算法。本项目针对海量非结构化的视频数据，致力于研究时空协同关联性和实时鲁棒的目标跟踪模型，提出处理复杂场景下的遮挡与目标形变问题的新方法。. 项目主要研究内容包括：①在视频目标外观表征上，研究了目标时空关联性和多特征算子融合及其协同表示；结合视觉注意力机制和图模型，实现了多特征表示的子空间联合外观模型及其目标跟踪方法。②研究了小样本的判别字典学习和在线更新式跟踪方法，构建了增量式、自适应字典更新方式；设计了超像素的核范式模型和金字塔特征选择策略用于定位目标。③针对视频帧图像分辨率参差不齐、分辨率切换导致跟踪抖动和卡机等问题，采用稀疏字典学习、自相似性以及多任务高斯过程回归等方法，研究了视频帧图像的超分辨率重建。④研究了基于深度学习的目标跟踪新方法，分析了目标预测框定位回归问题，提出了多变量交并比损失函数，并进一步研究了交叉视角下基于深度学习和时空特征的视频行人步态识别和跟踪。. 项目研究所提出的方法有效减少了目标随时序帧动态变化所带来的误差积累，提高了目标位置感知推断的准确性和深度网络训练收敛速度，有效地解决了目标跟踪中的背景杂乱、变形、遮挡等干扰问题，相关成果发表论文共19篇（其中SCI论文8篇，EI论文7篇，中文核心4篇），获得授权发明专利4项，申请发明专利5项，培养研究生毕业8名，获得广东省科技进步三等奖1项。. 通过本项目的研究建立实时高性能的目标跟踪计算模型，可为视频大数据的目标跟踪研究提供新的理论和技术支持，最终研究成果将在未来应用于公共安全智能监控、人机交互动作捕捉与姿态估计、工业视觉检测等，具有广阔的市场需求和应用前景。