流形空间不完整多视图像视频的聚类

Multi-view image/video clustering can utilize more comprehensive information about the target object, which is beneficial to overcome the illumination change and occlusion problems existed in traditional clustering methods. However in reality, the equipment failure, interrupt transfer and external disturbance often lead to lose of data and exception to generate incomplete multi-view data, which is difficult to extract and fuse the multi-view features. In addition, existing multi-view clustering methods in Euclidean space never consider the intrinsic nonlinear structure hidden in multi-view image/video, which results in the bad clustering performance. In this project, for the clustering problem about incomplete multi-view image/video data with nonlinear structure, we firstly employ manifolds to represent the multi-view image/video data. Then, we build the adaptive self-expression model for incomplete multi-view data on manifolds. Finally, we study how to fuse the incomplete multi-view data according to the low-rank matrix completion algorithm and we also provide the effective optimization method on manifolds, and we achieve the clustering tasks of incomplete multi-view image/video fusing on manifolds. The research achievements have valuable applications in terms of public security, which can be widely applied in squares, stations and markets with surveillance camera networks for status analysis and event detections.

基于多视信息的图像视频聚类能利用目标对象的更全面信息，有益于克服单视聚类中常见的光照、遮挡等难题。但现实中由于设备故障、传输中断或外界干扰等因素时常导致数据丢失或异常，产生不完整的多视数据，对多视特征的提取与融合提出了挑战。另外，现有欧氏空间的多视聚类方法没有考虑多视图像视频等高维复杂数据内在的非线性结构，导致聚类效果不理想。本项目针对不完整多视图像视频等高维非线性数据的聚类问题，通过在流形空间表达多视图像视频数据的非线性复杂结构，建立流形上不完整多视数据的自适应表示模型，研究基于低秩矩阵填充的不完整多视数据的有效融合方法，并给出流形上模型的高效优化方法，最终实现流形上不完整多视图像视频的融合聚类。该项目的研究成果在公共安全方面具有重要应用价值，可广泛应用于广场、车站、商场等具有监控摄像头网络的公共场所的状态分析和事件检测。

多视视频数据可以看作对同一对象不同视角的采样，这种多视角采样提供了更全面的对象或场景的信息，有益于克服单视聚类中常见的光照、遮挡等难题。但现实中由于设备故障、传输中断或外界干扰等因素时常导致数据丢失或异常，产生不完整的多视数据，对多视特征的提取与融合提出了挑战。图像视频等高维数据本质上处于某个非线性流形上，而传统的多视聚类算法并没有考虑这种复杂数据的非线性结构，在处理多视视频数据时效果并不理想。因此，本项目研究流形上多视图像视频数据特别是不完整多视数据的融合表达、流形聚类、以及深度图卷积聚类方法，实现高效的无监督聚类任务。具体地，（1）数据流形表达方面：针对图像视频数据，建立了Grassmann流形上的表示方法；针对多视图像视频数据，创新性提出了异构乘积流形的多视图像视频融合表示，并深入研究了异构乘积流形上距离度量方法。（2）流形聚类方面：针对图像视频数据，提出从关联矩阵中自适应学习邻居关系，建立了Grassmann流形上自适应图学习聚类模型；针对多视图像视频数据，建立了异构乘积流形上低秩表示模型，并提出基于流形重要性的异构乘积流形自适应融合策略；在此基础上，针对多视数据中存在部分视角丢失问题，建立了软块对角约束的不完整多视聚类模型，克服了不完整数据对聚类效果的影响；此外，建立多视数据的自适应权重融合聚类模型。（3）图卷积聚类方面：建立跨注意力融合的双流图卷积聚类模型，克服了图卷积过平滑问题的同时，利用图卷积强大的特征提取能力，显著改善聚类性能。