知识增强的子空间聚类

Subspace clustering plays an important role in discovering intrinsic geometric structures in high dimensional dataset and is of potential value in big data analysis. However, the existing subspace clustering methods still suffer from serious deficiencies in methodologies and insufficient theoretical analysis, which substantially limit the application range. In this proposal, we attempt to develop more powerful subspace clustering approaches by exploiting available knowledge from the perspectives of knowledge-guided feature extraction, exploiting the utility of side-information, and theoretical understanding of affine constraint. To be more specific, we propose to: a) develop joint optimization framework of feature extraction and subspace clustering with knowledge guideline; b) address the model selection problem in subspace clustering with the assistance of side-information; c) establish the theoretical analysis of affine subspace clustering and etc. The applicant has been working in the field of subspace clustering for several years. The technique roadmap of this proposal is clear and practical. The targets of this proposal are to develop more powerful and efficient subspace clustering algorithms for finding subspace structures in high dimensional dataset, to find solution for the feature extraction and model selection problem in subspace clustering, to fill the theoretical gaps in the aspect of affine subspace clustering, and to facilitate the application of subspace clustering in general image clustering, dynamic scene clustering, cancer subtypes clustering and etc.

子空间聚类是检测和确认高维观测数据中内在低维结构的重要工具，在大数据的分析中具有广泛应用前景。现有的子空间聚类技术尚存在严重的方法局限性和理论空白，从而使其应用范围受到严重制约。本项目研究知识增强的子空间聚类，从知识指导的联合特征抽取、辅助信息的多层次利用和仿射约束的平移不变性等角度把待研究问题的可用知识深度融合到子空间聚类模型中。研究内容包括三个方面：1)研究知识指导的特征抽取与子空间聚类的联合优化框架；2)研究辅助信息在子空间聚类中的全方位利用和主动选择问题；3)研究仿射约束对子空间聚类模型的本质影响及潜在应用价值。申请人在子空间聚类方面具有多年的研究积累，所提研究内容具有充分的前期准备和可行的技术路线。研究目标定位于解决子空间聚类中的特征学习和模型选择等问题，填补仿射子空间聚类方面的理论空白，推动子空间聚类在更多应用问题(自然图像聚类、动态场景聚类、癌症亚型聚类等)上取得成功应用。

本项目针对现有子空间聚类中的方法局限性、理论空白以及应用不足等方面深入开展了一系列研究工作，包括联合学习特征表达与子空间聚类的网络框架、仿射子空间聚类的理论保证以及仿射约束的几何分析、利用辅助信息指导聚类过程、面向大规模数据集的可扩展子空间聚类等。具体地，本项目代表性研究成果主要有：(1)提出两种能够联合学习卷积特征学习模块、自表达模型和谱聚类结果的深度子空间聚类框架——自监督卷积子空间聚类网络和带块对角先验的子空间聚类网络，其中前者把谱聚类结果作为反馈信息用于监督卷积特征学习模块和自表达模型，后者把块对角先验施加在自表达模型(并阐明其作用等效于隐含地引入谱聚类作为反馈)；(2)建立仿射子空间聚类的理论分析，给出了仿射约束与稀疏约束共同作用下最优解性质以及满足子空间保持性的理论条件，在此基础上进一步研究了仿射独立性以及自表达模型中引入仿射约束的几何影响，并在基准数据集上对理论结果进行实验验证；(3)研究了辅助信息在聚类过程的多层次利用——约束自表达模型和聚类结果、预测聚类性能以及引导特征学习；(4)提出两种可伸缩子空间聚类方法——随机稀疏子空间聚类和自表达网络——前者把Dropout策略引入到自表达模型中，在理论上证明了引入Dropout策略渐近等效于施加平方L2范数的正则化，并基于采样给出基于一致性最优化框架的“分而治之”算法，后者把仅定义在给定数据集上的传统自表达模型重参数化成自表达函数，并设计带有双分支网络和可学习软阈值化激活函数的自表达网络模型，使其具备泛化能力(可在训练集上进行无监督训练，然后推广到新数据)。自监督卷积子空间聚类网络给出了一种端到端训练的深度子空间聚类框架；仿射子空间聚类的分析工作填补了仿射子空间聚类几何分析方面的理论空白；两种可伸缩子空间聚类方法为后续设计面向大规模数据的子空间聚类算法打破了自表达模型计算环节的计算瓶颈。作为项目成果，项目组发表标志性论文4篇(CVPR/ICCV)，发表相关交叉方向论文14篇(包括IEEE TIP/TCSVT/T-ITS/PR/Access/Neurocom期刊和ICCV/ECCV/ICRA/ICPR/ACPR/VCIP会议)，完成国内学术会议特邀学术报告2次，获最佳学生论文奖1次；目前已毕业博士1名、硕士5名，累计参加国际学术会议(含线上会议)11人次。