面向大规模人脸标注的弱监督多视角谱聚类研究

Grouping face images according to the identity through spectral clustering helps to achieve automatic face annotation and reduce the annotation cost. However, for large-scale weakly labeled face images, traditional spectral clustering algorithms are no longer applicable due to the large number of low-quality images, inaccurate labels, and unbalanced clusters..Therefore, this project intends to study the weakly supervised multi-view spectral clustering method for large-scale face annotation. The main research contents include: (1) Multi-view face feature dependent similarity learning method, which combines multi-view features by feature mapping function, and calculates the similarity of low-quality images according to Hilbert-Schmidt independence criterion; (2) Weakly supervised spectral embedding method based on Stiefel manifold optimization, which establishes the mathematical model of weakly supervised spectral clustering by balancing data similarity and weak label semantics, and gets the spectral embedding matrix by stochastic gradient optimization method; (3) Face clustering method based on approximate neighbor ranking distance, in which the approximate neighbor ranking distance is designed to measure the unbalanced distribution of data according to the approximate k-NN graph, and we use it to cluster the representative points in the spectral embedding space..The research results of this project will improve the performance of spectral clustering on large-scale weakly labeled face dataset, and they are expected to be widely used in image retrieval and other fields.

通过谱聚类把人脸图像按照人物身份进行分组，有助于实现自动人脸标注，降低标注成本。但是对于大规模弱标记的人脸图像，由于包含很多低质量的图像、不准确的标签、不平衡的类簇，传统的谱聚类算法不再适用。.因此，本项目拟研究面向大规模人脸标注的弱监督多视角谱聚类方法，主要研究内容包括：(1)多视角人脸特征依赖的相似度学习方法，通过特征映射函数融合多视角特征，根据Hilbert-Schmidt独立性准则计算低质量图像的相似度；(2)基于Stiefel流形优化的弱监督谱嵌入方法，通过平衡数据相似度和弱标记语义，建立弱监督谱聚类的数学模型，并用随机梯度优化方法求解谱嵌入矩阵；(3)基于近似近邻排序距离的人脸聚类方法，根据近似k-NN图设计近似近邻排序距离，度量数据的不平衡分布关系，对谱嵌入空间中的代表点聚类。.本项目的研究成果将改善谱聚类在大规模弱标记人脸数据集上的表现，并有望在图像检索等领域获得广泛应用。

利用谱聚类把人脸图像按照人物身份进行分组，有助于实现自动人脸标注，在手机相册管理、人脸抓拍系统、视频监控系统中有重要的应用。虽然已经提出了很多人脸聚类方法，但是现有方法在处理复杂场景中的人脸数据时仍面临一些问题，如低质量的图像很多，弱标记信息不可靠，数据杂乱分布且类数未知等。针对这些问题，本项目研究弱监督多视角谱聚类方法，利用“拉格朗日松弛”、“Nyström近似”、“图卷积网络”等技术，改善人脸聚类的质量，提高人脸聚类的效率。.本项目的主要研究内容包括：（1）基于非负拉格朗日松弛的谱聚类方法，在谱聚类中引入非负拉格朗日松弛，并构造有效的乘法更新规则求解该模型，使相似性学习和聚类可以在迭代优化过程中相互促进，直接获得聚类结果，避免了间接聚类的不确定性；（2）全局和局部结构保持的大规模谱聚类方法，在大规模子空间聚类的目标函数中加入局部结构项，使学习的锚点亲和矩阵能同时保留数据的局部特征和全局特征，然后引入Nyström近似方法求解Laplacian矩阵的特征向量，逼近最佳的低秩近似，改善聚类结果；（3）基于残差图卷积网络的深度谱聚类方法，根据残差网络的思想设计残差图卷积网络，在深层图卷积网络中增加不同层之间的直接映射，确保下一层网络比上一层包含更多的图像信息，以解决梯度消失问题，提高聚类质量；（4）基于线图神经网络的谱聚类方法，设计线图神经网络将原图中边的连接预测任务转变为线图中节点的二分类问题，根据线图中提取的节点特征直接预测原图中边的连通性，然后选取预测的有效边构造复杂网络，采用标签传播算法分配类簇标签。.本项目的研究成果可以为复杂场景中的人脸聚类提供理论支持，有望在行人识别、图像检索、照片管理等领域获得广泛应用。