基于多视角深度稀疏编码及流形正则化的图像标注研究

Image annotation plays an important role in various applications such as multimedia processing, image understanding, large scale image/video retrieval, intelligent surveillance. This project will explore and study a novel solution of image annotation based on multiview deep sparse coding and manifold regularization. Firstly, we will propose a high-order locality preserving algorithm i.e. p-Laplacian regularization to boost the performance of image annotation. Secondly, we will propose a manifold regularized multiview canonical correlation analysis algorithm and then develop a deep architecture of multiview canonical correlation to discover the nonlinear correlation information hidden in different image features. Thirdly, we will propose a deep multiview spare coding algorithm to learn effect image representation for annotation. Finally, we will construct the prototype system to evaluate the performance of image annotation with the mentioned solutions. The proposed study of image annotation that integrates deep learning, manifold learning, sparse coding and multiview learning will disclose the intrinsic relations between multiple image features and pave a fresh way for large scale image retrieval and understanding.

图像标注在多媒体信息处理、图像理解、大规模图像／视频检索、智能监控等多个领域有着重要的应用价值。本项目拟探讨和研究基于多视角深度稀疏编码及流形正则化的图像标注方法。首先，结合流形学习，提出一种保持样本分布局部结构的高阶流形p-Laplacian正则化方法，从而提高图像标注的准确性；其次，提出一种基于流形正则化的多视角典型相关分析算法，并进而构建多视角典型相关分析的深度模型，分析图像不同特征之间的非线性关系；第三，提出一种多视角深度稀疏编码模型，有效地学习多视角图像特征表达；最后，构建图像标注原型系统。本项目结合深度学习、流形学习、稀疏编码及多视角学习对图像标注方法进行研究，将进一步揭示图像多视角特征间的内在联系，为大规模图像检索奠定基础，为智能图像理解提供一条新的途径。

图像标注是多媒体信息处理、理解、推荐等应用研究的重要组成部分，有着重要的应用价值。本项目围绕局部结构学习理论研究多视角深度稀疏编码及流形正则化的图像标注方法，主要完成了如下研究内容。（1）针对图像样本的局部结构表示，提出了样本局部结构保持p-Laplacian的逼近算法，进而实现了p-Laplacian正则化框架、超图p-Laplacian正则化的逻辑回归、集成p-Laplacian正则化等算法；（2）针对图像的多视角特征融合，提出了Hessian多集典型相关分析算法、多集典型相关分析网络模型；（3）针对图像深度稀疏编码，提出了Hessian深度自编码器、最大边界深度自编码器算法；（4）结合不同的图像标注场景，在主流的图像数据库上对算法模型进行了图像识别、分类等应用实验验证，实验结果表明了项目所提出方法的有效性。本项目对多视角深度稀疏编码、流形正则化、图卷积神经网络等表示学习理论进行了深入研究，探索了大规模图像标注中的深度结构学习理论和方法，进一步揭示了统计学习中数据样本分布的本质，为构建有效的图像标注模型提供有力的理论依据，为大规模图像数据分析提供了新的途径。