深度视觉树学习及大规模图像识别研究

In order to cope with large-scale visual recognition task, traditional image classification approaches are confronted with new challenges. On the one hand, a large number of image categories need more computational complexity. On the other hand, the visual similarity between different image categories become more complicated. In view of these challenges, this project proposes a deep visual tree learning approach, which takes advantage of inter-category visual similarity to organize the image categories. Based on visual tree, hierarchical image classifiers are trained for large-scale visual recognition task. First, deep convolutional neural network with multiple output layers is designed for hierarchical feature descriptions, which are used to learn visual tree. The deep visual tree can discriminate the inter-nodes more effectively. Second, sparse member-shared model is proposed to . improve the performance of visual tree by sparse coding optimization. The proposed visual tree allows different nodes share the same category member, so that the classification error on previous tree node can be likely corrected on subsequent tree nodes. As a result, the accuracy of image classification by using visual tree can be improved effectively. Third, the project proposes a method to learn image classifiers with the inter-level and intra-level structural correlations. This approach can jointly train the inter-level node classifiers to enable the information shared between inter-level node classifiers, as a result the inter-level error propagation can be controlled. This project proposes a promising solution scheme for large-scale and fine-grained visual recognition task, and such research is very significant.

大规模图像识别问题为传统方法带来了新的挑战：一方面图像类数目增多导致计算复杂度增大，另一方面图像类间的视觉相似性更加复杂。针对这些挑战，本项目提出了深度视觉树模型，以类间的视觉相似性为线索来组织图像类，并应用视觉树训练层次化分类器来处理大规模图像识别任务。首先，构建多输出的深度卷积网络模型，为视觉树学习提供层次化的特征表示，提高层节点的区分性；其次，提出稀疏成员共享模型，通过稀疏优化实现节点成员共享，使得高层节点的分类错误有机会在低层节点修正，能够有效提高应用视觉树的图像分类方法的准确率；最后，提出联合层间与层内结构关系的分类器学习方法，利用层间节点的结构关系联合训练节点分类器，实现层间节点分类器的信息共享，从而达到抑制层间错误传播的目的。本项目的研究工作为大规模以及细粒度图像识别问题提供了一个切实有效的解决方案，具有重要的研究意义。

随着图像数据的快速增长，机器需要处理的图像类变得越来越多，类间图像的相似性变得更加复杂。针对这一问题，视觉树结构能够直接从图像特征出发，有效组织大规模图像类并反映类间的视觉相似性，为图像识别提供一种结构化分类方法。本项目主要围绕视觉树学习开展研究工作，结合深度学习的层次化特征，从图像类的视觉表示出发，对层次化结构模型以及层次化图像识别方法进行了深入研究。总体来讲，完成的主要工作包括：1）基于深度层次化特征完成视觉树模型的构建，并提出基于数字光学相位变化的图像数据增广方法，有效提高视觉树的性能。2）根据模糊C-means聚类方法，加入稀疏正则项，提出节点成员共享的视觉树学习方法；该方法使得视觉树的高层节点之间可以共享图像类，用于抑制层间错误传播问题，从而提高层次化图像识别的准确率。3）基于深度视觉树，设计结构化的多类别线性分类器，充分利用层间的结构关系，优化节点分类器参数，提高大规模图像识别的性能。在项目执行期间，共发表国际期刊论文3篇，国际会议论文5篇。在项目的资助下，培养了4名研究生，其中2名已经毕业。