基于深度迁移学习的跨领域视觉特征融合与分类

Visual feature extraction is the first and most important step in the field of machine vision to locate, recognize and classify the object in the image. In order to solve the problem of low efficiency in feature extraction caused by the insufficient target samples, the theories of deep learning and transfer learning are used to study cross-domain big data, feature transfer, feature fusion and image classification. The content includes the following: In order to avoid the negative transfer, the source domain of pre-trained CNN is extended from the classic ImageNet to the more general case, and the similarity degree criterion is designed by dimensionality reduction and data segmentation for the purpose of cross-domain visual feature transfer; to improve the relevance and effectiveness of feature transfer, we optimize CNN transfer network structure, design reasonable hand-crafted features in the target domain, conduct feature selection and propose the strategy of feature fusion between transfer features and hand-crafted features to achieve their complement and efficient classification; based on the above theoretical research results, cross-domain image classification system based on deep transfer learning is then developed. The research results not only provide a new analytical method and technical reserve for the efficient extraction of image visual features, but also further deepen and enrich the existing deep learning, transfer learning and image recognition theory.

视觉特征提取是机器视觉领域对图像中主体目标捕捉定位、识别与分类的第一步，也是至关重要的一步。针对目标领域样本不足造成的特征提取效率低下等问题，利用深度学习与迁移学习等理论，研究跨领域大数据信息的合理利用、特征迁移与融合以及目标分类等问题。内容包括：为避免负迁移，将CNN预训练源领域由经典的ImageNet扩展为更一般情形，利用维数约简、数据分块设计迁移领域间的相似度判定准则，并作为依据实现视觉特征的跨领域迁移；为提高特征迁移的针对性与有效性，优化CNN迁移网络结构，设计目标域合理人工特征，进行特征筛选，并设计迁移特征与人工特征的融合策略，实现特征互补与高效分类；基于上述理论研究成果，开发基于深度迁移学习的跨领域图像分类系统。研究成果不仅为视觉特征高效提取提供了新的分析方法和技术储备，而且能够进一步深化和丰富现有的深度学习、迁移学习与图像识别理论。

视觉特征的提取与目标图像的高效识别是计算机视觉领域的重要课题，尤其在当前大数据背景下，如何有效融合多源领域的视觉特征，实现目标小样本乃至零样本下的高精度识别与分类是当下计算机视觉领域的关键技术。为此，本项目主要从以下几方面开展研究：针对在深度领域适应现存方法中出现的负迁移及欠适配等问题，提出一种新的网络模型，主要解决无监督领域适应问题。该方法融合了特征分布与领域对抗两种技术使其共同作用于网络模型，提高模型的领域适应能力。针对无监督领域适应问题，基于现存相关性对齐方法不能充分衡量领域间差异的缺点提出了新的改进方案，所提方法利用熵最小化与特征分布对齐共同作用来增强深度网络的领域适应能力。针对第一种所提模型在训练过程中出现波动以及超参数选择困难等问题，提出一种可行的解决方法。该方法基于ResNet-50使用MK-MMD匹配池化层和分类层的特征分布，实现了多层匹配的目的，同时添加了两个领域判别器，每个领域判别器只采用含一层隐藏层的全连接网络，从而降低了模型的复杂度。针对高斯均匀模型无监督分类精度较低的问题，筛选置信度高的目标数据对网络进行再次训练，提出一种充分的利用目标样本伪标签的算法。针对现有的零样本学习方法可能存在模糊的类属性，这些属性对于不同的类是高度重叠的。不同于那些忽略类别间区分的方法，提出了一种联合生成模型SR-WGAN，将语义纠错网络和WGAN结合起来，用修正后的语义特征和原始语义特征以及随机噪声去生成更高质量的特征。实验结果验证了所提方法的有效性，相关成果已发表于学术期刊并申请发明专利。