深度属性特征学习及其应用研究

Deep attribute feature learning (DAFL) is a new research direction, and its main objective is to study a unified deep architecture for learning features covered from low-level to high-level. We will propose some innovative deep learning methods, models and the corresponding solutions in this project. And we will apply proposed methods to solve the problem of art retrieval by using abstract semantic attributes. The detailed content includes the analysis and estimation of single-modal deep learning method, the optimization of single-modal deep learning method and the study of learning higher semantic features. From the viewpoint of multi-modal feature fusion, we will study more valid deep learning architectures and optimization algorithms. By decomposing the attributes into a hierarchical structure, we will construct a map from multi-modal feature to attribute feature. We will test our proposed methods on several attribute data sets and give experimental results. Our work on deep attribute feature learning will not only promote the research on machine learning, but also provide new inspiration for many problems, such as large-scale feature learning, semantic annotation and content understanding, cross-media semantic retrieval, and so on.

深度属性特征学习方法是一个崭新的研究方向，其主要目标是研究从低层多模态特征到高层属性特征的统一的深度学习架构，提出创新性的方法、模型和求解策略，并在具有抽象语义属性的艺术品检索问题上实现探索性示范应用。具体研究内容包括分析和评估单模态深度学习方法的性能特点，研究优化的单模态深度学习模型，提出具有更高语义表达的单模态特征深度学习方法；从多模态特征融合的角度，研究有效的深度学习架构和求解策略，为进一步的深度属性特征学习打下基础；通过对属性特征的层次分解，构建多模态特征到属性特征映射的深度学习架构及求解方法，实现更有效的属性预测和语义注解；通过在典型属性数据集和特定属性数据集上的应用研究，评估提出方法在典型应用任务中的具体性能指标。深度属性特征学习方法的研究成果不仅对机器学习新方法的研究具有重要的促进作用，而且能够为大规模特征学习、语义标注与内容理解、跨模态语义检索等诸多问题提供新的求解思路。

利用深度架构，能够有效学习出视觉和听觉等不同模态输入的特征表达。这种表达具有丰富的语义和内在的结构，能够用来实现分类、识别、检测、推理等各种智能任务。当赋予这种表达特定的属性时，则能够更清晰地描述出视音频输入中内含的丰富语义以及不同类别之间的语义关系。这样的属性特征可作为不同类别对象之间的共性语义知识，广泛应用于迁移学习、跨模态推理等智能应用领域。因此，属性特征的自动学习模型、算法和应用研究具有重要的理论价值和应用前景。.本项目的研究内容主要包括艺术品数据的属性标注众包平台、广义属性预测模型和算法、多模态属性预测模型和算法以及基于生成式模型的属性预测及应用等几个方面的研究。具体研究内容包括艺术作品视觉感受属性标注体系的设计、属性众包标注平台的研发、基于流形对齐的广义属性预测模型及其在零样本识别中的应用、多模态特征融合及其在视觉问答中的应用、视觉-属性映射的优化方法、.基于生成式对抗网络的属性预测模型及应用研究等。.本项目不仅在艺术作品的视觉感受属性标注上做了有益的探索，而且在属性预测模型和算法的研究上取得了重要进展，并在零样本学习、视觉问答等挑战性任务中得到了成功应用。其中有特色的研究进展包括：1）针对艺术作品属性标注的独特性，设计了专门的视觉感受标注属性，开发了相应的属性标注众包平台，构建了属性标注数据集。2）从不同语义空间的流形结构抽取和对齐的角度来学习属性预测模型，提出了一种分粒度的流形抽取快速迭代学习算法，获得了很好的算法性能。3）研究了属性预测方法在零样本对象识别中的应用，利用属性预测作为共享语义知识来连接已知类与未知类别，实现对无训练样本未知类对象的识别。4）针对多模态数据，提出了用于属性预测的多模态特征融合策略和预测框架，以避免简单的单模态特征组合方法引起的性能退化。同时，利用提出的多模态属性预测模型，实现了多种基于深度网络的视觉问答求解架构，测试了在大规模多模态视觉问答数据集上的性能表现。5）提出了基于循环生成式对抗网络的属性预测模型，利用生成式对抗模型来自动生成未知类别的视觉语义向量和属性向量，并成功应用在零样本识别问题中。