融合浅层模型和深度网络的视觉特征学习研究

This project tackles the critical concerns and challenges of visual feature learning under the Big Data scenario by deriving a novel Deep Task-driven Visual Feature Learning Model (DTVFLM) which integrate the shallow feature learning model with the data-driven deep feature learning. DTVFLM inherits the merits from both shallow and deep models whereas avoiding the weakness of the two models. By approximation of the sparse representation with a hierarchical feed-forward networks, DTVFLM significantly reduces the complex inference computation of the sparse coding which prevents its usage in real-time applications. The hierarchical structure of DTVFLM makes it suitable for the large scale feature learning. In addition, the task-specific constraints as well as the prior domain and experts’ knowledge from the shallow models can provide the theoretic justification of the structure of DTVFLM and guide its design and training. In this sense, DTVFLM is superior to the current deep learning models which are hard to optimize their architectures for specific tasks due to their “notorious black box” effects. Another benefit of DTVFLM manifests in task-driven training. It is well-known that joint optimization of the parameters of a sparse coding model and the parameters of the targeted task often brings in bi-level optimization, which are computationally very expensive. In contrast, it is more convenient to implement end-to-end task-driven training in DTVFLM, by concatenating its feed-forward networks with certain task-driven loss functions.

课题围绕大数据应用下视觉特征学习技术中的关键问题和难点展开，通过融合浅层特征学习模型和深度特征学习，研究新型深层任务驱动的视觉特征学习模型−DTVFLM。DTVFLM具有两种模型的优点，避免了其缺点。DTVFLM将浅层稀疏编码转化为分层前馈网络结构，解决了稀疏表示推理计算复杂度高，实时性差的问题。DTVFLM的分层网络结构使其适合于大规模特征学习，同时关于特定任务的约束条件以及基于浅层模型的领域知识和专家经验可被用来指导网络设计和训练，使网络构造和工作机制具有理论依据，克服了现有深度学习模型难以根据特定任务定制网络结构和黑箱运行的缺点。DTVFLM采用任务驱动方式训练分层网络，可以将特定任务对应的代价函数嵌入分层前馈网络中，通过端到端的训练方式较容易地实现模型参数和任务参数的联合优化，较好地解决基于浅层模型的特征学习算法中，对模型参数和任务参数进行联合优化时遇到双层优化导致的计算复杂性问题

特征学习技术通过对原始数据进行变换得到适合待处理任务的有效数据描述，它是影响计算机视觉系统性能的核心因素。目前，以概率模型和稀疏编码为代表的浅层模型和以深度卷积神经网络为代表的深度学习模型成为特征学习领域的主要方法。前者能充分利用问题域的先验知识，工作机理明确，学习过程直接且“透明可调”，但计算复杂度高，实时性差且可扩展性有限。后者采用数据驱动方式进行特征学习，具有较强的数据处理能力和特征表达能力，但需要大量训练数据才能取得较好的特征描述性能，在小样本数据集上性能较差。同时网络参数巨大，工作机制不明确，无法根据领域知识设计结构优化、任务驱动的定制网络 。本课题融合浅层模型对特定任务的先验知识及推理能力和深度模型对大规模样本的自动学习能力，研究新型深层任务驱动的视觉特征学习模型(LISTA-DTVFLM) 。LISTA-DTVFLM结合浅层模型和深层网络的优点，具有1). 任务驱动特性: 模型结构可通过领域知识和专家经验进行优化，2). 可理解性: 模型工作机制易于理解，能提取具有语义概念的特征。.本课题研究了1). LISTA-DTVFLM在特定任务下的网络设计和训练, 2). LISTA-DTVFLM的泛化能力和对多模态数据的普适性, 3). LISTA-DTVFLM的多任务学习能力, 4). LISTA-DTVFLM模型中特征的语义概念。通过研究，我们建立了LISTA- DTVFLM模型的理论基础，针对不同任务分别设计了网络结构和迭代算法，并将其应用于场景感知、目标分类及检测、自然图像超分辨率重构、遥感图像目标检测、医学图像检测与分割、椭圆检测、人脸对齐和生成、人体姿态估计和基于人脸图像的亲属关系验证等多种视觉任务中。通过上述任务中和常规深度网络的结果比较，我们发现LISTA- DTVFLM模型在绝大多数任务中取得了优于具有同等复杂度的深度网络的性能。在同等准确率和精度的情况下，LISTA- DTVFLM模型的计算复杂度和模型大小较深度网络模型更小。上述结果表明，与具有通用特性的深度网络相比，定制的LISTA-DTVFLM模型更适合具体的任务特性，能在性能和复杂度之间取得最优平衡。