深度学习理论及在图像识别中的应用研究

Deep learning has gained significant interest as a way of building hierarchical representations in machine learning. Deep architectures are composed of multiple levels of non-linear operations, and can learn complex and high-vary function and obtain good generalization compared with shallow architectures. It is more promising that deep architectures may be beneficial to solve some fundamental problems in AI, such as transfer learning. However, current deep learning approaches always suffer from computational complexity due to non-convex optimization. Moreover, they do not work well in vision tasks, e.g., image classification, in contrast to some state-of-art shallow architectures. Therefore, this project aims to present a novel deep learning model and then apply the model to image classification tasks. The main works include four aspects: (1). developing a novel bio-inspired deep learning architecture and proposing the corresponding fast-convergence algorithm; (2). learning overcomplete representations to deal with the situation where the number of outputs of the layer is greater than the number of inputs; (3). combining unsupervised and supervised strategies to boost the performance for large-scale image data set; (4). employing temporal coherence principle to learn more robust features from a video. The performance will be demonstrated on real image classification tasks.

深度学习（Deep Learning）理论是机器学习领域的研究热点，其核心思想在于建立一种具有多层次结构、非线性特性的学习模型。与传统的浅模型（Shallow Model）相比，它能够学习复杂变化的特征，推广能力强，有望解决Transfer Learning等人工智能领域的根本性问题。但是，深度学习理论及算法复杂度较高，并且在图像识别等视觉任务中，与浅模型相比，性能并不突出。因此，本项目从图像识别任务出发，拟深入探索深度学习理论，主要研究：(1)、在生物视觉信息处理机制的启发下，构建符合人类感知系统的深度学习模型，并研究快速收敛算法；(2)、提出具有超完备能力的快速学习算法，解决小样本学习的难题；(3)、将深度学习模型应用到大规模的图像识别任务中，研究半监督学习算法从而提高性能；(4)、针对基于视频的图像识别任务，引入时间相干性准则，研究视频数据的深度学习算法，争取取得实际应用成果。

深度学习理论是机器学习领域的研究热点，其核心思想在于建立一种具有多层次结构、非线性特性的学习模型。与传统的浅模型相比，它能够学习复杂变化的特征，推广能力强，具有很好的特征表达能力。本项目的研究目标是在深度学习理论算法和应用层面展开深入研究。以计算机视觉领域的图像识别任务为应用目标，在生物视觉处理机制的启发下，建立更符合人类感知系统的深度学习模型，并给出有效的学习算法。并在提出的理论算法基础上，面向实际的视觉检测等任务取得较好的应用成果。.课题在四年的执行期内，针对研究内容进行了深入探索，取得了一些重要的理论研究成果，并成功地应用到了基于视觉的铁路安全检测任务中，取得了很好的应用前景，项目按照计划顺利完成。发表了研究论文21篇，包括国际期刊8篇（IEEE Signal Processing Letters、The Visual Computer、BMC Neuroscience等），国际会议4篇（ICME 2013、Cyberworlds 2013、ITSC 2014等），国内学报9篇（软件学报、计算机研究与发展、光学学报等）。其中，SCI检索论文8篇，EI检索期刊论文4篇。培养了博士生4名，硕士生7名。