深度信念神经网络及三维目标识别

Deep belief neural network is a long-sought breakthrough in the field of neural computing in recent years. For the first time, the deep learning of neural network is achieved besides convolutional neural network. Since its appearance in 2006, it has made great success in the field of character recognition, document classification, speech analysis, image recognition, significantly superior to the traditional algorithm. It is one of the hottest research topics at the forefront of the field of neural computing in last a few years. 3D target recognition technology, as an important branch of research in machine vision, is the bases for achieving the scene recognition and three-dimensional target image identification and localization under complex background, which has broad application prospects. One hand, this project will delve into the deep belief network model of the basic principles and methods to fully summarize and draw on relevant scientific research results, including the new views and discoveries of the biological field of neurology, striving for further improvement and innovation. On the other hand, the project will explore the layer neuron regularization method of deep belief neural network in order to realize the convolutional neural network naturally. It would also explore the planning growth of the local self-organization deep belief nets, which will also learn from the biological neural principles. This research would make the convolutional structure of deep networks rationalized more approariate for real application. And the field of bio-neurological problems would also be explored to explain the working mechanism of the human eye and the human brain. Finally the possibility to achieve the distributed deep belief nerve network by image neural network technology would be dicussed to achieve extremely large number of neurons in one network in the near future.

深度信念神经网络是近几年来神经计算领域取得的突破性研究成果，自2006年出现以来，在文字识别，文档分类，语音分析，图像识别等领域都取得了显著优于传统算法的研究成果，是目前神经计算领域的前沿课题和研究热点。三维目标识别作为机器视觉研究的重要分支，是实现场景识别及复杂背景下三维目标定位识别的基础，具有广阔的应用前景。本项目一方面将深入研究深度信念神经网络模型的基本原理和方法，充分总结和借鉴包括生物神经学领域的新观点新发现，力求进一步的改进和创新，另一方面将探索深度信念神经网络层内神经元的规整化方法以实现神经网络的结构简化；还将借鉴生物神经学原理研究深度信念神经网络的局部自组织规划生长方法，使其配置结构根据特定需要而趋于合理；此外将探讨生物神经学领域的基本问题，解释人眼及人脑可能的工作机制，并探索以图像神经网络技术实现分布式三维目标识别的技术途径。

近年来随着大规模并行计算技术和人工智能领域的发展，深度学习技术获得了飞速的发展，出现了卷积神经网络，深度信念神经网络，自动编码器神经网络等多个深度网络结构，其性能表现显著优于传统由人工设计为主导的特征提取与图像分析算法。在这一背景下，我们展开了对深度学习图像处理算法的相关研究。课题主要研究内容包括：对卷积神经网络工作机制的研究、神经网络层内特征规划方法的研究、神经网络动态生长方法的研究以及神经网络应用适应性研究几个方面。取得了如下主要进展.（1）建立了基于GPU系统的神经网络训练测试平台，实现了基于深度神经网络的图像分类与目标检测实时处理。.（2）实现了基于Topographic方法的神经网络层内特征规划与结构化方法，并基于该方法进行沿特征方向进行pooling的深度网络结构与算法研究.（3）提出能够对网络结构生长过程监督的超神经网络概念，通过超神经网络获取网络结构的合理初值，加快网络构建速度。.（4）在深度神经网络应用方面开展大量工作实现了基于深度神经网络的目标检测，图像边缘提取，图像恢复及波前编码等应用，拓展了其在相关领域的应用范围。.获得了如下的关键认识：.（1）深度神经网络能够通过基于对FPGA编程的方式获得高效率的执行，FPGA容量限制仍是限制其应用的重要瓶颈。.（2）层特征规划本身并不能对网络的性能有提升作用，与特征方向pooling有效结合才能发挥其优势。.（3）采取以网络来生成网络这样的超神经网络，可能是生物神经系统工作的核心机制，同时这种机制可能具有嵌套结构，即每个层次的结构都由更高层次监督产生。此外，随着层次提高，每个层次所需的训练数据量也呈指数提升，由于所需数据量巨大，最高层次的超神经结构必然是由遗传进化获得的。.（4）样本选择对于训练效率具有重要作用，合理选择那些接近于分类超平面边界的样本能够减少不必要的训练，显著提高训练效率。而确定哪些样本接近于最终的分类超平面可以通过控制样本的信噪比来实现。.综上，本课题围绕深度学习对其工作机理和应用方法进行了深度研究，具有理论意义和使用价值。