数据分布自学习深度神经网络概率模型与应用

Unsupervised representation learning played an important role in the developement of deep neural networks. This project is inspired from the association and memory mechanism of brain and develops data distribution adaptive deep neural network probabilistic model based on unsupervised representation learning modeling theory. This model aims to learn the complex probabilistic distribution of data in order to achieve numerous machine learning tasks. By this modeling method, a probabilistic model for architecture optimization of deep neural networks is established. It models the distribution of data directly based on the network architecture and an objective function without incorporating with network weights is derived. This significantly reduces the computational complexity of objectives in traditional architecture optimization methods. Meanwhile, the distribution adaptive neural network architecture will be learned. Finally, the probabilistic model is applied to a typical problem in which the data are difficult to label, i.e., change detection in multi-temporal remote sensing images. The model is used to solve the difficulty of comparison between heterogeneous multi-source and unregistered remote sensing images. This project comes from practical problems and aims to develop novel deep neural network learning and architecture optimization models. It explores new ideas dealing with machine learning problems and solves typical practical problems based on theoretical researches.

无监督表示学习在深度神经网络的发展中发挥了重要的作用。本课题受人类大脑对感官信息的关联与记忆机制启发，在无监督表示学习建模理论的基础上，发展基于深度神经网络的分布自学习概率模型，学习数据的复杂分布，从而完成各类机器学习任务。然后利用概率建模理论，建立网络结构优化的概率模型，利用网络结构直接对数据分布进行建模，设计不需要网络权重参与的目标函数，解决网络结构优化中目标函数运算复杂度高的问题，同时学习适应数据分布的网络结构。最后我们将概率模型应用到典型的样本标记困难的问题中，即多时遥感影像变化检测，解决多源异质、配准困难场景下难以进行比较的问题。本课题以神经网络的分布学习概率建模为理论基础，发展新的深度神经网络学习与结构优化模型，理论结合实际，解决典型的困难问题，形成具有源头创新的研究成果。

大规模、种类丰富、非结构化的大数据标注困难，给智能化的方法应用带来很大的挑战。本项目提出一种新的深度学习模型，即深度概率模型，通过定义基于深度神经网络的能量函数，直接对训练数据分布进行建模，提出基于优化的采样方法解决求解最大似然过程中的采样难题，该模型对标记数据和无标记数据都能够很好地学习数据分布，因此在分类、数据重构和修复、风格转换等方面都具有较好的性能。基于概率模型，本项目提出团结构网络优化，即自组织网络连接，进一步模拟大脑中的核团网络结构，利用网络连接建立概率模型，通过演化算法进行优化，最终得到能够表示数据分布的网络连接结构，实验发现，该结构对无关变量即背景具有很强的鲁棒性，采用纯色背景的手写体数据进行训练，在有噪声背景的测试数据集依然能够保持较好的性能，这对于传统的神经网络是无法做到的。另外，本项目针对多源异质遥感影像提出基于概率模型的变化检测方法，多源异质遥感影像是来源于不同成像传感器且数据结构差异很大的多时图像，变化检测十分困难，目前方法不多且大部分基于有监督学习，这在实际应用中较难实现，通过设计双边网络结构和基于特征差异的能量函数，建立多时图像分布学习模型，该网络模型对有环境干扰的同源及多源异质图像都能够实现精确检测，性能远超对比方法。最后，对有监督变化检测、目标跟踪、检测、场景分类等应用进行了研究，探索概率模型的应用场景。