基于概率统计模型的多层特征学习与推理技术研究

In recent decades, probabilistic statistical modeling and deep learning networks are important research areas. Despite their outstanding performance and significant interests in different areas, they also have their own shortcomings. In traditional deep networks, their cost functions are not easy to change like black box, their parameter learning only depends on the first order optimization technique and the hidden variables are difficult to explain and analyze. Similarly, the probabilistic statistical models are often criticized by their inefficient inference and the difficulty of inferring complex models. This project focuses on how to combine the probabilistic statistical model with the deep network, so that the two techniques learn from each other and complement each other. From the perspective of model building, we will study how to integrate neural network into probabilistic statistical model from random variable prior and posterior distribution functions. We will also attempt to build a pure deep probabilistic network through data augmentation, marginalization and new distribution functions. From the perspective of scalable inference technique, we will propose new online learning techniques for different models with low error variance and degree of freedom via multilayer joint optimization to improve its convergence. This project combines three prosperous topics in machine learning and large data fields, such as probabilistic statistical modeling, deep neural network and large-scale online inference, and strives to develop more effective and flexible multilayer feature learning methods, which is important and valuable for the future related research.

概率统计建模与深度学习网络均是重要的研究热点，尽管在较多领域展示出了优越性能并获得了普遍关注，但是他们均有各自不足之处，例如，传统深度网络的代价函数黑匣子、不灵活、参数变量难解释、分析等问题，以及概率统计模型中推理技术效率低、复杂模型较难求解等问题。本项目着重研究如何将概率统计模型与深度网络相结合，使得两种技术取长补短。从模型构建角度，我们将从随机变量先验和后验分布函数两个方面研究如何将神经网络嵌入概率统计模型中，也将尝试通过变量增广和新分布函数的引入，构建深度的纯概率统计模型网络。而从大规模数据的参数推理技术角度，针对不同模型我们将通过多层联合优化提出相应在线推理技术进一步减少方差、自由度，以提高其收敛速度。本项目研究融合了概率统计建模、深度学习与大规模推理技术等三个机器学习与大数据领域的热点，力求发展更有效、灵活的多层数据特征学习方法，为其在不同领域的应用以及实用化奠定一定的理论基础。

概率深度网络结合了概率统计建模以及深度学习网络各自的优点，近年来受到研究领域越来越多的关注。本项目提出一系列概率深度模型以及相应的混合贝叶斯推理算法来高效推理模型参数的后验分布，针对高维数据复杂时序结构性特征设计一系列概率深度网络，提出深度泊松伽马动态系统、深度概率卷积模型、双向卷积泊松伽马动态系统、深度概率图网络等模型。项目组将领域先验知识、监督信息等融入深度概率网络的设计，并构建概率深度模型对多模态数据的语义表示学习及多模态联合生成展开研究。此外，项目组将概率深度网络应用于雷达一维高分辨距离像HRRP和二维SAR图像的目标识别任务中，提出了基于时序变分自编码模型的目标识别方法、双向深层泊松伽马动态HRRP动目标识别方法以及基于深度变分自编码模型的SAR目标识别方法。在本项目的资助下，项目组还针对SAR场景实时目标检测定位与识别以及车辆目标检测技术进行了算法研究和工程应用。项目组共发表学术论文 41 篇，其中 SCI 收录 24 篇(其中I 区期刊论文 7 篇，II区期刊论文11篇)，CCF A 类会议 15 篇，CCF B 类会议 2 篇，申请发明专利 35 项，其中授权专利 17 项，以第一完成人获陕西省自然科学一等奖，对概率深度模型设计和推理的发展以及在信号处理领域等相关领域的应用具有重要的理论支撑和应用价值。