贝叶斯深度张量学习模型、理论及算法研究

Deep learning is an emerging research topic in the machine learning research field, which attracts a great deal of attentions in academic and industry areas due to its significant progress in various applications of speech recognition and computer vision. However, there are still some challenging problems in existing deep learning methods. For instance, the high-order tensor data representation cannot be handled; a huge number of samples are required to train the model; the width and the depth of the network requires empirical selection through training the model many times; the lack of theoretical analysis. To this end, this project aims to study on deep belief networks (DBN) and newly proposed generative adversarial networks (GANs). By employing tensor technology and Bayesian theory, we will propose a Bayesian deep tensor learning model to efficiently handle the super high dimensional, multi-modal and multi-task data and develop fast learning algorithms with the elegant theoretical analysis, to alleviate the overfitting problem under the case of small number of samples, to automatically learn the width and depth of network, to extend deep learning methods for incomplete data. Final, we will validate our methods in various video analysis applications.

深度学习是机器学习领域的一个新的研究方向，近年来引起了全球学术界与工业界的广泛关注与研究，在语音识别和计算机视觉等多种应用中取得了突破性进展。但现有的深度学习方法仍存在许多挑战性问题，如无法处理高维张量数据表示,需要大量的样本来训练模型,网络规模以及深度需反复训练模型来经验选择,缺乏完善的理论体系。为解决这些问题，本项目将围绕深度信念网络（DBNs），以及最新提出的生成对抗模型（GANs）展开深入的探索与研究。考虑采用张量技术以及贝叶斯理论来提出一种贝叶斯深度张量学习模型，旨在建立针对超高维数据、多模态数据或多任务数据下的更有效的深度学习方法，开发快速学习算法并从理论上分析其特性，缓解深度学习算法在样本不足情况下的过拟合问题，提出有效的网络规模与深度的自动选择算法,扩展深度学习对不完整数据的处理能力,最后在视频分析应用中解释其优势。

张量分解以及基于张量的机器学习理论近年来得到了广泛的关注与研究，并且逐步被成功应用在各种不同的领域， 如神经图像信息处理， 计算机视觉， 大数据处理等等。特别是近年来张量网络模型的出现，进一步扩展了传统张量分解的应用前景。相对于传统的张量分解算法，基于张量网络的机器学习理论与算法还不够成熟， 阻碍了其优势的发挥与应用范围。 本项目主要针对张量网络分解的若干关键核心理论问题进行了深入的研究，研究内容包括：（1）张量网络模型在数据不完整情况下的学习算法与理论； （2）研究张量网络解决深度对抗生成模型对高维数据容易过拟合问题；（3）研究贝叶斯张量分解算法解决图像/视频/医学影像中去燥、特征提取和分类的难题。在本项目资助下，研究取得的重要成果包括提出了新型了张量环分解模型，理论分析了其与优势以及计算特性，并基于该模型基础上开发了多种分解算法，显著地提高了张量网络在数据缺失情况的下预测能力和效率；成功开发了一种基于张量的生成对抗模型，能解决在高维数据下容易过拟合问题；此外，在各种图像/视频/医学影像的应用中，利用提出的贝叶斯张量分解算法，显著地提高了去燥，数据预测和分类性能。该研究成果进一步完善了张量网络模型的理论，推广了张量网络在深度学习的应用前景。在本项目的资助下，共发表学术论文13篇，其中期刊论文7篇，国际会议论文6篇。