融合概率图模型与深度学习的图像序列分类

With the rapid development of information technology, there is a huge increase in the number of sequential images. An automatic analysis of these big image-sequence data has becoming an urgent problem recently. Considering the special characteristics of the big image-sequence data, including the imbalance in the distribution of data scale and quality, the common existence of noisy samples, non-linear property and so on, this project will study on probabilistic graphical models and deep learning methods to make them jointly learning in a unified framework for high-accuracy image sequence classification. Specifically, this project will first construct a locally joint-learning mechanism in the level of each individual image in the sequence to improve the representation power of the model, which is helpful to ease the problems caused by noisy samples and imbalance distributions. Then, adaptive learning with non-parametric methods is studied to improve the flexibility of the model. Finally, a unified learning framework for joint learning of the probabilistic graphical models and deep learning methods is proposed to obtain a robust representation and classification of the sequence. This project is expected to bring new thoughts to the related theory development and to make a breakthrough to key technologies, which is important and meaningful to give a powerful impetus to the development of related theories and technologies.

近年来随着信息技术的高速发展，图像序列数据急剧增多，对这些数据进行自动智能的分析逐渐成为一个迫切需要解决的热点问题。针对当下图像序列数据普遍存在的分布不均、噪声样本混杂、高度非线性、数据复杂度不一等问题，本项目将以概率图模型理论与深度学习为基础，研究两者的联合学习方法以实现这两类方法的优势互补，弥补各自的短板问题，进而实现高精度高信度的图像序列分类。具体来说，首先，将研究概率图模型与深度学习方法在序列中图像个体层面的局部协同学习，提高模型对图像个体的表达能力，缓解序列中的高噪声问题与分布不均问题；然后，进一步研究基于序列整体模式的非参数自适应分类方法，提高模型的灵活性与对数据的自适应能力；最后，设计统一的联合学习框架，实现概率图模型与深度学习的协同表达与分类，进而实现对复杂图像序列的鲁棒分类。本项目预期取得重要理论创新与关键技术突破，促进图像序列分类的相关研究与应用进展。

本项目围绕图像序列分析问题展开研究。近些年来，得益于相关大规模数据集以及深度学习的发展，基于计算机视觉的图像分析技术发展的如火如荼，而对图像序列进行分析的技术因其所存在的困难以及相关数据集的匮乏而发展的相对较慢。但另一方面，随着近些年来相关移动设备和存储技术等的进步，图像序列数据急剧增加，如何对这些数据进行快速、准确、鲁棒的智能分析已成为一个迫切需要解决的问题。图像序列分析问题的发展相对缓慢离不开该问题自身所具有的难点，主要包括序列中每个时刻空域运动模式的分析、序列中不同帧间在时域上的运动模式分析、序列整体表达的语义模式与各个时刻所表达的局部模式的矛盾与关联三个关键问题。本项目中以唇语图像序列的识别问题为代表，展开了一系列研究，主要内容可以概括为两个方面：图像序列中在图像帧个体层面的局部协同表示的研究工作和基于图像序列整体语义模式的建模方法的研究工作。具体来说，本项目从多个角度、多个层面和多个粒度展开研究，提出了一系列行之有效的新方法，包括提出了一种基于伪卷积的优化策略，将图像序列分类的评价指标与优化损失融合，实现了对评价指标的直接优化；提出了一种基于全局互信息与局部互信息相协同的图像序列分类方法，并在已有数据集上实现了比较好的实验结果，验证了方法的有效性；提出了一种基于图像序列内部图像帧之间的相对运动特性来建模的方法，并在多个不同数据集上验证了方法的有效性等。综合来说，在本项目研究内容的导向下，在本项目的支持下，项目组发布了第一个大规模的中文词级唇语识别数据集，发表了7篇高水平学术论文，参加国际竞赛1项，并获第二名的好成绩，为图像序列分析领域的发展贡献了新力量。