基于散射网络和双线性深度模型的动态纹理表达研究

With the increasing demand of applications such as intelligent monitoring and video analysis, how to model, represent and identify dynamic textures in complex scenes has become a key issue to be solved in the development of relevant area. Due to the characteristics of complex spatial appearance and temporally stationary dynamics, the existing methods cannot model dynamic textures accurately. Therefore, it is difficult to obtain the effective feature representation of video textures and understand video content well. This project stresses the challenge problems of spatial appearance invariant feature extraction and time-stationary analysis, and focuses on the research of universal and robust spatiotemporal feature representation of dynamic texture. Firstly, we study the geometric model of spatial appearance in depth, and propose a novel geometric and brightness invariant feature extraction method based on the theory of scattering transformation. Secondly, we explore the temporal statistical characteristics of dynamics, and develop the adaptive time-stationary analysis method by using bilinear deep model. Finally, the space-time joint optimization model is constructed under the constraint of semantic category information to promote the discriminative ability of spatiotemporal features, aimed to realize dynamic texture recognition in complex scenes. This research project will improve the reliability of dynamic feature extraction and description from both spatial and temporal aspects, and provide theoretical and technical support for the practical application of dynamic texture recognition.

随着智能监控、视频分析等应用需求的提升，如何对复杂场景下动态纹理进行建模、表达与识别，成为相关应用发展亟待解决的关键问题。由于动态纹理具有空间外观复杂、时间平稳变化等特点，现有建模方法无法精确表示，进而难以实现视频纹理的有效特征表达和视频内容的准确理解。本项目围绕空间外观不变特征提取和时间平稳分析的难点问题，开展普适鲁棒的动态纹理时空特征表达研究。首先，深入研究空间外观的几何结构模型，基于散射变换理论实现具有几何和光照不变性的空间外观特征提取；其次，探索动态过程的时序统计特性，利用双线性深度模型发展自适应的时间平稳分析方法；最后，在语义类别信息约束下构建时空联合优化模型，提高时空特征的判别能力，实现复杂场景的动态纹理识别。本项目将从空间和时间两个层面提高动态纹理特征提取和描述的准确性，为动态纹理识别的实际应用提供理论和关键技术支撑。

本项目围绕构建具有较强判别能力的动态纹理表达这一核心目标，研究了基于深度学习和散射变换的纹理表达模型，探索了具有时间平移无关性的双线性时序编码方法，构建了基于语义类别属性约束的动态纹理描述符，取得了一系列创新性的研究成果。主要研究内容包括：（1）由于动态纹理空间结构复杂多变，不变性特征提取能应对成像过程中的几何变形和光照变化，在基于深度学习散射网络的动态纹理空间外观特征表达方面，本项目以自监督学习为出发点，在散射网络基础上嵌入可学习的深度网络结构，自动挖掘空间外观的不变特征，提出了一系列新型的动态纹理表达模型，提高了动态纹理识别精度；（2）由于动态纹理具有时间平稳性，导致运动过程呈现多阶内在关系，在基于深度学习的双线性时序分析方面，本项目以注意力机制为着眼点，通过构建跨数据流注意力机制、时序一致性建模、运动特征低秩分解，实现了动态过程的自适应表达，提高了可见光、红外视频的分类精度；（3）由于动态纹理是在语义属性约束下的空间外观和动态过程统一的表现形式，在构建面向语义类别信息的动态纹理表达上，本项目通过语义约束来优化时空特征学习，提出自适应语义感知和动态特征学习的纹理表示模型，实现了遥感图像实例分割、航拍视频识别等方面的图像/视频处理应用。本项目的研究成果增强了动态纹理的特征表达力，提升了图像和视频的识别精度，进一步促进了动态纹理分析在遥感图像处理、医学图像处理、红外视频分析等领域的应用。目前，在该项目的资助下，项目组已发表科研论文13篇，其中SCI检索论文6篇，国际会议论文4篇，形成的关键技术申请国家发明专利3项，其中已授权2项，培养研究生5名。