基于分层概率方法的动态纹理建模与生成技术研究

With the rapid development of virtual reality, high-resolution video and intelligent monitoring, it becomes an urgent problem to model, represent and synthesis dynamic textures in complex environments. Current modeling methods are hard to precisely describe dynamic textures under complex environments due to their uncertainty and complexity, thus failing to synthesis high-resolution texture videos and understand video content. This project aims to propose universal and robust methods for dynamic texture modeling and synthesis under complex scenarios. Motivated with the classical probability models, whose effectiveness have been proven in modeling uncertainties, as well as the recently proposed deep learning architectures, which have demonstrated overwhelming advantages in data representation and generation powers, we intend to combine the advantages of these two methodologies and design a hierarchical probability dynamic model for dynamic texture representation. In addition, new algorithm will be designed for synthesizing high quality texture video. Finally, a novel objective measurement, which confirms human visual perception system, is under development to evaluate the modeling and synthesis capabilities of proposed methods. The research can provide new perspectives for solving the challenges of dynamic texture modeling and synthesis, and to promote the application of relevant technologies to practice. Furthermore, it will provide new solution for the processing, analysis and understanding of video information.

近年来，随着虚拟现实、高清视频、智能监控等新兴应用的发展，如何对复杂场景下动态纹理视频信息进行建模、表示与生成，成为相关应用发展亟待解决的关键问题。由于复杂场景下动态纹理具有不确定性、多样性以及复杂性等特点，现有建模方法无法精确表示，进而难以实现纹理视频的高质量生成和视频内容的准确理解。本项目围绕复杂场景下动态纹理建模与生成这一难点问题，开展动态纹理普适鲁棒的非线性建模方法与高质量纹理视频生成算法研究。利用概率建模对不确定性因素良好表示能力，结合深度学习在模型自由度和数据表示能力的优势，探索基于分层概率动态模型的动态纹理建模方法，以此为基础设计高质量纹理视频生成算法。最后，建立符合人类视觉感知的生成视频质量客观评价方法，以对建模与生成效果进行评价。本项目研究，能够为解决动态纹理的建模与生成研究面临的挑战提供新的理论和方法，推动相关技术应用于实践，并为视频信息的处理、分析和理解提供新的技术。

近年来，随着虚拟现实、高清视频、智能监控等新兴应用的发展，如何对复杂场景下动态纹理视频信息进行建模、表示与生成，成为相关应用发展亟待解决的关键问题。由于复杂场景下动态纹理具有不确定性、多样性以及复杂性等特点，现有建模方法无法精确表示，进而难以实现纹理视频的高质量生成和视频内容的准确理解。本项目围绕复杂场景下动态纹理建模与生成这一难点问题，开展动态纹理普适鲁棒的非线性建模方法与高质量纹理视频生成算法研究。.通过开展为期三年的研究工作，我们提出了一种基于多核分层概率模型的高维时间序列建模与预测方法，该方法可以应用于包括动态纹理视频序列、人类行为在内的等高维时间序列建模与预测，取得了较好的实验效果。更进一步，我们提出了一种基于动态卷积自编码器模型的动态纹理建模与预测方法，该方法在动态纹理视频序列生成上取得了较好的实验效果。我们提出了一种基于清晰度、光流特征和图像结构相融合的客观质量评价方法，该方法能够对生成的动态纹理视频序列质量进行评估，相关评估效果与人类主观评估效果类似。结合上述评价方法，我们提出了一种具有自纠正能力的动态纹理视频序列预测方法，结合我们提出的视频质量评价方法，通过在预测帧的子空间邻域中进行优化搜索，优化寻找具有更优质量的视频帧，实现了高质量动态纹理视频序列的预测和生成。.项目执行过程中，发表SCI检索论文3篇，其中中科院2区论文2篇，4区论文1篇；发表EI检索会议论文3篇；申请发明专利2项；培养硕士研究生5名；获得湖北省科技进步一等奖（排名4）。