基于低秩张量特性的图像视频表达建模及其算法应用研究

Low-rank tensor decomposition attracted wide attentions in recent years. It is used for separating and analyzing repeated or sharing information in data. Many real image/video data contain intrinsic low-rank property, such as hyperspectral image, rain/snow phenomenon, shared object template, etc. However, the original data representation of image/video rarely behaves in low-rank form. Additionally, existing definitions for the rank of tensor and corresponding solving algorithms over-rely on matrix decomposition methods, thus are not precise enough for reflecting the intrinsic characteristic of tensor, and the computational efficiency is low. Aiming at solving the aforementioned problems, the followings are the major goals of this research. 1) We will analyze the image/video via local visual features, extract the inner low-rank structures lying in the data, and apply it to improving the convolutional features in deep neural networks. 2) We will project the original data to a new representation space through global features. In the new space, the data behave in low-rank form, or it is more feasible to aware the intrinsic low-rank information hidden in the original representation. 3) By thoroughly considering various priors of real tensor data, we will propose new method for measuring the rank of tensor, based on which, the tensor decomposition better reflects the intrinsic information of data. 4) We will develop the tensor decomposition model by introducing noise modeling, and present improved tensor decomposition algorithm based on multi-block ADMM. The algorithm will be further enhanced on accuracy and efficiency by embedding the iterations into the learning process of deep neural networks, such that it can meet the real-time requirement of image/video applications with big data scenarios.

低秩张量分解是近年受到广泛关注用来解析数据中重复性或共享性信息的研究手段。很多图像视频数据都蕴含本质低秩特性，如高光谱图像、雨雪现象、同类物体表达模板等，但往往这些数据的原始表达结构并未显式地呈现低秩性。另外，现有张量秩的度量方法与求解算法过于依赖矩阵分解方法，不足以准确反映张量的本质特性，且表现出求解的低效性。为解决上述问题，本项目拟：1）利用局部视觉特征对原数据进行解析，提取内在的低秩张量结构，并将其应用于深度网络卷积特征改进；2）通过全局特征将原数据映射至新的表达空间，使其在新空间呈现出低秩性或利于提取其隐含在原空间中的低秩信息；3）充分考虑各种实际张量数据的先验，提出新的张量秩的度量方式，挖掘数据更本质的信息；4）引入误差建模改进张量分解模型，设计基于多分块ADMM方法的求解算法，并将迭代过程耦合到深度网络的学习过程中进一步提高算法效率与精度，从而满足图像视频大数据的实时处理需求。

低秩张量分解是近年受到广泛关注用来解析数据中重复性或共享性信息的研究手段，挖掘数据的本质低秩特性并提出高效的张量分解模型和算法是该领域最重要的研究内容之一。本项目研究主要集中在四个方面，分别取得的重要进展包括：1）在基于局部特征的图像视频张量表达方法方面，提出了基于聚类非局部技术的在线RPCA模型算法，实现了在线低秩视频流数据的噪声去除，取得了最佳的处理效果，同时极大提高了视频在线处理的效率；2）在基于全局空间转换的图像视频张量表达方法方面，实现了利用自编码网络提取隐空间特征的功能，增强了数据特征的低秩表达特性，大幅提升了单幅图像的去噪效果；提出了对深度网卷积核进行空间变换并进行低秩张量分解的处理方法，实现了对深度网的压缩，提高了网络性能；3）在低秩张量分解算法设计方面，提出了基于噪声建模的低秩张量分解表达框架，解决了数据缺失与混合复杂噪声去除的问题，在恢复真实高光谱图像严重污染谱段的应用中取得了突破性的进展；提出了数据交叠升阶的思想和元素加权的TT分解模型，提高了算法的求解精度，有效解决了图像恢复出现的块效应现象；4）研究中发现，利用空间变换的卷积核低秩表达能够有效实现深度网络的压缩，开启了针对深度神经网络的本质和轻量化表达研究，取得了若干理论研究进展。.本项目研究的科学意义体现在：充分研究了数据在张量空间进行变换的基本原理和可行手段，深入挖掘了数据中的低秩特性和本质表达方式，更有效地提取了数据中的关键信息，为进一步实现图像视频理解、提高深度网络表达能力和学习效率、推进深度学习基本理论发展打下深厚的理论基础。.依托本项目，发表学术论文18篇，其中SCI收录论文13篇，在顶级期刊TPAMI（3篇）、TIT（1篇）、TNNLS（2篇）、TIP（1篇）、TMM（1篇）等发表论文8篇；培养中国科学院青年创新促进会优秀会员1名；培养博士/硕士研究生共13名。