基于稀疏表示的单幅图像联合盲复原及识别

Most existing image restoration algorithms are designed for human visual perception, which usually could not achieve good performance on the target recognition. On the other hand, a majority of existing visual recognition systems assume that the input images should be of high quality. However, under most circumstances, for example, video surveillance, the target of interest in the captured image usually suffers from low qualities such as low resolution due to the camera shaking, motion blur due to the relative motion between the target and the camera, which makes the task of recognition more challenging. There are only a few image restoration algorithms designed for target recognition, but they are based on more than one images, or suppose the parameters of the degradation model is known. Breaking through the limitation of the existing algorithms which follow the traditional rule-"recognition after restoration" or improve the restored image quality depending on visual perception but not the recognized ones, we propose a sparse-representation-based joint restoration and recognition scheme based on the single image. So the separated blind deconvolution and target recognition are researched at first and then the correlation between the image restoration and recognition are explored to further promote each other. Finally, with the purpose of improving the performance of the restoration and the recognition, we construct a sparse-representation-based joint optimized mathematic model which could unify the restoration and recognition task, and then the reasonable sparse prior constrains are incorporated, and the model is inverted to get the optimal resolution. So the blurry degradation model, restored image and high-accuracy recognition result could be obtained at the same time. The algorithms proposed in this project will be widely used in the area of video surveillance, face recognition and smart phone processing, etc.

目前的图像复原算法多是面向人类视觉感知而设计，无法保证复原后的图像得到很好的识别；另一方面，现有的视觉识别系统大多数假设输入为高质量图像，而现实应用中如监控视频等所感兴趣的目标往往是各种模糊降质后的低质量图像，使得识别任务面临很大挑战。少量为识别而设计的算法或基于多幅图像、或在模糊降质模型参数已知等条件下进行。本项目突破传统'先复原再识别'、仅考虑视觉而未从识别角度优化图像复原质量等局限，提出基于稀疏表示的单幅图像联合盲复原及识别研究方案。首先研究单独图像盲复原、图像识别方法；然后探索图像复原和识别之间的相互影响和促进机理；最后以同时改善图像复原质量并提高图像识别性能为目标构建基于稀疏表示的联合盲复原及识别数学模型，并设计合理的稀疏先验作为模型的约束项，反演模型并求解，同时获取模糊降质函数、清晰图像以及高精度识别结果等目标。项目算法可广泛用于视频监控、人脸识别系统、智能手机处理系统等领域。

本项目围绕基于稀疏表示和多先验正则化的图像盲复原、基于全局-局部特征的图像识别进行研究，提出新的图像复原、图像识别算法。有效促进图像复原及识别领域理论和应用研究进展，研究成果在视频监控、人脸识别、军事侦察、智能手机系统等计算机视觉领域具有广泛的应用。.针对现有稀疏表示模型中重叠分块计算复杂度高的问题，提出多模式非重叠分块策略，在每种模式下独立求解复原图像，然后对各模式下复原图像求平均以消除“伪像”；用l1/l2范数作为稀疏性度量，将图像梯度稀疏先验融入基于稀疏表示的图像盲复原模型，提出了联合新型分块字典稀疏表示和图像梯度稀疏先验的盲复原模型，采取迭代方法交替估计模糊核和待复原图像。利用边缘检测对传统TV模型进行改进，并结合图像的变换域自相似性，提出一种基于边缘检测的多方向加权TV和变换域自相似性正则化的图像去模糊算法。将暗通道先验融入上述模型，提出基于暗通道先验和多方向加权TV的图像盲去模糊方法。基于图像模糊前后低值像素的稀疏性变化，提出了一种简单有效、更具普适性的低值像素先验；针对目前去模糊研究中极少考虑噪声影响的问题，设计了深度卷积神经网络，学习图像的深度去噪先验；将包括梯度稀疏先验的统计先验与深度去噪先验融合到同一数学框架，构建新的图像盲去模糊模型，并提出有效的求解方法。.提出一种基于自适应近邻的局部保持投影的人脸识别方法。在特征提取时利用可变的相似度、近邻信息以及数据类别信息构建目标函数，通过最小化目标函数来自适应优化邻接矩阵与投影矩阵，使用优化后的投影矩阵对高维人脸数据进行维数约减，采用降维后的数据来进行人脸分类识别。基于NNNF行人检测算法，提出了一种方法来解决行人特征对尺度变化敏感的问题，以及窗口虚检的问题。本项目提出了一种二分支卷积单元，该卷积单元包含两种不同类型的滤波器，分别用于提取特征通道内信息和特征通道间信息。该卷积单元能有效增加特征的多样性，减少信息损失。提出了一种优化图像高频部分几何分量的去雨方法。首先采用平滑滤波做图像分解，得到雨图像的高频部分；然后结合稀疏表示与近邻传播算法分离出图像高频部分的雨分量，用图像的高频部分减去雨分量并做平滑处理，以此作为几何分量；此外，对稀疏表示过程得到的字典进行再分类，完善雨分量与非雨分量的区分，最后完成图像恢复。