交通监控中面向行驶车辆的图像超分辨率重建方法研究

This project solves the super-resolution (SR) reconstruction problem of moving vehicles by improving the accuracy of motion estimation and the robustness of reconstruction model. An affine invariant descriptor is constructed by using an affine multi-scale invariant second moment, and intergraded with the differential motion estimation model, a motion estimation model is built based on affine invariant descriptor, which can improve the motion estimation accuracy of moving vehicles. A non-discontinuity indicator is constructed based on trilateral structure tensor, which can dynamically characterize the image local characteristics. On this basis, a local structure adaptive prior model is proposed which has the characteristics of anisotropic diffusion. The proposed prior model can adjust the "smoothness" measure adaptively in terms of image local structure, and thus can preserve the edges while filtering noises. Motion estimation error can be equivalent to the noise, an adaptive data fidelity term based on the distribution of the noise is proposed, which adjusts the parameters of the data fidelity term by the changes of the motion error. In order to improve the robustness of the SR reconstruction model and the ability of edge-preserving, we further build a spatial-temporal adaptive reconstruction model by considering the spatial-temporal distribution of motion estimation errors and system noises in intra-frame and inter-frame simultaneously, and the spatial-temporal control parameters can be adjusted adaptively.

本项目从提高运动估计精度与重建模型鲁棒性两方面解决行驶车辆超分辨率重建问题。通过构造仿射多尺度空间不变二阶矩，构造具有仿射不变特性的描述子，并与微分运动估计模型相融合，建立一种基于仿射不变描述子的运动估计模型，实现大仿射变形情况下的高精度运动估计，提高行驶车辆运动估计精度。构建一种基于三边结构张量的非连续性指示符，能够动态表征图像局部特性，基于非连续性指示符，构建局部结构自适应先验模型，模型具有各向异性扩散特性，可根据图像的局部结构特征自适应调整"平滑性"度量，在保持边缘的同时滤除噪声。将运动估计误差等价为噪声，构建一种基于噪声分布的自适应数据保真项，能够根据运动误差的变化自适应调整保真项参数；并进一步构建一种误差自适应变分超分辨率重建模型，能够根据运动估计误差与噪声的时空分布，自适应调整时空控制参数，提高重建模型对运动估计误差的鲁棒性与边缘保持能力。

在交通视频监控应用中，由于摄像机分辨率低、拍摄环境差等原因，拍摄的视频图像往往分辨率较低，难以从图像中获取需要的细节特征，如车辆的车牌等信息。超分辨率重建从软件的角度提高图像的分辨率，具有重要研究价值和广阔应用前景。. 项目从提高运动估计精度与超分辨率重建模型鲁棒性两方面解决行驶车辆超分辨率重建难题。通过构造仿射多尺度空间不变二阶矩，构造了具有仿射SIFT特性的描述子，并与微分运动估计模型相融合，建立了一种基于仿射SIFT描述子的运动估计模型，实现了大仿射变形情况下的高精度运动估计，提高了行驶车辆运动估计精度。实验表明，所提出的运动估计方法与现有主流方法相比，运动估计精度更高，并且对噪声、光学模糊等退化因素具有更好的鲁棒性。. 构建了一种基于三边结构张量的非连续性指示符，能够动态表征图像局部特性；进一步了构建局部结构自适应先验模型，模型具有各向异性扩散特性，可根据图像的结构特征自适应调整“平滑性”度量，在保持边缘的同时滤除噪声。将运动估计误差等价为噪声，构建了一种基于噪声分布的自适应数据保真项，能够根据运动误差的变化，自适应调整模型范数；并进一步构建了一种时空变分自适应超分辨率重建模型，同时考虑系统噪声与运动估计误差在帧内和帧间的时空分布，自适应调整时空控制参数，提高了重建模型对运动估计误差的鲁棒性与边缘保持能力。仿真实验和实际实验均验证了所构建重建模型的有效性。项目成果在交通视频监控领域具有广阔的应用前景。