图像及视频的不变性局部结构特征描述及应用研究

Local structure modeling and invariant feature analysis are important methods for image and video processing in recent years. It has become a hot research spot of image and video processing. Research the theory and method of local invariant feature description and structural modeling for image and video has important theoretical　significance. The main contents of the project include: (1) Research image and video scale space theory and excellent characteristics of Gaussian scale space partial derivatives expressions; constructed a local invariant feature description method based on Gaussian partial derivatives, which has the ability of rotationally invariance describe. (2) Research combined with data clustering and manifold learning algorithm for dimensionality reduction of high-dimensional; constructed nonlinear dimensionality reduction method, which can maintain the embedded structure clustering and nonlinear discriminate embedding for feature data. (3) Combined excellent characteristics of Poisson scale space and monogenic signal, constructed a new signal model which can effectively describe the signal’s local phase, local amplitude and local orientation. And analyze the signal local features describing ability of the new signal model. Finally, the theory and method will be applied to specific applications of image and video processing. This project is trying to solve a number of difficult issues of local invariant feature description, dimensionality reduction and signal structure modeling for for image and video processing, and provide a new analysis method for image and video processing.

局部结构建模与不变特征分析是近年来图像及视频信号处理的重要方法，已成为图像及视频处理领域的研究热点，对图像及视频局部不变特征描述与结构建模理论与方法进行深入研究具有重要理论意义。本项目主要研究内容包括：（1）研究图像及视频信号的尺度空间理论和高斯尺度空间中偏导数表达式的优良特性，构造具有旋转不变性描述能力的高斯偏导数局部不变特征描述方法；（2）研究高维数据的聚类和流形学习算法结合，构造聚类保持的嵌入和非线性判别嵌入的非线性降维方法；（3）结合泊松尺度空间和单演信号的优良特性，构造有效描述局部相位、局部幅值和局部朝向的新信号模型,并对新信号模型的局部特征描述能力进行分析。最后将理论与方法应用于图像及视频处理的具体应用中。本项目研究试图解决局部不变特征描述、降维及信号结构建模在图像及视频处理上的若干难点问题，为图像及视频处理提供新的分析方法。

局部结构建模与不变特征分析是图像及视频信号处理的重要方法，在图像配准与拼接、视频动态目标跟踪、彩色图像特征匹配与几何重建中有着重要应用。本项目研究了高斯尺度空间中偏导数表达式的优良特性，构造了具有旋转不变性描述能力的高斯偏导数局部不变特征描述方法。将高维数据的聚类和流形学习算法结合，构造聚类保持的嵌入和非线性判别嵌入的非线性降维方法。研究泊松尺度空间图像/视频信号结构建模与基于多尺度单演特征分析，构造新的图像信号结构模型。项目研究主要取得以下成果：（1）构造了基于高斯偏导数的局部不变特征描述方法，实现特征区域主方向精确估计与正则化，使其具有旋转不变性描述能力。（2）将聚类和流形学习算法结合起来，提出了聚类保持的非线性降维方法和以聚类为目的的基于谱正则化的非线性降维方法，获得高维特征数据在紧致的低维空间的表示和聚类结果。（3）采用信号在泊松尺度空间的建模分析技术和二维Hilbert变换方法提取多尺度或多分辨的各向同性单演特征，突破了传统的梯度法和高斯微分法进行图像特征描述与定位的能力。（4）提出了基于互信息与ORB特征提取的图像拼接算法，利用ORB提取图像特征点，在特征点匹配优化过程中引入互信息，克服了图像噪声、形变、缩放、光照变化等干扰问题，提高了匹配正确率。（5）针对移动端手势分割存在的移动设备计算资源有限和手势分割易受到复杂背景干扰等问题，提出了一种面向移动端的快速手势分割优化方法，实现快速排除复杂环境干扰,较准确高效地实现手部分割。（6）研究了基于局部特征的移动终端手势识别及轨迹识别，提出了基于加速段测试（FAST）角点检测改进特征的手势识别方法和基于改进的长短期记忆网络（LSTM）模型的手轨迹识别方法，实现了在复杂背景下的手势识别及轨迹识别。最后，将提出的方法应用于图像/视频的配准与拼接、视频目标跟踪、基于视觉的几何重建等具体应用中，为图像/视频处理等应用提供新的分析方法。