图像局部不变性特征及模型研究

图像局部不变性特征是指在各种变换(包括仿射、投影和3D变换以及不同光照条件)下保持不变的图像局部特征，这是计算机视觉研究领域的一个热点和难点，在图像感知、目标识别和医学图像处理等方面有着广泛的应用。本项目通过研究图像像素点局部密度和多尺度的梯度分布，定义旋转和镜像不变的方向模板，应用log-polar 直方图、重分形谱和矩方法等描述各个方向模板所对应的图像子集，并利用framelet(标架)理论解决不同尺度的特征匹配和比较问题，提出基于局部密度、多尺度和方向模板的图像局部不变性特征表示理论，并研究该图像特征在各种条件下的不变性，力争在图像特征不变量研究方向取得理论突破。通过对图像局部密度和梯度大小的归一化处理和对梯度向量的统计预处理，同时考虑图像的低通和高通framelet系数，增强图像不变性特征的鲁棒性，使其更好地反映图像在3D变换、亮度变化和多尺度分布等情形下的不变性特征。

本项目按照项目申请书，按期完成了研究内容，在很多方面取得了国际一流的研究成果，达到并在某些方面超过了项目申请书的预期目标。. 图像局部不变性特征是指在各种变换（包括仿射、投影和 3D 变换以及不同光照条件）下保持不变的图像局部特征，这是计算机视觉研究领域的一个热点和难点，在图像感知、目标识别和医学图像处理等方面有着广泛的应用。本项目通过研究图像像素点局部密度和多尺度的梯度分布，定义旋转和镜像不变的方向模板，应用重分形谱理论和方法描述各个方向模板所对应的图像子集，并利用 framelet（标架）理论解决不同尺度的特征匹配和比较问题，提出基于局部密度、多尺度和方向模板的图像局部不变性特征表示理论，并研究了该图像特征在各种条件下的不变性，在图像特征不变量研究方向取得理论突破。通过对图像局部密度和梯度大小的归一化处理和对梯度向量的统计预处理，同时考虑图像的低通和高通 framelet 系数，增强图像不变性特征的鲁棒性，使其更好地反映图像在 3D 变换、亮度变化和多尺度分布等情形下的不变性特征。此外，项目组还成功将以上理论和方法推广到3D情形，并有效描述了动态纹理视频的不变性特征。基于灰度、时间亮度梯度、法向流和Laplacian变换等从不同角度刻画了纹理视频的本质结构，并构建了时空重分形谱描述纹理视频在空间和时间方向上的不变性特征。创新地提出“像素力矩”概念，并有效描述了目标图像的显著区域，并基于此构建了描述目标图像不变性特征。在国际公开的各种图像数据集上评估了本项目提出的研究成果的分类效果和性能，结果表明本项目的成果达到了国际领先水平。本项目组相关研究成果发表在Transactions on Image Processing 2013、Computer Vision and Image Understanding2012、CVPR2012及ICCV2011等国际权威期刊和国际一流学术会议上。. 基于本项目的研究工作，项目组还获得了2项国家自然科学基金项目（1项面上项目和1项国际(地区)合作与交流项目）资助，项目组申报了6项中国发明专利（其中1项已授权，5项已受理）。项目组和国外知名院校和教授开展了广泛和深入的科研合作。培养了多名研究生，其中1个博士生已毕业并在新加坡国立大学开展博士后研究，另外2名博士生在国外联合培养。