基于改进型视觉注意模型的多模态极相似图像检索方法研究

In order to solve the problems in the multi-mode extremely similar image retrieval : the computer can not distinguish whether the difference comes from the different modal or just comes from the image content, which leads to the failure of similarity measure, this project proposes a multi-mode extremely similar image retrieval methods based on improved visual attention model. The main steps of this algorithm as follow: 1. Analyse the changing process of human eyes' visual attention model when they observing the visible light 2D image and 3D computer modeling projected images, and then build a new improved visual attention model just follow this changing process. 2. Extra the ey parameter group which sentitives to image acquisition position modification but robustness to image mode changing, and then build a similarity measure which focus on the visual attention area changing. 3. Take signal classification and information fusion into image similarity measure, improve the similarity meausre precision of image feature information during the different stages but not let the retrieval speed down. 4. Apply this image retrieval method in solving the problem such as addressing the multi-mode 2D image on the 3D model. At the end, verify the feasibility and accuracy of the multi-mode extremely similar image retrieval methods by using the target region accurate tracking and positioning experiment while the observation point is moving.

多模态极相似图像的检索过程中存在如下问题：不同模态图像间与同一模态不同位置图像间都存在差异，现有图像检索算法不能很好的分辨差异来源，导致图像相似度度量标准失效。为解决上述问题，申请人提出了基于改进型视觉注意模型的多模态极相似图像检索算法，其步骤如下：1.分析人眼在比较可见光二维图像与计算机高精度三维建模投影图像时的关注区域变换过程，建立改进型的视觉注意模型；2.提取对图像采集位置变化敏感而对图像模态变化具有鲁棒性的关键参数集群，构建关注区域变化过程中的相似度衡量标准体系；3.将信号分类、信息融合的理念引入图像相似性度量，在保证检索速度的同时进一步提高图像底层特征信息在图像比对的不同阶段的相似性衡量标准精度;4.将该图像检索算法用于解决不同来源的二维图像在三维模型上的精细寻址问题，通过开展观测点运动过程中的目标区域精确跟踪及定位实验验证算法的精度和有效性。

针对同一目标采集并重建的不同模态不同维度图像，在配准过程中往往存在如下问题：不同模态图像间与同一模态不同位置图像间都存在差异，当我们无法分辨差异来源时，很难实现基于图像检索的目标或摄像机定位。针对这一系列问题，我们提出了基于改进型视觉注意模型的多模态极相似图像检索算法：1.分析人眼在比较可见光二维图像与计算机高精度三维建模投影图像时的关注区域变换过程，建立改进型的视觉注意模型；2.提取对图像采集位置变化敏感而对图像模态变化具有鲁棒性的关键参数集群，在不同阶段采用不同的图像特征进行二维可见光-三维重构模型的图像检索算法研究；3.进行三维精细建模算法研究，利用可见光与深度相机信息融合，并完成深度点云信息的精确配准，从而获取下一步实验中重要的三维模型；4.将该图像检索算法用于解决不同来源的二维图像在三维模型上的精细寻址问题，通过开展观测点运动过程中的目标区域精确跟踪及定位实验验证算法的精度和有效性。同时，在研究开展前期，我们将该技术的应用场景设定为医学辅助显示系统，完成了建立头部模型的多角度可见光图像库、MRI三维成像及多角度投影图像库、基于共享人脸高精度三维模型的多角度多照度投影图像库等工作，探讨了本项目研究用于该设计的难点及优势。在研究后期，当目前配准精度尚不足以满足医学需求且进行人体后续实验受限时，我们将测试平台转向机器人领域，利用该研究成果也有助于实现机器人的目标定位与夹取，在目前阶段具有较强的实用意义。