人体消化道全景图像拼接算法研究

Image mosaicing, a significant issue in medical images processing and computer vision, is an essential technology to create and visualize panoramic scenes of interest. The diagnosing and treating of the gastrointestinal (GI) tract diseases in clinic medicine has progressed remarkably ever since the wireless capsule endoscopy (WCE) came to life in 2000. However, the specialized persons such as doctors and nurses are still utilizing the manual handling to diagnose the diseases of digestive tract with tens of thousands of WCE images, which is doomed inefficient since manual handling is time consuming and of low accuracy. In this project, we will bridge the gap of the study on image mosaicng and 3D reconstruction of the gastrointestinal tract, develop a novel software platform for the GI tract modeling and propose new image mosaicing and 3D reconstruction methods with high resolutions. In consideration of the complexity of the physiological environments of the digestive tract and the characteristics of the WCE image charts, we proposed the 2D+3D modeling method to combine the advantages of 2D mosaicing and 3D reconstruction for the first time. We will design the appropriate image mosaicing algorithms for the tubular scenes and adopt the 3D imaging and display to visualize the GI tract. The theoretical framework and algorithms obtained in the project have immediate applications not only to clinic medicine, but also to many practical tubular scenes modeling problems in medical imaging, industrial inspection, gaming, virtual reality and robotics.

全景图像拼接是获取大场景可视化信息的关键技术,设计新型的图像拼接算法是医学图像处理与计算机视觉领域的重点研究内容。自2000年胶囊内镜问世以来,人体消化道疾病的检查与诊断取得了显著的进步,但至今对胶囊内镜像机拍摄的几万张图片处于人工处理阶段,而且世界上尚无获得活体消化道全景图像与三维结构的有效方法。本项目试图填补人体消化道全景拼接与三维建模研究的空白,开发出消化道建模的软件平台,提出新的高精度图像拼接算法与三维建模技术。鉴于消化道生理环境的复杂性以及内镜图像的个性，我们首次提出了流形拼接与三维重建相结合的2D+3D全景拼接算法新技术路线；建立适合于复杂管道场景流形的图像拼接算法；将三维成像与真三维显示技术用于消化道可视化。本项目研究结果不仅可用于临床医学，而且对医学成像、工业检查、游戏设计、虚拟现实与机器人等领域中遇到的各类管道场景问题都有实际的应用。

无线胶囊内镜系统自2000问世之后已经得到了广泛的应用，显著提高了消化道疾病的检查与诊断水平。然而至今对胶囊内镜所拍摄的视频图像主要靠人工分析，缺乏有效的自动处理手段。对于有病灶的消化道区域，目前无法获得其全景图像以及三维结构信息。针对这些实际问题，本项目以计算机视觉技术和最优化算法为手段，系统深入地研究了无线胶囊内镜系统的视觉信息处理及其相关问题：1）提出了人体消化道的全景图像拼接算法的系统架构，确立了整个系统的核心模块和几项关键技术。2）研究了图像特征分析算法及其应用：提出了SIFT特征点匹配算法的加速方案，将匹配的时间效率提高到了原来的2到4倍；提出了基于GIST特征和线性支持向量机的光学表面瑕疵分类算法，平均识别率达到92%，最低识别精度为85%；提出了基于LSD和RANSAC算法的光学表面划痕提取算法，满足划痕总长度误差在5%以内的指标；将尺度总体最小二乘估计算法应用于三维数据配准矩阵的参数估计之中。3）研究了二维与三维场景拼接问题：提出了具有一般意义的流形拼接算法；提出了环视镜头图像的拼接算法；提出了三维数据拼接算法，得到了优于商业设备的拼接结果。4）系统地研究了离线与实时三维重建的核心技术：提出了用于描述摄像机姿态的四元数的辛几何算法，该方法具有良好的数值稳定性能；提出了矩阵Ricatti微分方程的辛几何算法，具有良好的数值稳定性、精度以及时间复杂度，得到了比商用软件实现更优的结果；采用同步定位与构图（SLAM）做了实时三维重建与摄像机运动轨迹环路检测的实验，为无线胶囊内镜的定位提供了可行的研究思路，采用FPGA开发了一套图像采集系统；提出了线性时不变系统的辛精细积分算法，同时解决了线性系统中的刚性问题与计算误差累积的问题；提出了三维重建的递推算法并进行了验证。5）提出了多视点图像的三维重建与二维拼接的组合方法，能同时得到二维全景和三维点云。6）研究了优化算法在空中交通管理中的应用，提出了终端区进离场航路优化算法和基于分支定界算法的终端区航路优化设计方案。本项目的研究结果可以用于医学、工业检查、机器人、民用航空等领域，而且部分已经成功地应用于光学表面无损检测与三维微结构拼接之中。