基于DLPCNN的平稳Contourlet域脑部多模医学图像融合算法研究

This project aims to study a type of brain multimodality medical image fusion algorithm to provide more effective support for clinical auxiliary diagnosis. Existing medical image fusion algorithm has been widely used, but they decompose images into limited direction edges and they are not well to resolve the direction of the details of extraction, the contours of the fusion image are not clear, fusion images are not satisfied; On the other hand, the fusion rules do not meet the human visual characteristics and lack of flexibility. The project will overcome the above shortcomings; Multimodality brain medical image fusion algorithm is based on DLPCNN in stationary Contourlet domain. Three main issues will be studied: 1.Medical images decomposition based on stationary Contourlet transform method to select the optimal decomposition level of decomposition of the image and the optimal direction, it will be able to fully tap the direction of information to be fusion image; 2.Improved neural network PCNN, the establishment of simplified DLPCNN model using human visual characteristics, visual characteristics of the model stimulates DLPCNN to develop the criteria of the number of iterations, and reduces the computation; 3. Objective assessment method of the Medical fusion images. Solve these three problems will be able to improve multimodality medical image fusion, the subject of results will strengthen the clinical diagnosis of multi-mode image information analysis capability, and it will assist in clinical diagnosis.

本项目旨在研究一种脑部多模医学图像融合算法，用于为临床提供更为有效的辅助诊断手段。通过已有的的医学图像融合算法只能得到有限方向的边缘，未能很好解决方向细节提取问题，融合图像的轮廓不清晰，对于对比度低的医学图像融合效果不理想，且融合规则不符合人眼视觉特性。针对以上问题，本项目提出基于DLPCNN的平稳Contourlet域脑部多模医学图像融合算法。为此将研究三个主要问题：1.研究基于平稳Contourlet变换的医学图像分解方法，选择最优分解层数和最优方向数，充分挖掘待融合图像的方向信息；2.改进PCNN神经网络进行系数选择，建立简化的DLPCNN模型，利用人眼视觉特性，建立视觉特性模型激励的DLPCNN，制定迭代次数的判定准则，减少运算量；3.研究对医学融合图像的客观评价方法。解决了这三个问题，将能更好地对多模医学图像进行融合，课题相关成果将加强对多模图像信息综合分析能力，辅助临床诊断。

近年来，医学影像的应用越来越广泛。医学成像手段的丰富和医学影像的爆炸式增长，使医学图像融合逐渐成为该领域的核心问题之一。深入研究医学图像融合的相关理论和关键技术、进一步提高融合效果对临床具有十分重要的研究意义。本项目主要针对多模医学图像融合中的关键问题，探索面向脑部的、鲁棒的图像融合算法。结合项目组在医学图像处理方面以及神经网络方面的研究经验，构建了基于平稳Contourlet变换的医学图像分解方案；根据DLPCNN神经元的耦合特性，发现了基于复合激励优选模型的融合系数选择机制，建立了链接强度与图像像素间互相联系的应变模型，确定了系数分类融合的优选方案，构建了自适应融合算法，通过基于结构信息的评价方法对融合图像评价，实现了基于视觉机制的融合算法质量评价。.在此基础上，项目组首先完成了三种融合算法的研究：1）基于聚类划分和复合型PCNN的医学图像融合方法。通过k-means算法聚类提取特征，将图像区域分为纹理和非纹理两部分，分别在两区域建立融合规则选择融合系数，由于轮廓、纹理等信息被较好保护，融合图像信息量更丰富，图像质量较其他方法有很大改善。2）基于二维经验模态分解（BEMD）和点火映射图的特征分类的融合算法。根据各像素点火次数确定图像中每个点与附近的点的脉冲联系，实现图像的像素分类，从而将图像依据神经网络中各神经元激发过程中联系强弱的特征映射到图像中对应的像素，得到了各个像素间的相互联系。3）基于视觉特性模型激励的图像融合算法。利用CT和MRI图像像素间既有相关性，也有独立性的特点，以系数矩阵的模值作为输入，选择符合人眼视觉特性的激励模型作为链接强度，加强了图像细节的提取，优于现有的基于像素特征和区域特征的融合规则。