大目标场景下的电镜图像拼接方法研究

For the purpose of reconstruction of large area scenes at nanometer-level, such as brain tissue in neuroscience or integrated circuit chip analysis, we first grab large sets of sequential images with Scanning Electron Microscope (SEM), and then obtain the result using image mosaic method. Global alignment is an important step to eliminate accumulation error in image mosaic, which usually adopts topology method or minimizes some error function. During the process of global alignment in SEM image mosaic for large area scene, the mosaic result would not be acceptable if we did not adopt the specific method. Thus, we focus our project on SEM image mosaic for large area scene, which has strong scientific meaning and realistic significance. The study mainly includes two aspects. The first is about SEM image distortion modeling and correction of the distortion. The second is global alignment using Markov Random Field (MRF) and corresponding inference method. In order to mosaic huge amounts of SEM images, we first correct SEM image distortion, and then characterize the relevance of images position in global alignment with MRF, and finally infer the mosaic result using parallel algorithm. The project is expected to expand application fields of MRF, enrich and perfect the framework of image mosaic, and resolve problems encountered in actual projects.

对生物脑切片或集成电路芯片等纳米级的大目标场景进行重建，需要使用扫描电镜采集大量的序列图像，再通过图像拼接的方式合成为一幅完整的大图。全局配准是图像拼接中消除累积误差的重要步骤，常利用图像之间的拓扑关系或采用最小化误差函数的方法。针对大目标场景下的电镜图像拼接，如果采用常见的全局配准方法，拼接结果的稳健程度会受到限制。因此，本项目拟对此展开研究，具有较强的科学意义和现实意义。研究主要包括二个方面的内容：（一）扫描电镜图像畸变模型及畸变校正方法的研究；（二）利用马尔可夫随机场刻画全局配准模型及其求解方法的研究。项目预期可以在完成电镜图像畸变校正的基础上，通过马尔可夫随机场模型表征图像的全局配准位置之间的相关性，并开发出相应的并行算法，完成大目标场景的重建工作。研究结果扩展了马尔可夫随机场理论在图像拼接领域中的应用，丰富和完善了图像拼接系统理论，解决了图像拼接应用层面的实际问题。

突触水平的脑连接组学研究需要高分辨、大尺度的成像技术来保证覆盖环路内的所有神经元，以追踪神经元的长距离投射并识别它们之间的突触联结，基于连续电镜切片的环路重构技术能够兼顾尺度与分辨率，是环路结构重建的有效手段。基于神经组织序列切片电镜成像具有多层次多模式成像的优势，但其缺点在于切片扭曲、褶皱、污染和破损导致的序列图像拼接配准困难，对于大范围重建而言尚无普适的解决办法。. 我们提出了一种基于神经结构流模型和多目标约束全局优化能量函数的神经组织三维图像自动配准方法。该方法依据电子束扫描成像机理建立了电镜成像畸变的非均质体参数化模型，解决电镜电子束扫描引起的图像变形；通过在图像特征空间计算神经结构变化流模型，建立多目标约束条件下的多粒度全局优化能量函数，实现具有相似但完全不同形貌特征的神经组织相邻层图像配准，同时极大降低了切片皱褶、破损等带来的配准偏差；针对某些切片上存在着较为严重的褶皱或破损等情况，通过引入褶皱指示变量，修改图像形变模型的方式，避免了这些制样过程带来的缺陷对配准结果的干扰。与国际上主要的微观结构重建方向的研究组所采用的配准方法相比，该方法普适性强，缓解了三维配准对切片厚度和切片破损情况的要求，大幅降低了制样难度，有力保障了神经环路构重建工程的顺利开展。. 该方法成功应用于线虫序列（生物物理所孙飞组，共1769层，切片厚度100nm，单层图像分辨率1721x1617，单像素尺寸17nm）、果蝇脑序列（上海神经所郭爱克组，共1695层，切片厚度50nm，单层图像分辨率8192x8192，单像素尺寸5nm）、鼠脑序列（上海神经所蒲慕明组，共178层，切片厚度50nm，单层图像分辨率49240x45115，单像素尺寸2nm）的三维图像库生成，其中线虫序列和果蝇序列分别是国内首次成功应用于全线虫和果蝇蘑菇体区域电镜长序列自动配准的方法，基本解决了千片以上生物切片序列的自动配准难题，填补了国内生物组织长序列切片电镜图像配准领域的空白，支撑了上海神经所、生物物理所等相关单位的科研任务，为搭建大体量神经结构重建工程平台提供理论基础和解决方案，满足脑科学研究对高通量神经回路网络重建的需求。