面向脑神经元观测的光场显微成像及数据前端处理技术

Maturity of light field (LF) imaging technology provides new opportunities to theoretical innovation, technical progress and industrial development in the field of 3-dimensional microscopy, especially oriented to the nurons observation. However, a new problem is how to represent, process and recognize the microscopic data in 4D light field. The project aims to establish systematic theories and methods for LF microscopic image processing. We will research the method of LF microscopic data acquisition, analysis, representation, classification and recognition. The characteristics of the LF data such as multi-view and multi-dimension will be exploited to solve the challenging issues in LF microscopic data’s practical recognition applications, including the under-water imaging pattern, wide-depth imaging pattern and resolution enhancement. By combining the novel imaging pattern with the recent achievement in the field of computer vison and pattern recognition, this project will open a number of new problems to microscopic data recognition community, enrich the subject content of light field imaging. The research achievements of this project will make initiative contribution to computer vision and pattern recognition and provide technical support to the development of national information industry.

日趋成熟的光场成像技术为三维显微观测，特别是生物脑神经元观测的理论创新、技术进步和产业发展提供了数据条件，但是新数据也带来了新问题——如何表示、处理和识别脑神经元图像？本项目旨在创建较为系统的面向脑神经元观测的光场显微数据处理与识别的理论和方法，研究光场显微数据获取、数据解析、特征表达、分辨率提升和分类识别等内容，充分发掘四维光场数据的固有特性（如多视角、多维度成像特性等）来解决光场显微成像模式在复杂应用场景中面临的诸多难题（例如水下成像、大深度范围成像,图像空间分辨率提升等）。通过结合计算机视觉、模式识别领域最新成果（稀疏表达，深度学习等）和新型成像模式，本项目有望开辟脑神经元活动观测的解题新途径，并丰富计算光场成像的学科内涵，为计算机视觉和模式识别学科发展做出开创性的贡献，为我国相关信息产业发展提供技术支撑。

本项目面向斑马鱼脑神经元显微成像过程中大景深实时性观测的需求，探索了一种新型的观测模式及其数据前端处理技术。主要包括：（1）计算光场显微成像机理研究：以标量衍射理论为分析基础，分析了各种成像因素(物方离焦、主光学系统和微透镜的衍射)对成像的影响，以此建立了分孔径型计算光场显微系统的成像数理模型。基于此模型，本项目构建了光场显微成像实验原理装置并实现了数据采集，为后续研究奠定了理论和数据基础。 （2）光场脑神经元数据预处理技术研究：基于光场成像模型，结合大尺度-微尺度基线系统联合测量机理，设计了适用于大深度范围场景的深度估计系统。使用立体匹配里理论，开展了基于双目光场的深度估计方法研究，最终获得了深度维度上的位置信息。（3）光场数据超分辨技术研究：针对光场数据视角分辨率和空间分辨率相互制约的技术瓶颈，使用卷积神经网络的方法对解码获得的光场多视角数据进行了超分辨率重建。基于所建立的分孔径型计算光场显微成像数理模型，使用考虑深度变化离焦模糊的卷积神经网络图像超分辨技术，同时实现了数据图像空间细节恢复和图幅尺寸的扩大。课题组所取得的研究成果在国内外高水平刊物上得到了发表。在项目经费支持下，课题组已发表高水平学术论文5篇，其中在 IEEE Transaction on Imaging、IEEE Transaction on Computational Imaging等领域内顶级SCI期刊发表论文2篇，发表EI论文3篇，标注率100%。申报专利4项。参与培养博士后3名，博士研究生2名，硕士研究生3名。项目经费执行率约75%。达到了项目计划书中规定的各项性能指标要求。