可见光与红外双波段时域压缩高速成像理论与方法研究

With the traditional imaging theory, the architecture and the performance of CCD and CMOS limit the improvement of the imaging speed and the image quality of digital high speed cameras. In addition, available digital high speed cameras only work either in visible or in IR band, besides that IR camera has low imaging speed and high price due to material and manufacture technology restrictions. To deal with these issues, we will develop a new theory in this project for high speed imaging based on the compressive imaging idea to compress signal temporally. We will also discuss a new high speed imaging method using DMD. In this new theory and method, DMD is used to temporally modulate high speed images. The linear combination of multiple frames of high speed images are collected by off-shelf opto-electronic sensors. Then reconstruction algorithms are used to obtain the original high speed images from these measurements. The two reflective directions of DMD are used for visible and IR band. Thus, besides improving imaging speed by a factor, this new method can also support imaging in dual-band simultaneously using one device. In this project, we will design the measurement matrix for temporal compressive imaging, study the algorithms to reconstruct dual-band images jointly, and build the experimental demonstration systems. The results obtained from this project will support the development of low cost, high performance, and dual-band high speed cameras theoretically and technically.

数字式高速相机在目前成像原理下其成像速度和成像质量的提高主要依赖CCD和CMOS芯片结构与性能的改善。另外，目前的数字式高速相机要么只支持可见光波段，要么只支持红外波段，而红外波段相机又受材料和工艺限制其成像速度低、成本极高。本项目利用压缩成像原理，采用时域压缩的方法，提出一种新的高速成像理论，并利用DMD给出一种具体的高速成像方法。新的理论方法使用DMD对高速图像在时间域进行调制，采用普通光电探测器采集经调制后多帧图像的线性组合值，并通过恢复算法从测量值中获得原始的高速图像。这一理论方法不仅能在原理上使成像速度提高一个量级，而且将DMD的两个反射方向分别用于可见光与红外波段，做到了同一相机同时支持可见光与红外两个波段。项目将针对时域压缩测量矩阵设计、双波段图像联合恢复算法、以及实验验证系统搭建等问题开展研究。研究成果将为低成本高性能双波段高速相机的进一步研发提供理论基础和技术支撑。

在成像领域，相机的空间分辨率和时间分辨率一直是两个互相制约的参数。高空间分辨率的相机，其时间分辨率或者帧频就易受到限制。而对于高帧频的相机，其空间分辨率常常有限。两个参数互相制约的原因主要来自于相机数据采集及传输的有限带宽。为了解决这一问题，本项目利用DMD对高速目标进行时域压缩，采用低速相机采集在时间域中调制并压缩后的目标低速图像序列，然后通过恢复算法获得高速目标的原始图像序列。. 在项目资助下，我们首先分别针对可见光和红外波段时域压缩成像系统原理开展研究，构建了系统成像模型，并通过模拟实验开展时域压缩成像的恢复算法研究，采用TwIST算法和GMM算法获得了较好的目标恢复效果。同时项目组开展了红外波段测量矩阵的设计。随后，项目组使用DMD搭建了可见光波段以及近红外波段时域压缩成像系统，通过实验验证了采用DMD实现时域压缩成像的可行性，采用50fps相机获得了500fps的目标恢复图像。由于DMD采用对光的反射实现光强调制，而DMD有两个翻转方向。项目组利用这一特点采用一个DMD搭建了双波段时域压缩成像实验系统，在可见光和近红外两个波段同时获得了时域上10:1的压缩比。由于红外波段有良好的穿透性，可以透过某些介质如涂料有效地观测目标，因而可以与可见光波段图像形成良好的互补。同时采用一个DMD器件，可有效地控制系统的成本和体积，相较于分光式的双波段成像有更高的光利用效率。在实验过程中，项目组还针对系统矫正开展了较深入的研究。系统矫正是影响计算成像系统目标恢复的一个重要因素。项目组研究了多种系统矫正策略，有效提升了目标恢复的效果。此外，深度学习近年来在成像领域被广泛应用。时域压缩成像恢复算法多为迭代算法，采用深度学习算法可以在有效保证目标恢复效果的同时，大幅缩短算法运行时间。本项目组采用深度学习网络针对时域压缩成像恢复问题开展研究，通过设计三维网络，获得了较好的目标恢复效果。