基于编码光圈的光场压缩采集与鲁棒重建的关键技术研究

Light field acquisition and reconstruction with high quality and efficiency is one of hot research topics and chanllenge problems in computational photography and computer vision. The advances in this technology have important signifiance in new imaging mechanism research. In this project proposal compressive sensing theroy and computational photography theroy based primary reasons of low efficiency, high noise, and distinct diffraction effect in light acquisition are explored, a light compressive sampling and reconstruction method is presented, the wave optics propagation mode of light acquisition system is constructed, signal related noise estimation and suppression is carried out, and based on above theory and key technology research a coded aperture based light acquisition system is developed. The detailed research content is as follows: based on the statistical analysis of the light field data redundancy, to propose a method of compressive sampling and reconstruction using time-multiplexed space compression coding aperture, applied the Wigner distribution function to analysis light propagation model of the light field acquisition system, and to study the mechanism and elimination method of diffraction effect in light field acquisition process, to build a statistical model of signal-related acquisition noise, and to study methods of scene-related noise estimation and suppression, to set up coded aperture based efficient light field acquisition prototype system, to verify the validity of the algorithm, to further revise the theoretical model combined with the physical implementation and process limitations of optical components, and to improve the performance and reconstruction accuracy of the light field acquisition system.

高质高效的光场采集与重构是计算机视觉与计算摄像学领域的研究热点和挑战性难题，该方面的突破对研究新型成像机制具有重要意义。本项目拟以压缩感知理论和计算摄像理论为基础，探索光场采集效率低、噪声大、衍射效应明显的根本原因，提出光场压缩采样与重构方法，构建光场采集系统的波动光传播模型，实现信号相关的噪声估计与抑制，并在以上理论及关键技术研究的基础上研制编码光圈式光场采集系统。具体的研究内容包括：在统计分析光场数据的冗余性的基础上，提出基于时间复用空间编码的压缩采样和重构方法；运用魏格纳分布函数研究光场采集系统的光传播模型，研究光场采集过程中衍射效应的产生机理和消除方法；构建信号相关的采集噪声统计模型，研究场景相关的噪声估计与抑制方法；搭建编码光圈式高效光场采集原型系统，验证算法的有效性，并结合物理实现及光学元器件工艺限制进一步修正理论模型，提高光场采集系统性能与重构精度。

本课题以高质高效的光场采集与重构为目标，探索解决其中关键问题的理论和方法，并依此将目标分解，分别在光场压缩采样与重构、信号相关噪声的估计与抑制、自然场景统计建模、波动光传播模型等方面开展了深入而有创造性的工作，取得了一系列研究成果。在光场压缩采样方面与重构方面，针对随机观测阵为稠密阵，很难物理实现的问题，开展了观测阵优化方法研究，提出了一种适用于编码光圈的循环结构观测阵的优化方法，得到可实现的优化编码模式，提高了光场重构质量。针对编码光圈压缩成像中低通光量，信噪比低，噪声严重影响重构质量的问题，在研究信号相关噪声模型的基础上，提出了对信号相关噪声鲁棒的重构方法，该方法根据光场和噪声的属性差异进行优化分离，提高了在信号相关噪声条件下的光场重建效率，达到了高信噪比重构的目标。在信号相关噪声的估计与抑制方面，受视觉系统对细小结构和色彩偏差高度敏感的启发，引入低秩先验和交叉通道先验，提出一个优化公式和凸优化算法能够同时处理图像的空间和时间冗余度和噪声的非线性。在自然场景统计建模方面，依据不同尺度自然图像具有交叉尺度变化，研究自然图像在不同尺度下的统计特性，提出构建一个归一化的滤波器组，即一组高阶MRF模型以学习自然图像先验，并通过归一化方法使得学习阶段的快速收敛，学习得到的多尺度MRFs模型在图像去噪、图像修复中能够获得很好的效果。在项目实施过程中，课题组成员在国内外重要学术期刊及会议上发表了9篇学术论文，申请了2项国家发明专利。综上所述，课题组已完成了预期研究目标，在理论和关键技术研究上取得了进展，为后续相关研究奠定了坚实的基础。