基于统计建模和压缩感知的多摄像机联合高速摄像技术

High frame video (HFV) enables investigations of high speed physical phenomena like explosions, collisions, animal kinesiology, and etc. HFV cameras find wide applications in sciences, engineering research. In ultra-high speed imaging, the obtainable temporal and spatial resolutions are limited by the sustainable throughput of in-camera mass memory, the lower bound of exposure time, and illumination conditions. In order to break these bottlenecks, we propose a new compressive sensing based HFV acquisition framework that employs K conventional cameras, each of which makes random measurements of the 3D video signal in both temporal and spatial domains. For each of the K cameras, this multi-camera strategy greatly relaxes the stringent requirements in memory speed, shutter speed, and illumination strength. The recovery of HFV from these random measurements is posed and solved as a large scale L1 minimization problem by exploiting joint temporal and spatial sparsities of the 3D signal. At the same time, in this research, we consider to improve the spatial resolution of existed HFV with low resolution by using super-resolution. Moreover, we propose a statistical modeling based image denoising strategy to efficiently remove impulse noise generated in faulty memory locations.

高速摄像技术是一种记录高速运动过程的有效手段，在国防军事和科学研究等领域有着广泛的应用。然而，由于摄像机内存并不具有足够快的写入速度，并且受到光照和曝光时间等因素的影响，现有的高速摄像技术不能同时获得高分辨率和高帧率。在本课题中，我们提出基于图像建模和压缩感知的多摄像机高速摄像技术，来同时获得高分辨率和高帧率的视频序列，并消除噪声的影响。包括三个方面研究内容：1) 提出基于局部平滑和全局一致性的图像脉冲去噪技术，为后续的超分辨率和压缩感知重构等操作提供干净的数据；2) 对于现有的低分辨率的高速视频，我们提出基于多字典和协同稀疏编码的视频超分辨率技术进行分辨率提升；3) 为了打破硬件瓶颈，我们提出利用多个普通低速摄像机构成采集阵列，并采用基于压缩感知的框架获取具有高分辨率的高速视频序列。本项目从实际应用中抽象出科学问题，涉及统计和信息论基础，具有极其重要的理论意义和广泛的应用价值。

本课题以多摄像机联合高速摄像技术为应用背景，着重研究自然图像统计建模和压缩感知理论与方法，并兼顾图像压缩、图像软解码等实际应用问题。 在国际顶级期刊IEEE Transactions上发表研究型长文12篇， 申请日本专利两项。在以下几个方面取得了重要研究进展：1) 提出一种基于随机游走图拉普拉斯的自然图像平滑先验模型，首次在理论上揭示了分类这个高阶计算机视觉问题和滤波这个低阶计算机视觉问题之间的关联， 可以广泛应用于多种图像修复应用中； 2) 提出一种新型的基于参数和非参数贝叶斯回归模型图像去噪技术，为后续的超分辨率和压缩感知重构等操作提供干净的数据；3) 提出一种基于变换域-像素域双域联合稀疏性表达的JPEG图像软解码技术；取得业界领先的性能。