双平面光场局部不变性特征提取与匹配方法研究

Compare to traditional images, more complete information can be recorded by capturing a 4D light field. But most of available light field imaging systems have very limited numerical aperture, which be deemed as narrow-baseline-bottleneck problem for light field theory and applications. Research on light field features extraction and correspondence becomes an urgent need for extended the narrow-baseline light field to wide-baseline light field. Our proposal aims at local invariant features extraction and correspondence in two-paralleled-plane light field, which includes: 1) Research on the invariant theory of 4D light field, and propose the light field feature analysis and extraction methods. 2) Research on the light field feature scale space selection, and propose the quantitative measurement of light field feature similarity. 3) Research on the light field feature correspondence algorithm, and study on scene depth recovery and optimization with wide-baseline light field feature correspondence. This light field imaging theory and approach study belongs to the cross domain of computational photography and computer vision. The local invariance theory is one of key problems to break through the narrow-baseline-bottleneck of light field imaging, that may also contribute to the ambiguity problem of feature correspondence in computer vision. Thus, the content of this research has theoretical significance to light field imaging, and many potential applications can be benefited from this work.

与传统图像相比，双平面光场数据对场景信息的记录更完整。但主流光场成像系统仍存在基线较窄的瓶颈，将窄基线光场延拓至宽基线光场已成为光场成像理论发展的迫切需求。光场数据特征的提取与匹配是宽基线光场理论亟待研究的重要理论问题，故本项目拟开展双平面光场局部不变性特征提取与匹配方法研究，主要内容包括：1）研究双平面光场局部不变性原理，构建光场特征的分析与提取理论。2）研究光场特征尺度空间的选择问题和特征相似性的计算方法，实现对光场特征相似性的量化度量。3）研究宽基线光场特征的匹配计算方法，提出基于宽基线光场特征匹配的场景深度重建及优化方法。本项目研究内容属于计算摄影学和计算机视觉交叉领域的前沿热点和瓶颈问题，旨在探索双平面光场局部不变性的原理，并为突破光场成像窄基线瓶颈提供重要的理论支撑，或将为解决计算机视觉特征匹配的多义性难题提供新思路。研究成果对丰富光场成像理论、拓展光场应用具有重要意义。

本项目研究双平面光场特征提取与匹配方法，其内容属于光场成像和计算摄影学领域的热点问题。项目主要研究内容包括：双平面光场特征分析与提取理论，双平面光场特征的相似性度量方法，及基于宽基线光场匹配的场景重建方法。本项目系统构建了光场傅里叶视差空间与对极平面图像空间的特征提取理论，并搭建基于宽基线光场的特征提取与匹配计算软硬件验证平台。本项目理论成果包括：1）提出光场空间-角度域的变换保持采样分布及其相应的数学描述，设计了高匹配精度的FDL-HSIFT描述子、FDL-HCGH描述子；对角度变化鲁棒的EPI-Harris和EPI-HoG；适合于快速计算的LF-LBP、LF-SURF等光场特征。2）提出基于光场尺度空间选取的量化描述光场特征。针对光场局部不变性给出了光场特征匹配的距离度量，并在表面光场相似性比对方面进行了验证。3）提出了多种基于光场特征学习的光场及场景重建方法，并提出适合光场角度、空间及轴向的超分辨率方法。其中，在傅里叶视差描述下，FDL-HCGH圆形邻域特征在特征匹配精度与计算效率方面均明显优于现有光场特征（如SIFT、LIFF等）。由于双平面光场角度-空间域特征分布具有一致性和局部不变性，该研究揭示光场特征在对场景深度变化感知与描述方面具有明显优势，为特征匹配的多义性难题提供新的思路。本项目理论研究成果对于场景重建、目标跟踪、目标识别等光场成像应用具有较高理论价值。.针对上述研究内容，项目申请国家发明专利9项，已授权5项；发表相关学术论文12篇，其中SCI检索论文8篇（包括CCF认定的A类期刊论文1篇，SCI二区及以上期刊论文3篇，CCF推荐的中文T2类期刊3篇），另有2篇论文已录用待发表，2篇论文在投。项目公开可用于光场特征匹配实验和对比的光场数据集1套，可用于误匹配去除的公开数据集1套。本项目协助培养博士研究生1名，硕士研究生9名，已毕业7名。