基于微分几何特性的光学影像三维超分辨计算

Optical digital image three-dimensional (3D) super-resolution computation is the kernel technology of the next generation identity authentication, deep ocean exploration and remote sensing image analysis. There are many factors, such as the difference in resolution and hue, the perspective and lens distortion, which bring enormous challenge in the time-efficiency and the recovery of curved surface details to the traditional digital image 3D reconstruction. Motivated by these problems, this project focuses on the differential geometry properties based optical digital image 3D super-resolution computation. Based on the differential geometry analysis of the 3D curved surface information, build the differential geometry properties constraint of the digital image 3D super-resolution computation, and their realization condition in discrete space; build the 3D super-resolution computation synergistic optimization model based on the constraint of two dimensional (2D) image properties and 3D curved surface differential geometry properties; build the efficient computing equipment based 3D super-resolution computation low power parallel realizing approach; these methods will help recover the high frequency detail of 3D curved surface precisely, and enhance the payload capability of 3D super-resolution computation system effectively.

光学影像三维超分辨计算对下一代身份认证、深海空间探测、遥感图像分析等具有支撑作用。分辨率及色调差异、视角视点及镜头畸变等因素给传统光学影像三维重构方法在高频细节恢复、时效性等方面带来巨大挑战。对此，本项目围绕基于微分几何特性的光学影像三维超分辨计算这一核心问题展开探索：在场景表面三维结构微分几何特性分析基础上，确立符合光学影像三维超分辨计算合理性约束的微分几何特性，及其在离散空间的实现方法；构建基于微分几何特性约束的高可靠性三维表征结构实现方法；构建基于二维图像特性约束及三维曲面微分几何特性约束的三维超分辨计算协同优化模型；构建基于高效能计算设备的三维超分辨计算系统低功耗快速求解方法；以在确保高精度恢复三维表面高频细节的同时，提升三维超分辨计算系统的有效载荷能力。

面对现代军工、空天探测等领域对三维重建精度、能效性愈发严苛的需求，传统三维计算在反演精度、效率以及功耗等方面难以找到合适平衡点。对此，本项目从场景三维曲面微分特性、二维图像特征与三维曲面微分几何一致性约束、低功耗快速计算等三维方面提出“光学影像三维超分辨计算”研究，力图在确保高精度三维表面细节恢复的同时，提升三维超分辨计算能效性。.围绕“光学影像三维超分辨计算”这一核心问题，本项目主要进行了如下三方面的研究：1）构建基于二维特征与三维曲面微分几何特性一致性约束的三维立体匹配算法；2）构建软硬件优化协同的光学影像快速低功耗三维计算模型；3）构建基于深度学习模型的光学影像超分辨计算架构。基于上述研究内容，本项目首先，构建基于反比例函数拟合的相位相关立体匹配算法，并在此基础上引入法曲率构建自适应窗口架构进行进一步优化研究；其次，以相位相关算法为基础在FPGA芯片上进行软硬件低功耗快速计算架构设计；最后，引入残差网络及GAN网络，将深度图在二维空间进行超分辨研究。本项目基本达到研究目标，其中相关低功耗快速计算设计研究或可为无人导航系统在三维环境感知的有效载荷能力提升方面提供参考方案，但在微分几何特性引入方面，本项目仅引入法曲率约束，并未实质性构建基于二维特征和三维曲面特征的一致性约束模型，这将是项目组后续研究重点。.综上，本项目达到考核目标：发表相关研究论文11篇（此外资助项目组梯队成员发表论文成果8篇），申请国家发明专利2项（授权1项，公布1项），授权软件著作权4项，培养硕士研究生毕业生5人。另外，在团队人才培养方面，项目进行期间项目组4人晋升副教授，项目主持人李杰博士获批“三晋英才”优秀青年人才，项目组成员李俊明博士获批山西省高校青年学术带头人。