基于单相机的光感图像超精细三维重构研究

High-resolution 3D reconstruction for real object surface has wide application prospects in many fields such as security sensing, battlefield sensing, medical image processing, antique restoration, and moving protection. The existing passive and active acquisition approaches cannot characterize the reality, complexity and variability of real object surfaces, and therefore to real-timely achieve high-resolution 3D reconstruction with low-cost devices has become a challenging problem. According to the low-cost and dense reconstruction property of photometric stereo approaches, this project focuses on super-resolution 3D reconstruction for real object surfaces via handheld scanning setup: 1) to explore the theory and method of super-resolution reconstruction for real surfaces under specific lighting conditions via iterative local-to-global optimization model based on discrete geometry deformation theory; 2) to analyze the affection of normal vectors on micro surface geometry, build 2D abstract model of the micro surface geometry model in normal angle map, and learn the distribution pattern of micro surface details within one sub-pixel. 3) to study multi-scale registration method for the point cloud from the handheld scanning device, explore the relationship between registration features and the motion parameters of the camera, and further use such relationship to guide 3D reconstruction in photometric stereo. We aim to reveal the representation mechanism of micro surface geometry under specific lighting, set up a platform for super-resolution 3D reconstruction of surfaces from photometric images, and make breakthroughs in both theory and key technology.

表面的精细三维重构在安防、军事、医疗、文物保护、影视制作等领域有着广泛的应用前景。现有的被动式和主动式三维采集机制难以刻画各种物体表面的“真实性”、“复杂性”和“多样性”，采用低成本设备实现精细、实时的三维扫描是国际前沿挑战的难题。本项目瞄准光度体视重构方法的低成本、高密度的重构特点，开展对表面超分辨率手持式三维扫描设备研究：1)以空间离散几何形变为理论依据，探索采用“局部到全局”的迭代优化模型对特定光照下的表面进行高精度重构的理论和方法；2)分析法向量对表面微几何结构分布的影响，在法向量约束下建立表面细节增强的目标函数，结合机器学习学习超分辨率下的表面细节特征；3)研究多尺度特征下对局部扫描的结果的高效配准，并探索配准特征与相机运动参数的视差关系，从而用于校准形状误差。本项目拟通过研究表面细节在特定光照环境下的表示机理，基于单相机超分辨率三维重构平台实现理论和关键技术研究上的创新。

超精细三维重构技术作为计算机视觉中的研究热点问题，在安防，医疗，文物遗产，娱乐等领域上有着迫切的应用需求。为了使得三维重构能够军事化和民用化，这些重构技术必须同时达到“高精度”，“便携”，“低成本”的要求。针对这样的任务和需求，在此项目的支持下，我们开发了轻量级采集设备以及嵌入式的手机终端。针对三维数据复杂，冗余等问题，我们提出了形状和表面细节分离独立处理的理论模型，并设计了多模态迁移网络用于专门的细节特征超分，最后再和原始形状融合从而得到完整的超分表面。我们的策略有效的改善了稠密数据难以采集和传输的问题；针对环境干扰，前端相机扫描质量不稳定的问题，我们提出了JND图像处理，以及近红外融合等图像质量提升手段，这些办法有效的修补相机容易丢失的表面细节，并且多模态的融合迁移思路有效的将冗余信号转换成有用信号，极大的提升了数据利用率，和改善了三维重构的精度；针对形状修复过程中，形状碎片（或者不连续）的问题，我们提出了在法线域中进行修补，利用法线之间的约束，以及碎片间距来对重构问题进行加权建模，由于避开了繁琐的三维坐标处理，我们的形状修复算法做到了实时和轻量级传输，真正有助于算法前端嵌入式的开发。以上研究成果，均发表于领域的顶级期刊和CCF A会议上。..总之，本项目的支持对于研究小组开展超精细三维表面重构方面提供了不可替代的重要作用，为接下来开展超精细数字孪生表面技术奠定了基石。