基于表面反射特性建模的高鲁棒性微相位编码结构光三维扫描技术研究

Non-Lambert surface has the features of specular reflection, global reflection and local inter-reflection. Its measurement is a difficult research topic in structured light sensing (SLS)-based 3D reconstruction field. The reason is that the existing structured light techniques are lack of robustness while measuring non-Lambert surface. To solve this problem, in this proposal, a micro-phase coded structured light method with high robustness is investigated. The surface reflection modeling method in photometry is introduced into SLS-based 3D reconstruction to estimate the surface reflectivity and reflection property. By establishing the correlation function between the surface reflectivity and intensity of the projected high-frequency sinusoidal fringe pattern, the projected structured light patterns are adjusted. Thus, 3D reconstruction with high robustness and precision is achieved. This proposal will focus on the following key research problems: 1) Estimation of the surface reflectivity and reflection property; 2) Analysis of local inter-reflection property based on the projection of high-frequency sinusoidal fringe pattern; 3) Adjustment of the coded structured light pattern based on the estimation of the surface reflection model; 4) Investigate the encoding and decoding strategies of micro-phase coded structured light. By solving above key problems, this proposal aims to realize direct and precise 3D reconstruction of non-Lambert surface without the onerous surface painting procedure, so as to further improve the 3D reconstruction quality. With these research contributions, the practicability of SLS 3D scanning techniques can be improved distinctly, and its application fields can also be greatly extended.

非朗伯表面具有镜面反射、全局反射及局部多次反射等特性，是结构光三维重建领域的研究难点，现有的结构光三维重建方法在应对非朗伯表面时存在鲁棒性不足的问题。本项目拟提出一种高鲁棒性的微相位编码结构光三维扫描技术，将光度学中的表面反射建模理论引入至结构光三维重建研究中，通过对非朗伯表面的反射特性进行建模，建立表面反射率与高频正弦条纹亮度值之间的函数关系，实现对结构光编码图像的调整，进而实现非朗伯表面的高鲁棒性、高精度三维重建。本项目的研究内容主要包括：1）物体表面反射特性估计与建模；2）基于高频正弦条纹投射的局部多次反射特性分析；3）基于反射模型估计的结构光编码图像调整；4）微相位编码结构光的编解码策略。通过对上述内容的研究，以期实现在不经消反光处理条件下非朗伯表面的直接高精度三维重建。该项研究有助于提高结构光三维扫描技术的实用性，并大大地拓展其应用范围，因而具有重要的研究价值和应用前景。

非朗伯表面具有镜面反射、全局反射及局部多次反射等特性，是结构光三维重建领域的研究难点，现有的结构光三维重建方法在应对非朗伯表面时存在鲁棒性不足的问题。针对这一科学问题，本项目在结构光系统标定及编解码、物体表面反射特性建模、最优投影亮度估计、多曝光策略优化、投影光选择等关键技术展开了深入研究。提出了一种适应性微相位测量轮廓术，提高了适应性编码结构光3D扫描技术的重建精度。提出了一种基于自动多曝光策略的高动态物体表面结构光3D重建方法，解决了需要预先设定各曝光时间的问题，优化了高精度重建所需的曝光次数，减少了人工干预，一般经过3-4次迭代即可实现表面反射率变化范围大的高反表面3D重建，总测量时间约1.5分钟。提出了一种基于彩色编码的结构光系统标定算法，提高了结构光系标定精度和效率。基于此项目，还拓展研究了红外光在非朗伯表面3D重建方面的效果，开发了两套基于红外空间编码结构光技术的微型三维视觉系统：1）根据伪随机二值几何图形编码图案定制了一个DOE投影仪，搭建了一个由单DOE投影仪单相机组成的结构光系统。实验中，在测量距离为0.5m时，测量精度约0.2mm，且系统对物体表面颜色及纹理具有很好的抗干扰性。2）以伪随机散斑作为投影图案定制了一个DOE投影仪，搭建了一个由单DOE投影仪和双相机组成的用于动态深度恢复的微型3D视觉系统，立体双相机之间的基线短至50mm，在测量距离为0.4m时，深度精度为0.5mm。该系统具有结构简单、体积小、成本低等优点。它可以很容易地集成到移动设备中，如平板电脑和移动电话。与其他几种成熟产品（Kinect V1, Realsense D400 series, iPhone X等）相比，提出的3D深度相机可以实现更高精度的3D重建。以上研究成果可用于工业在线三维测量、人体扫描、3D影视特效制作等诸多需要高精度或实时获取三维信息的领域，具有重要的研究和应用价值。