基于二值编码的高鲁棒性结构光三维重建关键问题研究

Structured Light Sensing (SLS)-based 3D reconstruction technique is an important research topic in both computer vision and automation domains. As the representative SLS approach, the Sinusoidal Phase Shifting-based SLS means tend to calculate precise phase values from the sequentially projected gray-level patterns. Such intensity-based SLS methods are usually impractical to the object surfaces with non-Lambert surface subject to the surface reflection and textures etc. That is also the major obstacle for the wide applications of SLS techniques in industries. To solve this problem, this proposal presents a novel binary coded SLS methdology. Compared with the intensity-based coding features, the binary coding features can outperform in both structure preservation and robustness. Such advantages also have been demonstrated in our previous research works. As a continuation of previous work, this proposal will focus on following key research problems: a) Optimization of the proposed binary coding strategy, so as to make the coding scheme more adaptive as well as to reduce the pattern numbers demanded; b) Robust and precise binary feature localization algorithm, so as to make the SLS more robust in deal with highly reflective surfaces; c) Automatic alignment of 3D point clouds that obtained from various view-points and their merging; d) Investigate the feasibility of SLS with invisible light sources, and the research of coding and decoding algorithms for the invisble SLS. By solving above key problems, this proposal aims to realize direct and precise 3D reconstruction of reflective surfaces without the onerous surface painting procedure. Via the research of invisible SLS method, the influence caused by surface reflecion is expected to be removed or greatly restrained, so as to further improve the 3D reconstruction quality. With these research contributions, the practicability of SLS techniques can be improved distinctly, and its application fields can also be greatly extended.

结构光三维重建是计算机视觉与自动化领域的重要研究方向，其中以基于正弦相位移原理的结构光方法研究最为广泛，而这种以灰度值计算相位信息的编码策略对于非朗伯表面存在明显的鲁棒性不足问题。本项目拟研究一种基于二值编码原理的高鲁棒性结构光编解码策略，前期研究工作已初步验证了二值化的结构编码特征较灰度信息具有更强的特征保持和鲁棒特性，作为该工作的延续，本项目研究内容主要包括：1）二值编码策略的优化，提高算法自适应性并减少编码图片数量；2）强反射条件下，边缘编码特征的精确鲁棒定位；3）多角度三维重建数据的自动拼接和融合；4）非可见光条件下，二值结构光编解码算法的研究。通过解决上述问题，实现在不经喷涂处理条件下复杂反射表面的直接高精度三维重建，通过非可见结构光方法的研究，以期从根源上消除或抑制表面反射特性的影响，进而显著提高结构光技术的实用性，并大大拓展其应用范围，因而具有重要的研究价值和产业应用前景。

结构光三维重建技术作为一种重要的三维数字化手段，在工业检测、机器人视觉引导、数字内容制作等领域获得了广泛应用。现有的结构光技术以正弦相移法为主，该方法存在的主要问题是鲁棒性不足，尤其是对于金属等反射表面难以获得高精度的三维数据。针对这一问题，本项目基于前期所提出的高频二值条纹编码方法展开了深入研究，并取得如下成果。在结构光系统标定方面，我们提出了一种基于三维尺度误差的标定参数优化方法，标定精度比传统方法有显著提升，平面拟合误差可达0.02mm；通过对结构光编码优化方法的研究，在不显著损失重建精度前提下，将编码效率提升了40%，扫描速度可控制在0.5秒以内；在位移条纹边缘定位方法研究中，采用共轭条纹投射策略，通过局部边缘自适应增强及正弦拟合求交方法，获得了亚像素级的编码特征定位精度，可以实现头发等复杂表面的高精度重建；在多角度三维扫描数据配准研究问题中，我们提出了一种基于转台的全自动点云数据配准算法，以及基于最小路径搜索的全局误差最小化的配准方法，实现了高精度的点云和纹理数据融合；为解决高反射特性造成的编码条纹断裂问题，我们提出了一种基于高动态原理的结构光方法，实现了不锈钢金属冲压件的高精度三维重建，误差仅为0.06mm；在非可见结构光研究工作中，搭建了基于DLP的红外结构光三维扫描装置，并与可见结构光系统进行了实验对比分析，结果显示红外结构光系统虽然对表面纹理具有较高的鲁棒性，但受限于较低的成像质量，重建精度仍低于可见结构光系统；我们将该研究拓展到动态三维重建领域，设计完成了DOE激光光栅结构光系统，提出了一种基于二值图形的网格编码结构光方法，实现了人脸等目标的三维重建，重建误差约0.13mm；同时相关研究也拓展到光度学领域，提出了一种基于LED的各向异性点光源光照场建模方法，实现了高精度的法向场恢复。通过项目开展，发表相关论文20余篇，申请及授权发明专利10余项，达到了预期研究目标，核心技术在虚拟3D整形领域实现成果转化。