基于深度学习与光场成像的条纹结构光动态复杂场景三维测量

Dynamic three dimensional (3D) measurement of complex scenes, which is a difficult and hot issue in fringe projection structured light, has an important scientific significance and a broad application prospect in the fields of experimental mechanics, robot vision, biomedicine, industrial detection and so on. This project intends to conduct research on super-resolution, phase retrieval, and phase unwrapping in light field imaging-based fringe projection structured light dynamic complex scenes 3D measurement based on deep learning and light field imaging, to achieve the reliable and accurate dynamic 3D measurement for complex scenes in the case of abrupt changes, discontinuous in edges and isolated objects and so on. The study is conducted as follows: (1) The algorithms of light field fringe patterns denoising, highlight areas inpainting and the super-resolution for light field 3D measurement of dynamic complex scenes are proposed based on Shearlet transform, graph regularization and deep learning. (2) The fringe pattern decomposition and phase retrieval methods based on convolutional neural network (CNN) and wavelet transform is conducted, to preserve the details of fringe pattern decomposition for fringe pattern edges under complex scenes. (3) The introduction of deep learning in light field multi-view phase unwrapping is performed, and the accurate and reliable data driven multi-view phase unwrapping method is proposed by learning the mapping between the wrapped phase and the unwrapped phase with CNN. Based on the study, this project is expected to propose a complete methodology for light field imaging-based fringe projection structured light 3D measurement for dynamic complex scenes, to promote the further development and application of fringe projection structured light 3D measurement.

动态复杂场景三维测量是条纹结构光领域的难点和热点，在实验力学、机器人视觉、生物医学、工业检测等领域具有重要的科学意义和广阔的应用前景。本项目以深度学习与光场成像作为主要研究工具，开展动态复杂场景中的光场结构光超分辨、相位提取与相位展开关键问题研究，实现剧烈突起、边缘不连续和孤立物体等复杂情况下准确、可靠三维测量。具体内容包括：（1）基于剪切波变换、图正则化与深度学习技术，提出针对动态复杂场景的光场条纹图去噪、高光区域修复与超分辨重建方法。（2）研究基于卷积神经网络（CNN）与小波变换的条纹图分解与相位提取方法，有效保持复杂场景边缘处条纹图分解细节信息。（3）将深度学习引入光场多视图相位展开，通过CNN学习光场包裹相位与解包裹相位映射关系，提出数据驱动的准确、可靠多视图相位展开。通过以上研究形成完整的适用于动态复杂场景的光场结构光三维测量方法体系，推动条纹结构光三维测量技术进一步发展和应用。

三维信息是物体的重要特征之一。动态复杂场景三维测量是条纹结构光领域的难点和热点，在实验力学、机器人视觉、生物医学、工业检测等领域具有重要的科学意义和广阔的应用前景。如何快速、准确地获取物体三维信息是科研与应用领域相关工作者共同关心的问题。发展高精度三维测量理论与技术对推动我国智慧制造技术快速发展、提升航空航天等领域高精尖制造水平、服务社会需求等方面至关重要。. 本项目以深度学习与光场成像作为主要研究工具，开展动态复杂场景中的光场结构光条纹分析处理、相位提取与相位展开等三维重建中的关键问题研究，实现剧烈突起、边缘不连续和孤立物体等复杂情况下准确、可靠三维测量。取得的主要成果包括：（1）研究了基于深度学习的条纹结构光三维重建问题，提出了基于块与剪切波变换标签增强的深度神经网络相位提取方法。该方法通过分块与剪切波去噪增强的方式可生成更多以及更高质量的样本，从而可以在少量样本情况下取得更好的相位提取结果。（2）提出了混合CNN与Transformer深度学习相位展开网络模型，实验结果验证了提出方法在条纹级数预测方面的性能。该工作首次提出将Transformer用于条纹投影相位展开领域。提出并研究了基于改进U-Net深度神经网络的光场结构光智能相位展开，取得了相应的结论。（3）将深度学习引入结构光标记的光场深度估计问题，提出了基于深度学习的条纹与散斑结构光光场深度估计方法。实验结果表明，引入的算法优于经典的U-Net基线网络，并与基于深度学习的无结构光光场深度估计方法相比，提出的基于深度学习的光场结构光深度估计方法可以大幅提升深度估计的精度。（4）研制了相机阵列光场结构光采集系统，并提出了一种基于Blender的光场结构光数据集的制作方法，解决了光场结构光深度学习智能相位提取、相位展开等方面缺少高精度样本的难点问题。. 发表SCI检索期刊论文7篇，EI检索期刊论文3篇，EI检索会议论文1篇，申请专利4项，软件著作权2项。提出的数据驱动的准确、可靠多视图相位提取、相位展开、深度估计与三维重建方法形成了完整的适用于动态复杂场景的光场结构光三维测量方法体系，推动条纹结构光三维测量技术进一步发展和应用。