基于目标法向量稀疏性的高速三维单像素成像方法研究

However, the sparsity of the normal vector has not been studied deeply, which seriously restricts the development of the technology. This project, based on the wavelet theory, proposes high-speed three-dimensional imaging by using the sparsity of the target normal vector and focusing on the sparse representation of normal vectors under multi-scale conditions and the redundant compression expansion of spatial domain information. The research is carried out: (1) Analyze the sparseness of the target surface normal vector in the wavelet domain, design the wavelet coefficient measurement method, study the adaptive search algorithm of significant wavelet coefficients, realize the sparse representation and fast reconstruction of the normal vector signal; (2) Analyze the influence of the discontinuity point of the normal vector on the reconstruction of the three-dimensional image, give the judgment conditions of the local mutation point, study the surface continuity constraint condition and the stitching method of the surface between different scales to improve the quality of the reconstructed surface; (3) Analyze and compress spatial domain information redundancy caused by inter-frame correlation. Suppresses imaging noise caused by high-speed sampling, and further improves surface reconstruction efficiency. The project solves the problem of sparse representation of target 3D features and is expected to achieve high-speed 3D imaging, which has important theoretical and application value.

近年来，单像素成像因其灵活的成像方法受到了广泛关注。基于光度立体视觉的单像素成像系统通过测量目标表面法向量，还原目标三维形态。但法向量的稀疏性一直未得到深入研究，这严重制约了该技术的发展。本项目提出利用目标法向量的稀疏性进行高速三维成像，以小波理论为分析方法，着重围绕多尺度条件下法向量的稀疏表示以及对空域信息的冗余压缩展开研究：(1)分析目标曲面法向量在小波域中的稀疏性，设计小波系数测量方法，研究显著小波系数的自适应搜索算法，实现法向量信号的稀疏表示和快速重构；(2)分析法向量突变点对重构三维图像的影响，给出局部突变点的判定条件，研究约束曲面连续性的边界条件和不同尺度间曲面的拼接方法，提高重构曲面质量；(3)分析和压缩由帧间相关性导致的空域信息冗余，抑制由高速采样造成的成像噪声，进一步提高曲面重构效率。该项目解决了目标三维特征稀疏表示的难题，有望实现高速三维成像，具有重要的理论和应用价值。

近年来，单像素成像因其灵活的成像方法受到了广泛关注。基于光度立体视觉的单像素成像系统通过测量目标表面法向量，还原目标三维形态。但法向量的稀疏性一直未得到深入研究，而法向量的稀疏性又直接体现在不同角度采集图像的阴影分布上。因此，法向量稀疏性的表征和测量问题，本质上仍然是寻找一种具有一般性的图像压缩采集方法。围绕这一目标，本项目开展了一系列针对性的研究:1、提出了一种基于法向量的自适应单像素三维成像方法；2、提出了一种基于频谱径向关联性的自适应傅里叶单像素成像方法，有效降低了采样数，同时保留了图像的关键细节。对一般性场景的采样率压缩至10%左右。3、在自适应傅里叶单像素成像方法的基础上，提出了基于彩色调制的三维成像方法，实现了对三路不同阴影图像各自关键谱的同步采集和重构。4、提出了一种多目标深度估计方法。TV-norm重构算法是单像素成像技术的主要重构算法之一。本项目利用TV-norm算法，抑制了离焦图像信息，突出了对焦图像信息，实现了多深度目标的深度估计。5.提出了一种场景自适应的抗动态干扰的单像素成像方法。单像素成像由于需要多次调制，因此需要成像场景有较好的稳定性。但实际成像环境中，存在前景的动态于扰，影响桶探测器测量精度。针对该问题，提出了基于自校验的单像素成像系统动态干扰去除方法。通过充分挖掘哈达玛阵自身的特点，在不引入额外校验的情况下，实现了对干扰帧的辨识和去除，显著提升了成像质量和系统鲁棒性。6. 利用卷积神经网络进行桶探测器信号降噪，突破了传统降噪方法中“先成像—再降噪”的模式，直接利用神经网络对桶探测器信号进行降噪，抑制了桶探测器信号噪声，显著提升了重构图像质量。本项目推动了单像素成像技术的发展，所提出了“频谱径向关联性"这一概念不仅为实现高速单像素成像奠定了理论基础，也为频谱采样技术在图像获取，压缩，传输等方面提供了新思路。