面向移动终端的低代价声波成像方法研究

With the explosive growth of mobile terminal utilization rate, mobile terminal cameras are becoming more and more powerful, but they still face the challenge of unable to image in darkness or under obstruction. However, through the acoustic signal of mobile terminal, it can be imaged in the scene where the cameras can not work.This project attempts to combine the principle of inverse synthetic aperture radar (ISAR) with the compensation algorithm for moving targets to solve the 2D imaging problem at the acoustic frequency of mobile terminals.To improve the accuracy of acoustic imaging,we combine the range alignment method based on the global optimization criterion with the phase compensation method based on the global minimum entropy of the image, the problems of drift error and image defocus of moving targets in acoustic imaging are solved.In order to compensate for the lack information of acoustic imaging, a cross-modal visual supervised deep learning method is proposed. The training process of acoustic imaging is supervised by the features of photos taken by cameras, which enhances the robustness of the imaging.The implementation of this project provides reliable technical means and theoretical basis for mobile terminal perception in darkness or under obstruction. The research results have a positive effort on human-computer interaction, environmental perception and behavior recognition.

随着移动终端普及率的空前增长，移动终端的视频设备也越来越强大，但他们仍面临着在黑暗中或存在遮挡时无法成像的挑战。而通过移动终端的声波信号，能够在视频设备无法工作的场景中进行成像。本项目试图将逆合成孔径雷达原理与面向运动目标的补偿算法相结合，解决在移动终端的声波频率下运动目标的二维成像问题；通过将基于整体最优准则的包络对齐方法与基于图像全局最小熵的相位补偿方法相结合，解决运动目标在声波信号成像中漂移误差与图像散焦等问题，从而提高声波信号成像的精度；引入深度学习思想进行声波信号成像的缺失信息弥补，提出一种跨模态的视觉监督深度学习方法，使用照相机拍摄的视觉照片特征来监督声波信号成像的训练过程，增强了成像的鲁棒性。本项目的实施对移动终端在黑暗以及存在遮挡环境的感知，提供了可靠的技术手段和理论基础，研究成果对于人机交互、环境感知及行为识别等研究方向产生积极影响。

本项目瞄准移动终端在黑暗或遮挡的场景中无法成像的挑战，研究了一种基于声波信号的三维成像系统。该技术涉及了三项科学问题：声波信号去噪、声波信号的二维成像、声波信号的三维成像。具体研究内容包括：.（1）声波信号去噪研究。为了解决声波信号的采集过程中受到各种的干扰，造成二维声波成像中存在大量的条带噪声问题。本项目提出了一种新的二维声波成像去噪方法。①采用小波去噪方法和RLS方法去除所采集声波信号中的部分噪声。小波去噪方法对信号变换的高频部分进行阈值处理，适用于处理高频噪声。RLS方法利用自适应谱线增强器来削弱与特征谱线很接近的噪声分量，适用于处理低频噪声。②本项目提出一种基于显著性检测的图像融合算法，该算法能够将声波信号成像中的有用信息与噪声进行有效分割。.（2）声波信号的二维成像研究。基于移动终端的声波信号二维成像的关键技术是逆合成孔径雷达（ISAR）。现实中运动目标的轨迹没有规律且不能事先获知，会带来严重的成像精度问题。①本项目将ISAR与面向运动目标的补偿算法相结合。通过将基于整体最优准则与基于图像全局最小熵方法相结合，解决运动目标在声波信号成像中漂移误差与图像散焦等问题，从而提高声波信号成像的精度。②在较空旷的环境下放置移动终端设备，通过仿真实验调整各种参数。根据采集声波信号不同特征，记录不同参数的分析结果，得到对二维成像精度和鲁棒性的影响。.（3）声波信号的三维成像研究。①本项目提出了一种跨模态图像间的翻译网络，将二维声波信号图像映射到三维成像。选取Kinect捕捉到的深度图作为生成对抗网络的输入，将二维声波信号图像与深度图进行学习，实现把二维声波信号图像翻译为深度图，即可以转换成三维点云。②本项目开展了三维成像相关算法的验证工作。充分验证了二维声波信号图像到三维成像的映射，保持了实验数据与人体之间的对应关系，获取了大量的人体三维细节信息。.本研究可为未来移动终端设备在黑暗或遮挡的场景中进行成像，提供一定的理论和技术借鉴。