基于单像素成像原理的高速运动物体空间特征信息的免图像获取技术

Rapid spatial characteristic information acquisition of high-speed objects is essential for real-time objects monitoring and has found important applications in many fields. Currently, information acquisition of high-speed objects generally relies on imaging techniques and, therefore, images are required for information acquisition. These techniques are indirect approaches. Specifically, images of target objects are first captured and the spatial characteristic information of objects is extracted from the images computationally. Temporal resolution and length of information acquisition time are two significant factors for spatial characteristic information acquisition. Although high-speed photography can achieve high temporal resolution, it produces a huge amount of image data, which results in a trade-off between temporal resolution and length of information acquisition time. Actually, images contain a lot of redundant information with respect to the desired spatial characteristic information. To tackle this problem, an ‘image-free’ approach is proposed in this proposal. This approach is inspired by the principle of single-pixel imaging and able to directly obtain the desired spatial characteristic information of high-speed objects. The approach employs deep learning to optimize the patterns used in spatial light modulation by exploiting the spatial characteristics of target objects. A spatial light dual modulation technique is also proposed. The technique compressively encodes the spatial characteristic information into a one-dimensional temporal signal. Deep learning is employed again to extract the desired spatial characteristic information from the signal directly. This approach avoids sampling redundant information and, therefore, benefits the improvement of both temporal resolution and length of information acquisition time. The ‘image-free’ approach achieves information acquisition without sampling or reconstructing any images. The approach provides real-time characteristic information acquisition and rapid responding for high-speed objects with a new technical solution.

快速获取高速运动物体的空间特征信息，实现对目标物体的实时监控，在许多领域具有重大应用价值。目前的物体空间特征信息获取普遍采用基于成像技术的“有图像”间接方案，即先采集图像，再从图像中提取物体空间特征信息。时间分辨率和信息的连续获取时间是物体空间特征信息获取的两个要素。高速摄影可以获得高的时间分辨率，但会产生大量的图像数据，导致高时间分辨率和长连续获取时间不可兼得。图像包含了特征信息以外的大量冗余信息。本项目针对高速运动物体，拟研究一种基于单像素成像原理的“免图像”的物体空间特征信息的直接获取技术：利用深度学习针对物体空间特征设计空间光调制花样，通过“空间光双调制”将特征信息压缩编码成一维时间信号，再利用深度学习直接从一维信号中解调出物体空间特征信息，无需采集或重建图像，避免冗余信息的采集，有利于同时提高时间分辨率和连续获取时间，为对高速运动物体信息实时获取和对物体快速反馈提供新的技术方案。

国家基金青年项目《基于单像素成像原理的高速运动物体空间特征信息的免图像获取技术》在2020年1月1日到2022年12月31日的执行期间，科学、合理、有效地使用23万直接经费，按照计划开展了针对高速运动物体的免图像的单像素传感技术研究。在单像素成像技术的基础上，开创性地提出了“免图像”（”image-free”）的单像素传感概念和相关技术，并得到所在研究领域的一定回响。与传统的基于成像的方法相比，所提出的免图像传感技术可以以更低的硬件和软件成本实现实时的、长持续时间的任务导向型应用（如高速运动物体的探测、追踪和识别）。免图像的高速运动物体的单像素传感技术，其核心是利用高速的空间光调制技术，将任务导向型应用所需的物体特征空间信息编码为短小的时变光强序列，并结合高灵敏的单像素探测器，实现高速、可靠、低冗余的信号获取，从而实现无需获取完整的图像的情况下，计算反演出物体的空间特征信息。在本项目执行期间，成功研究并实现了针对高速运动物体的免图像探测、追踪（包括二维和三维追踪）和识别技术。这些技术有望在国防军事、工业生产、生物医学、自动驾驶、安防、体育等所有需要对高速运动物体进行探测、追踪和识别的场景中获得应用。此外，在项目资助下，还开展了对高性能、低成本的计算成像技术开展了研究，其中包括：高效率的傅里叶单像素成像和大视场无透镜显微成像技术。发表了研究论文10篇，其中包括Optics Letters论文5篇，Optics Express论文3篇。以上论文自发表至今，共获得113次SCI引用。另外，针对高速运动物体的免图像三维追踪技术被美国光学学会遴选为2021年11月的Spotlight on Optics，被做了亮点报道。申请中国发明专利7项，其中1项已获授权。本项目的研究是建基于傅里叶单像素成像理论，同时也是傅里叶单像素成像技术体系的重要组成部分。2022年3月，获得了2021年度广东省自然科学奖二等奖（项目名称：傅里叶单像素成像理论与方法）。在项目开展期间，共有硕士研究生9人在项目资助下开展科研工作，其中两人已毕业并获得硕士学位，1人获得了国家奖学金。