基于多模态大数据的复杂环境动态目标检测方法研究

Object detection is an important research content of information perception. The characteristics of dynamic objects in complex environment vary greatly at different times. How to detect objects through sensor data always faces the problem of poor robustness and consistency. Based on the actual needs and technical difficulties, this project proposes a dynamic object detection method for multi-modal big data, which integrates deep perception and data features. Firstly, based on the cognitive attention, a denoising algorithm is proposed to enhance the anti-interference ability of multi-modal large data, and information fusion is carried out according to the consistency of the target in heterogeneous data and time space. Secondly, based on deep learning and topological representation, the data features and semantic information of the detected object are processed to form multi-level collaborative scene interpretation and object localization.And then,an adaptive parameter identification and modified tracking model for dynamic detection is built based on object clues. Finally, the method of dynamic object detection in complex environment is validated based on intelligent mobile platform. This project can solve the problem of heterogeneous fusion of multi-modal big data, information redundancy and noise in typical environment, improve the effect of dynamic object detection, and has clear theoretical innovation and application prospects.

目标检测是信息感知的重要研究内容。复杂环境中的动态目标在不同时刻的特征差异性大，如何通过传感器数据来进行目标检测一直存在鲁棒性差，一致性难等问题。本项目立足于实际需求和技术难点，面向多模态大数据，提出了一种融合深度认知和数据特征的动态目标检测方法。首先，基于认知注意特性，提出增强多模态大数据抗干扰能力的降噪算法，根据目标在异构数据空间和时间上的一致性进行信息融合；其次，基于深度学习和拓扑表征方法，对检测对象的数据特征和语义信息，形成多层协作的场景解释和目标定位；然后，根据目标线索构建动态检测的自适应参数辨识和修正跟踪模型；最终，基于智能移动平台对复杂环境下动态目标进行检测方法的验证。本项目能够解决典型环境下多模态大数据的异构融合问题以及信息冗余和噪声问题，提高动态目标检测效果，具有明确的理论创新和应用前景。

本项目开展了基于多模态大数据的复杂环境动态目标检测方法研究，主要研究成果包括：1）构建了可见光，红外光，激光雷达多模态数据库。对主要场景和动态目标进行同步数据采集，并进行人工标注，补充了现有数据集在场景多样性以及标注方面的不足。2）研究了基于视觉认知的数据降噪和显著目标检测方法。受视觉神经信号处理方法的启发，从有效编码的稀疏响应一致性去相关，以及计算全局对比度两个通道来消除数据噪声，提高显著目标检测的准确性。3）研究了可见光和红外融合检测算法。设计了一种双模态融合网络，采用双分支结构，通过语义损失和内容损失来共同优化网络，融合后的目标检测效果得到较大提高。4）研究了可见光和激光雷达数据融合目标检测的算法。提出了一种基于二维检测驱动的三维激光雷达目标检测算法，通过三维柱体概念将点云数据转换成俯视伪图，结合特定目标物体的特征进行融合检测，降低计算成本，提高三维目标检测的效率。5）提出了一种基于目标检测和跟踪联合的方法。基于交通环境中车辆的形状对称，投影等特征，结合跟踪时间因子提出了基于特征的车辆目标快速检测定位和跟踪切换方法，提高动态检测定位的效率。6）构建了相应的实验平台，验证算法的有效性。在IEEE Sensors Journal, ISA Transactions等期刊发表SCI论文5篇，在中文核心期刊发表论文2篇，发表会议论文1篇，申请发明专利2项，在审SCI论文1篇。