针对无人车弱特征小物体检测的深度神经网络要素关联调制机制研究

Tiny object detection is a kind of challenging problem for the autonomous vehicle because of its low-pixel ratio, simplicity, and poor image quality. Previous research done by our team showed that by mimicking the human visual cognition process, the tiny object detection accuracy and speed can be improved a lot. We integrated the vanishing point positions into our detection model which is similar to humans seeing a far-range road object. In this project, we go one step further and aim to build an interpretable deep neural network (DNN) for the tiny object detection. To achieve this, we identify 2 scientific problems: (1) modeling the information extraction, networking, and transmission beyond time and space, (2) new modulation mechanism in DNN model. We analyze the intrinsic differences between the human visual system and DNN model. Based on the analysis result, we build the key-feature graph model (KFG) to mimic the visual information processing mechanism. The KFG model is further acting as the medium of the information flow, and as a new information transmission channel of the DNN model. Finally, we will conduct experiments to analyze the impact of KFG model on the ROI (region of interest) generation and feature enhancing. We expect to reveal the new modulation mechanism with the combination of the KFG and DNN model, which could be helpful in tracing the root of the intrinsic differences between the human visual system and DNN model.

无人车弱特征小物体检测因物体像素占比小、特征简单、成像质量差的特点，一直是极具挑战性的科学问题。项目组前期通过模仿人类视觉系统检测路面小物体的认知过程，用消失点来定位兴趣区域，能提高深度神经网络在小物体检测上的精度。受人类视觉信息处理通路反馈与调制功能启示，本项目致力于构建可解释、具有调制功能的深度神经网络，拟解决以下2个科学问题：（1）突破时空约束的信息提取、关联、传递过程建模；（2）深度神经网络新型调制机制。首先，分层次解析人类视觉系统与深度神经网络在小物体检测中的认知差异，对人类视觉系统信息处理过程做等效模拟，构建要素关联图模型；其次，以要素关联图为信息流载体,建立深度神经网络模型对外连接新通路；最后，通过实验对比分析信息流对深度神经网络感兴趣区域生成和特征增强的作用，期望探明要素关联图模型下深度神经网络调制新机制，为揭示深度神经网络与视觉系统的认知差异性根源提供新思路。

可靠的远距离小物体检测是高速行驶无人车辆及时避免危险的关键，如果车辆能在远距离准确的检测到潜在的危险小物体，将大幅降低交通事故的发生率和死亡率。本项目开展基于要素关联图模型的深度神经网络调制机制研究及小物体检测新方法，从数据集构建、深度学习模型设计、深度学习理论研究等方面开展弱特征小物体的检测识别技术研究。本项目的主要研究内容及取得的重要成果包括：1）研究了弱特征小物体检测的国内外研究现状，提出了弱特征小物体检测算法进展综述；2）研究了基于消失点引导的融合场景信息小物体检测算法，提出了针对交通场景的大规模小物体检测数据集，取得了广泛的实际应用；3）研究了小物体分割算法与人类视觉系统的联系，提出了基于上下文感知的道路场景小物体分割算法，在自采集和通用CityScapes小物体语义分割数据集测试实验上，所提出的方法在mIoU准确率分别达到93.22%和79.58%，均优于其他baseline方法；4）研究了小物体检测模型的轻量化部署问题，提出了基于多尺度的二维激光雷达小物体轻量化检测，相比传统方法能提升检测速度；5）研究了二维激光雷达下如何更好的利用传感器特征提取上下文信息，提出了基于关键点的小物体检测算法，相比级联金字塔RCNN，我们的方法实现了10%的改进；6）研究了拓展小物体数据集的多模态特性，提出了利用仿生时间相机为数据模态之一，提高小物体数据在时间-空间维度的表征能力；7）研究了在域偏移和标签偏移情况下实现源域到目标域的知识转移，提出了基于原型的开放集域自适应目标识别算法，在相关数据集的实验结果均优于所有的基准方法。. 在项目支持下在包括IEEE T-Cyber等重要期刊发表SCI/EI会议论文8篇；申请发明专利5项，软件著作权1项；培养博士生5名，硕士生6名。本项目从数据集构建、模型设计、理论研究等方面对弱特征小物体的检测识别开展了广泛的研究，建立“知识与经验”到“深度神经网络模型”的新型信息流传递通路，为弱特征小物体检测提供新方法。研究成果对于提高远距离小物体检测准确率和无人车行驶安全性提供了重要的数据支撑和技术参考，同时建立了一种数据驱动和知识驱动共存的学习方式，为解决计算机视觉中同类型问题提供了新思路。