基于人类视觉自然搜索和注意认知机制的行车环境交通标识检测跟踪与识别

Concerned with the critical theory and technical problems needed to be solved in the field of unmanned vehicle, we will study the traffic sign detection, tracking and recognition in a driving environment based on the driver-vison natural search and attention cognizance mechanism in this project. It has the following aspects: (1) Getting inspiration from the human visual perception and cognitive mechanism, we build a car-mounted vision system with multiple sight information fusion, which mimic the driver's visual perception characteristics for traffic signs; (2) Present a visual search and cognitive strategy and algorithm based on the fusion of far-range and close-range cameras, and we can get multi-resolution visual recognition results. The far-range camera which is constructed in a single-camara stereovison structure is used for the saliency jump calculation of the traffic sign focus, and the close-range one is used for the jumped traffic sign focus recognition; (3) Propose a new rapid saliency visual attention calculation model with driving tendency. In order to get the attention focus and saliency order of the traffic sign, we study the multi-resolution saliency attention calculation strategy that combines the bottom-up(data driving) and top-down (task driving)calculation processes, and the top-down presents the driver attention tendency; (4) Study a rapidly dynamic traffic sign tracking and segmentation algorithm in a driving situation based on adaptive devided-part of shape contour and adaptive devided-block of color(grey) distribution features,which is used to track the traffic signs and get the integral traffic sign rapidly in a moving car; (5) Research motion deblurring and normalized deformation correction algorithms for moving images, and a multilayer perceptron (MLP) neural network classifier based on the key points SIFT features to be used to recognise correctly the traffic signs. All these are tested in an unmanned car（or robot） in the driving environment.

针对无人驾驶车辆迫切需要解决的关键理论和技术问题，研究基于人类视觉自然搜索和注意认知机制的行车环境下交通标识检测跟踪与识别。包括：从人类视觉感知特点和认知机理出发，构建符合驾驶员交通标识认知特点的多视点信息融合车载视觉系统；研究基于远景和近景摄像机的组合视觉搜寻认知策略和算法，实现多分辨率视觉认知过程，远景摄像机采用单目立体视觉结构，用于标识焦点的显著性跳出计算，近景摄像机用于跳出标识焦点识别；构建具有驾驶倾向性的新型显著性视觉注意快速计算模型，研究数据和任务双向驱动的多分辨率标识显著性注意力计算策略，获取带驾驶倾向性的交通标识焦点和显著性顺序；研究基于自适应分段形状边界特征和分块颜色（灰度）分布特征的交通标识动态跟踪和完整标识分割算法，实现标识快速跟踪；研究运动图像模糊复原和归一化变形校正方法，以及基于关键点SIFT特征的感知器神经网络标识识别分类器；在车辆行车测试环境中进行实验验证。

本课题根据人类的视觉感知特点和认知机理，研究了动态行车环境下基于人类视觉自然搜索和注意认知机制的交通标识检测跟踪与识别方法。主要完成的研究内容包括：1）构建了符合驾驶员交通标识认知特点的多视点信息融合车载视觉系统，研究了动态行车环境下基于远景摄像机和近景摄像机的组合视觉多分辨率搜寻认知策略和算法。远景摄像机场景大，用于完成较大场景下视觉注意力焦点--显著性交通标识的快速跳出计算；近景摄像机场景相对小，但目标的分辨率高，用于完成已跳出交通标识焦点的认知与识别；2）构建了具有驾驶倾向性的新型显著性视觉注意快速计算模型，研究了数据和任务双向驱动的多分辨率显著性焦点快速计算方法和跳出策略。计算模型的输入来自远景摄像机图像数据和倾向性表达，输出是综合反映各分量特征的显著性映射（Saliency Map）和注意力焦点的转移过程；3）研究了基于自适应分段形状边界特征和自适应分块颜色（灰度）分布特征的交通标识动态跟踪和分割提取算法，实现了动态行车环境下交通标识的快速跟踪和完整交通标识的定位分割；4）研究了运动图像模糊复原和归一化变形校正方法，在图像模糊复原和校正的基础上，研究了交通标志的识别分类器，提出了交通标志检测与识别的分流级联结构，实现了行车环境下交通标识的快速识别；5）在无人驾驶轮式机器人行车测试环境中进行了实验验证。在理论、算法研究的基础上，形成了一套视觉感知硬件平台和软件系统，在无人轮式机器人及行车测试环境中进行了实验验证，证明了所提方法的有效性。. 通过课题组人员的努力，圆满完成了计划任务书中的各项研究目标、任务和要求，在《IEEE Trans. on Intelligent Transportation Systems》、《Robotica》等学术刊物和会议上发表学术论文40篇，其中SCI收录11篇，EI收录34篇；授权发明专利1件，申请受理发明专利5件；培养博士研究生4名，硕士研究生11名，参加重要国际学术会议12人次，邀请国际知名教授到实验室作学术报告和进行学术交流5人次。