自然视觉的选择性注意在计算机视觉中的实现

How to fast and accurately mine decision and control relevant information out of massive sensor data is the bottleneck problem in extracting information out of signals by computer vision techniques. To solve the bottleneck problem, this project focuses on investigating the implementation of selective attention of biological vision in computer vision. By modeling and analyzing, the spatial and temporal distribution law of visual attractions and distractions is proposed. Furthermore, the proposed model is applied in object recognition and tracking in complicated scenes. The research is based on saliency map model, and the main work includes: 1) introducing the feedback guiding mechanism in human visual pathway, proposing the computational model of selective attention based on the bottom-up feature information and the up-down task and knowledge information, realizing the spatial positioning of selective attention and improving the completeness and accuracy; 2) investigating the non-uniform temporal distribution mechanism of visual attention, presenting the adaptive selection mechanism of image sampling frequency and resolution, realizing the temporal positioning of visual attention, reducing the computing complexity and improving the storage ability; 3) utilizing the proposed computational model of selective attention to fast extract and accurately recognize the objects in complicated scenes videos. This project will enrich the theoretical research of selective attention, improve objects recognition and tracking in complicated scenes and provide the technical support for the research on robot vision and video analysis etc.

本项目针对计算机视觉在信号到信息提取过程中的瓶颈问题：如何准确、快速地从传感器海量数据中挖掘与决策、控制有关的信息，研究自然视觉选择性注意在计算机视觉中的实现。通过建模分析，揭示注意力的吸引和分散随空间、时间变化的规律，并应用于复杂场景中目标的识别与跟踪。具体研究结合显著性图思想，主要工作有：1）引入人类视觉通路中的反馈指导机制，建立融合自下而上基于图像特征的信息与自上而下基于目标、知识的信息的选择性注意计算模型，实现对注意焦点的空间定位，提高模型的完备性、准确性；2）研究注意力在时间上的非均匀分配机制，建立图像采样频率与分辨率的自适应选择机制，实现对注意焦点的时间定位，提高系统的存储与计算效率；3）利用提出的选择性注意计算模型实现视频序列中目标的快速提取、准确识别。本项目将丰富选择性注意的理论研究，提高复杂场景目标识别与跟踪的技术水平，为机器人视觉、视频分析等研究领域提供技术支撑。

本项目围绕自然视觉的选择性注意在计算机视觉中的实现问题，研究了选择性注意的时空作用机制，建立了融合自下而上基于图像特征的信息与自上而下基于目标、知识的信息的选择性注意计算模型，用以对注意焦点的空间定位；建立了图像采样频率的自适应选择机制，用以对注意焦点的时间定位；提出了多维变尺度栅格图方法进行多源信息的融合与复杂场景环境建模；以智能车为验证平台，将研究成果应用于真实道路交通环境中地面标线、行人、车辆、可行驶区域等目标的识别与跟踪，取得了一定的研究成果。项目组参与研发的军交猛狮智能车完成了郑开大道开放快速路无人驾驶公开测试，两次夺得“中国智能车未来挑战赛”冠军。本项目提供了选择性注意的理论、方法和大量实验数据，提高了复杂场景目标识别与跟踪的技术水平，为机器人视觉、视频分析等研究领域提供了技术支撑。