非结构化复杂环境中的主动视觉感知分析及城市智慧安监应用

Artificial vision becomes an inevitable way for safety supervision in a peaceful city or smart city. Human has over 80 percent knowledge from vision perception, and highly automatic safety supervision also needs the vision technology to know if there are /might be safety events in the environment. This project proposes decision strategies for vision behaviors, called purposive perception. It describes how it is used for modeling and understanding of unknown objects and environments. With theoretical analysis, perception planning can be realized with critical techniques, e.g. biological behavior mechanism, active strategies, vision configuration, spatial viewpoint planning, dynamic sensor configuration, information fusion, model computation, scene understanding, and rapid perception. Here viewpoint planning dynamically decides the sensing parameters for camera selection for robot movement, dynamic sensor configuration automatically adjusts the parameters of the sensor itself according the scene conditions. Rapid perception perceives the environmental information in runtime. The perception planning makes the visual behaviors of the active and purposive system. It also includes intelligent video analytics, robotics, unmanned vehicle behaviors, unconstructed scene feature analysis, crowd evacuation, agent-based planning, task-driven control, and implementation and applications of city supervision.

智能化视觉计算已经成为城市安监的一种必然选择，是“智慧城市”和“平安城市”的关键方法，就象人类平均80%以上的感知来自视觉，高度智能化的城市安监需要通过视觉方式感知环境中存在或者发生的安全事件。本项目通过发现生物行为原理和主动感知机理，研究视觉感知策略，使系统在复杂任务中自觉进行视觉配置和资源调度，实时获取场景视觉信息并进行融合，利用模型进行表达计算，对场景内容进行分析和理解，现场解决不确定性问题和自主对待未知环境，通过行动策略和空间布局方法使机器有目的地高效地完成特定视觉任务。研究内容包括智能视频分析、个体和群体活动的行为特征分析、基于生物自组织模型的群体现象分析、时空线索分析、机器人和无飞机行为决策、有目的的场景结构信息获取、非结构化场景特征分析、增量式场景信息融合、调度与疏导、多视点决策、视觉约束分析、多源异构视觉协同、任务驱动的行为控制等他，并进行多个城市安监工程应用尝试。

本项目主要研究视觉感知分析以及在城市智慧安监中的应用问题。本项目研究期间，对非结构化复杂环境中的主动视觉感知分析相关问题开展了较深入系统地研究，取得了较多的突破性进展和成果：大场景环境复杂空地机器人协同构建环境地图，语义SLAM技术提高定位与建图的精度和鲁棒性；基于飞行时间测距（TOF）的高精度、高分辨率三维数据获取；运动环境中基于并行分层关键帧筛选，提出了一种快速且鲁棒的关键帧筛选方法提升了效率及鲁棒性；结合关键帧筛选、SFM三维重建，对室内外场景三维重建，提升了三维重建的精度；提出了事件驱动的双目深度估计方法；针对对象的检测和定位任务，引入三维深度信息来克服单独使用彩色信息的对象检测方法的不足；利用时空联合数据为视觉感知分析和城市安监应用提供更多可利用的信息；三维模型的拓扑结构、特性理解、匹配检索等方面内容展开深入研究，建立了一套结构语义特征提取机制，完成三维模型从低层次几何数据到高层语义知识表示的自动转换，使三维模型检索和重用在结构语义知识提取机制下形成统一框架；在实际城市智慧安监应用中，需要对出现在不同监控设备（如固定监控相机、移动的无人机等）中的相同的车辆或者行人进行再识别。