面向监控的主动视觉研究

Active vision has a large potential in visual surveillance applications. In this project, we will deeply study the problem of active vision for visual surveillance, including feature extraction and matching, object segmentation and tracking under active vision, depth computing and scene understanding. It aims to establish a method for robust and effective feature description, and take advantage of various constraints and prior knowledge from active vision system, in order to gain a better performance of scene surveillance and object analysis. This project will result in self-dependent intellectual property and can be applied in different areas or fields.

主动视觉在视觉监控中有着巨大的应用潜力。本项目将深入研究面向监控的主动视觉，研究内容包括稳定高效的特征提取与匹配、主动视觉下的目标分离与跟踪、深度计算与场景理解等，希望在建立更为稳定和有效的特征描述方法的同时，充分利用主动视觉系统中各种约束信息和先验知识，提高场景监控和目标分析的性能。本项目将产生具有自主知识产权的成果，可以广泛应用到机场、车站、道路、银行、商业区、社区、监狱等各类安全监控和交通监控中，还能够推广应用到智能会议室、智能家庭等领域。

主动视觉在安全监控、机器人等领域有着广泛的应用。现有主动视觉方法主要研究视觉反馈机理、摄像机控制和调度等问题，对特征提取、特征匹配、立体视觉、场景理解、运动跟踪等关键问题则研究不足。本项目面向监控和机器人的需求，在稳定高效的特征描述、深度计算与场景分析、目标跟踪等方面取得较大进展。在高效特征提取和匹配方面，建立了二值特征学习的相关框架，针对人脸识别和图像检索等应用提出了多种二值特征学习算法，在获得的紧致特征同时具有高描述力和高泛化性；通过提出深度的迁移的度量学习方法来学习分层的非线性变换，把来自源域的判别信息迁移到目标域中，比较理想地解决了跨域视觉识别问题。在深度计算与场景分析方面，分析了滑动和运动相机的成像规律，提出了滑动相机近似直线运动时的相机位姿估计算法和快速像素级帧选择算法，可在较低运算复杂度下实现深度计算的高精度；提出了基于物体配置信息的场景和物体识别方法，可有效分析场景中组成物体的统计信息，选取具有判别性信息的组成物体，对其特征建模表达。在目标跟踪方面，针对单目标跟踪，提出深度强化学习指导的基于连续移动的视觉跟踪方法和基于深度对抗迁移网络的视觉跟踪方法，大幅提升在目标物体快速移动或者形变时的性能，使用迁移后的大量样本来消除负迁移现象；针对多目标跟踪，提出基于深度增强学习的多目标跟踪方法，改善现有的多目标跟踪技术存在的易受到遮挡、漏检测、误检测影响的问题。项目发表（录用）论文28篇，其中国际期刊论文19篇（包括顶级期刊TPAMI长文5篇、TIP长文8篇）、国际会议12篇（CVPR 3篇、 ICCV 3篇、NIPS 1篇、ECCV 3篇）。相关成果获2018年ICME白金最佳论文奖，2项专利和1项软件著作权转让给人工智能著名企业地平线公司。