面向复杂图像序列的光流运动估算模型及其在安全监控中的应用

Optical flow, as one of the main tools for motion estimation, has been successfully applied to Mars exploration, unmanned aerial vehicle, bio-image registration, video compression etc. Although optical flow techniques have been widely employed in video surveillance, they are challenged by factors such as noise, lighting changes, human motion, deformation and occlusion. Unfortunately, these factors are frequent in real-world video. Thus optical flow computation can only provide coarse information for video surveillance tasks. In this project, we first quantitatively analyze the effectiveness of state-of-the-art optical flow techniques in action recognition, pose estimation and pedestrian detection tasks, to learn the practical principles on modeling flow computation for video surveillance. Based on these principles, we investigate robust flow recovery by strategies as follows. 1) We investigate a fast method that compares the rank of the spatial structure tensor matrix and spatial-temporal structure tensor matrix. By incorporating it into Pb boundary detection, we detect the presence of motion boundaries and key points. This information is further embedded into the flow computation model, to preserve motion boundaries sharply in the flow field recovered. 2) We utilize Frenet frame and rotational invariants to construct a flow model that accurately estimates articulated motion under deformation and lighting changes. 3) We investigate new confidence measures for flow vectors, based on which, we design an asymmetric non-local optical flow smoothness constraint to regulate error-prone flow vectors by reliable flow vectors. This research is promising to achieve accurate and robust motion estimation for smart video applications.

光流技术，作为视频运动估算的主要工具，已被成功应用于火星探测、无人驾驶、生物图像配准、视频压缩等领域。尽管在视频安全监控课题中被广泛使用，现有的光流技术对监控视频的高噪声、光照突变、人物运动、变形及运动遮挡等因素敏感，计算精确度尚有待提高。本课题首先在动作识别、姿态估计、行人检测任务框架中定量分析主流光流技术，明确安全监控对光流计算的实际要求。基于此，设计抗干扰的光流模型，包括：1）结合Pb边界检测算法，通过快速判别空间与时-空梯度张量矩阵秩数的关系，提取图像序列的遮挡及纹理信息，并将其嵌入光流模型，清晰还原运动边界；2）运用微分几何的Frenet标架及旋转不变量理论，建立适用于估算光照变化下、快速铰接式运动及仿射形变的光流模型；3）研究光流可靠性度量方法，构造新型非对称非局部光滑约束方程，用可靠光流向量约束不稳定光流向量，获得鲁棒的光流场。研究结果有望为监控系统智能化提供关键技术支撑。

智能视频安全监控及自动驾驶等任务都需要计算设备能够快速地分析视频数据，并形成准确判断。其主要分析对象是视频中的运动，而视频运动估算的主流方法之一是光学流动（optical flow, 简称光流）技术。由于监控及驾驶视频通常具有低分辨率，高噪声，亮度变化不定等特点，这些因素对光流运动估算造成严重干扰，进而将导致智能视频分析决策失误。本项目一方面研究视频信息还原问题，提升视频数据质量；一方面研究稳健的光流计算模型。针对监控视频传感设备因使用彩色滤波阵列而造成的信息缺失问题，项目组巧妙利用逻辑函数替代复杂边缘提取步骤，经大量试验并与28种重要同类方法比较，计算速度提高几十倍；使用多核多线程并行卷积神经网络，提出了低能耗高质量的彩色滤波阵列复原方法，取得了优于已有方法的精度及速度；针对监控视频低分辨率及雾霾模糊问题，项目组基于机器回归学习算法，挖掘图像通道内及通道间相关性，提取视频数据关键信号信息，解决光流计算视频预处理问题。在光流运动估算模型设计方面，针对非监督计算模型，提出了新的彩色视频图像帧间对齐变换（warp）技术，更准确地描述光流计算数据约束条件，形成更精确的目标泛函；从贝叶斯变分推理的角度构建目标泛函，提高光流场计算的精度及稳定性；在数据驱动监督学习方面，提出了多阶段深度卷积神经网络模型，联合光流计算、运动分割及动作识别，构建多任务目标泛函，同时完成视频的初中高级视觉信息提取。项目理论研究及实验结果发表多篇高级别论文，其中包括顶级期刊论文IEEE Transactions on Image Processing及顶级会议论文International Conference on Joint Artificial Intelligence. 项目研究被实际应用于视频行人检测及自动驾驶交通信号识别，已取得实质性进展。