复杂环境下交通视频分析的若干关键技术研究

Intelligent video analysis is an important technology used for automatically acquiring valuable information from massive videos. Since the traffic environment has a high level of complexity, including the alternation of day and night, illumination changes, adverse weather, and object occlusion, many existing video analysis methods have a lack of robustness when applied. In this project, we will study several key techniques of traffic video analysis in complex environments. First, we improve the virtual-loop vehicle detection technique from the point of environment self-adaptation. In order to enhance the adaptability of this technique when confronted with complex environments, we extract multiple image features with strong descriptive abilities and use the semi-supervised learning mechanism for online optimization of the pattern classifier. Then, we study the region-level object tracking technique by using dynamic conditional random fields. We jointly model the foreground labeling task and the object labeling task with a single probabilistic graphical model, and fuse multiple image features and context information to achieve joint foreground segmentation and object tracking. Finally, we combine the size and color characteristics of objects to design an effective approach to taxi recognition. We build a cascade classifier which is composed of a discriminant function for the size characteristics and a k-nearest neighbor classifier for the color characteristics, and integrate the semi-supervised learning mechanism into the k-nearest neighbor classifier. Through research on these basic key techniques, this project will help to enhance the accuracy and robustness of the traffic video analysis technology in complex environments.

智能视频分析是从海量视频中自动获取有价值信息的重要技术。由于交通环境具有极高的复杂性，表现在昼夜更替、光照变化、不良天气、目标遮挡等方面，许多已有的视频分析方法在应用时缺乏鲁棒性。本项目将研究复杂环境下交通视频分析的若干关键技术：首先从环境自适应的角度改进虚拟线圈车辆检测技术，通过提取多种强表征能力的图像特征，并利用半监督学习机制在线优化模式分类器，提高该技术对复杂环境的自适应能力；然后利用动态条件随机场模型研究区域层面的目标跟踪，用单个概率图模型联合建模前景标记和目标标记任务，融合利用图像多特征和上下文信息，实现联合的前景分割和目标跟踪；最后结合目标的尺寸和颜色特征，构建级联分类器--包括尺寸特征的判别函数和颜色特征的k近邻分类器，并将半监督学习机制融入k近邻分类器，将提供一种有效的出租车识别方法。本项目通过研究上述基础性关键技术，有利于提高交通视频分析技术在复杂环境下的精度和鲁棒性。

智能视频分析是从海量视频中自动获取有价值信息的重要技术。由于交通环境具有极高的复杂性，表现在昼夜更替、光照变化、不良天气、目标遮挡等方面，许多已有的视频分析方法在应用时缺乏鲁棒性。本项目研究了复杂环境下交通视频分析的若干关键技术，包括虚拟线圈车辆检测、目标跟踪、出租车识别等。研究内容1是从环境自适应的角度改进虚拟线圈车辆检测技术。首先提取多种强表征能力的图像特征，然后构建模糊神经网络，并利用半监督学习机制在线优化模式分类器，提高该技术对复杂环境的自适应能力。在复杂环境下的实验结果表明，就判别每一时刻虚拟线圈上是否存在车辆来说，提出的自适应模糊神经网络的判别精度高于随机森林、SVM等监督学习方法；车辆计数平均错误率为6.36%。研究内容2是建立基于动态条件随机场的目标区域跟踪方法。考虑前景分割和目标区域跟踪的相关性，用单个概率图模型联合建模前景标记和目标标记任务，融合自底向上和自顶向下线索，提高目标区域跟踪的精度。提出了一种基于动态耦合条件随机场的目标区域跟踪方法，目标的像素标记结果为：平均精度为93.1%，平均召回率为87.2%，平均F度量为89.7%。为了改善从观测到前景分割的模型，提出了M4CD前景分割方法。利用著名的changedetection.net公共测试集进行实验，在36种方法中（大多为2014年以来的方法），M4CD综合排名第6。研究内容3是建立一种有效的出租车识别方法。我们利用卷积神经网络，将车辆检测与分类相耦合，从图像中直接检测小汽车、出租车和公共汽车，获得比R-CNN更好的性能。为了获得车辆相关的更多细节，我们还提出了一种基于动态贝叶斯网络的车辆分类方法和一种基于极值区域和受限玻尔兹曼机的车牌识别方法。通过本项目研究，增加了对复杂环境下交通视频分析问题的理解，提出了若干可行的解决方案，发表了12篇高水平论文，申请了3项发明专利。我们还进一步提出了平行视觉的概念、框架和关键技术，希望借助虚拟现实技术，通过虚实互动，对视觉算法进行全面充分的设计与评估。