面向大规模城市监控视频检索的语义属性研究

With the development of video surveillance technology and increasing attention on public safety, nowadays surveillance cameras are around everywhere in our cities. On one hand, a large amount of surveillance videos are continuously being generated by the camera network. On the other, video processing techniques are far short of satisfying human expectations. This is especially true in the case of accurate and effective specific object retrieval in large scale urban surveillance videos. Attribute-based object description and retrieval techniques have received more and more attentions as attributes can overcome the semantic gap, and can communicate user's intent effectively to the computer. Attribute-based representation is also low dimensional and can be easily parallelized for large scale datasets. In this project we focus on new theories and methods of attribute-based object retrieval in large scale urban surveillance videos. The city surveillance videos are often characterized by large-scale, multiple viewpoints, measurable, dynamic backgrounds with complex structures, as well as multi-modal and multi-platform. We propose a novel framework for video object attribute modeling using various cues. Firstly, a hierarchical describable visual attribute learning scheme, which combines prior viewpoint information and spatio-temporal information at multiple scales, has been presented. Secondly, a data-driven semantic attribute learning model is derived. Thirdly, through the combination of measurable attributes, distinctive describable attributes at multiple scales and latent semantic attributes, objects are presented as a vector of human-machine understandable attribute elements. The proposed framework can greatly improve the performance of object retrieval in large scale urban surveillance videos.

随着"平安城市"建设的不断深入，监控摄像头已经遍布城市的大街小巷。城市监控网络不断产生着大量的视频数据，如何从这些大规模数据中快速准确地检索用户关心的信息已经成为制约智能监控系统发展和应用的瓶颈问题。 基于语义属性的视觉对象描述与检索方法，可以有效地克服语义鸿沟问题，较准确地将人类的检索意图传达给计算机，同时还具有有效性高、易于并行化等优点，是大规模图像、视频数据集检索研究的新思路。 本项目研究基于语义属性的大规模城市监控视频检索的新理论和新方法，针对城市监控视频大规模、多视角、可量测、复杂动态背景和多模态多配置类型的特点，通过构建引入监控先验信息与时空信息累积的多层次描述性视觉属性模型，推断能够有效地平衡对象的个体区分性、群体相关性、属性可命名性的潜在语义属性，有效地联合量测属性、多层次描述性视觉属性和潜在语义属性描述视频对象，提高面向对象的大规模监控视频检索的性能。

随着我国城市化率的不断提高及“和谐社会”、“平安城市”建设的不断深入，监控摄像头已经遍布城市的大街小巷。城市监控网络不断产生着大量的视频数据，如何从这些大规模数据中快速准确地检索用户关心的信息已经成为制约智能监控系统发展和应用的瓶颈问题。基于语义属性的视觉对象描述与检索方法，可以有效地克服语义鸿沟问题，较准确地将人类的检索意图传达给计算机，同时还具有有效性高、易于并行化等优点，是大规模图像、视频数据集检索研究的新思路。项目开展基于语义属性的大规模城市监控视频检索的新理论和新方法研究，针对城市监控视频大规模、多视角、可量测、复杂动态背景和多模态多配置类型的特点，重点关注视频对象语义描述方法。（一）考虑到视频对象在不同摄像头采集的视频中外观、姿态和运动特性存在很大差别，底层特征描述可能已发生变化，通过构建引入监控先验信息与时空信息累积的多层次描述性视觉属性模型，提取不变的属性描述；（二）属性学习根据先验信息定义属性，需要事先设定属性的数量和属性的语义，或者是通过图像附带的自然语言描述定义属性，需要大量的人工标记样本。然而大规模城市监控网络存在海量的历史观测数据，这些数据没有属性标记。基于数据驱动的思想，采用稀疏因子分析模型推断能够有效平衡对象的个体区分性、群体相关性、属性可命名性的潜在语义属性；（三）监控视频对象的量测属性、多层次描述性视觉属性和潜在语义属性间存在相关性和互补性，准确地推断多个属性间的关系，不仅可以降低对象属性描述的冗余性，还可以改善查询属性结构，提高检索效率和准确性。由于对象的运动或观测视角的不同，视频对象的属性可能发生漏检或强度变化，用于视频对象描述的多个属性间的关系是动态变化的，采用动态贝叶斯网络有效地联合多个属性进行对象描述的动态建模。（四）构建了数据处理和应用验证平台，验证了项目研究方法的有效性。