基于泛化多标记学习的监控视频多粒度表示机理研究

There objectively exist some defects on high volume of transmission, low precision on retrieval and ambiguous description in surveillance video big data. It has become an obstacle to large-scale applications and development on surveillance. Annotating videos with their text labels is an effective way to solve above problems. However, popular annotation algorithms often provide labels and component features dependently regardless of their relevance. Considering the application of massive public security surveillance, this project aims at researching two key scientific problems: multi-level visual features extracting from videos and multiply granularity representation of video contents. The project will systematically and thoroughly study the following four related issues: (1)In order to extract the relevance information between labels and features, the generalized multi-label learning algorithm based on deep learning theory will be designed to annotates multiple labels and extracts their component features in an uniform framework.(2)In order to improve the robustness of object tracking, the co-training scheme will be designed in detection and tracking which could learn the object's trajectory information in videos.(3) In order to reflect the hierarchical characteristic of videos, a new structure named word cluster is defined based on granularity computing theory. The switching mechanism is also defined to compute the similarity among different level in word cluster.(4)The evaluation metric will be studied to testify the effectiveness of above framework and algorithms. Researches on multiple granularity representing model on video content will extend the theories of knowledge representation and inference and promote the space of intelligent applications of video surveillance.

海量视频监控系统存在传输压力大、检索效率低、描述方法不统一等问题，成为制约其进一步应用和发展的瓶颈，将视频转化为文本标记是解决上述问题的有效途径。然而，目前自动视频标注方法中存在标记信息单一、特征信息抽象、结构关系不明等问题。本项目以公安视频监控为背景，围绕解决多层次视频信息提取和多粒度视频内容表示两个关键科学问题，主要研究：1）基于深度网络的泛化多标记分类算法，建立标记和特征一体化学习机制，解决对象和特征难以关联的问题；2）基于协同训练的目标跟踪算法，用以提取对象的动态信息，解决目标跟踪鲁棒性差的问题；3）基于词簇的多粒度视频表示模型，建立不同粒层间的转换机制，解决视频内容表示缺乏层次结构的问题；4）监控视频多粒度表示评价标准，用以评价本项目提出的多粒度表示模型。本项目研究多粒度视频表示模型是对传统知识表示和推理理论和方法的拓展，对提升视频监控的智能化水平具有重要的意义。

本项目针对海量视频监控系统中存在传输压力大、检索效率低、描述方法不统一等问题，以多层次视频特征提取和多粒度视频内容表示为主要研究对象，围绕以下几方面进行了深入的研究：.1) 针对多标记学习算法泛化能力较弱、分类准确率不高等问题，研究了基于多辅助信息的泛化多标记学习算法。通过提取视觉特征、标签共现和用户兴趣向量等多辅助信息对初始标签进行优化，得到更准确的分类结果。.2) 针对单一目标检测算法容易误报、单一目标跟踪算法容易受遮挡、丢帧等外界因素影响等问题，研究了基于协同训练的目标跟踪算法。除了检测模块和跟踪模块外，还设计了综合模块对二者输出进行整合和修正，使得检测算法和跟踪算法相互补充，从而提升了算法的鲁棒性。.3) 针对视频内容表示缺乏对象及其部件结构关系的有效定义，研究渐进式视频目标精细化识别与描述算法。基于多粒度学习和深度学习理论，分析和提取了视频中各对象不同层次的特征。基于粒计算理论和自然语言理解技术，建立视频信息的多粒度表示模型，为多层次视频信息提取提供了有效的理论和方法。.4) 针对监控视频多粒度表示，提出了一套适应多粒度信息度量的评价指标和体系，可以实现对算法的客观评估。针对多粒度视频检索应用，定义了相应的检索模式，使之不仅能检索视频内对象的名称，还能检索各部件的特征信息，从而实现视频内容多粒度检索。.5) 建立了监控视频数据集。一方面，我们采集了大量交通路况视频，通过人工裁剪，获得了包含典型对象（如人、车）和事件的视频片段。另一方面，公安部第三研究所为我们提供了大量路口、银行等监控视频数据。 这些资源为我们开展研究工作做了良好的储备。.另外，课题组在监控视频中人、车、物等目标部件识别与描述方面也开展了大量的研究工作，为后续监控视频目标精细化描述及其可解释性的进一步研究奠定了良好的基础。