监控场景下的长尾分布行为识别方法研究

Because of the difficulty and complexity of real-time filtering for the hundreds of millions of surveillance devices deployed in China, it is urgent to develop automatic action recognition algorithm for video analysis and filtering. However, most existing action recognition methods for surveillance scenarios ignore the problems of lacking adaptive features, too few abnormal samples and slow speed. Based on our previous research on action recognition and few-shot learning, this project proposes the long-tail action recognition problem to meet the requirements of surveillance scenario. From the perspective of spatial-temporal feature, long-tail distribution modeling and algorithm efficiency, we introduce the brain-inspired memory unit, multi-level weight sharing, meta-learning based feature learning, adaptive feature mapping and predictive feature learning and propose a theoretical system of surveillance action recognition to solve the feature, few-shot and efficiency problems of action recognition methods in the surveillance scenario.

我国部署的数以亿计监控设备由于实时过滤难度大、复杂度高，急需研究行为识别方法实现自动分析与过滤。然而，现有行为识别方法在监控场景的应用却忽视了缺乏自适应特征、异常样本少、识别速度慢等问题。本项目拟在课题组行为识别和小样本学习研究成果基础上，结合监控场景实际需求，提出面向长尾分布的行为识别，从时空特征学习、长尾分布建模和视频分析算法效率三个角度入手，引入脑启发的记忆单元、多层次共享权重、基于元学习的特征学习、自适应小样本特征映射和预测特征学习等方法，提出一套面向监控场景行为识别实际应用的理论方法，解决行为识别算法在监控场景应用中的特征、小样本和部署效率问题。

我国部署的数以亿计监控设备对于维护治安、犯罪侦查等现实问题具有重要意义，然而因此导致的巨量视频数据使得快速分析难度大、复杂度高，急需研究行为识别所需底层技术，实现自动分析与过滤。其中，基于神经网络的图像识别、特征提取、关系图分析技术是行为识别最常用的技术之一。现有行为识别方法通常采用二维或三维卷积神经网络对视频帧进行特征提取，进而通过softmax进行类别分类，模型通常缺乏细粒度类别、长尾类别的识别能力，且因网络复杂度高、时域处理复杂，导致模型识别速度慢。针对以上问题，本课题在课题组行为识别、小样本学习、医疗影像分析和图数据分析成果的基础上，从精细特征学习、网络压缩和图数据学习等方面展开研究。具体地，1) 在精细特征学习问题上，首先提出一种由特征嵌入（feature infusion）和特征融合（feature fusion）结构组成的多阶段细粒度特征提取方法，在一组来自真实世界的数据上取得84.5%的准确率，显著优于传统基于卷积神经网络的方法。同时，为了进一步降低未知类别对于识别准确率的影响，提出中心化空间学习方法，通过已知空间初始化、未知空间锚点生成和中心化空间微调三步将已知类别和未知类别分离，实现对于未知类别的自动检测。相关论文发表在国际期刊Journal of Biomedical Informatics（影响因子6.317）、Bioinformatics（影响因子6.937）。2) 在网络压缩问题上，提出一种基于卷积核量化的高效网络压缩机制，通过将网络压缩分解为卷积核压缩和权重压缩，实现高压缩率、低性能损失的压缩效果，在常用的VGG、ResNet网络上实现平均1.05和1.62比特量级的量化压缩效率，相关论文发表在国际期刊IEEE Access（影响因子3.367）。3) 在图数据学习问题上，提出孪生图神经网络，通过消息递送模块以及图核模块从全图视角学习图结构信息，并利用半监督学习实现对于未标注数据的利用，显著提升了图神经网络在多个目标任务的性能，相关论文发表在国际期刊Neural Networks（影响因子9.657）、国际会议NAACL、DASFAA、IJCAI。