基于网络图像的行为定位与识别理论与方法研究

Action localization and recognition refers to temporally and spatially localizing actions in videos and recognizing their type simultaneously, which is central to video understanding. Study on this problem is of theoretical importance and practical value. To address the weakness and the bottleneck of existing algorithms, this project studies action localization and recognition using web images. Our research is built upon the recent achievement of action localization and recognition, theory on learning from web data, deep learning and other related fields. Specifically, our research goals are summarized as follows. We will propose some robust and novel algorithms of action localization and recognition using web images. We will utilize web images to overcome the restraint on algorithm performance brought by the issue of insufficient sample size, and effectively solve the difficult problems of noise data in web images and the different modalities of web images and video data to be processed, enabling the proposed algorithms to deal with complex practical scenarios. The research content of this project includes static feature representation and noise data removal for web images, representation of temporal relationship between web images, spatial and temporal localization of actions and their type recognition, and the application of theoretical results. Research on this project will lead to high quality papers and useful application systems.

行为定位与识别指的是在视频中界定行为发生的时空域并识别行为的类型，是视频理解的重点之一。该问题的研究有着重要的理论和实际应用价值。本项目在行为定位与识别、基于网络数据的学习理论、深度学习等相关研究成果基础上，针对当前已有算法的瓶颈和存在的问题，研究基于网络图像的行为定位与识别的理论和方法。具体而言，本项目的研究目标是：提出若干鲁棒、新的基于网络图像的行为定位与识别算法，利用网络图像克服样本数量不充分对算法性能的制约，有效解决网络图像的数据噪声、网络图像与待识别的视频数据的不同模态性等难点问题，使算法能够应用于复杂的实际场景。本项目的研究内容包括网络图像的静态特征表示与噪声数据剔除、网络图像时序关系的表示、行为时空域的定位与类型识别以及理论算法的实际应用。本项目的研究将产生高水平的论文和有效的实际应用系统。

训练样本数量不充分一直是制约行为识别与定位算法性能提升的重要瓶颈之一。本课题以利用网络图像低成本、有效地扩充训练样本为出发点，针对样本扩充带来的问题特点，主要开展了以下几个方面的研究：（1）研究了样本增广、域适配和域差异消减的相关算法。设计了高效、低成本的基于自监督的样本增广算法，并与端到端的深度模型相融合，提升了模型的泛化性能；针对域适配和域差异消减，设计了基于自监督和对抗学习的算法，从特征对齐、样本风格转换和共同语义空间发现等角度给出了解决方案。（2）研究了特征与度量学习的相关算法。在基于深度学习的方法中，研究了全局与局部特征的结合、区分性局部特征的发掘以及区分性的嵌入子空间学习的模型构造方法和损失函数设计；在基于传统统计学习的方法中，以获得结构保持的嵌入子空间为主要目标，设计了相应的模型和目标函数，并给出了相应的优化求解方法。（3）研究了基于图像和视频的行为识别相关算法。针对基于视频的行为识别，重点研究了静态表观、运动和姿态等不同域的特征提取与融合，在监督或无监督情形下获取高区分性的行为特征表示，在此基础上构建了行为定位和分类模型；针对基于图像的行为识别，设计了面向群体行为识别的人群密度估计算法，提出了融合了多尺度特征和多任务学习的多阶段由粗致细的估计策略。（4）对相关的目标跟踪、图匹配和细粒度图像识别等任务开展了拓展研究，获得了若干有意义的结果。本项目的研究获得了一系列理论成果，是对现有的行为识别与定位、域适配和特征学习等相关问题的研究的延伸和拓展，具有重要的理论价值与现实意义。