面向空基监视的时空多变场景下表征学习研究

Air-based visual surveillance has recently drawn increasing attention due to its potential applications. It is more challenging compared to traditional computer vision task. The air base demonstrates great spatial-temporal variabilities and with this restriction, the imaging data is typically in low quality and objects of interest are usually too small and has no distinct appearance. Therefore, it demands more advanced representation learning methods, which however are not readily available in existing computer vision tasks. In this project, we introduce attention mechanism in the neural network framework and develop new representation models and learning algorithms. Firstly, we construct a spatial attention network to achieve translation invariant and deep semantic ensemble representations. Second, we establish a temporal attention network to achieve selective representation and soft-attentive aggregation of frames. Lastly, we build a spatial-temporal attention network and kernel approximation network to achieve joint spatial-temporal fusion representation. The algorithms will be validated on representative tasks from air based visual surveillance. Our study will fill several technique gaps in visual surveillance and our algorithms can also be generalized to related visual tasks.

空基监视由于其巨大的应用价值，日益受到广泛关注。与常规的计算机视觉任务相比，空基视觉监视具有特殊挑战性。空基监视场景时空多变，受平台特殊性的限制，影像数据质量较差，感兴趣目标较小，表观特征极其不明显。因而，对视觉表征算法提出的更高要求，现有的面向常规视觉任务的表征算法不能满足需求。本课题针对上述挑战，引入人类视觉注意力机制，结合神经网络端对端的学习框架，提出新的表征模型和学习算法。具体地，首先构建空间注意力机制网络，实现匹配平移不变和深层语义场景图像集成表征；再次，构建异步时序注意力机制网络，实现动态场景时序帧图像的选择稀疏表征和柔性汇聚表征；最后，构建时空联合注意力机制网络和核近似融合网络，实现动态场景时空信息联合表征。算法将在空基监视典型的任务进行实验验证。本课题研究不仅能够填补空基监视时空多变场景下表征学习的研究空白，而且，算法成果能够泛化并应用到相关任务，促进视觉表征学习领域发展。

针对空基监视场景时空多变，影像数据质量较差，感兴趣目标较小，表观特征极其不明显的问题，从多个角度提出解决途径。在注意力机制架构方面，提出利可以充分利用语义和位置信息的注意力信息混合网络；提出基于注意力的时空金字塔网络架构， 通过提取和聚集最具表征性和辨别性的特征来建立动态场景的有效表示；提出基于注意力的多尺度聚合网络，在不同尺度上将注意力机制、卷积模块和最大池化模化、聚合模块联合优化；通过引入了分散化的图形注意力机制，激活对象上的更多像素，提出分散注意网络，实现更加鲁棒的注意力机制；提出一种用于细粒度视觉分类的注意核编码网络。在深度模型表征学习方面，提出基于高斯滤波的深度模型；提出深度表示和运动信息融合的混合网络模型；基于余弦激活函数对网络架构的影响，提出多视角流网络融合表示，提出异构输出回归网络等。针对样本标注不足的情况，即小样本学习任务方面，引入变分贝叶斯推理学习框架，提出元变分随机特征方法以及变分语义记忆单元方法等。项目发表SCI论文总计10篇，包含机器学习和计算机视觉顶级会议在内的会议文章12篇，申请发明专利6项，出版专著1部。