基于定性空间推理的空间模式发现及机器视觉应用

Generic image primitives can be extracted from the original images, such as interest points and boundary segments. The relationships between these primitives show complex spatial relation pattern, and even imply some important semantic information. However, previous researches always employ relatively simple spatial relation model and cannot effectively find deep and refined spatial pattern, due to various kinds, complexity and mutual constraint of the relationships between primitives. Additionally, the researches on complex shape and structure analysis, complex interaction behavior learning, and complex group behavior learning also involve the task of spatial pattern discovery, and it is still a challenge need be solved. However, these problems are expected to be solved by adequately combining the researches of Qualitative Spatial Reasoning (QSR) and Computer Vision, through our theory analysis and example finding. Therefore, this project will develop further study on Qualitative Spatial Reasoning which aims at improving methods in Computer Vision, including multi-aspect, isomerous and multi-granularity spatial relationship model, refined spatial relationship model, complex structure model, qualitative description of complex interactive trajectories and complex spatial pattern discovery based on QSR. Then we combine these spatial models with the issues of computer vision, such as interest point detection, bag-of-word model and probabilistic graphical model, in order to solve the tasks of image retrieval, image classification and complex behavior recognition under the complex scenes.

图像中可以提取兴趣点(区域)、边界线等图像基元，这些图像基元之间存在较为复杂的空间模式，其中可能隐含了重要的语义信息。然而，由于其空间关系种类繁多、错综复杂，且存在着相互约束，而此前的研究采用较简单的空间关系模型，未能有效发现图像中的深层、细节空间模式。此外，复杂形状和复杂内部结构分析、复杂交互行为与复杂群体行为学习等研究也涉及复杂空间模式发现问题，并且未能很好地解决。通过理论研究与实验发现，将定性空间推理与机器视觉研究有机结合，有望解决该问题。为此，本项目拟在现有定性空间推理研究基础之上，进一步开展针对机器视觉的定性空间推理扩展研究工作，具体包括多元、异构、多粒度、精细空间关系模型，复杂内部结构模型，复杂交互轨迹定性建模，基于空间推理的复杂空间模式发现等。进而与兴趣点检测、词袋模型、概率图模型等机器视觉与模式识别研究相结合，解决复杂场景下的图像检索分类、复杂行为识别等机器视觉难题。

图像基元之间存在较为复杂的空间模式，其中可能隐含了重要的语义信息。然而，由于其空间关系种类繁多、错综复杂，且存在着相互约束，而此前的研究未能有效发现图像中的深层、细节空间模式。针对上述问题，将定性空间推理等人工智能基础理论与深度学习、概率图模型等机器视觉最新技术有机结合，解决复杂场景下的图像检索分类、复杂行为识别等机器视觉难题。具体从下述四个方面开展研究：(A)在面向机器视觉的定性时空关系表示方面，提出了面向局部特征空间关系的空间视觉编码方法、基于局部细节空间关系的纹理描述方法、OPRA方向关系网络的时空推理方法、基于节点与边特征向量的网络表示学习框架、基于颜色空间融合的图像局部二值模式表示方法等新方法；(B)在空间关系相似性度量方面，研究了基于全局与局部形状特征融合的形状识别算法、面向图像分类的局部和显著相似性约束编码、基于语义拓扑关系的用例图检索等；(C)在空间模式发现方面，解决了基于定性时空关系的轨迹行为识别和基于轨迹能量扩散图的组行为识别等问题，并研究了和积网络自动编码器；(D)在机器视觉应用方面, 结合深度学习新方法，研究了基于深度神经网络剪枝的两阶段遥感图像目标检测、基于深度学习和复杂空间关系特征的多尺度遥感图像检索、基于注意力机制和深度学习的遥感图像自然语言生成、基于改进残差网络的园林害虫图像识别等。累计发表标注资助论文29篇，其中SCI期刊论文11篇，EI核心期刊论文21篇，中国计算机学会推荐C类会议等EI检索会议论文8篇，代表性论文发表在Neurocomputing等中科院二区期刊上。授权国家发明专利授权3项，新申请国家发明专利9项。培养博士3人，培养硕士研究生23人，2人获得吉林大学优秀硕士研究生。综上所述，不仅完成了项目申请书的预定目标，而且扩展了部分研究内容。开拓了定性空间推理等人工智能基础理论和深度学习等机器学习新技术有机结合的新思路，在一定程度上推进了人工智能和机器视觉研究的进展。有关成果，在医疗和农业等领域一定应用前景。