基于局部特征和上下文的图像表示模型及目标检测研究

Detecting particular objects with high speed and accuracy is one of the hot issues in computer vision, the main idea is introducing computer learning algorithms into image processing so that targets of input images can be represented and located accurately just as the human visual system does. Image feature representation model is the main determinant of detection performance. Thus, we focus on images’ both local and contextual features to develop the feature representation models and detection algorithms, details of our research are as following: ①Complementary feature abstraction and fusion, fusion feature encoding and local-fusion weighted image representation model building. ②Image widget segmentation for semantic ranges, constructing middle structure by means of hierarchical learning, constructing hierarchical widget matching image feature representation model on basis of reinforcement encoding. ③Objects detecting model learning by use of the following information: relations between targets of the images, relations of targets and contextual signals. ④Target detection model for specific scenario constructing by introduce contextual information into a deep in the model which is based on the common Convoluted Neural Network. The research of our project is of great value, which can be applied in the following fields: intelligent video surveillance, vehicle automatic driving, robot environment perception and human-computer interaction.

快速精确地检测图像中特定目标是计算机视觉领域中的研究热点，其核心思想是结合图像处理技术和机器学习算法，模拟人类视觉器官和大脑，对输入图像中目标进行准确表达和精确定位。其中，图像的特征表示模型决定检测的最终性能与精度。本项目从图像的局部特征和上下文入手，构建基于局部特征的图像表示模型及目标检测算法。研究内容包括：①抽取图像的互补特征并融合，对融合后特征进行编码，构建多局部特征加权融合的图像表示模型；②对图像部件切分形成具有语义的图像区域，利用层次化学习构建中层结构，对层次化部件进行强化编码构建层次化部件匹配的图像特征表示模型；③利用图像中目标与目标、目标与场景的上下文信息，构建融入目标层面上下文信息的目标检测模型；④在基于通用的卷积神经网络的深度模型中引入上下文信息，构建特定场景的目标检测模型。本项目的研究可应用于智能视频监控、车辆自动驾驶、机器人环境感知、人机交互等领域，有重要的研究意义。

目标检测是众多高层视觉处理和分析任务的重要前提，在行为分析、事件检测、场景语义理解等方面具有重要的实用价值和应用前景。为了准确得到目标具体实例的相应类别和相关位置，需要获取能准确刻画和表达目标的信息。为了尽可能使计算机视觉接近人类视觉的语义描述，需要深入挖掘和利用上下文信息，以及考虑图像的多种局部特征进行图像表达对目标检测的影响。基于此，本项目的研究具有重要的理论和实际意义。.本项目基于深度学习框架，针对视觉图像的特征表示、目标检测等问题，深入研究基于局部特征的图像表示模型的理论及目标检测模型。主要研究了以下几个方面的内容。①基于图像局部特征之间存在很强的相关性，研究多局部特征加权融合的图像表示模型，使得多种特征融合后的表示模型更加鲁棒。②研究层次化部件匹配的局部特征图像表示模型，可以捕捉更多的语义部件，将构建起来的图像表示模型融合到基于深度学习的目标检测模型中。③研究如何引入高阶目标对之间的相互关系，改进目标层面以上的局部上下文表示，进一步研究相应的目标检测模型。④研究如何针对不同的特定场景，基于卷积神经网络学习的高层图像表达，进而研究利用这种差异性的上下文表示，实现高精度鲁棒目标检测。.经过四年对本项目的研究，主要获得了以下科研成果：授权软件著作权8项；授权发明专利1项；发表学术论文31篇，其中SCI收录论文9篇；培养硕士研究生9名；晋升高级职称1人；参加国际学术会7次。