基于社会网络的图像语义特征提取与描述方法研究

The gap between high level semantic and low level visual features has become a challenging problem in the research of semantic image retrieval. To ensure the extraction precision and avoid the reduction of efficiency, this project proposes new image semantic extraction and description methods based on social network. In this project, we are focused on the research of extraction, description and matching of image semantic features. Firstly, social network is applied to the process of semantic extraction such that the members in social network can work together to finish the annotation, greatly reducing the workload of single member. We also research on the semantic extraction algorithms based on social media information mining such that social network members can extract the semantic features interactively. Secondly, based on object ontology technique, corresponding data structures are given to describe the image semantics, and the low level visual features and semantics of image will be saved. Finally, corresponding matching and retrieving algorithms are presented for the semantic image data. This project aims at proposing new, effective, systematic methods for image semantic extraction and description, providing a new interactive visual framework for semantic image retrieval. In this project, the advantage of visual cognition mechanism is fully used to improve the effect of pattern recognition.

图像高层语义和低层视觉特征之间存在的鸿沟，是语义图像检索研究中遇到的一大难题。为了能保证图像语义提取的精度，同时避免降低提取的效率，本项目研究一种基于社会网络的图像语义特征提取与描述方法。项目针对图像语义特征的提取、描述和匹配三个问题进行研究：首先，将社会网络引入到图像语义提取过程中，将单个人工需要耗费大量劳动完成的标注工作，交给社会网络上的参与者共同进行，并研究基于社会媒体信息挖掘的语义提取算法，实现社会网络用户交互式的特征提取；其次，基于对象本体技术，设计相应数据结构描述图像语义，并在图像中存储低层特征和语义特征；最后针对新的语义图像数据，设计相应的匹配与检索算法。本项目旨在提出有效、完善的图像语义特征提取和描述方法，为图像语义特征的提取和描述提供新的思路，为语义图像检索提供新的交互式可视化框架，充分利用人类视觉认知机理的优势，提高模式识别的效果。

项目针对图像语义特征的提取、描述和匹配三个问题进行研究，在大数据领域，并将研究对象从图像扩充到了异构的多媒体大数据：首先，将社会网络引入到多媒体语义提取过程中，将单个人工需要耗费大量劳动完成的标注工作，交给社会网络上的参与者共同进行，并研究基于社会媒体信息挖掘的语义提取算法，实现社会网络用户交互式的特征提取；其次，基于对象本体技术，设计相应数据结构描述多媒体语义，并在多媒体中存储低层特征和语义特征；最后针对新的语义多媒体数据，设计相应的匹配与检索算法。本项目提出了有效、完善的多媒体语义特征提取和描述方法，为多媒体语义特征的提取和描述提供新的思路。项目超额完成任务，作为青年基金负责人，三年来，项目录用或发表SCI论文11篇。申请发明专利2项，授权实用新型专利1项。项目总共录用或发表论文(专著章节)22篇。