基于共生信息的网络舆情图片多模态融合分类方法研究

Common image classification models are difficultly to be directly applied to the analysis of network public opinion information at present, because of its characteristics such as the sparse feature, fragmentary information, huge noise, and the difficulty to mark the image samples. The topics proposed network image "symbiotic Information" and "cultural fingerprint" concept, and to study the feature representation and feature fusion, attempted to build the network public opinion image cultural model, and mining and analyze its social media network information, exploratory research the mapping relationship between its information feature space and image feature space, finally, proposed the network public opinion image "multimodel fusion & multidata synergies" classification model based on transfer learning and deep learning, and study the fast classification learning algorithm suitable for large-scale network public opinion data based on mature text and image classification techniques, to solve the image classification problem with very few marked training image sample in network public opinion analysis. This project can be applied directly to the network public opinion analysis and its development trend forecast, and support to the basic data for building "the public opinion network ", and provide a good reference for other areas of data mining.

由于网络舆情数据的特征稀疏、信息零碎、噪声巨大、图片标注困难等特点，目前常见的图片分类模型很难直接应用于网络舆情信息的分析中。本课题提出了网络图片"共生信息（Symbiotic Information）"和"文化指纹（Cultural Fingerprint）"的概念，研究其特征表示与特征融合，并尝试性构建网络舆情图片文化模型库，同时挖掘和分析网络舆情图片的社交媒体网络信息，探索性地研究其信息特征空间与图像特征空间的映射关系，最后在迁移学习和深度学习的基础上提出"多模态融合、多信息协同"的网络舆情图片分类模型，结合成熟的图像文本分类技术，研究适用于大规模网络舆情数据的快速分类学习算法，以解决网络舆情分析中带标注的训练图片样例数量极少情况下的图片分类问题。 本课题可以直接应用于网络舆情分析及其发展态势预测，并为"舆情网络"的构建提供基础数据支撑，同时对其他领域的信息挖掘有良好的借鉴作用。

由于网络舆情数据的特征稀疏、信息零碎、噪声巨大、图片标注困难等特点，目前常见的图片分类模型很难直接应用于网络舆情信息的分析中。本课题提出了网络图片“共生信息（Symbiotic Information）”和“文化指纹（Cultural Fingerprint）”的概念，研究了其特征表示与特征融合，并尝试性构建了网络舆情图片文化模型库，同时挖掘和分析了网络舆情图片的社交媒体网络信息，探索性地研究了其信息特征空间与图像特征空间的映射关系，最后在迁移学习和深度学习的基础上提出了“多模态融合、多信息协同”的网络舆情图片分类模型，结合成熟的图像文本分类技术，研究了适用于大规模网络舆情数据的快速分类学习算法，以解决网络舆情分析中带标注的训练图片样例数量极少情况下的图片分类问题。.在项目研究过程中，一共爬取了各种网络图片近十万幅，对其中6千多幅典型网络舆情图片进行了类别标注，构建了文化指纹案例库129例和文化模型图片库1200多幅。.本课题可以直接应用于网络舆情分析及其发展态势预测，并为“舆情网络”的构建提供基础数据支撑，同时对其他领域的信息挖掘有良好的借鉴作用。