基于跨媒体随机点积图模型的网络图像事件分析研究

As an intuitive social media, image carries a large amount of information and intersects, it form dynamic cross-media networks with other network resources in the emerging Internet interactive platform. Event analysis by network images is helpful to reveal the social dynamic organization, predict the action of users and promote network public opinion analysis and monitoring. Therefore, it has become a research hot spot. Cross-media network description, image content analysis and event type detection are the main research problems in our study. The random dot product graph can simulate the large-scale social network and implement the dynamic evolution, which is of great application prospect. This research mainly focuses on event analysis of network images. Specifically, cross-media random dot product graph model is studied for the large image scale and dynamic and transitivity of labels and text information. Image annotation based on cross-media random dot product graph is studied for the sparsity, imbalance and noise problem of network image labels. Event detection of network images based on cross-media random dot product graph is studied for the time and space dynamic evolution of network images events. This research is promising to bring a novel computing model for event analysis of Internet sharing images. Therefore, it is of considerable scientific significance and application prospect.

在新兴的互联网交互平台中，图像作为一种直观的社交媒体承载了大量的信息，并与其他网络资源错综复杂地交汇在一起形成动态的跨媒体网络。借助网络图像进行事件分析可以促进社会动态组织、用户行为挖掘等问题的解决，推动网络舆情分析与监控，因而已成为当前研究热点。描述跨媒体网络，进而分析图像内容，探测事件类型是该课题的主要问题。随机点积图可以模拟大规模社交网络，实现动态演化，具有广泛的应用前景。本项目拟在随机点积图理论基础上，深入研究网络图像事件分析问题。具体针对网络图像规模大，标签与文本信息的动态性与随机性问题，研究构建跨媒体数据的随机点积图模型；针对网络图像标签的稀疏性、不均衡性和噪声等问题，研究基于跨媒体随机点积图的网络图像标注方法；针对网络图像事件的时空动态演化，研究基于跨媒体随机点积图的网络图像事件检测方法。本项目的研究将为网络图像事件分析问题引入一种新的计算模型，具有良好的科学意义和应用前景。

网络图像事件分析是当前网络图像检索与网络舆情分析领域的热点和具有挑战性的课题。然而，传统基于图理论的图像自动标注模型难以满足海量、动态、跨媒体的网络图像分析需求，迫切需要一种随机结构化模型来描述社交网络中不同媒体数据的复杂交互关系。为此，本项目从跨媒体网络分析角度入手，在随机点积图理论基础上，从跨媒体数据的随机点积图模型构建、基于跨媒体随机点积图的网络图像标注、基于跨媒体随机点积图的网络图像事件检测三个方面展开研究。分析了跨媒体网络的高维流形结构，在保持标签一致性的同时提出了网络交叠社群快速检测与标签传播算法，有效提高了随机网络聚类效率；结合非平衡数据分类技术，提出了一系列网络图像标注与标签改善方法，形成了图像标注统一框架；深入研究了正交约束最小二乘回归模型，并探索图像匹配与显著性分析技术进一步提升图像事件识别性能。.本项目自执行以来，在论文发表、人才培养和学术交流等多方面取得了一定的成果，达到了预期的目标。本项目组共发表期刊和国际会议论文14篇，另有2篇已被期刊接收录用。共培养研究生11名，其中2名博士生、4名硕士生已经顺利毕业。项目组成员参加国际会议和出国访学交流共12人次。.