基于概率图模型的海量可视媒体协同理解与推荐研究

The billions of visual media in large scale photo collections offer both exciting opportunities and significant challenges for computer vision and for the area of visual media understanding and recommendation in particular. The huge amount and the complex relationship make the large scale visual media understanding and recommendation becomes a worldwide challenging task. It is hard to manage the large scale visual media effectively. Meanwhile, it is also hard for the internet users to obtain helpful visual media. Visual media understanding and recommendation is an important way to handle the above problems. Therefore, in this proposal, we consider the visual media understanding and recommendation problems based on probabilistic graphical model (PGM). Firstly, the visual features, user relationship and semantic concept are represented in the fusion feature space. The automatic construction and fast reasoning method for the fusion feature space is proposed based the probabilistic graphical model. Secondly, the proposed method is utilized to analyze the visual media with the incidence relationship and reasoning the visual media without the incidence relationship. After that, an abundant collaborative semantic association network for visual media is obtained. Finally, the collaborative semantic association network of visual media is utilized to recommend personalized visual media for users. We conduct experiments on the visual media of landmark and cloth to demonstrate the effectiveness of our proposed method.

随着互联网可视媒体数据呈爆炸性增长，海量可视媒体数据的理解与推荐成为国际难题。信息"多"又"杂"是互联网可视媒体资源的特色，用户很难找到所需的可视媒体信息，可视媒体理解与推荐是解决该问题的重要途径，因此，我们选择基于概率图模型的海量可视媒体理解与推荐理论和方法研究。首先，针对海量异构的互联网可视媒体信息，借助概率图模型理论和超网络结构方法，研究可视媒体、用户关系网和相关文字语义概念在融合特征空间中的网络化表示，提出可视媒体对象协同语义关联网的自动构建和快速推理方法；其次，依据协同语义关联网和概率图模型理论，研究对存在关联关系的互联网可视媒体数据理解算法，以及推演到不存在关联关系的可视媒体数据的算法，丰富协同语义关联网；最后，从协同语义关联网中，研究抽离针对用户的个性化子关联网方法，实现对用户的可视媒体个性化推荐，并在国际通用的地标建筑和服装多媒体数据库中验证项目研究成果的正确性、有效性。

为了解决互联网中可视媒体数据爆炸性增长带来的海量可视媒体数据的理解与推荐的国际难题，我们选择使用基于概率图模型的海量可视媒体理解与推荐理论研究来寻求其中问题的理论支撑。. 针对来自互联网的可视媒体信息，我们分别从三个方面构建关联关系网络：可视媒体视觉关联网、用户真实关系网和语义概念网。我们提出利用可视媒体的底层视觉特征，描述可视媒体之间的关联关系，构建可视媒体视觉关联网；针对现有的互联网用户关系（好友关系、关注关系等），以有向图的方式，提出队用户网络虚拟关系进行描述，构建互联网虚拟关系网，并利用互联网虚拟关系网，推断用户在真实世界中的社会关系，构建用户真实关系网的方法；利用自然语言处理基础，对可视媒体相关的文字信息（包括标注信息、评论留言、百科内容以及其他相关文献）进行分析，提取其中的语义概念，提出构建可视媒体语义概念网方法。. 利用已有的协同语义关联网，对互联网上其他的看似独立存在的可视媒体及其相关数据进行理解和分析，利用多模态可视媒体特征的语义相关性度量方法和协同语义关联网自动推理方法，将这些数据融入到协同语义关联网中，以丰富协同语义关联网络，并依此进行更广阔范围的可视媒体数据的理解与分析，直到将现有的可视媒体数据都包括在协同语义关联网络中为止。在上部分的研究中，利用已有的包含关联关系的数据，研究获得了可视媒体协同语义关联网的自动构建和推理方法。在本部分，可以依据可视媒体协同语义关联网的自动构建方法，获得可视媒体协同语义关联网的雏形，并利用可视媒体协同语义关联网的推理方法，将互联网中存在的大量离散存在的可视媒体数据丰富到可视媒体协同语义关联网中，获得鲁棒的可视媒体协同语义关联网。在此过程中，通过可视媒体协同语义关联网和互联网可视媒体数据的不断交互，不断丰富可视媒体协同语义关联网并完成可视媒体的理解与分析。最终，在我们的网络视频点播数据集中，我们的实验也验证了方法的有效性。