大数据环境下复杂多媒体内容分析、推送与展示

We are now in big data era and multimedia becomes an major carrier and important application of Internet big data. Multimedia exhibits the typical characteristics of big data, such as rapid increase and huge volume, rich sources and diverse types, and low value density. Such characteristics brings not only challenges for multimedia research but also opportunities for emerging applications such as next generation multimedia search. This proposal will focus on three key scientific issues: data Knowledgization, knowledge resourcization and resource visualization, to research complex multimedia analysis, recommendation and demonstration. Specific tasks include: (1) for big data of content researching intelligent multimedia data analysis and obtianing multimedia association knowledge by unified representation learning and knowledge graph construction; (2) for big data of users researching precise multimedia knowledge delivery and learning user preference models by user interest modeling and query intent understanding; and (3) with connection of content and users researching multimedia resource demonstration and achieving deep and wide demonstration of search results by integrating visualized data selection, heterogeneous and interactive visualization. The research outcome will provide the foundamental theories and key technique support for multimedia applications in big data environment and make multimedia research play an important role in web-based multimedia information awareness, service and regulatory.

人类已经进入大数据时代，多媒体是互联网大数据的主要载体和重要应用对象。多媒体表现出大数据的典型特征，如增长迅速、体量大，来源丰富、类型多样，价值密度低等。这些大数据特征为多媒体研究带来了挑战，同时为下一代多媒体搜索等应用带来了机遇。面对这些特点，项目凝练了数据知识化、知识资源化和资源可视化三个关键科学问题，研究大数据环境下复杂多媒体的分析、推送和展示等内容。具体包括：面向内容大数据，研究智能多媒体数据分析，通过统一表示学习和知识图谱构建获得多媒体关联知识；面向用户大数据，研究精准多媒体知识推送，结合用户兴趣建模和查询意图理解得到用户偏好模型；将内容与用户对接，研究立体多媒体资源展示，整合可视数据选择、异构可视化和交互可视化，实现搜索结果的深度和广度展示。研究结果有望为大数据环境下的多媒体应用提供基础理论和关键技术支持，使多媒体研究更好地在网络多媒体信息感知、服务和监管等方面发挥作用。

人类已经进入大数据时代，多媒体是互联网大数据的主要载体和重要应用对象。多媒体表现出大数据的典型特征，如增长迅速、体量大，来源丰富、类型多样，价值密度低等。这些大数据特征为多媒体研究带来了挑战，同时为下一代多媒体搜索等应用带来了机遇。面对这些特点，项目凝练了数据知识化、知识资源化和资源可视化三个关键科学问题，研究大数据环境下复杂多媒体的分析、推送和展示等内容。具体包括：面向内容大数据，研究智能多媒体数据分析，通过统一表示学习和知识图谱构建获得多媒体关联知识；面向用户大数据，研究精准多媒体知识推送，结合用户兴趣建模和查询意图理解得到用户偏好模型；将内容与用户对接，研究立体多媒体资源展示，整合可视数据选择、异构可视化和交互可视化，实现搜索结果的深度和广度展示。项目发表学术论文85篇，其中IEEE/ACM汇刊论文44篇；包括领域顶级会议CCF-A类 ACM Multimedia、CVPR、AAAI在内的国际会议论文36篇，并申请专利10项。项目研制了多媒体数据资源平台，建立了实时数据采集技术，可采集TB级到PB级以上的跨网络多媒体大数据，并使用Spark/MongoDB 进行数据计算资源管理。项目构建了多媒体搜索展示系统包括面向民用的人工智能知识分发平台-专知和军用的军事情报多媒体大数据分析展示系统，建立了大规模主题知识图谱构建流程，构建了含有百万级节点知识图谱资源库；研发了异构多模态数据语义结构化搜索机制，结构化搜索准确率达到90%以上；提出了多维度立体化的多媒体展示模式，能够便捷地满足用户的获取信息与决策的需求。专知示范应用产品累计服务十万多人工智能从业者用户，累计用户阅读量八百万次，专知获得2018年中国多媒体大会杰出技术展示奖。项目成果能够为大数据环境下的多媒体应用提供基础理论和关键技术支持，使多媒体研究更好地在网络多媒体信息感知、服务和监管等方面发挥作用。