协同视觉语义理解和社会媒体分析的关键技术研究

Recent years have witnessed exponential growth of massive heterogeneous data, such as visual data, social media data, etc. Such large-scale media data provides a new opportunity for Traditional multimedia and emerging social media research areas. How to deeply explore the full potential synergy among visual semantic understanding and social media analytics is a precious research opportunity. It will provide key technical support for the next generation of large-scale visual search. This project will devote our endeavors on this significant research topic, by deeply exploring key technologies of mutual integration of visual semantic understanding and social media analysis. We will focus on the following three research areas: (1) cross-media information integration and knowledge migration based on heterogeneous transfer learning; (2) leveraging rich yet noisy social media data to help achieve robust visual semantic understanding; and (3) enhancing event analysis in social media by exploiting visual content understanding. The above three research points mutually reinforce each other, and they are able to simultaneously provide both a theoretical basis and practical verification for the synergies of visual semantic understanding and social media. The project intends to output a series of key technologies for deploying collaborative applications of multimedia and social media analysis, such as semantic understanding, event analysis, etc, as well as promote the applicable range of media big data in relevant disciplines.

大规模媒体数据（如视觉数据、社会媒体数据等）为多媒体和新兴社会媒体领域提供了崭新的研究机遇，其中如何有效协同视觉语义理解和社会媒体分析仍亟待解决，其实现会为下一代大规模视觉搜索提供关键的技术支撑。本项目将针对此重要课题展开研究，拟深入探索视觉语义理解和社会媒体分析相互融合的关键技术，主要包括如下三方面研究内容：(1)基于异构迁移学习的跨媒体信息融合和知识传递；(2)利用丰富且带噪的社会媒体数据协助实现鲁棒视觉语义理解；和(3)利用视觉内容理解技术增强社会媒体环境中事件分析。上述三个研究点互为耦合且相互增强，为视觉语义理解和社会媒体分析的协同同时提供理论基础支持和实际应用验证。本项目拟输出一系列多媒体和社会媒体协同分析的关键技术，为语义理解、事件分析等应用奠定理论基础，并促进媒体大数据在跨相关学科中的应用。

大规模媒体数据（如视觉数据、社会媒体数据等）为多媒体和新兴社会媒体领域提供了崭新的研究机遇，其中如何有效协同视觉语义理解和社会媒体分析仍亟待解决，其实现会为下一代大规模视觉搜索提供关键的技术支撑。本项目针对此重要课题展开研究，根据申请书计划深入探索视觉语义理解和社会媒体分析相互融合的关键技术，主要包括如下三方面研究内容：(1) 基于异构迁移学习的跨媒体信息融合和知识传递；(2)利用丰富且带噪的社会媒体数据协助实现鲁棒视觉语义理解；和(3)利用视觉内容理解技术增强社会媒体环境中事件分析。上述三个研究点互为耦合且相互增强，为视觉语义理解和社会媒体分析的协同同时提供理论基础支持和实际应用验证。此外，本项目还根据需要对“视觉数据自然语言描述生成”和“视觉问答”这两个高层应用进行了扩展研究，为计算机处理跨媒体数据以及信息融合和知识传递、缩小人与机器之间的语义鸿沟提供了基础，促进了项目的理论和应用研究。. 基于上述研究成果，发表学术论文62篇，包括IEEE Trans.和CCF A类论文36篇（IEEE TIP，TCYB，TMM，CVPR，ACM MM，AAAI等），部分工作被评为ESI高被引或最佳论文奖。申请发明专利3项。在国际测评上，项目组参加了2018之江杯全球人工智能大赛视频识别和问答竞赛并获得了二等奖。在应用推广上，基于本项目的研究，研发了基于食品行业多源大数据的融合分析及可视化系统。该系统基于食品安全及生态领域多源数据，打造餐饮透明厨房食品安全行为智能分析应用平台，成功应用到贵州省食品安全检测应用工程技术研究中心有限公司、贵州省分析测试研究院等单位。