面向多媒体语义理解的视觉特征表示方法研究

With the explosive growth of multimedia data such image and video, multimedia big data semantic analysis and understanding has become an urgent and important task. For the task of multimedia big data semantic analysis and understanding, this proposal will take the social multimedia data as the object of study, and mainly focus on the effective visual feature representations in accord with human vision perception by fully exploring the social information. We will incorporate multimedia semantic understanding and representation learning into a unified framework, and plan to carry out the project from the following aspects: (1) semantic-guided feature subset selection methods; (2) semantic-incorporated feature extraction methods in accord with human vision perception; (3) unified representation learning methods for multi-view features; (4) robust and compact binary representation learning methods. Finally, we will build a large-scale multimedia retrieval system to test and evaluate the proposed feature representation methods. This proposal can provide some theoretical and technical support for social multimedia big data management, effective indexing and cyberspace content supervision.

随着图像和视频等多媒体数据的爆炸式增长，多媒体大数据的语义分析与理解成为了当前面临的一个紧迫和重要的研究任务。针对多媒体大数据的语义分析与理解问题，本项目拟以社交网络多媒体数据为研究对象，重点研究符合视觉感知的高效特征表示，充分挖掘分析多媒体数据的社交网络信息，将多媒体数据语义理解和表示学习融合在一个框架之中，结合多媒体检索示范应用，具体开展以下几个方面的研究：（1）语义指导的特征子集选择方法；（2）符合视觉感知的、具有语义信息的特征抽取方法；（3）多视角特征的统一表示学习方法；（4）鲁棒紧凑的二值特征表示学习方法。最后，拟搭建大规模多媒体检索示范应用系统，对项目研究的各种特征表示方法进行测试和评价。本项目的实施能够为网络多媒体大数据的高效管理、准确索引和网络空间内容监管提供技术支撑。

针对多媒体大数据的语义分析与理解问题，本项目以社交网络多媒体数据为研究对象，重点了研究符合视觉感知的高效特征表示，充分挖掘分析多媒体数据的社交网络信息，提出了语义指导的视觉特征子集选择方法，包括类别特定的半监督局部特征子集选择方法和基于标签分布学习的特征子集选择方法等；提出了符合视觉感知的、具有语义信息的特征抽取方法，包括快速鲁棒的k平面聚类方法和新颖的非峰值鉴别分析方法等；提出了多视角特征的统一表示学习方法，包括基于视觉内容与用户标签协同分析的嵌入表示学习以及基于空间和通道上下文的串联网络等；提出了鲁棒紧凑的二值特征表示学习方法，包括基于弱监督信息引导的二值特征学习方法和基于遮挡视觉-语义图推理模型的二值特征学习网络等。最后，基于项目的研究成果搭建了大规模多媒体检索演示系统，对项目所提出的各种特征表示方法进行了验证。本项目的实施能够为网络多媒体大数据的高效管理、准确索引和网络空间内容监管提供技术支撑。经过项目的执行，本项目研究成果在高水平国际期刊和国际顶级学术会议上发表论文19篇，其中ACM/IEEE Transactions论文或者CCF A类会议论文15篇，一篇国际会议学术论文获得ICIMCS 2018最佳学生论文奖，申请发明专利或软件著作权6项，培养硕士或博士研究生14名，搭建了一套大规模多媒体检索演示系统，完成了项目的各项研究任务。项目负责人入选2018年“万人计划”青年拔尖人才和2020年爱思唯尔中国高被引学者，获得2020年江苏省科学技术一等奖、2018年上海市科技进步一等奖和2018年吴文俊人工智能优秀青年奖。