移动交互环境下的大媒体内容分析与检索

Research on multimedia analysis and retrieval in mobile interactive environment is in its early stage, and there is a lack of semantic computing theory to guild the exploration for scientific problems in this field. This project starts with the investigation of the connection and complementarity among multiple elements of mobile environment, and explores the correlation characteristics of mobile data and the corresponding collaborative analysis strategies. By introducing new data definitions and the related hypotheses in mobile context, we build our semantic models on top of the classic theoretical frameworks with special adaption to the mobile interactive environment. By such means, we can break the theoretic bottleneck and enable multi-model hierarchical semantic analysis for the big mobile data. Furthermore, with the new form of interactions enabled by the mobile context, this project would also make a series of technical breakthroughs such as context-aware big media indexing, multi-clue user modelling and intention prediction, AR-based communicative recommendation and retrieval etc., which provide large-scale and mobile solutions for comprehensive analysis and efficient retrieval of multimedia data. The final objectives of this project will be a set of semantic computing models and techniques which mainly focus on the mobile scenarios, leading to deep understanding and efficient management of big multimedia data.

目前针对移动交互环境的媒体分析检索还处于初级阶段，缺乏一个以移动情景为核心的媒体语义计算理论来指导我们去探索和解决移动大媒体研究中存在的科学问题。本项目将从移动环境下多个要素的互联互补特性出发，对移动大媒体数据的关联特性及协同分析策略展开探索，在传统媒体语义计算理论框架下，引入移动情景下新的数据定义和相关假设，建立面向移动交互环境的语义计算模型，实现移动媒体多模态、多层次的语义内容分析，突破理论上瓶颈。在此基础上，进一步研究面向移动交互环境的大媒体索引、多线索用户建模与意图预测，结合增强现实的融入式检索及推荐等应用，充分利用移动情景提供的全新交互形式，突破技术方法上的瓶颈，为解决深度媒体分析与检索提供大规模、移动化的解决方案。最终形成一整套面向移动情景的语义计算理论和技术体系，实现对大媒体数据的深入理解和有效管理。

本项目的研究探索了移动环境下用户、情景、设备与媒体的关联关系与交互作用机理，研究了自适应感知、联合表示、推理及关联的模型及语义计算方法。相关工作发表88篇SCI期刊论文（其中包括41篇CCF A类/中科院1区国际期刊）和6篇CCF推荐中文科技期刊论文，以及106篇会议论文（其中包括68篇CCF A类会议）。研究成果获得ACM Multimedia 2017会议最佳论文奖和ACM SIGIR 2017会议最佳论文提名等7个国际会议的最佳论文奖项（其中5篇的第一作者是依托项目培养的研究生）以及IEEE TMM 2020年度Prize Paper Award。 此外项目执行期内申请发明专利12项，其中5项已授权。相关技术直接应用于诸多商业公司产品中。在项目执行期内项目负责人当选OSA Fellow、ACM Fellow和IEEE Fellow和全球高被引学者，参与人中2人入选国家级人才计划（含青年项目1人），有2名博士后、十余位博士和硕士研究生参与了研究工作。主办了ACM Multimedia 2020和2021，APWEB-WAIM2019等国际会议。