面向可视媒体智能分析的草图交互技术研究

Visual media data such as videos, images etc, have become the resource with the largest amount of storage, the most abundant semantic meanings, and the most complex relationships. Intelligent visual media analysis is the key and difficult point of big data analysis. How to efficiently acquire and express media data, understand its complex association through interaction analysis, and use them to assist user decision-making, has great scientific significance and application value. Aiming at reducing the cognitive burden of users' visual analysis and improving the efficiency of media content analysis, this project will conduct the research on the method and technologies of sketch-based intelligent media data analysis, mainly includes: 1) studying the multi-scale data representation methods based on cognitive theory, and construction of mental model and interaction model for sketch interaction. 2) media content understanding and intelligent analysis methods based on sketches, and making breakthroughs in key technologies such as automatic encoder based target detection algorithm, context-based multi-modal feature fusion, multi-scale relational visual analysis, and other technologies. 3) conducting research on interaction techniques, and proposing the non-deterministic sketch recognition algorithms for user intent and sketch similarity calculation methods, developing intelligent video surveillance prototype systems and validating the proposed technologies. The purpose of this project is to break the limitation of traditional interaction in media visual analysis, and it is of great significance to promote efficient use of large-scale visual media.

以视频、图像等为代表的可视媒体数据已成为存储量最大、蕴含语义最丰富、关系最复杂的资源，也是当前大数据分析的重点和难点。因此，如何高效获取和表达媒体数据、通过交互分析理解其复杂关联关系，进而有效辅助用户决策具有重要的科学意义和应用价值。本项目以减小用户认知负荷与提高媒体内容分析效率为目标，基于草图交互展开可视媒体智能分析方法和技术研究，主要包括：研究融合认知的多尺度数据表示方法，构建草图交互的心理模型、交互模型；研究基于草图的媒体内容理解与智能分析方法，突破基于自动编解码机的目标检测、基于上下文的多模态特征融合、媒体内容多尺度关联关系可视分析等关键技术；研究草图交互关键技术，提出面向用户意图的非确定性草图识别算法和草图相似性计算方法，开发监控视频智能分析和交互原型系统并对相关技术进行验证。本研究旨在打破传统交互模式给用户利用媒体数据带来的限制，对推进大规模可视媒体的高效利用具有重要意义。

视频、图像等可视媒体是人们进行信息沟通与交流的重要媒介，但是这类可视媒体的视觉内容冗余并且结构复杂，如何从大规模、多元化的可视媒体数据中高效地抽取特征信息实现有效分析和决策是目前研究的热点和难点。本课题以草图为主要信息载体，研究面向可视媒体智能分析的草图认知模型，提出面向媒体内容的智能处理关键技术对媒体数据进行特征描述以及内容提取，结合可视媒体内容分析时的草图交互反馈机制研究草图交互技术，并进一步通过多模态特征融合对媒体内容进行语义理解与可视分析，开发草图交互原型系统并进行应用示范，推动可视媒体信息智能化处理的发展。.本课题主要取得了以下创新性成果：构建了草图认知模型，作为草图交互的理论指导；提出面向可视媒体内容的多尺度表示方法以及运动目标前景提取与语义分析方法，对媒体内容进行智能处理；提出一种基于级联生成式对抗网络的草图补全方法实现草图修复；提出基于笔画的场景草图语义分割方法为场景草图识别和交互技术奠定基础；提出一种基于场景草图的细粒度图像检索方法，实现对图像的精确查找；提出基于多模态数据的面向激励性演讲有效性分析的可视分析方法以及基于隐喻地图的视频情感识别与可视分析方法，实现视频情感的高效分析；构建一种交互式草图提取与场景草图创作辅助系统，实现草图素材的提取和重用；搭建智能草图笔记原型系统，实现对结构化草图的理解和分析；构建基于草图交互的监控视频多尺度可视化分析系统，提高用户获取监控视频有用信息的效率。课题研究成果打破传统的可视媒体处理方法在表示和交互上的局限，结合草图交互的方式有效地提高了媒体数据分析效率、准确度以实现个性化数据服务，从方法和技术层面上对可视媒体信息的高效利用产生深远的影响。