基于多媒体数据的社交互动沟通行为分析技术研究

Good communication skill is one of the most important skills in the face-to-face social interaction scenario. The cost of communication skill assessment is high due to its involvement of human expert. Therefore, it is necessary to develop an automated social communication skill assessment system. However, due to the variety of communication behaviors and the complexity of multimedia data processing technologies, the research on this topic is still at its infant stage. To solve this problem, this project focuses on multimedia-data-based social communication analysis, from social signal modeling and multimodal multimedia data analysis aspects. This project sits in a real presentation rehearsal scenario, proposes using different state of social signal to describe the communication behaviors. Also, a multi-stream multimedia social communication behavior correlation analysis algorithm is proposed to analyze the social information more precisely. At last, a deep-learning based framework is proposed to model the multimedia data’s temporal structure.

在面对面社交互动场景下，良好的沟通技巧是成功的必备技能之一。目前对于沟通技巧评估与分析的人工成本很高，因此，发展自动化的沟通技巧分析系统，以提高评估效率并且降低其成本，是一个亟待解决的问题。随着近年来多媒体传感器的发展，大量的面对面社交互动被记录下来。然而由于面对面社交互动形式的多样性，以及多媒体数据的复杂性，对于面对面社交互动的研究还始终处于初步阶段。为了解决这个问题，本项目以“基于多媒体数据的社交互动沟通行为分析”为主题，从社交信号的建模和多模态多媒体传感器数据分析的两个角度出发，并结合实际的演讲预演社交互动沟通场景，提出利用多媒体数据计算出的社交行为信号的不同状态，来描述社交互动沟通行为的思路和方法。另外，本项目还提出利用多源多媒体数据计算不同沟通互动行为相关性的方法，用于更准确地理解社交互动中传递的信息。最后，本项目提出一种基于深度学习框架对多媒体数据的时间结构信息进行建模的方法。

在社交互动场景下，良好的沟通技巧是成功的必备技能之一。目前对于沟通技巧评估与分析的人工成本很高，因此，发展自动化的沟通技巧分析系统，以提高评估效率并且降低其成本，是一个亟待解决的问题。随着近年来多媒体传感器的发展，大量的社交互动被记录下来。然而由于面对面社交互动形式的多样性，以及多媒体数据的复杂性，对于社交互动的研究还始终处于初步阶段。为了解决这个问题，本项目以“基于多媒体数据的社交互动沟通行为分析”为主题，从多模态多媒体传感器数据分析和基于多模态社交媒体信息互动的推荐的两个角度出发，提出了一系列的算法和框架，包括人际交互肢体语言自动生成方法、社交媒体影响者推荐算法等，从不同角度设计算法和方案，实现多媒体数据互动分析的设计，将研究从面对面社交互动拓展到社交媒体上的社交互动，实现更为完整全面的分析。