基于听视觉特征和用户实时表情的个性化视频情感语义分析研究

Personalized affective content analysis (PACA) is an emerging field to identify multimedia contents that can stimulate specific emotion responses from reviewers, and dynamically adapt contents to personal affective preferences. It has shown great potential for facilitating personalized data services tailored to user-specific needs and advancing the development of emotionally intelligent computers. However, there are few investigations on this field, even fewer with respect to detecting real-time emotions of reviewers, incorporating audio-visual features, and adapting contents tailored to user-specific needs. This project proposes a novel PACA framework based on real-time facial expressions of reviewers and audio-visual features extracted from video. It investigates key techniques and proposes novel algorithms for such a framework, including: 1) face detection and tracking, facial feature localization and extraction, 2) audio-visual features selection, extraction, and projection into dimensional Arousal and Valence space, and 3) estimation of the relevance mapping between video contents and personal preferences. It includes case study experiments on a group of test participants to measure the effectiveness of the proposed framework to represent personal interest and user-specific needs. This project will significantly advance knowledge in the area of affect recognition and the development of future affect based personalized multimedia content delivery.

个性化视频情感语义分析旨在找出能满足个体用户实时情感需求的视频内容，是实现个性化视频服务和开发情感智能计算机的有效途径。当前对该方法的研究还处于起步阶段，在用户实时情感检测、用户特征与视频特征结合、个性化语义分析等方面研究更是相当匮乏。本项目以视频用户表情和视频听视觉特征为研究对象，对个性化视频情感语义分析技术进行系统的科学研究：1）探索现实条件下人脸检测和跟踪、关键点定位、特征提取等表情识别的关键技术；2）研究视频听、视觉特征的选择和提取，及该特征到Arousal-Valence (A-V) 空间维度关联的映射技术；3）提出在A-V空间中视频间情感语义相似度的计算方法，并结合用户实时表情获取视频与当前用户的关联度，实现个性化系统输出。通过识别精确率和用户满意率测试，验证整个系统在反映用户实时情感需求的可行性，为实现个性化视频服务提供技术依据和实验基础。

个性化视频情感语义分析旨在找出能满足个体用户实时情感需求的视频内容，是未来实现已人为中心的个性化视频服务和开发情感智能计算机的重要研究方向。然而，当前对该方向的研究还处于起步阶段，在三个方面存在着严重问题：第一，由于现实条件的复杂性，实现用户面部情感状态的精确检测还较困难；第二，缺乏对基于多情感维度关联的视频内容情感语义分析技术的研究；第三，对个性化情感语义推荐机制的研究相当匮乏。在本项目中，我们以视频用户表情和视频听视觉特征为研究对象，对个性化视频情感语义分析技术进行系统的科学研究。针对表情状态识别困难的问题，提出基于Viola-Jones和Active Shape Model的多视角的人脸检测、跟踪和关键点定位算法、以及特征提取和降维方法，从而实现在现实条件下的表情状态的精确识别。针对视频情感语义分析未考虑多维度的问题，研究从低层视频听视觉特征到高层用户情感的多维度关联的映射模型，主要包括提出一个基于Correlation-based Feature Selection算法的多维度关联降维算法来同时考虑Arousal和Valence情感维度和一个基于Long Short Term Memory人工神经网络的多维度关联的语义映射方法。针对个性化情感语义推荐，提出创新性的视频间情感语义相似度的计算方法、视频与当前用户关联度的计算方法、以及个性化推荐机制。我们在公开、自建数据库和BBC工业界数据库上进行大量的实验工作，结果证明本项目所提出的解决方法能精确地检测用户情感状态、精确地提取视频情感语义、个性化地反映用户的视频需求。本项目的研究思路、所提方法、所创建的数据和实验结果预期能够对本领域的研究起到较大的促进作用，并积极推动相关技术的实际应用。