面向受众感知的智能交互表演评估及自适应性内容反馈研究

Affective evaluation and content-based adaptive feedback from audience perception are of the most importance as they establish that the evaluation is trustworthy to present the performance in hyperspace under study. With the development of intelligent biosensor technology, traditional expertise-based techniques have become inapplicable for evaluating the dynamic performance process in complex environment. Therefore, this research established a mapping relation between multi-physiological signals and affective model based on two-dimensional emotion space. To further evaluate the entire performance, both individual and group pattern measurements are also established to analyze audience engagement and distributed liveness. Combined with the restructured performance content and the physiological interface, an evaluation methodology of intelligent interactive performance is constructed to realize automated “multiple features mapping, multithreading contents inference” for affective recognition and adaptive feedback. The methods proposed in this research can be applied in multi-dimensional performance to enhance the stage effects and provide audience more diversified experience.

面向受众感知的情感状态评估与内容反馈是智能交互表演层级搭建及有效应用的基石，是实现多维空间下表演活动有效开展的重要保障。随着智能化生理传感技术的发展，基于观察经验的传统评估方法已难以适应由多维表演媒介和角色化研究主体构成的复杂表演环境，成为制约表演叙事内容和交互模式构建的瓶颈问题。因此，本课题拟开展面向受众感知的智能交互表演评估及自适应性内容交互与反馈研究，基于情感二维空间建立多模态生理信号与情感维度模型的映射关系，并从个体认知和群体交互的角度构建情感体验度量策略及整体化评估规则，将表演内容通过拟像的方式进行模块化虚拟呈现并与媒介感知接口形成有机联动，进而建立起一套基于“多维特征映射、多线程并行推演”的评估与反馈方法，实现智能交互表演的情感化评估和基于叙事结构的表演内容重塑。为多维表演空间中如何在提升观演效果的同时激发观看者更为多元化的认知体验提供理论指导依据。

本项目以智能交互表演框架构建、观众情感识别、情感度量和评估、自适应性交互反馈四个方向为主要内容并开展研究，取得一定进展和结果，具体包括：1）研究对智能交互表演进行二维分类，将分散的情感识别与度量方法进行集成，明确其层级结构，建立从真实环境到虚拟空间中面向观众的表演内容评估与反馈方法框架；2）研究构建具有情感评价的沉浸式表演影像库，分析脑电信号与表演影像情感维度的显著相关性，并结合表演影像的效价、唤醒和支配维度，分析其与观众临场感和表演影像交互性之间的关系，提出沉浸式表演影像中增强观众临场感的设计建议；3）研究面向虚拟现实表演中的观众反馈研究，构建“参与度”参数量化方法，建立以参与度和共情体验为目标的语音反馈评价机制。同时将观众的个体行为转变为可以适应虚拟环境的社交互动，对虚拟现实表演中的受众感知进行多维度评估，并结合社交临场感建立表演评估标准；4）研究构建了基于行为反馈的“观众—表演者/表演内容”交互模式应用到虚拟现实非遗口头表演中，建立多线程表演叙事机制并进行验证。研究进一步构建了“媒介—感知”接口，通过实时采集观众及表演者的生理数据，并将其转化为可视化图形和声音反馈在虚实环境中同步生成与呈现，形成自适应性情感反馈，增强表演者与观众的双向情感感知。本项目结果为未来智能表演交互机制构建、实时表演内容创意生成与评估等方面的进一步研究打下理论基础与实践作用。