基于民航事件的乘客多模态情绪感知与分析

We aim to address the challenging problem of event based civil aviation passengers emotion recognition. In detail, we collect the image and video data from airport and aircraft interior, in which we capture and recognize the facial expression and motion of people, as well as the scene context. Also, we collect the massive civil aviation related news, text, image, and user comments from social media like microblog and wechat. Then we exploit artificial intelligence and big data techniques to find the emotion of civil aviation passenger(s) via the above mentioned data. Finally, we provide decision support and technical basis for the widely used civil aviation applications, e.g., the management staff understanding the emotion of passengers, ultilizing the positive emotions, decreasing the negative emotions, and avoiding vicious accidents, etc.

本项目拟研究“基于民航事件的乘客多模态情绪感知与分析”问题。面向民航服务的关键节点和重要事件（如值机、托运、候机、购物、延误、调价、排队等），一方面采集机场的视频和图像数据，捕捉乘客的面部表情、肢体动作及场景内容；另一方面采集微博、微信等社交媒体上各类实体（如管理部门、民航企业、乘客等）发布的民航相关文字、图像及用户评论，利用基于人工智能与大数据的多模态分析技术，感知与分析其中蕴含的民航乘客个体和群体情绪情感信息。通过实时计算与反馈，为民航运输相关部门掌握乘客情绪和信息、充分利用和引导正面情绪、疏通和缓解负面情绪、避免恶性不安全事件的发生，提供决策支持和技术保障。

本项目研究“基于民航事件的乘客多模态情绪感知与分析”问题。面向关键节点和重要事件，一方面采集视频和图像数据，捕捉乘客的面部表情、肢体动作及场景内容；另一方面采集微博等社交媒体上各类实体发布的相关文字、图像及用户评论，利用基于人工智能与大数据的多模态分析技术，感知与分析其中蕴含的个体和群体情绪情感信息。通过实时计算与反馈，为相关部门掌握乘客情绪和信息、充分利用和引导正面情绪、疏通和缓解负面情绪、避免恶性不安全事件的发生，提供决策支持和技术保障。本项目发表高水平学术论文24篇，申请国家发明专利2项，提出系列创新算法，顺利完成项目任务。