面向服务机器人的情感认知、表达及管理关键技术

Emotion is an important factor of human intelligence, which plays a vital role in human-robot cooperation and interaction. Most current robot emotion techniques suffer from the limitation of perception source, the tedium of affective contents, and the simplicity of expressive forms. To deal with these problems, this project starts from the mechanism of human emotion cognition and processing, and makes use of deep learning methods as main tools to study affective computing models and expressing methods for service robots. This project will integrate the key problems of emotion perception and understanding, self-emotion modeling and development, affective expression and interaction into a unified framework. This project will develop short-term emotion recognition model and long-term emotion sequence model for understanding human motion with multi-modalities and in different scales. This project will also propose deep recurrent emotion-memory network to jointly model robot emotion, internal status, and external stimulus. This project will develop multi-channel expression methods for robots to express personalized emotion in a natural way. We will implement a service robot platform for application study and verification of the propose techniques. This project will not only develop new deep robot emotion models in terms of theory and method, but also will break through a series of robot emotion cognition, expression and management techniques to advance service robot industries. The studies of this project have important scientific research meaning and significant application values.

情感是人类智能的重要组成部分，在机器人与人的合作和交流中起着重要的作用。现有的机器人情感技术大多感知来源有限、表达内容单调、表现形式单一、自然程度低。针对这些问题，本项目从人类情感认知处理机制出发，以深度学习方法作为主要工具，研究面向服务机器人的情感计算模型与表达方法，将情感认知与理解、自主情感建模与发育、情感表达与交互等核心问题有机地集成到同一个框架。开发融合表情、语音和行为的短时情感识别模型和长时情感序列模型，实现对用户情感多模态多尺度的理解；开发深度递归情感记忆网络，实现对机器人情感、内在状态和外部刺激联合建模；开发多通道情感表达方法，实现机器人个性化情感自然表达。搭建服务机器人平台，对所开发技术进行应用研究和验证。本项目不仅在理论方法上建立新型的深度机器人情感模型，同时能突破一系列情感认知、表达和管理技术，推动服务机器人技术和产业的发展，具有重要的科学研究意义和应用价值。

情感是人类智能的重要组成部分，在机器人与人的合作和交流中起着重要的作用。现有的机器人情感技术大多感知来源有限、表达内容单调、表现形式单一、自然程度低。针对这些问题，本项目以深度学习方法作为主要工具，研究面向服务机器人的情感计算模型、自主情感生成与表达方法。1）研究了基于视觉和音频的情感计算方法。针对表情识别中的遮挡和大姿态问题，提出了区域注意力网络；针对视频表情识别中时序建模和重要性估计，提出了视频帧注意网络，提高了视频特征的表情判别性；将注意力机制、迁移学习、声段模型等机制引入语音情感识别，构建起解释性更强的深度学习模型；提出一种多模态视音频表情识别算法，实现对用户情感多模态多尺度的理解。2）研究了机器人情感建模方法，利用情感状态向量描述机器人当前情感，通过深度递归情感记忆网络，结合预测学习，实现了机器人情感状态的联合时序动态建模。3）研究了视觉和音频多通道的情感表达方法。基于循环神经网络和深度自回归模型，提出了情感相关语音合成声学模型和多情感联合声学建模方法；提出了针对少量音频数据的声学模型自适应方法，实现了基于音频的情感表达；提出了基于感知序列决策优化的人脸幻构算法和基于隐式表征的人脸编辑方法，实现基于人脸图像的机器人情感表达。4）研究了移动机器人自主避障和跟踪方法，提出了基于速度障碍法的新型避障方法，解决了移动机器人在速度域中无法得到可行解的问题；研究了基于单目视觉的自主跟踪方法，实现遮挡情况下自主跟踪。以服务机器人样机为平台，对项目研发的方法进行验证和测试。本项目的研究成果在相关领域国际重要学术期刊和会议上发表学术论文115篇，其中包括期刊29篇，会议论文86篇，JCR-1区论文23篇，CCF A/B类论文66篇。申请发明专利14项，授权发明专利10项。项目团队在国际国内竞赛中获得了9个任务的冠军，论文获得了2018年IEEE信号处理学会最佳论文奖。基于本项目研究内容，项目团队与多家企业开展积极合作，推动相关技术成果的产业应用。