基于视频分析的儿童行为研究

The video analysis based Children's behavior research is an interdicipline research topic, which is related to information science, psychology, and education. This method can be used to overcome the drawbacks of the traditional human-based video coding approach, in which the researchers need to observe the video and then code the Children's behavior manually, which is a time-consuming task and cannot staisfy the practical applications of real-time Children's behabior analysis. Moreover, it should be noted that different researchers in the Children's behavior coding will make the coding results be subjective. In contrast to the traditional method, the proposed method in this project will be helpful to build the connection between Children's behavior research and education, and also be helpful to improve the Children's social emotional competence, which plays a crucial role in Children's future development. For this reason, in this project we focus our research on two major topics about Children's social emotion competence via analyzing video data of Children's behavior. One is children's empathy evaluation from their facial expression and the other one is children's collaboration behavior detection. The main contents of the project include: (1)The coding method of Children's behavior for social emotion competence evaluation; (2) Multimedia resource database of Children's behavior; (3)Video-based Children's facial expression recognition methods, Children's speech emotion recognition methods, and video-based Children's action behavior (e.g., hand gesture, gaze tracking, etc) recognition methods; (4) Children's social emotion competence evaluation methods based on facial expression recognition, speech emotion recognition, hand gesture tracking and gaze tracking approaches.

基于视频分析的儿童行为研究是一个涉及信息科学、心理学和教育学等多学科交叉领域的研究课题，能有效解决传统人工编码方法中存在的耗时、耗力、编码结果具有主观性等问题，促进儿童行为研究同儿童教育实践的结合，有利于儿童社会情绪能力的培养和提高。在儿童社会情绪能力的组成中，同感能力是起基础作用的部分，而合作能力则是同感的重要体现。本研究以儿童科学教育试验项目平台为基础，开展基于视频分析的智能化儿童同感能力与合作能力评测研究，为儿童同感能力与合作能力评测提供全新的方法。主要研究内容包括：（1）研究儿童同感能力和合作能力评测的理论和方法；（2）儿童行为多媒体资源数据库建设；（3）研究基于视频的儿童面部表情识别、儿童语音情感识别、儿童手势动作捕捉、以及眼球视线跟踪等关键技术；（4）研究基于面部表情识别、语音情感识别、手势动作捕捉、眼球视线跟踪等视频分析方法的儿童同感能力与合作能力评测方法。

人类行为是其智能和精神活动的外在表现，儿童的行为能自然本真地反应其智能活动和社会能力，通过对儿童行为的分析与识别可评测其能力发展水平或进行疾病的辅助诊断。因此，对儿童行为视频的智能化或半智能化分析在教育实践和医疗诊断等领域中具有重大应用需求，能克服传统的基于心理学量表研究的主观性以及人工行为编码分析方法所存在耗时、耗力、主观性强等问题。如何通过自动化或智能化的方法对自然场景或教育场景中儿童行为的分析与识别，是当前信息科学领域关注的重点问题，在海量儿童行为视频数据分析中有广阔的应用前景。然而，由于行为的多样性、复杂性和实时性等突出问题，使得如何准确有效地进行儿童行为的分析与识别已成为本项目研究所面临的一大挑战。.本项目针对儿童发展过程中的社会情绪能力评测问题，开展基于视频分析的智能化儿童行为分析研究，解决了基于视频的儿童行为分析研究中的一系列关键技术问题，并应用于儿童的情绪能力评测中，提高儿童情绪能力评测的实时性、客观性和准确性。主要研究成果包括：（1）构建了不同年龄段的儿童行为视频大数据库。针对儿童社会行为的特点，在实验室情境下分别采集了2岁、4岁和7岁的儿童行为视频数据，建立了儿童行为视频数据库；.（2）提出了基于面部表情和语音的情感识别新理论与新方法，构建了基于视频的儿童行为分析验证平台；（3）建立了面向儿童行为分析的机器学习新理论与新方法。.本项目实施过程中，在IEEE TPAMI、TIP等国际期刊和本领域重要的国际会议(ICCV、CVPR、NIPS等)上发表(含已录用)论文142篇，获2015年教育部自然科学二等奖。并获2015年度ImageNet竞赛场景分类项目冠军，2016年度ICMI国际情感识别大赛季军，2017年度FG表情识别与分析竞赛冠军。培养博士14名，硕士30名；成功申办国际学术会议1次，国内学术会议5次。项目执行过程中，1人获2016年国家自然科学杰出青年基金资助，1人当选IAPR和IEEE Fellow。