基于行为识别和意图估计的孤独症早期诊疗辅助系统

The most important period for autism intervention is from age 1 to age 3, and thus the early diagnosis and intervention is extremely urgent. Compared with the intervention by rehabilitation therapist, children with autism is more inclined to the training with intelligent robots, where children’s behavior is a key quantified measure to evaluate whether the children with autism are able to finish every diagnosis and treatment task with human-robot interaction. Pointing against the early identification and intervention of children with autism, this project aims to develop new methods of behavior recognition and intention estimation in the process of human-robot interaction under different diagnosis and treatment environments. It combines high-definition cameras and multiple Microsoft Kinect to collect children’s behavior data under various dynamic environments and builds a behavior database; based on the behavior data, it constructs a multimodal deep learning algorithm based on global and local networks for human action segmentation; it develops a continuous relevance feedback approach to recognize different behaviors and estimate the intentions according to accumulated historical behavior data. Based on the social behavior recognition results of children-robot and children-children, this project can diagnose whether the boy/girl is with autism. Moreover, it is possible to provide more effective human-robot interaction to improve the efficiency of diagnosis and treatment for autism.

由于孤独症干预的黄金阶段是1-3岁，孤独症的早期诊断与治疗迫在眉睫。相比于完全由治疗师主导的干预过程，孤独症儿童更倾向于有机器人参与的治疗，而儿童行为是评估孤独症儿童是否完成人机交互过程中的各项诊疗任务的一个关键量化指标。本项目针对孤独症儿童早期识别与干预康复，开展面向不同诊疗场景下的人机交互过程中儿童行为识别和意图估计的相关技术研究。本项目采用高清摄像头和深度传感器共同采集多变动态场景下的儿童行为数据，并搭建行为数据库；基于行为数据，构建一个多模态全局网络和局部网络的深度学习算法，进行人体动作分割；记录历史行为数据，构建一个连续相关反馈算法，对行为识别并进行意图估计。通过对儿童-机器人或儿童-儿童的社交行为识别的结果可辅助诊断该儿童是否患有孤独症，并提供更有效的人机交互方式，提高孤独症谱系障碍的诊疗效率。

本项目着眼于孤独症儿童早期辅助诊断的技术需求，以快速、便捷、准确地识别孤独症儿童为出发点，开展对孤独症儿童诊断的相关技术研究。.本项目采用普通摄像头记录多种场景下的孤独症儿童行为数据，搭建视频数据库。基于采集到的视频数据，并根据时下机器学习领域最热门的深度学习方法展开了深入研究，提出一种基于眼动跟踪的孤独症儿童辅助诊断方法。首先，通过跟踪算法对儿童眼部进行长时跟踪，得到一系列眼动轨迹。然后，提出一种累积直方图的算法，把轨迹分离成角度特征和长度特征，最后使用长短时记忆网络进行分类，分类准确率可达 92.6%。围绕人脸表情复杂度高、表达多样化、面部遮挡、不同光照条件等难点问题，项目组设计了一种基于注意力机制的双通道卷积神经网络来提高深度学习网络的泛化能力和表情识别的准确度。另外，项目组提出了一种跨层并行深度网络——CLPNet。针对不同场景的图像，CLPNet能够提供细粒度信息，更好地分割人体动作，为自然场景下孤独症儿童行为的分析提供技术支撑，可更有效进行孤独症辅助诊断和治疗的评估研究。.区别于当前传统的孤独症诊断方法，本项目研究的孤独症辅助诊断方法不需要额外的医学检测设备，能自动、及时、高效、准确、智能地辅助诊断孤独症儿童。这极大地提高了孤独症筛查和诊断效率，给患者及其家庭带来便利；通过研究孤独症儿童的行为和眼动模式，有助于揭示孤独症的核心障碍机制，对于患者的后续干预意义重大。