同伴游戏场景中的运动跟踪与行为分析

Research on children's behavior analysis in peer play scenarios has vital theoretical and applied value to social development research, as well as diagnosis and treatment of children's behavior disorders, e.g. social inhibition and autism. In current studies, there are two main challengies: 1) lack of robustness and accuracy in tracking due to missing observations generated in severely occluded regions; 2) the existing behavioral modeling and inference algorithms do not work well when dealing with diversity and specificity in children's behavior. To deal with these challeging problems, we propose the following solutions: 1) use context information from specific scenarios to aid observation modeling and dynamic modeling procedures. The enhanced models help to improve the tracker's performance in situations with missing observations; 2) in social development research areas, children's behavior in peer play scenarios has been well defined and taxonomied in several dimensions. In terms of these definitions, we propose to fuse both content information (visual feature) and context information (background knowledge) to construct our behavioral model, which is a loosely coupled in a hierarchical tree graph. Moreover, a probabilistic voting framework is used to infer children's behavior in this model. Expected results will have great theoretical and applied value to motion tracking and behavior anlysis in children's social scenarios, as well as other application scenarios, e.g. intelligent surveillance, intelligent transportation, ambient environment, and etc..

研究同伴游戏场景中儿童行为的自动分析，在社会性发展心理学研究、儿童社会性退缩行为、自闭症等儿童行为障碍的临床诊断与治疗，具有重要的理论和实际应用价值。目前的相关研究中，有两个问题亟待解决：一是因视角局限性与儿童间复杂遮挡关系下观测缺失所导致的运动跟踪鲁棒性与准确性差的问题；二是由于儿童行为本身的多样性与特异性，目前的相关研究中基于内容（视觉特征）的成人行为的建模推理方法在解决儿童行为问题时遇到了极大挑战，从而导致的计算模型缺失问题。对此，我们提出相应的解决思路：一：借助特定场景中的情境信息（背景知识），增强观测模型与动态模型，克服现有运动跟踪框架只考虑局部信息而导致的难以解决观测缺失的问题；二：引入社会性发展研究中对儿童行为的定义，提出融合内容与情境的新的行为计算模型，并采用概率投票框架下的行为推理方法，提供了可行的解决方案。预期研究成果对其它场景中的行为分析也有广泛的理论与实际应用价值。

研究儿童在同伴游戏场景中的运动与游戏行为有着重要的理论和实际应用价值。针对其中的两个核心问题：观测缺失问题与行为多样性、特异性问题，我们以儿童在游戏中的注视行为模式作为关键线索，研究了结合情境与内容信息的运动跟踪与行为分析方法。取得的研究成果和进展主要包括以下四个方面：1）在传统的基于学习的头部姿态估计的框架基础上，结合时间连续性约束，以及来自于情境语义信息所提供的显著性目标的语义类别与位置信息，实现了头部跟踪与注视点估计性能的提高；2）通过分析心理学研究中的同伴游戏编码表，发现了对儿童行为编码非常重要的两种特征：邻近关系和视觉注意。并在鲁棒的邻近性关系与视觉注意计算的基础上，分别定义并提取了五种单元特征和五种二元特征。为了更好地表征行为的时序信息，使用了隐变量条件随机场算法进行行为推理；3）为了更加精确地获得儿童的视觉注意方向，考虑到儿童眼部数据的欠缺，以及现有成人数据集上训练的模型对于儿童数据的迁移存在拟合欠佳的问题，提出使用深度卷积神经网络来学习、筛选眼部图像的表征，使用迁移学习的方法来调整我们的网络，通过半监督的学习方式，让模型充分拟合这些儿童数据。实验表明我们的框架可以显著提高儿童视线估计的精度；4）儿童的视觉注意模式的预测和评估，为儿童行为分析提供了重要的线索。而现有的基于显著性的方法只考虑图像底层的特征，本研究根据特征整合理论，将不同层面的特征按照不同的权重组合起来构建显著模型，引入机器学习的方法对模型进行训练和测试。同时，本研究进行了一系列眼动实验，收集了一组3岁儿童的眼动数据，在儿童数据上的测试表明本研究的结果优于现有方法。此外，本研究还利用带权重的模型分析了单个被试对不同特征的注视权重，在一定程度上考察了被试的注视偏好。我们通过与不同心理学研究者与临床医生的合作，研发了基于视觉注意模式的儿童视力发展、情感与社交发展、认知发展评估方法，取得了初步的进展和成果。