基于光场成像的儿童社交行为理解研究

Research into the visual perception of children’s social behavior has mostly based on traditional digital imaging technologies with multiple view geometry, which usually suffers from scene interdependency, parallax error and occlusions. Most experimental datasets of children’s social behavior are collected during a dyadic social interaction between a child and an adult in a well-controlled environment with small field of view. To deal with these problems, the project intends to study children’s social behavior understanding in light field. The major research contents include: 1) study the hybrid imaging based algorithms for social behavior reconstruction, including skeleton-based motion reconstruction and 3D gaze estimation, 2) research temporal action detection on a series of skeleton frames, joint attention reconstruction, and individual social engagement prediction. The project devotes to propose a series of efficient methods to reconstruct and understanding children’s social signals in light field. The research will break through the scene interdependency limitation of multiple view geometry, improve the perception quality for light field of high-level visual signals and promote the applications of light field theory and imaging technologies.

现有基于传统成像模型的儿童社交行为理解方法存在依赖场景内容、视差估计精度不高、对遮挡鲁棒性不强等局限，仅适用于受控条件下的低密度群体场景。为了解决上述问题，本项目面向幼儿园区域活动，拟展开基于光场成像的儿童社交行为理解研究。主要研究内容包括：1）研究基于光场社交人体模型的社交行为重建方法，包括三维骨架运动重建和空间注视重建；2）研究基于光场的个体行为时序检测及共注视重建方法，并探索个体社交活跃度的量化评价方法。本项目属于计算摄影学领域的前沿方法与应用研究，旨在利用光场理论和方法突破传统多视方法与场景内容不独立局限，并为探索光场成像的高层视觉应用提供新的思路。

现有基于传统成像模型的儿童社交行为理解方法存在依赖场景内容、视差估计精度不高、对遮挡鲁棒性不强等局限，仅适用于实验室条件下的低密度群体场景。本项目旨在研究基于光场成像的儿童社交行为理解，主要研究内容包括：1）研究宽视场光场数据获取与高效计算方法。2）研究基于光场社交人体模型的社交行为重建方法，包括三维骨架运动重建和空间注视重建。3）研究个体及群组行为识别方法，并探索个体社交活跃度的量化评价方法。针对上述研究内容，本项目研究了基于双平面模型的多视光场数据关联方法，并将其应用到显著性检测、分割、新视点合成等技术，为光场社交行为重建提供高效计算方法。在宽视场动态光场获取方面，针对幼儿园教室区域活动中的儿童社交活动，本项目设计了基于矩形排布相机阵列的光场成像系统和时空配准方法。在光场社交行为重建方面，本项目提出了直接在三维空间中估计全身姿态的基于学习的重建算法，实现了群体骨架和视线的高精度重建。在此基础上，本项目研究了社交行为理解方法，从个体行为识别、群组行为识别、群组检测、共注视重建、个体社交活跃度量化评价等方面深入理解社交场景。.截止报告之日，在本基金资助下项目组已申请相关发明专利4项，发表相关学术论文10篇，其中CCF认定的A类期刊论文2篇，SCI四区期刊论文1篇。本项目协助培养了博士生3名，硕士生3名。将本项目提出的理论及方法与具体应用结合，项目组又获批2020年国家电网公司总部科技项目子项目1项，并参与2021年国家自然科学基金重点项目1项。