形体动作教学中的互动相似性表达与时空关联分析方法

Intelligent interaction and feedback analysis in pose-action education are challenging, considering restricted situations, such as indoor, outdoor, or education with virtual interaction. Therefore, this program proposes to study sport psychology, pose-aware methods and theories of action recognition, to develop a system that can describe the similarity and spatial-temporal relationship of poses and actions among different people, so that the problems of representation, retrieval and matching of media in pose-action education can be solved effectively. The detailed purposes of this program are threefold: Firstly, we propose to explore the similarity of poses and actions among different people, and combine it with the geometric information and virtual attributes of poses and actions, so that we can obtain a robust and unified representation of poses and actions. Secondly, we will focus on the pose matching problem between the demonstrators and learners in pose-action education, and develop a pose mapping model for intelligent interaction in dynamic scenes. Thirdly, in order to provide high-quality online services of pose-action education, we will develop a spatial-temporal related framework to analyze poses and actions structurally, and exploit the visual attributes hidden in them. To evaluate the effectiveness and the performance of our research results, a spatial-temporary pose-action recognition system will be constructed and be applied into real-life applications. In summary, this program will provide the solid theoretical basic and the practical solution to the critical problems in intelligent interactive pose-action education.

项目针对形体动作教学中智能互动与反馈分析面临的挑战，以户外、室内和虚拟交互教学为背景，基于运动心理学、运动训练规律、形体感知与动作识别理论，围绕形体动作教学的表达、匹配和关联问题，研究形体动作教学中的互动相似性表达与时空关联分析方法，重点包括：1）研究媒体中的示范与学习者形体动作的共性特征，建立特征感知表达模型，形成形体动作感知的相似性几何与属性特征表达框架，增强形体动作的刻画和度量能力；2）针对媒体示范与学习者姿态互动的匹配，构建动态场景中的形体互动映射模型，强化示范与学习者姿态间的对应关系；3）实现时空关联的形体动作属性分析方法，提升形体动作的时空结构预测、识别和语义关联能力，提高远程在线和移动形体动作教学质量。项目将实现形体动作互动表达与时空关联分析原型系统，验证上述形体动作表达与分析理论方法和算法技术，并有望解决人体动作学习的智能互动反馈难题，为无人技术教学应用提供理论和技术支持。

针对示范教学中示范与学习者互动和反馈分析所面临的新挑战，本项目以形体动作教学中的虚拟交互为背景，基于运动心理学、体育训练规律、形体感知与动作识别理论，围绕示范教学的表达、匹配和关联问题，研究了形体动作教学中的互动相似性表达与时空关联分析方法，重点是：1）研究了示范与学习者形体动作的共性特征，建立了特征感知表达模型，形成了形体动作感知的相似性特征表达框架，增强了形体动作的刻画和度量能力；2）针对示范与学习者姿态互动的匹配，构建了动态场景中的形体互动映射模型，设计了基于投影分析和图像拼接的形体特征点映射模型，强化了示范与学习者姿态间的对应关系；3）研究并提出了一种时空关联的形体动作属性分析方法，主要是注意力引导网络的人体解析方法，提升了形体动作的时空结构预测、识别和语义关联能力，提高了远程在线和移动示范教学质量。项目最终实现了示范教学互动表达与时空关联分析理论方法和算法技术，通过项目研究成果智慧健康家庭服务平台、视频内容智能可视化软件系统，在国家数字家庭工程技术研究中心得到实例验证，并在广东第二师范学院体育学院的体育课程教学中得到应用，效果良好；为解决人机交互的智能互动反馈难题，为人工智能技术和虚拟现实教学应用提供了理论和技术支持。项目发表学术论文15篇，其中SCI收录期刊论文10篇，会议论文5篇，核心算法申请国内发明专利2件，授权国内发明专利2件；软件著作权2项；依托中山大学计算机学院共同培养研究生，其中毕业博士研究生2名，毕业硕士研究生4名。本项目按时完成了项目制定的研究目标。