基于视觉的打乒乓球机器人仿人击球策略研究

Aiming at playing table tennis using a robot, this project will investigate how a robot to learn and realize human's motion skill. The vision-based humanoid striking strategy will be proposed for the playing table tennis robot. This project will provide necessary theory and technology for improving the intelligence of robots. .The table tennis ball, racket and human's arm are selected as the observing objects. The measuring results of the ball's motion are used to trigger the measurement of the arm and the racket. The returning point of the ball is employed to distinguish the striking and auxiliary motions. The measured pose of the racket is fused with the pose of the racket calculated from the lower and upper arms. Then the smooth trajectory with sampling time and racket orientation is obtained via fitting the poses of the racket in different sampling moments. The motion parameters of the racket are estimated with the trajectory. Based on the assessment of the striking results, the basic motion types such as push-and-block and chop stroke are classified according to the pose variation and the trajectory turning. Each type is described with motion primitives or basic trajectories. Then the motion patterns in them are extracted and recognized. The motion patterns are modified according to the performances in the process that the robot strikes the ball with them. The motion pattern that the robot will use is determined with fuzzy algorithms according to the coming ball parameters and the desired returning ball parameters given by the winning strategy. It is converted to the joints parameters of the robot to return the ball. Thus the humanoid motion skill to return the ball is realized. The robot can play table tennis ball with a person in a competitive mode.

本项目以机器人打乒乓球为背景，研究机器人学习和实现人的运动技能,提出基于视觉的机器人仿人击球策略和方法，为提高机器人的智能性提供必要的理论与技术基础。.以乒乓球、球拍与手臂为观测对象，以乒乓球的运动测量结果触发手臂和球拍的测量，以乒乓球的运动转折点区分击球运动与辅助运动。对直接测量出的球拍位姿和基于小臂和大臂推算出的位姿进行融合，再经拟合获得带时标和姿态的平滑轨迹，估计球拍运动参数。在对人的击球效果评价的基础上，以姿态的变化和轨迹的转折等作为度量，识别推挡、削球等运动技能类型。对于分类后的运动技能，采用基于运动基元或基本轨迹的方法描述球拍运动，从而提取出运动模式。根据机器人应用运动模式回球后的效果，进行运动模式修正。结合来球的击打点参数和竞技策略给出的期望出球参数，以模糊算法确定机器人球拍采用的运动模式，并转换为机器人各个关节的运动参数，进行仿人运动技能的回球，实现机器人与人的竞技运动。

本项目以机器人打乒乓球为背景，研究机器人学习和实现人的运动技能，提出基于视觉的机器人仿人击球策略和方法，为提高机器人的智能性提供必要的理论与技术基础。. 本项目的研究内容为：(1) 多运动目标的实时跟踪与运动估计。设计并行分布计算的多目视觉系统，重点研究高效的图像处理算法和目标位姿测量方法。（2）人打球的运动技能提取与表示。研究推挡、削球等运动技能的分类提取，以及基于运动基元或基本运动轨迹的运动模式表示。（3）打乒乓球机器人的球拍轨迹生成。研究球拍轨迹生成的快速性和合理性，解决机器人球拍位姿的可达性与平滑性问题。（4）机器人打球的效果评估与运动模式修正。机器人回球后，利用视觉系统对击球效果进行评价，并对机器人回球的力度和姿态进行修正。. 通过本项目的实施，取得了如下科研成果：（1）针对多目视觉系统，设计了多目视觉系统参数的整定与优化算法。提出了一种帧间差分和高斯混合背景建模相结合的高效图像处理算法，提高乒乓球检测的速度和鲁棒性；（2）对飞行过程中的乒乓球受力及空气运动情况进行深入分析，基于力学分析，建立模糊神经网络对乒乓球的旋转模式进行分类。（3）基于HSV颜色空间的球拍标记线提取，结合PNP和OI算法求取乒乓球拍姿态，融合多传感器信息求取球拍运动轨迹；（4）提出了定点回球的击球效果评价方法以及基于击球效果评价结果的反馈式自学习回球策略。通过回球决策系统和新型动态击球控制方法，实现推挡球和旋转球的高效击打。