狭小微装配空间多机械手自学习智能协作控制方法研究

Micro-assembly robots replace manual to perform precision assembly can improve accuracy and efficiency significantly. Micro-assembly robot technology has important application value in electronics, bioengineering, ICF and other fields. At present, there are problems that the versatility of micro-assembly robot and key technologies is poor, and automation degree of complex micro-assembly robot with multiple cooperating micromanipulators is low, which are not conducive to the development of micro-devices toward to multiple varieties and small batches. It is urgent to develop intelligent micro-assembly robot technology to enable robot to have self-learning capabilities, so that robot can automatically plan assembly sequences based on structural characteristics of micro-devices and dispatch manipulators to complete complex assembly in collaboration. This project develops reinforcement learning theories and methods for collaborative control of manipulators, studies on modeling method of intelligent cooperative control model of micro-assembly robot with multi-manipulators, nonlinear approximation method of high-dimensional continuous state-action, decision-making method of behavior, establish and updating method of sample library, to establish intelligent cooperative control model and control methods of micro-assembly robot with multiple cooperating micromanipulators in a narrow micro-assembly space. This project realizes intelligent control of multiple cooperating manipulators based on robot self-learning, and improves the degree of automation and intelligence of complex micro-assembly robot.

微装配机器人代替人工进行微米级别的精密装配，能够显著提升装配精度和效率，在电子、生物工程、ICF等领域具有重要应用价值。目前存在微装配机器人系统与关键技术的通用性差、多机械手复杂微装配机器人自动化程度低的问题，不利于微器件朝着多品种、小批量的方向发展，亟需发展智能微装配机器人技术，使机器人具有自学习能力，能够根据微器件的结构特点自动规划装配序列、分派多机械手协作完成复杂装配作业。本课题发展面向多机械手智能协作控制的强化学习理论与方法，重点开展狭小空间多机械手智能协作控制系统建模、高维连续状态-动作逼近与行为决策方法、训练样本库建立与更新方法的研究，建立狭小空间多机械手智能协作控制模型与控制方法，实现多机械手的智能协作，提高复杂微装配机器人的自动化程度与智能性。

本项目聚焦狭小微装配空间多机械手智能协作控制问题，发展面向多机械手智能协作控制的强化学习理论，建立狭小空间多机械手智能协作控制模型与控制方法，实现微装配机器人多机械手智能协作。具体取得了以下研究成果：1）建立了基于栅格法与Q学习的多机械手避碰趋近控制方法，在仿真空间中生成了多机械手趋近位姿轨迹，结合仿真空间与笛卡尔空间的关系标定结果，实现了笛卡尔空间内多机械手的避碰趋近控制。2）建立了基于GMM建模与强化学习的多机械手对准协作控制方法，采用离线训练与在线学习相结合的方式，通过GMM建模实现位置对准示教数据的生成，通过耦合关系建模实现了姿态的推断；通过奖赏函数、动态搜索策略的合理制定，实现了基于TD3的在线学习过程中奖赏值的快速收敛；实验验证完成了三个微零件空间位置的智能随动对准控制。3) 建立了基于力/位的机械手柔顺装入技能学习方法，通过对柔顺装入GMM模型产生的数据进行提取获得了预训练样本，基于DDPG的在线学习模块通过合理制定奖赏函数实现了奖赏值的快速收敛，并且通过设定安全阈值保证了系统的安全，对比实验结果表明微零件装入过程中力控制精度与装配效率较传统方式均有所提升。通过本课题的研究使多机械手微装配机器人具有自学习能力，能够智能协作完成自动装配过程，提升了多机械手复杂微装配机器人的自动化程度与对象适应性。