基于深度增强学习和技能学习的微装配机器人学习与控制研究

As one of the key techniques of precision manipulation, micro-assembly is capable of serving many military and civil tasks, and has attracted broad attention globally. However, it still, up to now, suffers from the problems of poor disturbance rejection, low assembly efficiency, indispensable human participation, etc. This proposal introduces skill learning and deep reinforcement learning into the micro-assembly field, investigates the learning and control strategies for intelligent micro-assembly robot, and works on a system integrating the intelligent micro-manipulation and the skill learning and recurrence, intending to solve the difficulties of intelligent micro-assembly. This material focuses on the following key contents: 1) Dimension-reduced guidance and control in micro-manipulation space. It is supposed to achieve real-time state computation and automatic motion control in terms of multiple microscopic images. 2) Alignment control based on multiple-view micro-vision, with an emphasis on deep reinforcement learning network from the end of several microscopes to the end of multiple robot coordinate control. 3) Micro-assembly skill learning, in order to learn and comprehend the skills of different assembly types. 4) Micro-assembly pattern modification, aiming at the robot capability of improving the learned skills and flexibly applying the skills. This proposal has important theoretical meaning and potential applicable value as exploring the high-efficient and high-reliability micro-assembly, and rendering new ideas, methods, as well as techniques to intelligent learning and robot control.

作为精密操作的关键技术之一，微装配可服务于多种军用和民用任务，并受到了世界各国的广泛重视，但目前仍存在抗干扰性能差、装配效率低、需要人为参与等亟待解决的问题。本项目将技能学习和深度增强学习引入微装配领域，研究机器人智能微装配的学习与控制策略，建立智能微操作、技能学习与再现系统，以期解决智能化微装配的难点问题。拟围绕以下几项关键内容开展研究：1）微操作空间内的降维引导控制，实现多显微图像反馈的状态实时计算及自主运动；2）基于多视角显微视觉的对准控制，重点研究由多显微图像端到多机械臂协调控制端的深度增强学习网络；3）微装配技能学习，完成对不同装配类型的技能学习与理解；4）微装配模式修正，以解决如何完善机器人所学技能并提高灵活运用所学技能的能力问题。本项目既深入探索高效率、高可靠性的微装配方法，又为智能学习、机器人控制等提供新思路、新方法、新技术，具有重要理论意义和潜在应用价值。

微装配是高精密操作的一个重要方向，在航天、军事等国家重大战略领域内有重要的应用价值。在取得了一定成绩的基础上，微装配还存在诸多技术瓶颈，例如效率低、精度尚需提高、自动化程度不高等，为此本项目深入研究微装配的视觉检测、装配控制和学习等方面，从而提高微装配在面向复杂状态时的鲁棒性、柔顺性、可控性和智能性。本项目重点研究了一下内容：1）面向显微视觉与微力反馈的微装配研究，利用投影降维法和图像雅可比矩阵实现在有遮挡情况下的状态快速检测与控制；借助多维被动柔顺机构，实现了在进给时的视、力觉融合，从而提高了装配精度，并实现了并联被动微装配，然后解决了刚-柔-刚等局部柔顺器件装配时的状态不可观、局部不可控等难题；面向多器件同时装配的需求，提出基于优化的大视野、大景深内的高精度对准和基于蠕动进给法的交互力检测方法。2）面向微装配的控制学习：发现微观尺度器件进给的径向作用力与进给深度的高斯变化规律，以此为模型构建了状态转移方程，并以此为基础，研究了面向姿态扰动的微装配进给学习；以支持向量机等学习手段对微装配的进给刚度异向性进行了研究，并设计了四象限控制器，以提高装配精度；以高斯规律为基础，在置信空间内对多器件装配进行了运动规划，从而克服了器件间交互力不可观的难题，并加快了进给速度；针对无通信协调机械手的运动控制问题，提出了一种基于估计的主从式协调控制方法，将机械手的力限制在几百毫牛以内。以上内容均以在多显微相机、多微力传感、多机械臂的微装配平台上进行了实验验证，本项目的研究既探索了面向复杂情况的高精度控制策略，又为机器人控制学习等方向提供了新思路、新方法、新技术，具有重要理论意义和潜在应用价值。