面向操作者手眼协调特性的微操作机器人辅助优化与控制研究

The research on microoperation and micromanipulator is a hot topic in the field of micro-nano and robotics. The tele-operation is the main form of microoperation at present, in which the operator takes the operation of hand-eye coordination. The project first reveal and grasp the operator’s human characteristics of hand-eye coordination in the microoperation by experiments. And then, around the targets of improving the human characteristics of hand-eye coordination and reducing the risks of human error, the project solve two problems by using the research methods of combination of the theory of human factors and the technology of micromanipulator to. One problem is from the point of human-robot interaction. The project researches the methods of structure optimization and parameters online-adjustment of the micromanipulator in order to enhance the operator’s observability and operability for the microenvironment. Another problem is from the point of robot aid-decision. The project researches the evaluation method of operator’s states of hand-eye and understanding strategy of operator’s intentions of hand-eye operation in order to form the prediction mechanism for the operator’s human risk. Research of the project has an innovation in the field of microoperation and micromanipulator, and has a good value of theory and technology. At the same time, the researcher also can promote the practical application of micromanipulator.

微操作及其机器人是近年来微纳技术和机器人领域的研究热点。当前，遥控式操作是微操作的主要形式，操作者在其中采取手眼协调的操作方式。本项目从研究机器人对人在微操作中的手眼协调性的影响关系出发，采用人因工程原理和微操作机器人技术相结合的研究方法，重点解决机器人基于人的手眼协调特性的结构优化方法与参数在线调整技术、机器人对人的手眼状态的评估方法和手眼操作意图的理解策略等理论和关键技术问题，形成一套机器人的辅助优化与控制机制，以实现优化操作者的手眼特性和降低操作者的人因失误风险的目标。本项目的开展将揭示和掌握人在微操作中的手眼协调特性及其对微操作综合效率的影响机理，将丰富以人机通道为主要对象的微操作机器人设计理论，并提升机器人的局部自主能力。

微操作及其机器人是近年来微纳技术和机器人领域的研究热点。当前，遥控式操作是微操作的主要形式，操作者在其中采取手眼协调的操作方式。.本项目主要工作及成果包括：1）研究操作者在微操作中的手眼协调特性。设计了一种适合于微操作的头盔式视点追踪设备，在保持标定系统稳定的条件下，该设备的注视点定位最大误差小于14个像素；提出基于SVM的操作者手部操作定位误差预测方法，经训练后模型预测值的平均绝对误差为0.017mm、均方根差为0.019mm。设计了操作者典型动作轨迹实验，获取了手眼协调数据，以定位精度为主要指标，表明水平定位误差呈现负偏太分布，垂直定位误差成正偏太分布。2）研究操作者手眼协调操作的误差补偿方法。基于人机交互机制，分别建立了人眼和人手定位误差的辅助定位和误差补偿策略，开发了相应系统。实验表明，在典型的微操作中，相关方法可避免操作者直接操控设备，定位误差减小到0.005mm以下。3）研究操作者在微操作中的动态手势识别与主动跟踪技术。以视觉系统和Leap Motion设备为手势获取通道，建立了手势多特征模型及其基于HMM的动态手势识别算法，该方法对复杂动态手势的识别率达92.5%；基于Kalman和神经网络，提出了一种Kalman-CNN-LSTM的操作者手势轨迹预测方法，针对复杂的平移且翻转手势，跟踪轨迹的均方根误差为17.23mm；针对视觉单元，面向典型微操作的指令型和动作型手势，提出了一种基于HOG+SVM模型和Hu+FCM模型加权的手势识别算法，实验表明该算法手势识别率约为90%，且对变形手势具有较好的鲁棒性。4）研究微操作机器人的自主操作技术。以显微图像为感知条件，提出基于轮廓拟合的碰撞检测技术，实验表明该方法的碰撞检测成功率为97.9%；基于Sarsa算法构建了面向微操作的强化学习方法，实现表明，机器人成功地学习到避碰和趋近目标的经验。将手势识别、碰撞检测、强化学习经验集成，简单的微操作实验表明所提出方法可使机器人在操作者手势驱动下的自动完成操作。