面向柔性抓取的随机光场环境下混杂反光零件识别技术

Robotic visual recognition and grasping technology is one of the core contents of intelligent upgrading of manufacturing industry in China. It is difficult for the existing technology to solve the issues of random light field, reflectiveness and mixed stack of parts. The main contents of this project include: real light field modeling in random unknown illumination environment with no auxiliary, joint representation of physical and virtual isomorphic images of reflective parts, multi-order hash matching of fusion features of hybrid stack parts, non-calibration visual servo for flexible grasping of parts, targeted to solve the above problems. The innovations include, the method of constructing the all-optical function based on the low-rank sparse representation, the virtual-reality image heterogeneous feature fusion technology based on the deep learning, and the robot's eye-hand mapping method based on the minimum nonsingular Jacobian network. A prototype system for recognition and flexible grasping of hybrid reflective parts in the random light field environment will be developed, with involute scrolls, planetary gears and other hybrid metal parts to verify the proposed methods. The completion of this project will greatly improve the accuracy, robustness and flexibility of robotic intelligence grasping.

机器人视觉识别及抓取技术是我国制造业智能化升级的核心内容之一。现有技术尚难以解决机械零件识别及抓取中的随机光场、零件反光及混杂堆叠等问题。针对这些问题，本研究从随机未知光照环境下无辅助真实光场建模、反光零件实物与虚拟异构图像的联合表征、混杂堆叠零件融合特征的多阶哈希匹配、面向多类零件柔性抓取的无标定视觉伺服等四个方面开展研究。将在基于低秩稀疏表示的光场近似全光函数构建方法、基于深度学习的零件虚实图像异构特征融合技术和基于最小非奇异雅克比网络的机器人眼手映射方法方面取得创新。并开发随机光场环境下混杂反光零件识别及柔性抓取原型系统，以渐开线涡旋盘、行星齿轮等多种混杂堆叠金属零部件为对象进行验证。本项目的完成，将有效提高机器人智能零件抓取的准确性、鲁棒性与柔性。

视觉伺服控制技术能为机器人提供更高的设计灵活性、任务精度以及智能化水平,是机器人智能化的核心技术。现有的视觉伺服控制技术以图像特征点为控制基础，难以应用于缺少稳定图像特征点的低纹理反光零件。针对这一难题，项目研究了基于几何特征的目标位姿识别与视觉伺服技术，并开发了视觉伺服系统，实现了低纹理反光零件的精确定位与抓取。主要创新成果包括：（1）针对基于特征点控制的视觉伺服难以适用于低纹理反光零件的问题，提出了新的低纹理反光零件视觉伺服模型；（2）针对低纹理反光零件的几何特征检测问题，提出了基于梯度聚类的椭圆特征检测方法，以及先验透视不变水平集的平面特征检测方法，在获得能量泛函最小值的同时保证了当前特征与基准特征的透视不变性；（3）针对低纹理反光零件几何特征的位姿识别问题，提出了基于锥面求交的圆特征位姿识别方法，以及基于频域相关性分析的平面特征位姿识别方法；（4）针对低纹理反光零件的视觉伺服控制问题，提出了基于圆特征虚轴定位的位置视觉伺服方法，以及基于混合图像矩的视觉伺服控制方法；（5）在上述理论研究的基础上，开发了低纹理反光零件位姿识别与视觉伺服系统并应用在金属零件抓取任务中，验证了项目所提理论、方法和技术的可行性和有效性。. 相关研究成果在国际学术界产生了积极影响，共发表了SCI期刊论文25篇，其中顶级或权威期刊论文16篇：在中科院1区期刊《IEEE Transactions on Industrial Informatics》、《IEEE Transactions on Industrial Electronics》、《Pattern Recognition》、《IEEE-ASME Transactions on Mechatronics》上发表论文8篇，在中科院2区或浙江大学TOP期刊《IEEE Transactions on Instrumentation and Measurement》、《Remote Sensing》、《Measurement Science & Technology》上发表论文8篇。授权发明专利15项，申报PCT国际专利3项；获国际会议最佳论文金奖1篇（大会唯一）；合著专著1本。