模块化机械臂分拣系统三维情景推理与交互算法研究

A kind of 3D scene reasoning and interaction algorithm for sorting system of modular manipulator is proposed in the project, and the hardware and software platform will be designed. At first, a new change detection algorithm (LBPSG) is proposed to improve the system real-time performance, which will use the LBP (Local Binary Pattern) with Split Gaussian Models, and an improved Particle Filter Algorithm will be used to provide supplementary information for LBPSG algorithm to implement the detection of ROI (Regions Of Interest) object changing, even if target objects are overlapping or partly occlusive. And then the research work will focus on the improvement of local feature descriptor RoPS which is the key point in the proceeding of 3D point cloud object real-time recognition and understanding, to construct 3D semantic map description file for robot to reason. Lastly, an improved CBR-BDI reasoning mechanism will be proposed, user’s desire will be got through voice interaction and feedback guidance, combining with real-time scene, the system will analysis the desire to reason, generate the final intention and the semantic solution, achieve intelligent sorting by using modular manipulator. At all, the real-time performance of the whole system will be resulted from the actual verification, testing, analysis and evaluation of the system architecture and all improved algorithms, and a high quality demonstration platform of intelligent sorting system using modular manipulator will be completed.

采用模块化技术，设计一种机器人智能分拣系统。在该平台下，拟提出一种新的变化检测算法-LBPSG算法，利用改进的基于局部二值模式的变化检测算法与分离高斯模型变化检测算法进行融合以提高实时性；拟采用一种改进型粒子滤波算法为LBPSG算法提供辅助信息，用于实现对兴趣物体变化检测，以及实现当兴趣物体出现部分遮挡、重叠时的有效检测；在三维点云目标识别与理解部分，重点改进基于局部特征描述子算法RoPS，实现对多目标场景的实时识别与理解，构建可供机器人作业推理的三维语义地图描述文件；改进CBR-BDI推理机制，通过语音交互、反馈引导，得到用户期望，将用户期望结合实时场景进行分析、推理，生成用户的最终意图，形成具有语义信息的解决方案，最终实现模块化机械臂的智能分拣作业。针对系统的整体实时性，对体系结构及改进算法的性能进行实际的验证、测试、分析与评价,完成一款具有高度展示度的模块化机械臂智能分拣系统平台。

本项目研究三维场景感知、推理与交互算法。并以此为理论基础构建基于“人-机-环境”交互与推理的模块化机器人全自动作业系统，实现基于“人-机-环境”交互的全自动作业。通过三维目标识别中的目标跟踪算法和特征描述子简化算法，提高机器人场景感知的精度和速度；提出“人-机-环境”交互与推理机制，让机器人可以结合场景感知的信息与用户进行交互并获取用户意图，提高了机器人的智能程度；将用户的意图进行解析实现将用户意图转化为控制机器人的指令，实现全自动作业。.课题经过四年研究，取得如下结果：.1. 设计了一套机器人全自动分拣系统。系统可以实现机器人-人-环境的交互，在确定规则后可以进行自动编程实现全自动化的作业。.2. 提出了一种参数自适应粒子滤波目标跟踪算法。通过区域生成分割算法构建相似性度量函数，分析获取参数设置的顺序和取值规则。由此提高了目标跟踪精度，减少了目标跟踪时间。 .3. 采用 ISS 检测算法对点云进行关键点检测。选择合适的特征描述子表征关键点邻域内点云的信息，从多目标场景中有效识别物体的信息（如三维坐标、物体大小、形状、颜色等），实现对多目标场景的整体理解，构建可供机器人作业推理的三维语义地图描述文件。.4. 提出一种特征描述子二进制简化方法。采用切比雪夫不等式对浮点数据进行二进制简化，并应用于局部特征描述子SHOT中。得到更简单有效的特征描述子CI-SHOT，提高了关键点检测和匹配效率。.5. 提出一种“人-机-环境”交互的推理机制，结合三维情景交互算法，实现当用户期望不完整或与场景不匹配时的人机对话与引导，直至产生规范化的完整期望并生成解决方案。提高了机器人系统的智能程度。.本课题的研究提高了机器人的智能化和自动化水平，其中共性关键理论与技术的研究，对于机器人领域和人工智能交叉学科的发展以及未来机器人换人战略的推进具有重要意义。