基于深度信息面向主动视觉任务的视觉目标遮挡检测与规避方法研究

Occlusion problem is one of the challenging issues in vision domain for a long time. By now, there are a few achievements in active vision task-oriented visual object occlusion detection and avoidance at home and abroad. Our previous study found it is a feasible solution to detect occlusion by utilizing the depth image of visual object. Therefore, we propose the project titled occlusion detection and avoidance based on the visual object depth information for active vision tasks. (1) based on the depth image of visual object, the principles of statistical analysis and geometric analysis will be used to find more occlusion-related features; (2) constructing occlusion detection feature subset evaluation function, based on the selected optimal feature subset, the visual object occlusion detection method will be discussed based on online machine learning idea by using machine learning and convex optimization theory; (3) on the basis of the detected occlusion information, the convex optimization model for static occlusion avoidance problem will be constructed and solved; (4) based on the static occlusion avoidance method, the rapid modeling method of dynamic visual object occlusion region will be explored, and combining with the space-time characteristics of the occluded region, the dynamic occlusion avoidance method will be researched. This project will reveal the inherent relation between depth information and occlusion phenomena, which not only can provide theoretical basis for the visual system to detect and avoid occlusion phenomena actively, but also can achieve breakthrough in occlusion detection and avoidance method.

遮挡问题是视觉领域长期困扰人们的难题之一，目前国内外在面向主动视觉任务的视觉目标遮挡检测及规避方面的成果较少，我们前期研究发现利用视觉目标深度信息检测遮挡现象是一种可行方案，据此提出基于深度信息面向主动视觉任务的视觉目标遮挡检测与规避项目。(1)以视觉目标深度图像为依据，利用统计分析和几何分析原理,挖掘出更多与遮挡相关的特征；(2)构造遮挡检测相关特征子集的评价函数，基于选定的最优特征子集，依据机器学习及凸优化理论，研究基于在线机器学习思想的视觉目标遮挡现象检测方法；(3)以检测出的遮挡信息为依据，构造静态遮挡规避问题的凸优化模型并对其求解；(4)在静态遮挡规避研究基础上，探索动态视觉目标遮挡区域的快速建模方法，结合遮挡区域的时空特性，研究动态遮挡规避方法。项目研究可揭示深度信息与遮挡现象之间的内在关系，为视觉系统主动检测、规避遮挡现象提供理论依据，在遮挡检测与规避方法上取得突破性进展。

本项目首先针对深度图像遮挡相关特征开展研究，提出了多种新颖的遮挡相关特征，包括：深度值离散度特征、八邻域总深度差特征、最大面积特征、八邻域有效深度差之和特征以及加权最长线段特征，并首次引入高斯曲率特征用于遮挡检测，为研究深度图像遮挡检测方法奠定了基础。. 其次，基于视觉目标深度图像遮挡相关特征，研究了具有自学习能力、以自适应性及精确性为目标并兼顾实时性的遮挡检测方法。提出一种基于随机森林的深度图像遮挡检测方法；一种基于集成学习思想的深度图像遮挡边界检测方法；一种基于图的半监督深度图像遮挡边界检测方法；一种基于聚类思想的无监督深度图像遮挡边界检测方法，为进一步规避遮挡现象提供了支持。. 再次，利用视觉目标深度图像信息及其对应的遮挡现象检测结果，研究了静态视觉目标遮挡规避方法。提出基于投影降维思想的下一最佳观测方位确定方法；一种综合考虑视觉目标遮挡区域和轮廓信息的下一最佳观测方位求解方案；一种基于四边形剖分确定下一最佳观测方位的方法；基于可视空间的下一最佳观测方位确定方法，从而为主动视觉行为提供了理论依据。. 最后，分析动态视觉目标遮挡区域的时空特性，并以此为基础研究动态视觉目标遮挡区域的快速建模以及视觉目标遮挡现象规避的方法，提出一种利用最优化理论实现动态遮挡规避的方法；一种基于均值漂移思想的动态遮挡规避方法；一种基于关键点和关键线段信息实现动态遮挡规避的方法，从而为更高层次的主动视觉行为提供了理论依据。. 此外，除完成本项目的原计划内容外，还对彩色视频遮挡检测以及单幅图像影子检测问题进行了研究。. 项目研究共发表学术论文17篇，其中SCI论文3篇，EI论文12篇，申请2项发明专利、2项软件著作权。培养中青年教师3人，博士研究生4人，硕士研究生15人，完成了研究目标。