一般性物体遮挡的自动补偿方法研究

Object occlusion is quite common in two-dimensional images, which actually forms the "vision blind spot" area to computers, and hence directly restricts the ability of computer to analyze and interpret the image content autonomously. The project aims to carry out a research on this phenomenon, and design a method to achieve the automatic compensation of general object occlusion with the support of massive information. The research is a comprehensive fundament and application topic involving many knowledge levels, and is composed of many components such as occlusion analysis and judgment, compensation information retrieval, information modeling, compensation information fusion, and so forth. The project will mainly focus on five core scientific issues within those components: (1) analyze the general rules of occlusion from the perspective of the integrity of object; (2) design a logical architecture that associates internal rules, and then form a unified framework of general occlusion judgement; (3) study the method of “customized” compensation information selection from massive dataset based on semantic cues; (4) study the method of raw compensation information adjustment and advanced modeling, from the view of the automatic retrieval of object landmark sequences; (5) study the global matching and fusion of the compensation information and raw object image, driving by the cues of partial content matching. In addition, in order to build an intact compensation method framework, a series of ancillary contents will be moderately studied as well.

物体遮挡在二维图像中普遍存在，实质上形成了对计算机而言的“视觉盲点”区域，直接制约计算机自主分析解读图像内容的能力。本项目拟针对该现象展开研究，在大规模信息资源支撑下，设计方法实现对一般性物体遮挡的自动分析补偿。该研究属于涉及多个知识层次的综合性基础应用研究课题，包括遮挡分析判别、补偿信息获取、信息建模、补偿信息融合等多个具体组成环节。本项目将重点针对其中5个核心科学问题展开研究：（1）从物体完整性角度入手，分析遮挡发生的一般性规律；（2）设计关联各内在规律的逻辑架构，整合形成一般性遮挡的统一判定框架；（3）研究基于语义线索从海量数据集中“定点”筛选补偿信息的方法；（4）从物体控制点描述序列的自动分析获取入手，研究原始补偿信息的调整控制和高级建模方法；（5）研究以部分内容匹配为线索驱动补偿信息与原物体图像的全局匹配融合。此外，为搭建完整的补偿方法框架，还将对一系列附属研究内容展开适当研究。

由于视角的单一射线性，物体遮挡现象在客观物质世界中普遍存在，严重影响视觉系统对外在世界的认知和理解。本项目围绕一般性物体遮挡问题展开自动补偿修复研究，从基础应用理论角度，挖掘影响问题解决的核心理论技术难点，为其中的关键性科学问题设计提出一系列应对解决方案。作为一个研究性创新探索课题，前期直接相关的研究偏少，所以首先对相关基础技术和研究思路进行系统性分析和总结研判，掌握核心基础技术，为项目的深入研究做好充分技术和知识储备。在遮挡的分析和自动判别方面，从物体外观轮廓特征、整体对称性、接触边缘关系分析等视角展开探索，提出有效自动判别框架思路。在补偿信息获取方面，从多源信息融合的角度，探索提出一种将图像信息和文本属性相结合的图像检索获取思路，有效提升知识获取的灵活性和准确度。在物体控制点获取方面，详细分析研究了控制点的外在属性特征，针对性提出一种一般性物体控制点自动获取思路。以深度神经网络技术为依托，重点探索了补偿信息自动建模与内容匹配融合方法策略：对于建模技术本身，设计提出一种抗崩溃鲁棒生成对抗网络，有效提升内容生成网络稳定性，降低训练难度；对于图像内容缺损达到30%以上的大规模缺损图像，研究设计了一种基于结构修复引领的高精度修复策略；另一方面，还探索提出了一种基于更为细致的内容解析语意信息进行人脸图像修复的两阶段策略；在复杂的行人图像修复问题上，基于生成对抗架构提出一种全自动判定并同时修复内容和色彩两方面缺损的方法；针对人脸图像，提出一种端到端自主完成遮挡判断分割、缺损内容修复、内容匹配融合全过程的可靠方法。同时，作为基础研究类项目，积极拓展理论研究范畴：针对特征单一、有效信息较少的平面卫星遥感图像，设计提出一种融合实例分割思想的密集小目标高精度检测方法；在时间维度拓展方面，提出一种基于维度加权残差长短期记忆网络的短期交通流量预测方法，实现对实际交通流量数据的自适应建模分析预测。