针对多模型实例数据的鲁棒模型拟合及其在运动分割中的应用

Model fitting is an important task in computer vision, and has been widely employed in many practical vision applications, including motion segmentation, 3D reconstruction, image registration, etc. However, model fitting is a challenging task, since computer vision data unavoidably contain noise, a large fraction of outliers and pseudo-outliers. Most of the existing model fitting methods for multi-model instance data perform sampling and model selection disjointedly. This leads to the fact that the information contained in the generated hypotheses do not effectively use to guide the subsequent sampling process. Moreover, the number of hypotheses needs to be predefined, which will reduce the application range of the fitting methods. For multi-model instance data, this project investigates into the model fitting method of alternately performing sampling and model selection, including (1) a new efficient guided sampling method for multi-model instance data; (2) a new stop criterion for multi-model instance data. The proposed model fitting method can effectively use the information of the generated hypotheses to guide the subsequent sampling process and does not need to predefine the number of hypotheses. This will improve the performance of the model fitting. Moreover, this project will propose an efficient motion segmentation method with a sparsity constraint, by using both the proposed model fitting method and the existing Key-frame extraction method. The achievements of this project have important academic and applicable values for the applications in computer vision.

模型拟合是计算机视觉领域中的一项重要研究任务，它已被广泛地应用于运动分割、三维重建、图像配准等领域。由于输入数据不可避免地会包含噪声、离群点和伪离群点，使得模型拟合任务极具挑战性。现有的针对多模型实例数据的拟合方法将数据采样和模型选择分开执行，这会导致已生成的模型假设中包含的信息无法用于指导后续的采样过程；另外，模型假设的个数一般需要预先指定，这会降低拟合方法的应用范围。针对多模型实例数据，本项目拟研究交替执行数据采样和模型选择的模型拟合方法，包括：(1) 针对多模型实例数据的指导性采样方法；(2) 针对多模型实例数据的停止标准。该模型拟合方法能充分利用已生成模型假设的信息来指导后续的采样过程且不需要预先指定模型假设的个数，从而提高拟合方法的性能。另外，通过结合该模型拟合方法与关键帧提取技术，本项目还拟提出一种有效的运动分割方法。本项目的研究对计算机视觉的多个应用领域具有重要意义和价值。

针对包含多模型实例数据的模型拟合问题，本项目对其关键问题（数据子集采样、停止标准及模型拟合的应用）展开研究，完成了项目预定的研究任务。具体的研究成果包括：（1）在数据子集采样方面，使用一个迭代过程把全局贪婪搜索策略、传统的贪婪搜索策略和融合策略有效地结合，提出了一种基于贪婪搜索的数据子集采样方法，以高效地生成准确的模型假设。另外，将残差排序和关键点匹配分数相融合，提出了一种基于残差排序的指导性数据子集采样方法，来快速地生成高质量的模型假设。（2）在针对多模型实例数据的停止标准方面，基于指定的内点阈值，提出了一种参数检测策略来检测已生成的模型参数是否正确。如果已生成的模型参数是正确的，那么保留该参数。反之，丢弃已生成的模型参数并且再次生成新的模型参数。该方法为数据中的所有模型实例采样到有效模型假设后自适应地停止，从而有效地提高了拟合效率和准确率。（3）在应用方面，利用超像素信息、极线几何和自适应核尺度技术，提出了一种确定性运动分割方法，以准确和确定性地分割运动物体。另外，将邻域拓扑一致性和指导性匹配策略相融合，提出了一种新的特征匹配方法。此外，采用颜色和法向变化的自适应数据驱动组合来构造相邻像素间的差异性，提出了一种基于RGB-D的图像分割方法，以准确地进行图像分割。除以上三个应用外，本项目还研究了点集配准、目标检测、显著性检测和白细胞分割等应用，提出了若干新方法。在本项目的资助下，发表了学术论文13篇，其中在SCI源刊（如TCYB和TIE权威期刊）上发表了8篇，在EI源刊（如中文权威期刊计算机学报）上发表了2篇，在ICASSP等国际会议上发表3篇。