鲁棒模型拟合中的关键问题研究及应用

When dealing with practical tasks , data from images or image sequences may be inaccurate. It is almost unavoidable that data will be contaminated by the factors such as sensor noises, errors in feature extraction and feature matching, segmentation errors, and so on. Moreover, data may also include multiple model structures. Thus, an important task in the field of computer vision is to estimate the parameters of model structures from data containing a lot of noises and multiple structures, and segment data belonging to different model structures. So far, however , this is still a very challenging task. Considering the shortcomings of the existing robust fitting methods, this project intends to solve three key problems in parametric model fitting: effectively sample data, adaptively estimate the inlier noise scale of a model, and robustly fit and segment multi- structured data. Furthermore, we will apply the proposed robust fitting methods to computer vision tasks (including text detection in natural scenes and so on). The research in this project is theoretically important for guiding to improve the robustness and accuracy of existing robust fitting methods, and has important application values on practical tasks in computer vision (such as face recognition, 3D reconstruction, motion estimation, image segmentation, and so on).

在处理实际的任务时，来自于图像或图像序列的数据可能是不精确的，几乎不可避免会被如传感器噪声、错误的特征提取、错误的特征匹配、分割误差等因素产生的离群数据所污染；而且，数据中也可能包含多个模型结构。这样，计算机视觉领域中的一个重要任务就是从含有大量噪声和多结构的数据中估计出数据中所包含的模型结构的参数，并把属于不同模型结构的数据分割开。然而至今，这依然是一个非常具有挑战性的任务。本项目针对鲁棒拟合方法中存在的不足，拟在三个方面解决参数模型拟合中存在的关键问题：有效地进行样本抽样、自适应地估计模型的内点噪声尺度、以及鲁棒地拟合和分割多结构数据。进而，我们还将把所提出的鲁棒拟合方法应用在计算机视觉任务中（包括自然场景中的文本检测等）。本研究对于提高现有模型拟合方法的鲁棒性和精确度具有重要的理论指导意义，并对计算机视觉中的实际任务（如人脸识别、三维重构、运动估计、图象分割等）有着重要的应用价值。

本项目围绕鲁棒模型拟合中存在的关键问题开展研究，完成了项目研究任务，取得了预期的研究成果。具体来说，在有效的指导性采样方面，将超像素与模型拟合相融合，提出了基于超像素分割的指导性样本采样方法，以确定性地采样高质量的数据子集；另外还研究一个新的基于残差排序的指导性采样方法和一个基于极线约束的指导性采样方法，以有效生成准确的模型假设。在鲁棒模型拟合和内点噪声尺度估计方面，研究了新型超图模型和有效的模式搜索算法，进而将超图模型与模式搜索算法相融合用于模型拟合；提出通过迭代的方式构建超图和分割超图来处理模型拟合问题；提出新的基于超图优化的模型拟合方法，其中包括一个自适应内点尺度估计算法和一个循环超边优化算法；并在基于超像素的指导性采样方法基础上，提出一种简单且有效的模型选择算法，进行确定性模型拟合；此外，还提出一个基于统计分析假设的外点去除法以及一个基于概念空间的离群点去除方法，以减少离群数据对拟合方法精度的影响。在应用方面，对运动分割、图像分割、目标检测与跟踪、显著性检测、文本识别、人脸识别等应用方向进行了研究，提出了一系列有效的模型、方法、新的框架以及判别标准。本项目发表学术论文57篇（SCI源期刊上发表26篇，国内外会议上发表30篇），其中在国际顶级期刊IEEE TPAMI和IJCV上各发表论文1篇，在其他IEEE Transactions和Pattern Recognition国际权威期刊上发表论文12篇，并在ICCV、ECCV、AAAI等国际顶级会议上发表论文多篇。另有9项国家发明专利获授权。还培养了1名博士后（已出站），5名博士生和8名硕士生（已毕业），其中2名博士生荣获福建省优秀博士论文荣誉、1名博士生荣获中国图象图形学学会优秀博士论文奖。本项目取得的研究成果缓解了当前鲁棒拟合方法的鲁棒性低、指导性采样方法的效率不高等问题，为提高拟合算法的鲁棒性和效率奠定相关的理论技术基础，具有重要的理论与应用价值。