增强现实中多目标3D跟踪定位和WH-SIFT特征识别方法研究

目前大多数增强现实跟踪定位技术主要采用纯粹基于几何信息的跟踪定位方式，缺乏对场景的理解和对目标的识别。造成现有算法需要大量的人工干预，无法实现场景中的多目标跟踪定位。此外，算法在实现特征识别时，为保证特征对尺度、光照和视点变化的鲁棒性，而采用高维数的强特征描述。强特征描述矢量的建立加大了系统的计算负载，降低了系统的实时性能。对需要进行大数据量处理的问题，如图像检索、大型三维模型的创建构成性能瓶颈。针对以上问题，课题采用"Bag of features"的物体识别模型在Randomized ferns分类器框架下，实现复杂场景下的多目标识别与跟踪定位。同时采用Walsh-Hadamard核变换方法，在保持特征具有尺度、光照、视点不变性的同时，有效降低特征描述矢量的维数。课题的研究成果将为构建更高效、稳定、能够自适应场景和环境的智能化增强现实平台打下基础，拓展系统的应用领域和范围。

由于目前大多数增强现实跟踪定位技术主要采用纯粹基于几何信息的跟踪定位方式，缺乏对场景的理解和对目标的识别。造成现有算法需要大量的人工干预，无法实现场景中的多目标跟踪定位。此外，现有的特征提取匹配算法为保证特征对尺度、光照和视点变化的鲁棒性，而采用高维数的强特征描述。强特征描述矢量的建立加大了系统的计算负载，降低了系统的实时性能。对需要进行大数据量处理的问题，如图像检索、大型三维模型的创建构成性能瓶颈。针对以上问题，本课题采用"Bag of features"的物体识别模型在Randomized ferns分类器框架下，实现校园环境下的多目标识别。实验结果表明，该算法实时性好，识别场景数量可多达1000个。在特征提取匹配算法方面，课题组采用Walsh-Hadamard核变换方法，在保持特征具有尺度、光照、视点不变性的同时，有效降低特征描述矢量的维数。在增强现实跟踪定位方面，课题组对基于平面的跟踪注册算法以及基于模型的跟踪注册算法都进行了深入的研究与探索。完成了户外复杂环境下的增强现实跟踪注册算法，并成功应用于圆明园数字数重现项目。在完成课题基础上，课题组超额完成了基于词汇树的目标识别算法，并成功应用于基于手机平台的移动增强现实系统中。同时课题组拓展研究了实时目标检测算法，实现了手机端的蔬菜自动检测算法。. 课题的研究成果为构建更高效、稳定、能够自适应场景和环境的智能化增强现实平台打下了基础，拓展了系统的应用领域和适用范围。目前课题取得的多目标识别以及跟踪定位算法研究成果已申请国家发明专利，并成功应用到国家重大专项支持项目以及多项企业联合项目。