城市增强现实及搜索应用关键技术

本项目申请中提出的移动终端城市增强现实搜索是一个有关3G新颖数据服务的重要问题。目前除了一些简单概念演示外，真正成功应用的案例还没有。导致这种现象的主要原因是现有的方案是以二维图像搜索来实现的，因此当搜索终端上的图像和注册的图像有较大变形时，搜索失败的可能性增加，导致结果不稳定。我们旨在通过引入具有三维信息的建筑平面结构来解决这个问题。一方面可以实时计算近似投影变换图像，从而提高匹配精度，另一方面无需完整三维信息所要求的复杂计算和大量数据交换。所提出的"物体平面结构→投影变换→变换后的图像匹配"这套流程，可以用到许多别的方面，比如把动态的监控信息投射叠加到静态的城市公路模型上，或足球比赛叠加到体育场的三维模型上等。因此，本项目研究和解决的问题在数据增值服务方面具有广泛的应用前景。主要研究内容包括：数据采集设备制作、街景扫描、天空和非天空图像分类、建模算法、手机图像匹配算法。

本研究项目的结果包括以下几方面内容：1、基于张量投票的平面建模的方法及平面块结构的描述方法，2、手机定向、定位、定焦以及手机图像的快速匹配问题解决，3、基于机器学习的天空非天空分类方法，4、城市增强现实方面。.第一方面，在平面建模方法上，采用基于分割的张量投票方法对建筑物序列图像进行建模，假设建筑物是有平面块组成，采用meanshif算法对图像进行分割，对图像块进行张量投票得到建筑平面的平面方程，由平面方程进行建模.第二方面，初步通过GPS、电子罗盘等设备获得相机的初步姿态，跟数据库图像进行初步匹配。在对偶空间中对待搜索的图像进行灭点检测，通过灭点来对相机进行标定，得到相机的焦距，进而可以得到图像平面的R矩阵，T矩阵则可以通过GPS信息得到。.第三方面，采用机器学习的方法对天空和非天空进行分类，分割出只有建筑物的平面。根据本项目的特点，改进了支持向量机的多核学习方法，更有效的分割出天空与非天空。.第四方面，本项目采用了两步发来实现城市增强现实。.第一步，通过三维重建、求解平面方程及手机图像与数据库图像的单应性矩阵等方法实现初步的信息标注。.第二步，利用改进的SIFT匹配来对视角变换后的两幅图像进行精匹配，求得数据库图像和手机拍摄图像的单应性矩阵，进行标注信息的精确标注。