基于户外增强现实的空间信息可视化与多模式交互机制研究

The project researc on the human-machine multi-modal interaction under geographic mobile computing by utilizing the rapidly arsing technology of Mobile Computing, incorperated with the new concept of Augmented Reality(AR), one hand mobile computing can provide LBS anywhere and anytime, one the other hand AR can make a fusion between observed landscape scene and stored visible or invisible virtual information. A seamless merge of human as subject, the reality as object and digital world via network can be realized, by which the interaction will not confined to time and space. This mode will revolute the traditional interactive interface of human with virtual and real world and become the typical way for the interaction between human and semantic scene of digital map over a long period. The research result will sysmatically reveal spatial context and gesture-based map visualization and handling application modes supported by 3D compass and gyroscope, and human-machine interactive relation by graphics and image. By a series of research practice of platform construction, technology development, subject testing and interface design,leading experiences will be provided for the pervasive application in the field of geographic information.

本项目利用正在迅速兴起的移动计算技术，结合增强现实这一虚拟现实领域的最新理念，研究地理移动计算环境下人与计算机界面的多模式交互机制。由于一方面通过移动计算系统能够使用户随时随地享受基于位置的服务,另一方面通过增强现实可以将实际观察到的地理景观与空间数据库中存贮的各种可见及非可见的虚拟信息进行融合，实现作为主体的人、作为客体的真实世界以及经由网络传输的数字世界三者无缝地结合，实现不受任何时间和空间限制的互动，根本性地改变传统地理信息系统中人、虚拟世界与真实世界的交互界面，成为未来相当长时期内人与数字地图语义实景交互的典型模式。研究成果将系统地揭示数字环境下三维罗盘和陀螺仪支持下基于空间上下文和姿态的地图显示与操作应用模式,以及人机图形图像融合界面的互动关系。通过平台搭建、软件开发、主体实验、人机界面设计等一系列研究实践,为其在地理信息领域中的普适应用提供先导经验。

本项目利用正在迅速兴起的移动计算技术，结合增强现实这一虚拟现实领域的最新理念，研究地理移动计算环境下人与计算机界面的多模式交互机制。在地理增强现实的概念模型方面，构建了一套以泛在计算、普适计算和地理增强现实技术为基础的新型地图和地理信息服务模式理论，特别是将增强现实引入户外地理空间，从三元空间、回到真实、新型的GIS和地图、移动地图、地图HCI、地图内容和新型叠置等方面阐述了新理论体系的实际内容，构建了在新媒体环境下未来地理信息服务新模式。在户外场景的跟踪注册机制方面，本项目摆脱了传统以特征点检测和解析法图像注册算法，针对户外对注册算法要求灵活、自由和实时等需求，创造性地将深度学习引入户外目标识别，进而通过位置追踪和匹配实现图像注册。采用SSD深度神经网络，结合ImageNet 和 Pascal VOC 2007数据集，通过采集针对每个地理目标图像样本，训练达到收敛状态。模型所达到的mAP为58.2%，本模型经过轻量化之后，实现了实时识别与检测向移动设备的迁移。通过技术集成，实现了基于多传感器的虚拟信息与真实信息的融合可视化及交互机制。原型系统主要包括4个模块，即图像处理、位置姿态计算、空间数据查询、增强信息。本项目的研究在虚拟战场、数字商业、智慧旅游、城市规划和户外游戏等领域都具有重要的发展前景。尤其是和大数据及深度学习技术的结合，使本项目的地理增强现实研究能够更好地充当大数据时代人工智能发展的关键领域和前沿领地，在信息通信技术时代具有不可限量的前途和希望。