动态视点下室外场景的在线协同式虚实融合

Augmented reality aims to augment the perception and experience of real environments by integrating computer-generated objects into real scenes, of which the key of achieving high realism is to maintain the geometry, illumination and motion consistency between virtual and real scenes. With the help of rapid development of moving devices, the moving AR becomes a breakthrough of AR from high-level research to practical uses. Among which, two challenges must be solved: integration under dynamic viewpoints and online process of the integration. This project focuses on the two challenges. We will selectively explore the theory and methods of finite reconstruction of outdoor scenes, real-time illumination and shadow interaction between real and virtual scenes, and their collaborative refinement with online camera calibration. By utilizing the collaborative refinement of the three tasks, the whole effect of integration can be greatly improved. We plan to make important progress in the collaborative refinement and interactions between virtual and real shadows. In addition, we will make the quantitative analysis of main factors which may influence human perception of the integration results, according to the perception feature of human eye, which will be used to guide the emphasis and design of future integration methods. Finally, to validate the proposed theory and methods, a practical prototype system will be built.

增强现实（AR）旨在通过将计算机生成的虚拟景物融入真实环境以增强人们对真实环境的感知与体验，增强现实真实感的核心是保证虚实景物的几何、光影与运动一致性。借助于移动端设备的迅猛发展，移动端AR成为AR由高端研究走向大众应用的突破口。为此必须解决两大关键性挑战：动态视点下的虚实景物融合和融合场景的在线实时展示。本项目围绕上述挑战展开研究，通过着重研究室外场景有限重建的理论与方法、实时光影分析以及与在线定标的协同优化方法，拟将场景重建、光影分析与在线定标纳入统一框架，通过三者的协同优化提升整体融合效果，并在虚实阴影的相互投射模拟及三者的协同优化等方面取得突破。此外，我们还将根据人眼的视觉感知特点开展影响融合真实感主要因素的定量分析，以引导未来虚实融合方法的研究。最后，搭建一套实用的虚实融合原型系统以验证所提出的理论与方法。

本项目针对增强现实技术走向实际应用必须解决的动态视点下的融合和融合的在线处理两个基础性问题展开。项目研究了场景有限重建的理论与方法，提出了结合消失点的点线综合特征视觉里程计算设计方法、在线视频的实时平面检测与跟踪算法等；研究了室外视频场景的实时光影分析，提出了基于阴影布局信息的单幅图像阴影检测方法、基于光流跟踪的室外移动视点视频的在线阴影边缘检测、室外虚实阴影的交互模拟方法等；研究了有限重建、光影分析与在线定标的协同优化，提出了基于直线跟踪的实时相机定标方法等；研究了影响虚实融合真实感的主要因素，提出了基于人眼视觉感知特点的融合真实感评价方法。基于上述研究成果，搭建了一套集成多个虚实融合关键任务如相机标定、光照求解、阴影投射、虚拟物体绘制等的虚实融合原型系统，验证了所提出方法的有效性。项目相关研究成果先后在计算机学会推荐的外文期刊和A类中文期刊上发表高水平论文13篇，申请专利2项，培养硕士研究生8名。在本项目的支持下，我们于2018年8月在四川大学成功召开了第五届中法虚拟现实前沿研讨会，为中法两国高校、研究院所和图形学相关企业搭建了一个良好的学术交流平台。此外，课题组成员先后9人次参加了Siggraph Asia、International Computer Graphics、计算机辅助设计与图形学大会、中国虚拟现实大会（China VR）暨虚拟现实与可视化国际会议（ICVRV）等国内外相关领域的主流会议并受邀做学术报告，交流和宣传了本项目的研究成果。通过四年的研究，课题组圆满完成了既定的研究目标，取得的相关研究成果将为增强现实系统走向应用提供一定的理论参考与方法支撑。