反射镜视频相机自校准和非刚性物体建模研究

本课题提出并研究以单个反射镜视频序列代替摄像机网络完成摄像机自动校准和非刚性物体高质量三维模型重建。深入分析反射镜形成的虚拟相机网络图像轮廓间的几何约束，利用与转台运动的几何相似性，发现反射镜运动的新约束，解决用单幅静态物体图像完成相机内外参数校准的问题。由于仅需要一幅图像，所得结论可以容易的推广到校准内外参数变化的自由相机，或恢复动态非刚性物体的三维数字化信息。同时，研究鲁棒的提取特征对应点，采用轮廓和特征匹配点相结合的方式，解决图像中物体和反射镜虚像的自遮挡问题，在图形切割的过程中引入对象表面的光滑性约束，提高重建模型的表面精度。因此本课题的研究既针对可变焦的摄像机自动校准应用需求，挖掘反射镜运动的几何新约束，也为重建高质量动态非刚性物体三维模型研究提供新思路和新方法。

如何从图像或视频序列中恢复真实世界的三维模型一直都是计算机视觉研究中的重要课题。以动态场景的多个视频流为基础，可把非刚性运动三维数字化。这在远程三维沉浸、数字化文化表演、重要体育赛事和为手术、医药或其他技术领域生成基于三维视频的真实感培训和示范内容上有令人瞩目的表现。在这类应用中，要获取各方位的视频流，往往需要多个能够同步拍摄的高精度摄像机。该摄像机网络常常所需投资相对较大，这阻碍了相应的数字化建模系统应用的推广。另外用摄相机网络完成三维重建的一个基本要求是精确的摄相机几何校准以及摄像机同步。.我们研究反射镜在场景中带来物体的一个或多个虚像，它们是由位于场景四周的虚拟相机拍摄的图像。因此考虑利用反射镜构成的虚拟摄像机网络模拟室内真实摄相机网络， 1）因该方法只需随处可见的装备，即几块反射镜和一部较高分辨率的数码摄相机，无需繁琐的专业操作，为用户提供了一个简单低成本的方式以实时创建场景对象的三维多媒体内容。2）减少对重建动态画面必要的相机部署，避免复杂的相机同步等问题，提高了摄像机校准的整体灵活性。 .本课题研究以单个反射镜视频序列代替摄像机网络完成摄像机自动校准和非刚性物体高质量三维模型重建。深入分析反射镜形成的虚拟相机网络图像轮廓间的几何约束，利用与转台运动的几何相似性，发现反射镜运动的新约束，解决用单幅静态物体图像完成相机内外参数校准的问题。由于仅需要一幅图像，所得结论可推广到校准内外参数变化的自由相机，或恢复动态非刚性物体的三维数字化信息。因此本课题的研究既针对可变焦的摄像机自动校准应用需求，挖掘反射镜运动的几何新约束，也为重建高质量动态非刚性物体三维模型研究提供新思路和新方法。.成果概述：本项目共发表学术论文六篇。其中一篇亚洲计算机视觉会议演讲论文（ACCV）（接收比率3.6%）,一篇国际图像处理会议演讲论文（ICIP），一篇欧洲计算机视觉会议专题研讨会（ECCV workshop）论文, 一篇SPIE电子图像会议（SPIE electrical imaging conference）论文, 一篇神经计算论文（Neurocomputing），一篇信号，图像与视频处理论文（Signal, Image and Video Processing）。待发表论文两篇，待批软件著作权一项。另外，本项目共培养博士生一名，硕士生三名。本项目期间举办过一次国际会议。