融合多视几何约束与畸变信息的全方位RGB-D图像生成方法研究

Aimed at the defects of RGB-D image such as narrow field of view and limited capturing distance of depth information, this study is to do a research on how the Spherical RGB-D image generates based on multi-view geometry constraint and distortion information. Explore the method of creating a new kind of RGB-D image. The special multi view geometric constraints will be discussed：There are four fisheye lenses used to create a 0º×180º—360 º×180º field overlap. Then a spherical observation model is established. A new panoramic image reconstructed method based on global latitude-longitude projection will be studied, in which there is no need to do the image mosaics processing. In this research we focus on feature learning, expression and evaluation for the fisheye image without distortion rectifying. A data set which knows the matching relationships between the pixels in the adjacent fisheye images will be built based on parameters calibration. The features of uncorrected fisheye lens image will be explored by deep learning algorithm. To find out the best feature of fisheye lens image, the learning result will be implemented evaluation. Use the best feature of fisheye lens image to match the key points, and compute depth information of the coordinates on the spherical observation model. Build the Spherical RGB-D image. The research target is to realize the full observation space depth image and presents panorama image by one vision device with one time fixed shooting. The work of this project will provide new research methods for unmanned vehicle, unknown environment 3D reconstruction, etc. This study has significance of science. etc. This study has significance of science.

针对常规RGB-D图像视场范围窄、深度信息采集距离有限的问题，以多视几何约束和畸变信息为研究对象，探索一种新型RGB-D图像的生成方法。研究“全方位RGB-D”多视几何约束：利用四支鱼眼镜头构建0º×180º—360º×180º重叠视场；建立“球空间”观测模型；基于全局经纬映射，提出一种无需图像拼接的全景图重构方法。重点研究的科学问题是“保留畸变信息前提下的鱼眼图像特征学习、表达与评估”：在精确标定系统参数基础上，建立像素级匹配的鱼眼图像数据集；利用深度学习模型，挖掘鱼眼图像特征；开展特征性能评价研究；实施关键点匹配，计算球空间观测模型上坐标的深度信息，生成“全方位RGB-D”图像。以实现单一设备、固定视点、一次拍摄，在呈现全景图的同时，输出与之配准的深度图，为研究目标。课题的实施将为无人驾驶车、灾害救援等大场景、环境未知且对实时性要求较高的应用领域提供新的研究方法，具有科学意义。

项目背景.RGB-D由一幅RGB三通道彩色图像和一幅Depth图像组成。自诞生之日起，众多国内、外研究学者就广泛地把它应用到室内三维重建、人体动作识别、目标检测、跟踪等研究领域，RGB-D图像是当今计算机视觉研究热点之一。利用立体视觉、全景视觉理论和方法，来提升RGB-D图像视场范围、增强深度信息有效获取距离是值得探索的研究方向。经文献检索发现，鱼眼镜头在立体视觉、全景视觉的应用中，通常都会先对畸变信息实施矫正处理，将鱼眼图像变换为透视投影图像；再使用局部特征、纹理特征等，实施特征点的匹配；最后，标定出系统内、外参数，计算深度信息或拼接全景图。..研究内容与重要结果.本项目针对常规RGB-D图像视场范围窄、深度信息采集距离有限的问题，以多视几何约束和畸变信息为研究对象，探索了一种新型RGB-D图像的生成方法。研究了“全方位RGB-D”多视几何约束：利用四支鱼眼镜头构建0º×180º—360º×180º重叠视场；建立了“球空间”观测模型；基于全局经纬映射，提出一种无需图像拼接的全景图重构方法。重点研究了科学问题“保留畸变信息前提下的鱼眼图像特征学习、表达与评估”：在精确标定系统参数基础上，建立像素级匹配的鱼眼图像数据集；利用深度学习模型，挖掘鱼眼图像特征；开展特征性能评价研究；实施关键点匹配，计算球空间观测模型上坐标的深度信息，生成“全方位RGB-D”图像。研发了全方位RGB-D图像生成装置，实现单一设备、固定视点、一次拍摄，在呈现全景图的同时，输出与之配准的深度信息。..关键数据及科学意义.利用4支鱼眼镜头结合嵌入式技术研发了一款特殊的视觉装置，称之为：Panoramic Stereo Sphere Vision System (PSSV)。融合多视几何约束与畸变信息，探索了全方位RGB-D图像生成方法。为新装置在机器视觉、虚拟现实、无人驾驶车、灾害救援等大场景、环境未知且对实时性要求较高的场景应用奠定了基础。