多视图三维重建关键技术优化及并行算法研究

In view of the two conspicuous issues of huge computation complexity and reconstruction accuracy of image 3D reconstruction research. This project is to attempt to introduce the parallel technology to working out relevant problems byanalyzing the key issues involved in computing efficiency and accuracy with theoretical research and experimental analysis as well as giving sultions. In the research program. Taking many pictures as the research object, with the basis of multi-core CPU and GPU heterogeneous environment, this project, which plans to use the concept of system research, is to construct 3D reconstruction method based on parallel method. We proposed two main problems: one is the huge computation complexity and the other is the reconstruction accuracy.To solve the problems we plan to do researchs in the following four parts: to design parallel algorithms of multi-view feature extraction and feature matching over heterogeneous environment; to design parallel algorithm of dense matching over heterogeneous environment；to construct .inpainting algorithms for point cloud hole and surface reconstruction algorithm based on deep learning and parallel methods for them and to design parallel algorithm of mesh model surface reconstruction and research and develop 3D reconstruction experimental system. Through the research work, we plan to analyse the feature of heterogeneous parallel method on multi-view 3D reconstruction and deep learning, and to provide efficient parallel algorithms of multi view 3D reconstruction under heterogeneous environment. The work will make contributions to accomplishing efficient parallel processing of multi-view 3D reconstruction.

针对图像三维重建研究面临的运算量大和重建精度两个重要问题，本项目拟通过理论研究和实验分析对重建问题中影响计算效率和精度的若干关键问题，进行算法研究和并行化，并给出解决方案。本项目以多图片为研究对象，基于多核CPU和GPU异构环境，拟采用系统研究的理念，构建基于并行方法的三维重建方法。围绕多视图三维重建的计算量大和重建精度两个科学问题，拟在以下四个方面展开研究：包括异构环境下多视图特征点提取及匹配的并行算法；异构环境下多视图三维重建稠密表面估计方法的并行算法；构建深度学习的点云孔洞修复算法和表面重建算法的并行算法；异构环境下网格模型表面重建并行算法及研发三维重建实验系统。通过研究，实现对多视图三维重建异构并行处理及深度学习方法的分析理解，提供异构环境下多视图三维重建高效并行算法，为实现高效并行三维重建的研究贡献力量。

三维模型的获取是计算机视觉相关领域的一个基础问题，而且是一个重要的研究方向。针对图像三维重建的运算量大和重建精度的问题，本项目对重建问题中影响计算效率和精度的若干问题进行算法研究和并行化研究。本项目基于多核CPU和GPU异构环境，进行了异构环境下多视图特征点检测及匹配的并行算法研究，设计实现了基于异构环境的Harria和Dog特征点检测并行算法，设计实现了基于异构环境的的SURF算法及RANSAC算法的特征提取和匹配的并行算法。进行了异构环境下多视图三维重建稠密表面估计方法的并行算法研究，设计实现了基于异构环境的稠密点云重建并行算法。进行了点云孔洞修复算法和表面重建算法及并行算法研究，设计实现了异构环境下的基于机器学习的孔洞修补和表面重建并行算法，提出了基于深度学习的表面重建算法。进行了异构环境下网格模型表面重建并行算法研究。在不同平台和数据上对所研究并行算法进行了实验验证，算法获得了一定的加速比且具有一定的可扩展性，验证了算法的有效性。研究了三维物体重建、三维人脸关键点检测对齐和重建、三维人体姿态估计的问题，提出了基于深度学习的三维物体、三维人脸关键点检测对齐和重建、三维人体姿态估计算法，所提算法在公开测评数据集上取得了超出现有先进方法的性能。研发了三维重建实验系统。该项目的研究为三维重建的并行化研究和优化算法提供了新的理论方法，提出了多核CPU和GPU的异构环境下的三维重建并行算法的新方法，提出了三维物体重建、三维人脸关键点检测对齐重建和三维人体姿态估计的深度学习的新方法。积累了异构环境下进行并行化实现研究和深度学习的三维重建的宝贵经验，对解决相关问题的大规模问题提供了高效有效方法，为培养高性能并行计算方向和机器视觉的人才做出了贡献。提供了异构环境下多视图三维重建高效并行算法和深度学习方法，为实现高效的三维重建的并行化研究贡献力量。