基于几何和光度属性的大场景点云分析与建模

Obtaining 3D point cloud data from the real environment, and with filtering, matching, synthesis, rendering, etc., a real scene with a virtual model of the similar objects can be generated and this has a great importance for the production and daily life. The project aims to large scene three-dimensional point cloud and seeking for fast handling and reconstruction algorithms based on geometric and photometric properties. By using mutual information metric, point clouds are registrated. Then by sampling and analyzing features, unorganized point cloud are segmented. The local signatures are extracted based on the color, light intensity and other properties, and semi-supervised learning methods are used for scene point cloud classification. For point cloud object formed by the classification, descriptors are extracted for the matching of model and point clouds. Meanwhile, the trees and buildings point cloud objects are reconstructed and visualized using primitive geometries and are eventually converted into large scene models that can be fastly rendered. The key scientific problems to be solved is to use the project point cloud geometry and photometric properties with semi-supervised learning for precise point cloud classification, to match point cloud with models by feature descriptor, and to effectively combine primitive geometries which are used for point cloud fitting. The innovation of the project lies in the geometry-based and photometric-based multi-scale classification for point cloud, matching of point cloud and model based on descriptors, as well as the point cloud automatical processing.

从真实3D环境中获取点云数据，再进行过滤、匹配、合成、渲染等，以生成与真实场景物体相同的虚拟模型，在生产生活中具有极其重要的意义。本项目旨在针对大场景三维点云研究基于几何和光度属性的快速处理与重建算法，通过使用互信息度量实现点云注册，通过采样和点云特征分析，对无组织点云进行有效分割并结合颜色，光强等属性提取特征描述符分析点的局部特征，利用半监督学习的方法对场景点云进行分类。对于分类后形成的点云对象，通过提取描述符实现模型与点云的匹配。同时，对树木和建筑点云对象利用几何图元进行重建及可视化，最终将大场景点云转化成可快速绘制处理的模型场景。项目拟解决的关键科学问题是利用点云的几何及光度进行半监督学习的点云精准分类，基于特征描述符的点云和模型匹配，使用几何图元有效拟合点云对象时的拼合问题。项目的创新点为基于几何和光度属性及多尺度的场景点云分类、基于描述符的点云与模型匹配，以及点云自动化处理流程。

从真实3D环境中获取点云数据，生成与真实场景物体相同的虚拟模型，在生产生活中具有极其重要的意义。本项目旨在针对大场景三维点云研究基于几何和光度属性的快速处理与重建算法，通过采样和点云特征分析，对无组织点云进行有效分割并结合颜色等属性提取特征描述符分析点的局部特征并对场景点云进行分类。对于分类后形成的点云对象，通过提取描述符实现模型与点云的匹配。同时，对树木和建筑点云对象利用几何图元进行重建及可视化，最终将大场景点云转化成可快速绘制处理的模型场景。. 在点云采样方面，提出了一种基于对关联函数的表面采样模式分析方法；提出了一种新的方法可以实现精确控制二维等半径最大化泊松圆盘采样的点数并且同时满足其它性质。. 在点云分类方面，提出局部形状特征概率混合的半自动三维点云分类方法，以及基于最大化精度和最大化类间加权准确率的模型参数学习准则来引导3D点云分类；提出将传统的基于特征的方法与卷积神经网络相结合来完成分类任务；为理解和识别点云数据代表的三维模型，提出使用优化的形状语义图来表示3D形状；. 在点云对象匹配方面，研究了如何利用模型的点云位置关系来实现基于笼体的三维异构模型变形传递；提出了一个新的深度学习框架，可以根据3D表面形状生成有辨识度的局部描述子；提出了基于点云进行树木模型的匹配和引导建模方法，以及基于空间竞争，光照引导以及部分生物自然生长的规则的树木过程式建模方法；提出了一种利用多视角图像计算空间体素点云来鲁棒地自动定位和跟踪运动人员的算法。. 在点云对象重建与可视化方面，提出了一种设计树木枝干层次细节模型的方法；还针对具体的植物模型重建及可视化进行了研究。. 本项目发表专著一部，发表论文20篇，其中SCI论文8篇，授权发明专利一项，另外申请发明专利两项，完成软件著作权2项，共计培养博士生5名，硕士生3名，博士后1名，并有一名学生晋升为高级职称，完成了预期的任务。