基于射影不变量的射影空间曲面匹配问题研究

Accurate surface matching is key technology of surface projection problem. In this proposal, projective invariants are used for the projective surface matching to solve practical surface projection problem. The following two key issues will be investigated: (1): Projective invariants based features detection, description and coarse matching. In features detection, surface is segmented based on the sign changes of Gaussian curvature, and the zero-Gaussian-curvature curves and the points at which both the main curvatures are equal to zero, are used as features. In feature description, the projective invariant asymptote field where Gaussian curvatures are less than zero, is used to build the “image-texture-like” descriptor. In coarse feature matching, a two-step strategy is adopted: first, the connectedness relationship between the segmented regions, which is invariant under the projective transformation, is used, followed by the matching descriptors built from the asymptote field. (2): ICP refinement in projective space. In this step, how to reasonably measure the “neighboring closeness” is a key issue. The expected outcome of our current research is a new projective surface matching theory and related algorithms, which in addition to the theoretical value, could also be directly used in practical surface projection applications.

曲面投影中虚实物体的精确匹配是实现理想展陈效果的关键。本项目针对曲面投影的实际需求，研究基于射影变换下微分不变量的射影曲面匹配理论和方法。主要研究内容包括两个方面：（1）曲面射影变换下的射影不变量特征的提取、描述和粗匹配。研究以曲面各点曲率的符号对曲面进行区域划分，并提取高斯曲率为0和两项主曲率为0的点等射影不变量作为特征；研究利用高斯曲率为负的区域内渐近线场在区域内各点上的矢量作为“图像纹理”的特征构建描述子；研究通过连接射影不变特征点进行区域匹配及区域内渐近线场构建的描述子匹配实现射影空间曲面粗匹配。（2）射影空间下的ICP精匹配算法，研究如何度量射影空间下点之间的“邻近性”。本项目研究结果有望从理论上提出一套基于射影不变量的射影空间曲面匹配算法，解决曲面投影的实际应用需求。

本基金项目针对互动投影的实际需求，研究了在射影变换下基于微分不变量的射影空间曲面匹配理论和方法，解决相机投影仪系统在非标定情况下引申出的射影空间曲面匹配问题。.项目从建立射影变换数据集入手，提出了一种基于旋转透镜的单目相机重建方法。基于射影变换数据集，研究了射影变换下曲面0曲率方向仍为0曲率方向的微分不变性质。构建了基于该微分不变性的人工设计特征的射影空间点云匹配系统，在传统FPFH特征失效的情况下，取得了较好的匹配效果。进一步研究了基于该人工设计特征的深度神经网络射影变换点云匹配，实验表明额外利用局部点云的0曲率方向进行学习可以取得5%的性能提升，验证了0曲率方向作为射影空间匹配的关键作用。鉴于0曲率方向为局部特征，未能充分利用全局特征，课题研究了基于深度学习的端到端射影空间点云匹配，仅以点云坐标信息作为输入，学习全局特征，当前此项研究未能取得良好效果，分析认为同一物体在不同射影变换下差异较大，需要从射影不变量的角度思考点云数据的输入形式，网络结构和损失值设计来进行进一步研究。最后，针对存在误匹配的实际情况，研究了射影空间PnP问题，提出了射影空间迭代最近点优化算法，从匹配对中获取最佳匹配求解射影变换，并进行实际应用，取得了更精确的匹配效果。.项目执行过程中，对上述相关理论和方法进行了整理，部分内容进行了投稿，在审稿过程中；部分内容进行了实际落地应用。目前项目投稿了论文2篇。已申请专利2项，其中已授权1项。研究结果应用于多个实际项目，产生了良好的应用价值。培养硕士研究生3人。建立了相关的科普类网站。