基于深度特征模式的缺损文物碎片自动拼接方法研究

It is of great academic value and applicable value to realize automatic reassembly of cultural relics fragments using the digitalization technology. At present, most of the methods have great effect on fragments with complete fracture or specific shape (axisymmetric or the same type), but they always fail on the defective fragments. In this project, we focus on the automatic reassembly of defective fragments, and address the following three key technical issues: data-driven deep feature pattern construction and its graph-based description; probabilistic graph based fragment matching; optimization algorithms for the reassembly of defective fragments. Through the study of these three issues, a new technical framework for the automatic reassembly of fragments is formed, it complements the existing framework that is based on the matching of single feature pattern, and it complements and improves the existing theories and methods of virtual restoration of cultural relics, and it is meaningful for the development of digital preservation and restoration applications, deep learning, digital geometric processing and pattern recognition.

利用数字化手段实现文物碎片自动拼接具有重要的学术价值及应用价值。当前大部分文物碎片自动拼接方法，针对断裂部位完整的碎片或具有特定形状（轴对称或同一数据集）的文物具有较好的效果，对于缺损文物碎片的自动拼接，效果往往不够理想，甚至会失效。本课题针对缺损文物碎片的自动拼接，着重研究以下三个关键技术问题：基于数据驱动的深度特征模式构建与图模型描述；基于概率图推理的碎片匹配；缺损碎片优化拼接算法。通过这三个问题的研究，形成新的文物碎片自动拼接技术框架，与现有基于单一特征模式匹配方法形成互补，是对现有文物碎片虚拟拼接理论与方法体系的补充和完善，对于实际文物数字化保护与复原应用、深度学习理论、数字几何处理理论及模式识别理论的发展都具有重要意义。

项目组针对缺损文物碎片自动拼接流程中的三大关键问题：数据驱动的特征提取与表征、碎片匹配和缺损碎片优化拼接算法展开了系列研究。研究内容包括：（1）针对数据驱动的特征提取与表征，提出了三种方法，具体为：① 基于位置敏感哈希的三维数据结构，实现大规模文物数据模型的高效存储和相邻关系检索；② 基于子图局部二值模式的特征提取方法，为文物碎片的匹配和拼合提供支撑特征；③ 基于视图过滤的多视图融合深度网络，用于三维模型的分类、检索和深度特征模式构建。（2）针对不同类型的碎片匹配，研究并设计了四个不同的拼接算法，包括：① 基于断裂面特征点匹配的文物碎片拼合方法，实现断裂部位完整文物碎片的自动拼合；② 基于生成树代价和和几何约束的文物碎片自动重组方法，有效解决断裂部位缺损文物碎片的自动拼合；③ 提出基于核密度估计的关键点描述子，有效实现文物碎片的数字化建模及邻接碎片的虚拟拼合；④ 设计并搭建了一个高维回归点云配准深度网络，有效实现文物碎片的数字化建模和邻接碎片的虚拟拼合。（3）针对缺损碎片优化拼接方面，提出了两种不同的加速策略，缩小匹配碎片的搜索空间，提高文物虚拟复原的效率，包括：① 提出一种点云组件描述子，确定点云的部分匹配关系，从而实现文物碎片的分类；② 提出一种端点敏感的部分感知骨架提取方法，基于骨架信息，能够对文物的全局特征和碎片的位置进行标注和分类，从而加快匹配文物碎片的搜索速度。.基于上述研究内容，已发表学术论文10篇，申请发明专利5项，授权发明专利2项，获得软件著作权2项，参与研究的研究生中，已毕业博士生2名，硕士生3名，参加学术会议5人次。项目组利用兵马俑一号坑第三次发掘出土的文物碎片模型和K9901百戏俑坑出土的文物碎片模型作为项目算法的测试对象，算法得以验证和应用。项目负责人作为第七完成人获得2019年陕西省科学技术进步二等奖“文化资源数据智能处理与VR展示关键技术研究与应用”。