基于手绘草图交互的三维服装模型细粒度检索方法研究

With the significant increase in the number and type of 3D garment, how to accurately retrieve the 3D garments as needed by users in the large 3D garment model database has become a hot topic among researches at home and abroad. Compared with traditional way of querying, retrieval of 3D garment model based on free-hand sketch interaction is a more direct and flexible approach of expression. However, the existing retrieval methods based on free-hand sketch interaction only employ the low-level visual features of the sketch and are limited to retrieving of basic type of garment, while ignoring the complex style changes for each specific garment. To address the above issue, this project conducts research on a fine-grained 3D garment retrieval algorithm which will enable users to precisely find out the 3D garment model of specific type by means of free-hand sketch interaction. In specific, we firstly research an algorithm for correcting errors of shapes towards different style complexity of sketches. After that, we confirm the appearance and style of garment by segmenting garment sketch into different components. After that, we will adopt the approach of deep learning to extract related semantic features between sketch and 3D garments. Finally, the extracted features of these two different domains will be projected into the same metric space for similarity matching. The research result of this project can be applied to e-commerce, virtual fit, 3D movie, TV cartoon and other areas and therefore is highly crucial in research value and significance.

随着三维服装种类和数量的急剧增长，如何在大型的三维服装模型数据库中准确搜寻到用户所需求的三维服装是目前国内外研究的热点课题。与传统的检索查询方式相比，基于手绘草图交互的三维服装模型检索是一种更加直接灵活的表达方法。然而现有的基于手绘交互的检索方法都只利用手绘草图低层的视觉特征并且仅局限于检索基本的服装类别，而忽略了每个特定服装下自身复杂的款式变化。针对上述问题，本项目研究一种可达到细粒度级别的三维服装模型检索方法，使用户可以通过手绘交互方式精确寻找到特定款式的三维服装模型。我们从研究不同风格复杂度的手绘草图形状偏差矫正算法出发，通过研究服装草图部件分割算法确定服装的外观和款式，再采用深度学习方法提取出手绘草图和三维服装的语义关联特征，最后将这两种不同领域的特征映射到同一个度量空间进行相似性匹配。本项目的研究成果可应用于电子商务、虚拟试衣和三维影视动画等多个领域，具有重要的研究价值和意义。

本项目主要围绕基于手绘草图交互的三维服装模型细粒度检索的相关理论和方法展开研究，希望能够结合手绘交互技术，用户可以快捷、准确地从大型三维服装模型数据库中检索到其所需求的三维服装。为此，本项目组主要完成了以下研究工作：首先收集和建立了一个覆盖服装种类十分广泛的大规模服装草图数据集，并搭建好相应的实验平台和环境；接着，为了解决三维服装模型与服装草图由于数据维度不同，所存在着的巨大语义鸿沟，低层次草图视觉特征无法对复杂的三维模型数据进行描述等问题，研究了不同服装数据类型的跨域转换和检索，并提出了一系列的算法和模型。然后，针对由于不同种类的服装草图粗糙潦草、难以理解等特点，导致检索准确率低下等问题，重点研究了多种类服装草图的理解和识别。最后，项目组围绕三维模型检索相关数据的属性表示和特征提取等内容展开研究，从而进一步挖掘隐藏在三维模型低层特征下面的语义信息，提高检索的准确性。通过项目组成员的共同努力，已在国内外专业学术期刊和重要学术会议上发表相关学术论文10篇，其中包括期刊论文5篇（SCI检索国际期刊论文4篇，EI、ESCI检索的国际期刊论文1篇），在国内外重要学术会议上发表论文5篇（CCF推荐国际会议论文3篇，EI检索国际会议1篇），已授权国家发明专利3项，正在审查的申请发明专利2项，已登记软件著作权1项，指导和参与培养硕士研究生7名，已毕业3人，正在培养研究生4人，已顺利完成了项目预期的研究计划和目标。