基于手绘个性化偏差矫正和风格识别的图形图像检索研究

With the wide application of touch screen, through sketching is an natural and convenient user interaction way when doing image retrieval and 3D shape retrieval. Users express retrieve content through sketches. However the sketches which drawn by common user(not experts) have deviations and differences. It leads that the retrieval results are not ideal. This project researches on considering user's personalized deviations and differences when doing the matching algorithm in the retrieval. In order to predict and correct the deviations and differences, we use the multi-objective tensor decomposition algorithms to learn style characteristics between users, use machine learning algorithms to cluster the style feature and predict the deviations for correcting the sketch deviations. In the feature extraction algorithm, in order to achieve global feature and local feature, more important, in order to remove the influences of the sketch deviations, we introduce a method which divide entirety into parts and match the parts by style feature cluster while match the connected relation of parts by graph.

随着触摸屏的广泛应用，在进行图形图像检索和图形建模时，用户通过手绘交互是自然且便捷的一种交互方式。用户通过绘画草图来表达要检索和建模的内容。然而由于普通非专业美术用户绘制草绘图时的偏差和差异使得检索结果不尽理想。本项目研究在使用手绘图同三维模型或者二维图像进行匹配的时候，在算法里考虑入用户手绘的偏差和个性化差异，使用多目标张量分解等算法进行用户间的风格特点学习，利用简笔画的绘画特点，通过机器学习的方法聚类绘画样本库或通过标记训练样本并训练参数等方法，来对绘制草图时的偏差和个性化差异进行预先的矫正、预测以及识别。在特征提取上，通过多层次加权和多方向编码以及图形的部件分割和图形部件的图结构来实现整体特征和细节特征综合提取，并舍弃由于用户绘图偏差带来的细节干扰。在表达检索或建模内容时，针对非专业用户无法准确地对内容进行绘画表达的问题，研究引导准确的手绘表达或基于用户交互反馈方法。

随着触摸屏的广泛应用，在进行图形图像检索和图形建模时，用户通过手绘交互是自然且便捷的一种交互方式。用户通过绘画草图来表达要检索和建模的内容。然而由于普通非专业美术用户绘制草绘图时的偏差和差异使得检索结果不尽理想。因而本项目研究在使用草绘图同三维模型或者二维图像进行匹配检索时，在算法里考虑入用户手绘的偏差和个性化差异。本项目的研究成果从使用协同过滤推荐方法的用户历史数据匹配方法、联合用户手绘风格的多目标张量分解检索方法、基于多视图语义关系学习的草图检索方法、基于手绘草图部件语义分割的检索方法、面向草图检索的全局与局部结合的特征设计，等多种角度切入提出了一系列解决方案，共发表论文17篇，申报三项国家发明专利，参与培养6名研究生。