多标绘规则下手绘符号草图识别研究

The recognition technique of free-hand symbol sketch provides a more convenient and friendly human-computer interaction method for various plotting systems. The plotting rules of point, line, surface and their combination are employed in many symbol plotting systems to express every aspects of operation with simple drawing, and are key approaches of visual abstraction of human. The previous researches of sketch recognition only correspond to the point type of symbol, and can’t meet the requirements of line, surface and combined symbols for recognition algorithms. To address the problems of symbol sketch recognition and re-plotting under multiple drawing rules, this project attempts to improve existing models and training algorithms of deep convolutional neural network, enhance the invariance of recognition approach for multiple types of intra-class changes, and solve the associated multi-task and multi-label recognition problems. To be exact, our research mainly covers deep neural network built on stroke features of sketch, modeling of local and global invariance, multi-task and multi-label recognition algorithms, segmentation of masterstroke or contour for line, surface and combined symbols. This study is expected to provide a novel viewpoint for research in computer vision and to support the development of practical sketch-based interaction techniques.

自由手绘符号草图识别技术为计算机绘图系统提供了更加便捷和友好的交互方式。符号标绘系统采用点、线、面三种标绘规则及其多种组合方式，以简略图形表达业务相关的各个方面，是人类视觉抽象表示的重要手段。草图识别的已有研究只相当于点状队标的识别，不能适应线、面和组合队标对识别算法提出的新要求。本项目针对多种标绘规则下自由手绘符号草图识别和重绘需求，研究改进的深度卷积神经网络模型及其训练方法，提高算法对于多种类内变化的适应性，解决其中的多任务和多标签识别问题。主要研究内容包括：基于草图笔画特征的深度神经网络模型；草图局部和全局不变性建模方法；基于深度神经网络的多任务和多标签识别算法；线、面和组合队标中的主线和轮廓线分割方法。本项目研究将为计算机视觉算法研究提供新的思路，并推动草图交互技术向实用化发展。

点、线、面及线点、面点组合等不同的标绘规则导致军标草图较大的类内差异以及多任务的识别需求，除了草图类别之外，点状符号还需知道旋转角度，而线、面及线点、面点组合符号还需知道一组控制点的总数、空间位置和顺序。为了解决这些问题，本项目构建了专业符号草图数据库，包含专业符号687种（点状符号604种，线、面及组合符号83种），用于测试识别算法性能；此外，设计了新的深度神经网络模型，实现了多标绘规则下的多任务草图识别。具体地，本项目设计了融合图像和笔画的输入数据融合方法，一定程度上提高算法识别性能；提出了基于控制点置信图和联系场的控制点序列编码和预测方法，解决了线、面及组合符号草图识别中控制点数量和顺序未知情况下的序列识别问题；改进了训练数据的扩展方法，进一步适应训练数据有限和标绘人员习惯引起的笔画顺序差异。在符号草图数据库上的比较试验验证了我们所提出的神经网络模型对于解决类别、角度和点序列等识别任务的有效性；此外，可接受的分类（90%以上）、角度和控制点序列识别精度以及一些展示结果很大程度上表明了该算法的识别能力基本能够满足实际标绘的需要。本项目的研究工作在军事筹划领域具有广泛的应用前景，能够使工作人员从繁冗的基于鼠标的标绘操作中解脱出来，大幅提高标绘作业的效率和便捷程度。