基于CNN和三阶段分类策略的多文种手写签名识别技术研究

With the advancement of "one belt one road" strategy in china, Xinjiang in all walks of life with various foreign exchanges become more frequent.There is an increasing number of agreements, contracts, regulations and checks between the financial and government sectors, .Once these multi-script signatures are imitated, it will cause serious social consequences and huge economic losses.Therefore, the research of effective and rapid identification of multi-script signatures has important practical significance.Based on the accumulated research results and combined withthe structural characteristics of multi-script (Chinese, English, Uyghur, Kazakh, Kirgiz, etc.) signature, this project focuses on the new technology and new methods of multi-script handwritten signature identification and verification. Firstly, a multi-script signature database is established and a signature image preprocessing is performed. Then, according to the requirements of multi-level signatureidentification, we extract many kinds of features including improved structural features and local invariant features.Through the matching between feature ofthe test signature and the sample featurein database, three-stage classification, to obtain the ideal identification rate.Finally, the multi-view measurement method is used to verify the signature. At the same time, the system recognitioan rate will be further improved by combinging convolutional neural network (CNN) with traditional identification method. In addition to the use of the public, prosecutors and legal institutions in Xinjiang area, the project also has broad application prospects in the field of finance, insurance and other fields.

随着我国“一带一路”战略的推进，新疆各界跟国外的各种交往日渐频繁。金融界和政府界之间各种各样的协议书、合同、法规及支票等的来往日益增加。一旦这些种签名被仿造，将会造成严重的社会后果和巨大的经济损失。因此对多文种签名进行有效、快速鉴定的研究具有重要的实用意义。本项目在已积累的研究成果的基础上，结合多文种（中、英、维、哈、柯文等）签名的结构特点，重点研究多文种手写签名识别与验证的新技术、新方法。首先建立多文种签名库并进行签名图像预处理。然后，按照签名多层次识别的要求，提取包括改进的结构特征和局部不变特征在内的多类特征形成特征库。通过待测签名特征和数据库样本特征匹配、三阶段的分类，获得理想的识率。使用最后，用多视图度量学习方法对签名进行验证。与此同时，采用卷积神经网络的方法结合传统识别方法进一步提高识别率。本项目除了在新疆地区的公、检、法机关使用之外，在金融、保险等其它领域也有广阔的应用前景。

随着我国“一带一路”倡议的推进，新疆跟国外的各种交往日渐频繁。政府界和金融界之间各种合同、协议、备忘录及支票等的来往日益增加。一旦这些文件中签名被仿造，将会造成严重的社会后果和巨大的经济损失。因此对多文种签名进行有效、快速鉴定具有重要的实用意义。本项目首先建立了多文种（汉、维、哈、柯文）离线手写签名数据库，每个文种至少含300人（每人真实签名20 个，熟练模仿签名10个，简单模仿签名 10 个）的12000个样本，并对这些样本进行预处理。然后，结合多文种签名的结构特点，重点研究多文种手写签名识别与验证的新技术、新方法。对于多文种签名的结构、形状（笔划）和纹理特征提出基于分块理论的MB-LBP、LPQ和融合纹理特征等一些列特征，并这些特征融合进一步提升多文种手写签名的识别率，如，包络空间法(Gist)和尺度不变三值模式(SILTP)融合，局部最大发生特征（LOMO）和方向梯度的直方图特征（HOG）融合等方法等。提出了基于非下采样剪切波变换（NSST）和两阶段分类的多文种手写签名识别方法、基于SVM和KNN两种分类器组合的分类方法，两阶段的小样本离线手写签名识别与鉴别方法等，获得较好的实验效果。提出了通道注意力机制SE-block和改进的空间注意力机制ESA，通过几个较好的网络模块组合，取得在98.25%~99.75%的识别率。提出了一种更简单的离线手写签名识别网络OHS-Net，在训练样本较少的情况下得到高效的识别结果。当使用6幅签名图像作为训练集时，OHS-Net的top-1 准确率为96.17%，top-5 准确率为98.73%。本项目所提出的特征提取、分类方法，在已有的方法基础上结合多文种手写签名的特点进行改进的，一部分是首次在签名领域首次提出（使用）的创新性的方法，一定程度上丰富了多文种签名图像的特征提取、匹配和分类方法的理论知识，弥补我国多文种签名鉴别研究领域中的空白的同时，在多文种签名混合识别、小样本签名识别等方面做了研究工作被评价为整体技术达到国际先进水平。研究成果有：学术论文31篇、会议论文18篇、硕士论文13篇、专利3件、计算机软著18项、获奖6项。