复杂场景图像中维吾尔文字的定位与识别技术研究

Uyghur is one of the official languages of the Xinjiang autonomous region in China. Researches on Uyghur writings processing are great meaningful to promote information exchange and maintain national unity. This project intends to conduct a research on Uyghur writings recognition in natural scene images. The overall plan is divided into three modules: text localization, text segmentation and word recognition. Firstly, for the complex scene image, a background suppression method based on visual significance is designed. Considering Uyghur unique structure forms and writing rules, a text localization algorithm is proposed which combines texture classification, connected component analysis and heuristic rules of text characteristics. Secondly, for the obtained text image block, we put forward a text segmentation algorithm which first does unsupervised clustering then combines statistical analysis with mathematical morphology method to get binary Uyghur writings. And text perspective distortion correction, language identification, line segmentation and word segmentation algorithms are also designed. Finally, for the words extracted, according to Uyghur word grammatical formations and language models, we propose a word recognition algorithm which combines two recognition methods through fusion strategy based on the evidence theory. The two methods are the holistic recognition method based on lexicon reduction, and the word recognition method based on segmentation strategy respectively. Thus the final image writings recognition results are obtained. The research achievements of this project will provide a new way for Uyghur image and text information processing, which will be applied to Uyghur image retrieval, machine translation and information security maintenance, and other fields.

维吾尔语是中国新疆自治区的官方语言之一，维吾尔文字处理研究，对促进多文种信息交流和维护民族团结极具意义。本项目研究自然场景图像中的维吾尔文字识别，整体拟分为文本定位、文字分割和单词识别三个模块。首先，针对复杂场景图像，设计基于视觉显著性的背景抑制方法，考虑维文独有的结构形态和书写规则，提出结合纹理分类、连通域分析和文字特性启发规则的文本定位算法。然后，对定位获取的文字图像块，先通过无监督聚类，再结合数学形态学方法进行统计分类，提取二值化文字，并设计维文的透视变形校正、语种辨识、行分割和词分割算法。最后，对分割得到的维文单词，嵌入构词语法和语言模型，提出基于词汇缩减的整词识别方法，以及基于字符切分策略的单词识别方法，并设计证据策略融合二者的识别置信度,得到最终的文字定位和识别结果。该项目取得的研究成果将为维吾尔语的图文信息处理提供一种途径，可应用于维文图像检索、机器翻译和信息安全维护等领域。

场景图像文字识别是人工智能的组成部分，其技术成果可应用于票据识别、银行卡识别、身份证识别、表格识别等民用领域，也可应用于情报、监视、侦查、舆情监控等国防安全领域。本项目研究自然场景图像中维吾尔文字的定位和识别，研究内容分为场景文字提取和文字识别两个方面。在场景文字提取方面，主要研究成果包括：首先，构建了一个面向中英维三种文字的自然场景图像数据库，共整理和标注文字场景图片7000张、脱机手写体维文单词图片12500张等，标注内容包括文字位置、二值文字图像、文字语种信息、行分割线、英文和维文的单词分割线、文字语义信息、维文单词基线位置、单词字符构成和字符切分线等；其次，研究场景图像文本定位技术，将基于深度学习的文本定位分为传统区域建议方法、文字建议网络方法、基于分割的方法以及文字建议网络与分割的混合方法，并对各类方法的优劣进行分析；最后，研究图像重建技术，提出基于稀疏表示的彩色图像超分辨率重建算法，在重建图像清晰度的同时抑制了伪影现象。在文字识别方面，主要研究成果包括：首先，研究维文单词切分技术，提出一种基于部件分析和垂直差分投影的脱机手写维文单词切分算法，在自建的脱机手写维文单词库上获得了93.09%字符切分准确率和97.67% 召回率；其次，研究维文字符识别技术，提出了一种基于部件分解和混合多级分层识别的128类脱机手写维文字符识别算法，在自建库上获得了93.45%字符识别率；然后，研究维文单词识别技术，提出一种基于反馈控制结构的手写维文单词识别算法，在自建库上获得了90.82%单词识别率；另外，提出了一种基于切分策略和二级动态时间卷积的脱机手写维文单词识别算法，在自建库上获得了94.87%字符切分准确率和91.25% 单词识别率；最后，研究阿拉伯文单词识别技术，提出一种基于加权贝叶斯的脱机手写阿文单词识别算法，在INF/ENIT阿拉伯文字数据库上获得了90.03%单词识别率。