维吾尔文自然场景文本检测与识别方法研究

There are abundant texts containing information in natural scenes. Thus, an automatic tool developed to detect and recognize text from natural scene images is of great value to the image retrieval, analysis and scene understanding. Although Uighur is one of the official languages in Xinjiang, its development of Uyghur natural scene text detection and recognition technology is still lagging behind. This project aims to solve the key problems: (1) Establish a standard and universal Uyghur scenes sample database; (2) Against Uighur, research the method of natural scene text detection and recognition, unified detection and recognition. The important research contents: sample library construction, feature extraction, character candidates extraction, text candidates construction, text candidates elimination, text classification, text image distortion correction, character segmentation, classifier training. Research goals: (1) Design and implement text detection and recognition algorithm for Uyghur natural scenes. (2) Design text detection and recognition system for Uyghur natural scenes; Realize Uyghur natural scene text detection and recognition. Through this research, we hope to make contributions to the development of multilingual information technology in Xinjiang and the strategy of opening up to the west of our autonomous region.

自然场景中存在着大量的文本信息，研究一种自动化的场景文本信息检测与识别工具，自动从自然场景图像中识别出文本内容，对场景图像的检索、分析以及场景理解均有重要意义。然而，维吾尔语作为新疆维吾尔自治区的官方语言之一，维吾尔文自然场景文本检测与识别技术的发展仍然滞后。本课题拟解决关键问题：（1）建立一个标准的、具有通用性的维吾尔文场景样本库；（2）针对维吾尔语开展自然场景文本检测与识别方法研究，将文本检测与识别统一起来。重要研究内容：样本库的构建，特征提取，候选字符提取，文本候选区构建，文本候选区消除，文本候选区分类，文本图像变形矫正，字符分割，分类器训练。研究目标：（1）设计并实现针对维吾尔文自然场景的文本检测与识别算法；（2）设计维吾尔文自然场景文本检测与识别系统，实现维吾尔文自然场景文本的检测与识别。希望通过本项目的研究，为新疆多语种信息技术发展以及自治区向西辐射开放的战略规划做出一些贡献。

自然场景图像中存在大量的场景文字，从场景图像中提取文字信息是计算机视觉、文档分析领域的重要研究方向，具有广阔的应用场景，对图像检索、分析以及场景理解均有重要意义。本项目的关键科学问题：建立一个标准的、具有通用性的维吾尔文场景样本库；针对维吾尔语开展自然场景文本检测与识别相关方法研究。本项目的重要研究内容包括：维吾尔文自然场景数据集的构建、维吾尔文自然场景文本的检测与识别；经过4年的研究，项目组在上述2项研究内容方面取得了重要进展。在维吾尔文自然场景数据集构建方面：1）为获得多语种、多方向的数据集，以适应场景图像中多方向文本检测计算机视觉任务，项目组开发了“场景图像多方向文本标注系统”；2）利用“场景图像多方向文本标注系统”对220幅图像进行标注，生成新的数据集（URMQ_LHASA-TD220）。在维吾尔文场景文字检测与识别方面：1）提出一种“基于V-MSER的无约束场景文字检测方法”，解决传统MSER算法在提取候选字符时造成的连接错误、字符丢失问题；2）提出一种“基于文字区域信息预测模型的场景文字检测方法”，解决任意方向的场景文字检测问题；3）提出一种“基于注意力和双向LSTM模型的场景文字检测方法”，解决任意形状的场景文字检测问题；4）提出一种“基于多级特征增强累积网络的场景文字检测方法”，解决相近、相邻位置的文字实例间容易发生的黏连问题；5）提出一种“基于场景文字形状矫正网络和识别网络的场景文字识别方法”，解决任意形状的场景文字识别问题。项目执行期间，项目组共发表学术论文8篇（包含已录用1篇），其中期刊论文6篇，会议论文2篇；SCI收录4篇（ACM Transactions论文2篇），EI收录3篇；申请软件著作权6项。项目负责人2019年获得自治区自然科学基金面上项目资助。在本项目执行期间，项目组5名教师获得博士学位；本项目协助培养硕士研究生6名。项目组完成了项目计划书中的研究计划，达到了预期研究目标。