基于深度递归神经网络的中文场景文本识别方法研究

With the spread of various kinds of intelligent devices, recognizing Chinese and English text in natural scene images could promote various applications, such as automatic translation, traffic surveillance and automatic reading aid for blind men. Considering the fact that scene characters could be degraded by various lighting, shooting angel, complex background as well as the large number of categories of Chinese characters, this project aims to propose a robust scene character representation method and makes use of the contextual information to recognize scene text images. The main contributions of this project are three-folds: 1) we propose a robust spatially related Fisher Vector based scene character representation method so that all the categories could be effectively represented by some spatially related discriminative basic elements learned from training set which consists of a small part of the whole categories; 2) based on the robust representation, in order to make use of the contextual constrains between the characters, we propose a bidirectional Long Short-Term Memory based deep recurrent neural network to recognize sequences of strings; 3) in order to recognize the text information directly from scene text image without pre-segmentation, we propose the multidimensional Long Short-Term Memory deep recurrent neural network based scene text recognition framework, which could dig as much valuable multidirectional contextual information from the original image as possible to improve the system performance.

随着智能设备的广泛普及，对拍照场景中的文字进行识别可以促成自动实时翻译、交通监控、移动导盲等多种应用。本项目考虑场景文字容易受到拍摄光照、角度及复杂背景等因素的影响以及中文的大类别特性，对场景文字的鲁棒表示方法及考虑上下文约束的场景文本识别方法进行研究。本项目拟在三个方面开展研究：（1）拟提出基于位置相关Fisher Vector的场景字符特征表示方法，以达到仅使用部分类别的训练样本学习得到位置相关鉴别性基元用来表示所有类别的目的；（2）在以上鲁棒表示的基础上，为了利用文本图像中字符序列的上下文约束，拟研究基于双向长短时间记忆的深度递归神经网络及连接时序分类的字符串序列识别方法；（3）为了实现从输入场景图像到字符串序列的直接识别，拟提出无需预分割的基于多维层级长短时间记忆深度递归神经网络的中文场景文本识别方法，通过层级结构逐步提取原始图像中多个方向的局部及全局信息，提高场景文本识别性能。

文字是我们理解图片内容的重要信息来源，随着智能拍照终端的普及，拍照场景图像呈指数级增长，对这些图像中文本信息的识别需求也随之而来。通过对场景图像中的文字进行识别，可以进一步促进如自动翻译，智能驾驶，智能财务，智能医疗等多个行业的发展，有很强的工业价值和应用价值。本项目针对场景文字识别中由于拍照设备、拍摄环境、文字场景的多变性和不确定性对文本图像中文字的提取和识别过程带来的挑战进行了研究，并对汉字识别任务中的大类别分类问题进行了探索。为了促进相关算法的研究，我们根据不同的研究任务收集了多个中文文本数据集，包括：街拍场景字符数据集CSVT，全国出租车票字符数据集，金融及各类交通票据文本图像数据集。同时，在这些数据集的基础上对文本识别系统的各个环节进行了相应的研究：针对受干扰样本的文本图像，提出了自适应的二值化方法将文本像素与背景像素进行区分；针对结构化文档中的关键信息的提取，设计了检测与识别相辅相成的中文关键词提取方法，在大量拍照文本数据集上达到了更好的召回效果；对于大类别中文字符的识别工作，从样本质量的优化、样本数据的增光，到鲁棒的字符特征表示方法的研究等多个环节入手进行了识别效果的提升。上述的多种方法在大量数据集上进行了实验，得到了更好的识别效果，并在SCI期刊及相关会议上发表多项研究成果。基于该项目的研究成果，与相关行业应用结合，可大幅度降低人工录入成本，提升整体工作效率，推动相关行业人员分布结构的优化再造。目前部分研究成果已经应用于财务票据识别系统中，且在中科院数十家研究所试点应用，北京市科学技术研究院、部分高校、军队、企业等已经有落地案例。