基于多任务一体化的端到端场景图像文本识别方法研究

Most of current scene text extraction methods are not robust for text with arbitrary orientation and multi-language. To tackle this problem, this project proposes a holistic, multi-task prediction based end-to-end scene text recognition model. In this model, a deep neural network is built in text detection step for regressing the text regions with various font, size and orientation, and predicting the language holistically. Based on the language categories, the text regions are inputted to a scene text recognition network which regressing the character regions and labeling probabilities simultaneously. Then, the results are combined with language model for text recognition. The text recognition result and optimized text region can be feed backed to text detection, which can boost the overall performance of scene text recognition. Additionally, we propose a method to generate synthetic scene text images and the corresponding ground truth labeling in the project, for the demand of big date to train the deep neural network. Several paper that relative to this research will be submitted to some well known journals or conferences. Meanwhile, we plan to explore more applications of this work.

针对现有的自然场景文本识别方法对任意方向和不同语言适应性差的问题，本项目拟构建基于多任务一体化的端到端场景文本识别模型，来应对场景文本图像中不同方向和语言的文本定位和识别任务。该模型首先利用构建于深度神经网络之上适应不同字体、大小和方位的文本区域方位回归和语言预测一体化网络来进行文本定位，然后采用分类决策机制对不同语种文本区域分类，并输入基于不同语言系统的字符识别网络，同时完成字符方位回归和识别概率估计任务，利用方位和识别信息并结合语言模型完成文本识别。该模型将文本识别及文本区域定位优化的结果反馈至场景图像文本定位阶段，以进一步提高整体文本定位和识别的性能。此外，为避免人工标注的低效性，本项目提出了一个场景文本训练样本图像合成以及自动生成相应真值标注的方法，同时能适应深度神经网络对大数据的需求。本项目研究拟在国内外知名期刊和会议上发表论文4-7篇，并拓展基于场景文本的应用研究。

针对现有的自然场景文本识别方法对任意方向和不同语言适应性差的问题，本项目构建基于多任务一体化的端到端场景文本识别模型，来应对场景文本图像中不同方向和语言的文本定位和识别任务。该模型首先利用构建于深度神经网络之上适应不同字体、大小和方位的文本区域方位回归网络来进行文本定位，同时完成字符方位回归和识别概率估计任务，利用方位和识别信息并结合语言模型完成文本识别。此外，为避免人工标注的低效性，本项目提出了一个场景文本训练样本图像合成方法，同时能适应深度神经网络对大数据的需求。本项目研究已在国内外知名期刊和会议上共发表论文8篇，并拓展基于场景文本的应用研究。