基于文字对称性与场景上下文信息的自然场景文字检测研究

Text, as one of the most significant invention in human history, has played an important role in human life. More and more multimedia applications require accurate, robust and efficient scene text detection algorithms. However, scene text is challenging for detection due to low resolution, complicate background, arbitrary orientation, perspective distortion, illumination effects, multi-font and multi-script.. Based on the opportunity brought by rapid development of scene text detection in the field of scene understanding, this project aims to propose novel scene text detection algorithms, which improve scene text detection in accuracy, computing efficiency and robustness facing various challenges of scene text detection. At first, this project models the symmetry property of text and adaptively fuses symmetry-based and appearance-based features for a better feature representation. Utilizing symmetry property of text improves the accuracy and robustness of text detection. Then, this project uses a heuristic method and the Long Short-Term Memory to model context information of scene text respectively, which improve accuracy and robustness of text line formation. Finally, this project proposes a real-time scene text detection algorithm based on an efficient shape-based feature, which is applied in a license plate detection application.

文字，作为人类最具影响力的发明之一，在人类生活中发挥了重要作用。越来越多的多媒体应用程序，需要准确、鲁棒和高效的文字检测算法。然而，自然场景文字具有分辨率低、复杂背景、任意方向、透视变形、光照不均匀和多语言多字体等多种检测挑战。. 本项目瞄准自然场景文字检测在场景理解领域高速发展与广泛应用的契机，基于自然场景文字的对称性特征与形状特征，结合场景上下文信息，提出创新的自然场景文字检测算法，以提高面对不同检测挑战时的检测准确率、运算效率以及鲁棒性。本项目首先对文字对称性进行建模，将对称特征与外观特征进行自适应特征融合，提高文字检测的准确率与鲁棒性；其次，分别通过启发式方法与长短期记忆网络模型引入场景文字上下文信息，以提高所形成文字行的准确率与鲁棒性；最后，研究基于文字形状特征的实时场景文字检测方法，并将所提方法引入高速车牌检测应用中。

本项目围绕基于文字对称性与场景上下文信息的自然场景文字检测研究这一科学问题，通过创新的算法设计解决由场景文字特性所带来文字检测挑战，实现准确、鲁棒和高效的文字检测。为达到这一目的，本项目将首先研究文字对称特性建模及自适应特征融合方法，以增强所提算法对于文字检测挑战的准确性与鲁棒性，其次研究场景文字上下文信息建模，并将其融入基于循环神经网络的文字检测算法中，提高生成文字检测的准确率与鲁棒性，最后根据高速车牌检测的应用场景，研究基于形状特征的实时场景文字检测方法。本项目不同于传统的仅关注解决某一类特定场景文字检测挑战的算法，而是通过文字本征对称性建模、融合多类型异构特征、引入场景文字上下文信息，以及针对性优化场景文字检测算法，从文字候选区域生成、单字符检测、文字行生成、实时算法性能等多个方面分析场景文字检测，一定程度上解决文字检测挑战，为场景文字检测这一重要的计算机视觉领域的发展做出有特色的贡献。