基于上下文主动学习的交互式文档识别方法研究

Chinese document recognition technology has achieved great progress in recent years. However, there remain challenging problems such as the lack of annotated datasets and the difficulty of practical use of algorithms in real applications, which is specifically obvious in historical/handwritten document digitalization. Interactive document recognition technology is an alternative solution to the above-mentioned problems, which however has gained limited attention. The tasks of document digitalization and datasets annotation still rely on numerous human workload, which is time-consuming and expensive. Hence, the research on advanced interactive document recognition technology has been an urgent need. To improve the performance of interactive document recognition and push forward applications, this project systematically studies the theory and key techniques in interactive document recognition, and to realize effective methods and algorithms. The main contents and innovations are as follows: (1) document recognition error detection and query recommendation based on contextual active learning; (2) adaptation and online learning of the character classifier in interactive document recognition; (3) online parameter learning of Chinese text recognition; (4) path search algorithm based on constraints of interactive information. Based on the above research, we will develop a prototype system of interactive document recognition that will be used for Chinese document annotation. The proposed techniques will be effective to improve the performance of interactive document recognition, push forward the applications of document digitalization, and attract attention in the academia.

当前中文文档识别技术有了长足的发展，但仍存在标记数据稀缺和算法难以实用化（尤其是中文手写/古籍文档数字化）的问题。交互文档识别技术是有效解决上述问题的途径，但当前还没有引起足够重视，文档数字化和标记数据的获取仍然需要极大的人工工作量（耗时、昂贵），这为研究更为先进的交互文档识别技术和方法提出了迫切的需求。本项目系统地研究交互文档识别中的理论和关键技术问题，提出和实现有效的方法和算法，以提高性能和推动实用为目的。主要研究内容和创新点包括：（1）基于上下文主动学习的文档识别错误检测与查询字推荐方法；（2）交互过程中字符分类器自适应和在线学习方法；（3）交互过程中的中文文本识别参数实时更新算法；（4）基于交互信息约束的路径搜索算法。在上述研究的基础上，实现交互式中文文档识别系统，用于中文文档数据的标记。本项目提出的方法将有效提高交互文档识别技术，推动中文文档数字化的应用，产生学术价值。

文档识别技术是模式识别领域的重要研究内容之一，可以广泛应用在众多领域，诸如支票识别、邮政地址识别、档案识别与电子化、学术期刊识别、报纸识别、古籍识别与数字化、表格与图表识别等。但是由于文档种类多样、背景复杂、字体多样、手写印刷混合、图表公式混合等问题，文档分析与识别技术仍然是一个十分具有挑战性的问题，是模式识别领域的重要课题。目前较多的工作集中在图表分析与识别、公式识别、信息提取等方向，但整体上来说，目前还存在标注数据稀缺、标注困难、应用困难的问题。因此，本研究针对文档分析与识别中的问题，展开数据库建设、文本识别关键算法研究，并在视觉特征学习、动态特征提取、多标签分类等方面展开相关研究，取得了一定成果。具体为1）收集、整理和标注了一个包含200多万数量级别的古籍单字数据库，并根据特点划分为训练集和测试集，初步测试表明了古籍识别的挑战性，同时为进一步的研究（如零元学习、迁移学习、开放集识别等）提供了基础条件；2）收集了2万个脱机手写数学公式，并在ICFHR2020国际会议上开展竞赛，推动了公式识别领域的研究进展；3）提出了基于注意力机制的中文手写文本识别融合方法，提升了文本识别方法的性能；4）提出了基于多视图视觉语义表示的少量标签视觉识别，针对标签数据较少的问题，充分利用和学习深度学习特征表示方法，提升了视觉分类算法的性能；5）提出了一种基于时域神经网络的动态特征提取方法，并应用于火灾识别场景，通过检测烟雾的运动特征，提升火灾检测的精度和敏感度，具有较好的使用价值；6）针对不规则车牌文本（形变车牌、多行车牌）进行识别方法研究，考虑到车牌在图像中产生的形变是透视畸变，提出一种基于透视矫正网络的车牌识别模型，可以识别带有透视畸变的单行和多行车牌文本。目前的研究成果基本达到了预期目标。