手写中文文本识别的高扩展判别学习理论和方法

Handwritten Chinese character recognition is an important branch of pattern recognition field and is of strategic significance to national document transcription. As one of the most natural interfaces, however, handwritten text recognition faces great challenges due to its limited performance. Both using massive training data and discriminatively training the recognition models do help, if we can outlook the heavy burden in computation...This project studies the theory, algorithm, and implementation aspects of distributed discriminative learning for sequential labeling tasks. The issues undertaken include: 1) Proposing a novel light-weight hidden Markov model-based recognition system; 2) Establishing theoretical framework for distributed discriminative learning, and deriving the algorithms' convergence, generalization and complexity; 3) Developing more concrete computational models for baseline recognition systems, and deploying them using distributed discriminative learning. ..The expected main contributions of the project lie in: 1) Comprehensive theoretical guarantees for distributed discriminative learning; 2) Innovative methods for large-category pattern recognition using discriminative learning techniques. The outputs of the project may resolve both the performance bottleneck and the efficacy bottleneck, and the efficient methods may greatly inspire other fields.

手写汉字识别是模式识别领域的重要分支，作为电子化中文文档的利器，对于整个国家具有战略意义。手写中文文本识别是最自然的汉字输入技术之一，但面临严峻的性能瓶颈。海量训练数据和判别学习都有助于性能的提升，却存在巨大的计算复杂度。本项目旨在从理论、算法和实现三个层面上设计基于分布式计算环境的高扩展判别学习方法。研究内容包括：1）建立当前最先进的基准识别系统，特别提出一种新颖的轻量级隐马尔可夫模型；2）研究分布式判别学习理论框架，支持对算法的收敛性、泛化界和复杂度的分析；3）研究生成式基准系统的分布式判别学习方法，在扩展当前计算模型的基础上，实现手写中文文本识别系统的分布式判别学习。本项目将建立具有鲜明特色的分布式判别学习的完整体系；提出针对大类别序列模式判别学习的一系列创新方法。最终解决手写中文文本识别的性能和效率双重瓶颈，并得到可推广到其它领域的重要成果。

手写汉字识别是模式识别领域的重要分支，作为电子化中文文档的利器，对于整个国家具有战略意义。手写中文文本识别是最自然的汉字输入技术之一，但面临性能和效率的双重瓶颈。海量训练数据和判别学习都有助于性能的提升，却存在巨大的计算复杂度。本项目紧紧围绕手写文本识别中的高扩展判别学习理论和方法，设计了一系列对海量训练数据和大类别序列标记任务具有高扩展性、快收敛性和强泛化性的普适学习方法。在解决手写文本识别中的性能和效率两方面的瓶颈问题上，主要开展了三个层面的研究工作。第一，提出基于MPE判别学习的手写汉字识别框架。它的目标函数是识别错误的光滑近似，可以通过EBW优化方法求解。加入样本合成技术扩充训练数据后，相较MLE，MPE可以减少28%的识别错误；得到的性能是HMM/GMM框架下最好的结果，可以为其他研究者提供比较基准。第二，基于CPU+GPU异构计算架构，提出适用于大规模、大类别分类任务的原型学习算法框架。通过分解和重组算法的计算任务,将密集的计算负载转移到GPU上，而CPU只需进行少量的流程控制；然后根据任务类型自适应地决定是采用分块策略还是并行归约策略来实现。方案在小批量处理的模式下，该算法最高可达194倍的加速比（GTX680）或638倍（GTX980）。第三，提出基于网络传播的快速原型预测算法和免解压的原型模型压缩算法，用于解决目前移动终端上的预测速度瓶颈和存储限制。前者建立的原型网络遵循"小世界效应"，在一定条件下可以保证任意节点间以较小的测地路径可达，这为利用链接关系去搜寻"优质"的节点提供了依据。为限制搜索空间，加入贪心选择过程，只让少数几个优质节点进入扩展队列。通过理论层面的网络结构分析和实践层面的算法传播性分析，揭示了算法在执行效率和实用性上的优势。后者通过对原型向量在每个维度上进行聚类，得到含256条目的字典，并用字典的元素索引替换该维度上的原型向量值。替换后，存储空间得到4倍的消减。这一精简方案，对于更复杂的原型模型会越加有效。在识别时，无需重构原型向量，而是直接在字典上进行运算，然后分发给对应向量元素。本项目的研究成果发表专著1本，发表SCI期刊论文2篇、核心期刊论文2篇、国际会议论文2篇；同时项目组取得ICDAR’2013手写汉字识别竞赛的两项冠军；原型学习相关的成果也已经成功得到产品转化。