联机手写化学公式识别研究

Chemical formulas and expressions are an essential means of communicating information and structure in domain of chemistry. Despite the ubiquity of formulas, there is still a large gap between how people naturally interact with formulas and how computers understand them today. Our goal is to develop an intelligent formulas understanding system that provides a more natural way to specify chemical structures to a computer. In our research, we will study a new recognition framework and apply it to online handwritten chemical formulas. The framework combines a hierarchy of visual features into a joint model using a discriminatively trained conditional random field. This joint model of appearance makes our framework less sensitive to noise and drawing variations, improving accuracy and robustness. The key research contributions of this research are: 1)A symbol recognition architecture that combines vision-based features at multiple levels of detail. 2) A discriminatively trained graphical model that unifies the predictions at each level and captures the relationships between symbols. 3) An energy function denoting the recognition results of chemical formulas which may typically avoid subjectivity and improve acurrency. 4) A real-time formulas recognition interface that will be evaluated by intended end-users and compared against the most popular existing technique for chemical formulas authoring.

作为一种通用的国际科学语言，化学公式应用广泛。但到目前为止，如何快速准确地识别联机输入的化学公式还是一个难题。本研究设计一种针对联机手写化学公式的自动识别、分析和理解体系。从优化求解角度考虑联机手写化学公式识别问题，选用SIFT、SURF等特征，结合传统的局部特征和全局特征，从多个角度反映化学公式的本质特性。利用多级CRF模型进行问题建模，使得识别结果能体现不同层次的公式特征。充分利用化学规则和规律辅助公式的理解过程，提出化学公式版面结构分析的算法，利用空间位置信息、时序信息和化学领域专有知识实现对化学公式的自动处理，同时解决各种书写异常问题。最终构建一个涵盖无机和有机化学领域的联机手写公式识别系统。

该项目以基于深度学习技术的计算机视觉及图像处理为研究方向，以联机手写化学符号和公式的自动识别为具体研究问题，针对卷积神经网络结构、局部特征、时序特征及深度特征的融合等问题进行了比较深入和细致的探索。主要研究内容及成果包括：1）提出了一种基于支持向量机和隐马尔科夫模型的联机手写化学符号识别算法，该算法可在较短时间内自动识别出102种无机和有机化学符号（含10种阿拉伯数字、24种大写英文字母、20种小写英文字母、10种化学操作符以及38种有机化学符号），进而利用深度学习框架及多层深度特征识别上述符号，准确率达到了90%以上。2）针对目前在计算机视觉和图像处理领域广泛使用的深度学习框架展开研究，力图优化学习过程，提取出更有表示性的特征。提出基于先验信息的图像前景分割算法，改进了GrabCut的分割结果并有助于提升图像兴趣区域的定位精度。提出了一种基于卷积神经网络的全局和局部信息融合方案，利用迁移学习技术在一个通用分类网络中定位和抽取有价值的局部信息。提出了一种增广式二值化条件概率神经网络，利用标签分布学习技术预测单标签类别，提升了预测的准确率。3）基于上述研究成果，进一步将符号及公式的识别引擎应用于多种化学场景，研究了面向自然人机交互的笔手势识别算法，对于Rubine和$1算法进行了重抽样和象限筛选的改进，提高了笔手势识别准确率。基于笔式人机交互方式设计并实现了一套化学实验演示系统。首先从用户手写输入的数字墨水中提取笔迹特征，然后分类识别不同的化学仪器和物质，最后理解用户的手势意图，完整辨识出反应物和反应条件。根据预先存储的字典，查找对应的化学反应式，在交互界面中予以呈现。基于上述研究申请国家发明专利1项，发表英文学术论文6篇，在投论文4篇。