数学公式的全景式检索技术研究

Mathematical formula retrieval is a difficult issue in the field of information retrieval, and current researches mainly focus on the "visually similar" formula retrieval. However, besides finding similar formulae, readers also wish to understand the query formula and its relevant materials. This project is to study the formula retrieval technology for assistant leaning, to achieve the convenient formula input and information recommendation in heterogeneous learning resources. The project will focus on the key issues such as intelligent formula recognition and input, formulae relation mining, formula graph construction, formula summarization and heterogeneous resource recommendation. In order to solves the problems of formula input and recognition in complex scenario, multi-modal (PDF, webpage, photo, video, etc.) formula relationship mining and resource recommendation, the project will design several methods based on the Knowledge Graphs, deep learning and other heuristic knowledge of formula and page layout to analyze the importance weight, evolution relation, related topics and authors of formulae on the large-scale formula resources. In order to help users to get a quick overview of formulae and guide on the learning resource conveniently, we try to construct the panoramic view of the formula based on the visualization of formula graph and formula abstraction.

由于公式的结构和描述信息复杂，公式检索成为信息检索领域的研究难点之一。现有研究主要关注“视觉上相似”的公式检索，但读者除了要查找相似公式，更需要理解公式及其相关资料。为此，本项目拟研究面向辅助学习的全景式公式检索，实现多场景的公式便捷输入与多维度的学习资源推荐。具体地，拟研究公式的智能识别输入、公式关系挖掘与图谱构建、公式摘要生成、异构资源推荐等关键问题；基于知识图谱、深度学习等基础技术，结合公式排版布局、语法结构等启发式知识，解决复杂场景下的公式输入与识别、跨模态（PDF、网页、照片、视频等）的公式关系挖掘与资源推荐等难题；在检索相似公式的同时，推荐相关的网页、文献、课件等学习资源；在大规模公式资源上，分析公式的重要度、演化关系、关联话题甚至相关研究者；拟通过关系图谱、摘要等可视化方式，构建公式在多个维度下的“全貌”信息，实现全景式的公式检索，辅助用户快速了解公式概况，导航学习资源。

本项目主要研究了数学公式的智能识别技术，并提供方便快捷的数学公式输入方法；同时研究了数学公式关系挖掘与公式图谱构建、公式摘要生成、异构资源推荐技术，可辅助用户快速了解公式在多个维度下的“全貌”信息，实现全景式的数学公式检索与学习资源推荐。.在研究成果方面，提出了基于深度编解码模型的公式识别方法（BTTR），较好地解决了复杂场景（模糊、形变、背景干扰等）下的公式识别问题；针对Web中的数学公式，提出了基于公式引用图（Formula Citation Graph, FCG）的公式检索方法，解决了视觉上不相似但是语义非常相关的公式搜索问题；针对长且复杂的数学问答问题，提出了自动生成简明标题的方法（MathSum），该方法引入multi-head注意力机制，增强了数学公式的结构信息表示，能够生成符合人类习惯的数学问题标题。针对大规模复杂异构图，提出了可示踪的异构图表示学习（THGRL）和基于遗传激活算法的异构图表示学习方法（GERM），可以有效应用于公式相关的异构资源推荐。上述成果从多个方面推动了公式识别与检索这一专业领域的技术进展，研究成果在ICDAR、ECCV、AAAI、KDD、SIGIR、ACL等学术会议与期刊上发表论文28篇，并获得ICDAR 2021最佳海报论文奖（Best Poster Award），申请发明专利6项，获软件著作权1项，已经实际应用于2个知识服务系统之中，在题库构建、在线教育、文献查重等方面，表现出很好的应用前景。