面向机器解答中题目理解的多模态数据融合方法研究

Automatic Problem Solving is the cutting-edge topic in the cross area of artificial intelligence and education, in which the Problem Understanding is the key point. Due the failure in using the multi-modal information, the existing Problem Understanding methods cannot correctly understand those problems containing multi-modal data for a long time. To tackle this issue, we in this project try to explore the multi-modal fusion method for Problem Understanding in Automatic Problem Solving. First, we set up the feature representations of multi-modal data by single modal feature learning and cross-modal feature learning based on the multi-modal data in problems. Then, the multi-modal fusion method is explored through the problem hidden information extraction and multi-modal learning based on hidden information, in which the effectiveness and efficiency of multi-modal fusion for Problem Understanding are studied and discussed. The Problem Understanding method then can correctly understand the multi-modal information in problems. At last, we utilize our multi-modal fusion method in solving the problems of several different subjects to improve the performance of Problem Understanding algorithms and promote the multi-modal fusion methods.

机器解答是人工智能与教育应用交叉结合的前沿研究方向，而题目理解是机器解答中的核心部分。一直以来，由于缺乏有效的多模态融合技术，现有的题目理解算法不能对题目中的多模态信息加以融合与利用，导致无法正确的理解题目中的多模态数据。为此，本项目旨在研究面向机器解答中题目理解的多模态数据融合方法。以题目中的多模态数据为对象，研究题目的单模态特征学习和跨模态特征表达，建立题目中多模态数据的特征表达机制；基于该特征表达，进一步从题目隐含信息挖掘和基于隐含信息的多模态关联学习两个方面研究题目理解中的多模态数据融合方法，探讨题目隐含信息的分布特性和其对多模态数据融合的作用规律，实现对题目中多模态数据的有效融合；最后在多模态数据融合的基础上，研究其在不同学科题目理解中的应用方法，提升题目理解效果，推动多模态融合技术的进一步发展和应用。

题目理解是机器解答的基础和核心部分，而如何有效的理解题目中的多模态信息，则是题目理解的难点问题。本项目以题目中的多模态数据为研究对象，研究面向机器解答中题目理解的多模态数据融合方法，提升题目理解的准确性，并应用于机器解答，提升各学科的题目自动机器解答效果。项目的研究取得的主要研究成果包括以下几个部分：（1）提出了一种基于句法语义混合模型的题目多模态特征提取与表达方法，能够有效的提取题目中所包含的解答所需要的关系信息；（2）探索并证明了题目隐含信息对题目机器解答的重要作用，提出了一种有效的题目隐含信息挖掘算法，并进行题目显式信息和隐含信息的联合学习研究；（3）将多模态融合应用于不同学科题目的机器解答，构建了一种通用的机器解答框架，提出了图文混合平面几何题目自动证明方法和图文混合物理电路题目自动解答方法。本项目的研究成果推进了机器解答领域的研究工作，具有良好的理论意义和应用价值，并为后续的研究工作拓展了方向。