基于端到端统一建模的图像内容问答算法研究

Image question answering (IQA) is a challenge research direction in cross-media area. It requires fine-grained understanding the content of both images and questions in natural language, then output the correct answer in natural language. Due to the complexity of images and openness of questions, the IQA problem was not well resolved. In recent years, the understanding for image and natural language is significantly improved by the deep neural networks. Therefore, in this project, we propose an end-to-end neural networks model to jointly solve the following three key problems in IQA: 1) effective cross-media feature fusion, 2) fine-grained image-question feature co-attention learning, 3) highly scalable answer predicting model. This study would lead towards more accurate IQA algorithms and practical IQA systems, and further explore the new way of human-computer interactions in the AI-2.0 era.

图像内容自动问答是跨媒体研究领域中一个具极具挑战性的一个研究方向。它需要对自然语言表述的问题和图片中的内容同时进行正确的理解后，返回自然语言描述的答案。由于图像内容的复杂性以及问题表述的开放性，该问题一直没有被很好地解决。近年来，使用深度神经网络在图像和自然语言理解方面都取得了长足的发展。因此，本项目拟基于深度神经网络模型，研究基于端到端统一建模的图像内容问答算法，将IQA中的三个关键问题联合求解：1）跨媒体特征有效融合，2）细粒度的图像-问题特征的“协同关注点”学习，3）高可扩展的答案预测模型。本项目的研究可以有效提升图像问答算法的准确性，有助于构建实用的图像内容问答系统，探索AI2.0时代新的人机交互方式。

图像问答是人工智能、计算机视觉领域的研究热点，也是国家新一代人工智能规划中跨媒体智能方向下的重要任务。在深度学习的框架下，构建可以端到端统一建模的图像问答方法，以实现精准的答案预测是一个挑战性问题。. 针对端到端建模的图像问答算法中几个关键问题展开深入研究：1）在多模态特征融合方面，提出以低秩分解为核心的多模态分解双线性池化方法MFB，并在此基础上扩展得到广义的高阶分解池化方法MFH。相比现有最好的融合方法，MFB和MFH模型显著提升了融合特征的表达能力，获得了更好的问答精度；2）在协同注意力建模方面，项目组分别提出MFB/MFH+CoAtt、MCAN和MMnas三个框架，由粗粒度建模改进为细粒度建模，从浅层模型发展到深层模型，从人工架构设计演变至自动架构设计，逐步提升图像问答方法的精度。应用所提出的算法，项目组参加了图像问答领域全球权威竞赛VQA Challenge 2017/2018/2019三次竞赛，获得了一次冠军，两次亚军。该成绩是目前国内团队取得的最好成绩。. 项目组在项目执行过程中，对多模态特征融合、注意力机制等相关基础理论、算法、技术等获得了丰富的经验。目前已在国际权威期刊和会议上发表论文15篇，其中CCF A类会议6篇，IEEE/ACM Trans系列7篇。公开了相关专利5项，其中授权1项。公开了数据集1项，开源了图像问答通用框架1项，并已与部分企业合作开展了产学研合作。