线条图像理解方法研究

With the rise of many new applications in the field of mobile reading and mobile education, automatic understanding of line drawing images (such as page images of comics, and geometric figures in textbooks) has become an urgent problem. Aiming to solve this very challenging problem, this project focuses on the research of object detection and recognition in line drawing images, 3-D reconstruction of solid objects, and the semantic classification of line drawing images. In this project, we will develop a robust and efficient method for geometric object recognition, with the capability of model selection; and study how to use the prior knowledge about page layout to train a deep neural network with semi-supervised learning for the tasks of non-geometric objects recognition and semantic line drawing image classification, and how to use deep learning and conditional random field together for the task of semantic line drawing image segmentation. Moreover, we will also try to find a feasible 3D reconstruction method for non-geometric solid objects. The achievement of this project will fill in the gap of research on line drawing image understanding, and provide key technical support for the new applications in the publication and education industries. Therefore, this project has great scientific significance and economical values.

随着移动阅读与移动教育领域内许多新的应用的兴起,对漫画、绘本、几何图形等线条图像的语义理解成为了一个亟待解决的新问题。本项目将针对该问题，结合具体的应用需求，对该类图像所包含对象（几何对象和非几何对象）的识别方法、立体对象的三维重建方法，及其语义分类方法开展研究。特别地，本项目将研究一种高效、鲁棒、而且具有模型辨识能力的几何对象识别方法；将在吸收当前自然图像理解领域最新成果的基础上，研究如何根据线条图像数据先验知识使用弱监督深度学习来完成非几何对象识别以及非几何线条图像分类任务，如何综合使用深度学习和条件随机场来完成非几何对象语义分割任务；并针对非几何立体对象探索出一种可行的三维重建方法。本项目研究成果将填补现有文档图像理解领域国内外研究空白，为移动阅读与移动教育相关应用提供关键技术支持，因此本项目具有十分重要的研究意义。

本项目面向移动阅读与移动教育领域内许多新兴应用需求，对漫画、绘本、几何图形等线条图像的语义理解问题开展了相关研究，主要完成了四个方面的工作：1)实验数据收集、标记与评价方法构建，2) 线条图像所包含对象的识别方法研究，3) 线条图像语义分类与检索方法研究，4) 线条图像所包含立体对象的三维重建方法研究。本项目取得的主要进展如下：.（1）首次提出了基于深度学习的多边形物体检测方法，可适用于线条图像几何图形对象检测和自然图像几何形状物体检测，该方法具有较高的学术和应用价值，相关应用成果陆续在AAAI 2017、MM 2018、Pattern Recognition发表高水平论文3篇。.（2）系统地提出了基于深度学习的弱监督和有监督漫画人物角色识别方法，达到了接近实用的技术水平，在漫画版权保护、互联网漫画内容监管等方面具有较高的应用价值。.（3）提出了基于深度学习的立体几何图像三位重建方法，达到了可实用的技术水平，在移动教育方向有具有较高的应用价值。.（4）先后提出了多个通用目标检测方法，具有较高的学术和应用价值，相关成果陆续在ACCV 2018、AAAI 2019、 AAAI 2020上发表高水平论文3篇，在国际评测数据集MS COCO上取得了领先的结果，并在2项目标检测国际竞赛中获得领先的成绩，受到了学术界和工业界的广泛关注和引用，取得了非常不错的学术影响力。.（5）系统地提出了高精度场景文字检测和识别方法，具有较高的学术和应用价值，相关成果陆续在ICME 2019、MTAP、 PR发表高水平论文3篇，在多个国际评测数据集上取得了领先的检测和识别结果，并获得两项场景文字检测国际竞赛冠军，相关场景文字识别技术在蚂蚁金服的线上产品中得到了落地应用。.本项目相关研究成果目前共发表学术论文25篇（含CCF A类会议论文5篇、CCF B类会议/期刊论文7篇)，并申请相关专利4项（已获授权1项），场景文字识别研究成果得到了落地应用，证明了本项目研究成果具有较高的学术价值和应用价值。