可视数据语义相似性度量及其在场景三维分析中的应用

Scene analysis is a hot topic in Computer Vision and Computer Graphics, which has been applied extensively in smart city, digital modelling, etc. There are plenty of visual dataset in academic and industry area, providing rich data for analysing 3D information from visual scenes. However, most datasets have large diversity, irregularity, lower connections and coarser grained level, which cause disadvantages in exploring differentiation between objects in the same category. Considering the problems mentioned above, we propose the following research topics: 1. Research on the semantic similarity measure for single models (e.g. 3D chair model). 2. Research on the semantic co-similarity measure between single models and corresponding images. 3. Research on semantic similarity measure for scene models (e.g. 3D living room model). 4. Research on the scene reconstruction from single images based on semantic similarity measure. Our project aims at building 3D shape datasets under semantic embedding, providing similarity measure based on semantic features, and developing an efficient and semantically accurate single image scene modelling method. Our project will provide theories and dataset for interdiciplinary research topics on Computer Graphics and Computer Vision.

场景三维分析是计算机视觉、计算机图形学等学科的研究热点，广泛应用在智慧城市、数字建模等领域。海量可视数据集为计算机理解场景三维信息提供了丰富的数据基础；然而，现有可视数据集存在多样、无序、关联度低、类别粒度粗等特点，不利于探索场景同类物体间的差异以及内联关系，易产生大量冗余计算，降低可视数据集使用效率。本项目基于上述问题，拟采用相似性度量帮助有序化组织可视数据集，并研究其应用；研究内容包括：1、研究单物体模型（比如椅子的三维模型）的语义相似性度量；2、研究单物体模型与图像的联合语义相似性度量；3、研究场景模型（比如客厅的三维模型）的语义相似性度量；4、研究基于语义相似性的单幅图像场景重建算法。本项目的目标是基于人类度量相似性的真实数据，提供语义有序的可视数据集合，提出可视数据语义相似性度量方法，开发基于语义相似性的单幅图像场景建模方法，为计算机视觉、计算机图形的交叉研究提供理论及数据基础。

场景三维分析是计算机视觉、计算机图形学等学科的研究热点，广泛应用在智慧城市、数字建模等领域。海量可视数据集为计算机理解场景三维信息提供了丰富的数据基础；然而，现有可视数据集存在多样、无序、关联度低、类别粒度粗等特点，不利于探索场景同类物体间的差异以及内联关系，易产生大量冗余计算，降低可视数据集使用效率。本项目基于上述问题，拟采用相似性度量帮助有序化组织可视数据集，并研究其在可视计算领域的应用。本项目的目标是基于人类度量语义相似性的真实数据，提供语义有序的可视数据集合，提出基于语义特征的可视数据相似性度量方法，开发基于语义相似性度量的面向可视计算的应用，为计算机视觉、计算机图形的交叉研究提供理论及数据基础。. 目前该项目已经取得了突破性进展，在IEEE VIS、IEEE TIP、ACM SCA、Visual Informatics等可视计算领域国际期刊及会议发表论文6篇，申请相关专利1项。2017年，项目组提出了面向语义相似性度量的分组式高效众包采集策略，并基于该策略针对两个数据集获取了数百万相似性度量组。2018年，基于该数据集，项目组提出了面向多属性语义相似性度量元组的嵌入空间优化方法，该方法基于对比损失函数的优化策略，可同时对相似性程度以及相应属性空间进行优化，并借助采集数据过程中的分组方法，大大缩小解空间，从而得到最优解。2018-2019年，项目组探索了语义相似性度量在可视数据组织与计算方面的应用，其中包括图像及模型检索、三维补全与三维建模、舞蹈序列合成、雾霾可视分析、图像显著性检测等问题。目前，项目组所采集的数据与相关代码均已开源。本项目初步建立了一套面向可视数据的语义相似性度量方法和应用，推动了数据驱动可视计算的发展。