古建彩画高光谱图像分类的迁移学习方法研究

Although rich spectral information is beneficial to cultural heritage conservation with hyperspectral image analysis, it suffers from lack of essential techniques for effective data processing. To tackle the critical demanding for detection and protection of cultural heritage conservation, the aforementioned problem has become a challenge in this context..Based on the theory of transfer learning, this project is for hyperspectral image classification of color paintings captured from ancient buildings. By combining deep learning, context-aware information mining, deep reinforced learning, nonlinear feature space mapping, virtual samples and Boosting method transfer learning at three levels in terms of samples, features and models will be intensively investigated. The major research topics include context and deep reinforced learning based sample transferring methods, nonlinear feature transfer via supervised and unsupervised deep learning, and parameterised model transfer based on virtual sample production and auxiliary features. On the basis of theoretical research, application based case studies will be carried out in Jingfu Palace of the Forbidden City and temples surrounding Lhasa for disease monitoring and content identification of ancient color paintings..This project aims to breakthrough the limitations of existing high spectral image classification by releasing the requirement of a large number of annotated data in training the network. New algorithms will be studied for integrating transfer learning, deep learning and hyperspectral analysis techniques to solve the challenging problem of hyperspetral image classification under a small labeled training set. This will also provide new theories and means of implementation to practical problems for protection of cultural heritages.

高光谱图像带有光谱信息，用于分类识别有信息丰富的优势。文物保护领域对该技术提出了需求并高度重视，但是其研究受到了样本数少标注成本高的限制。..本项目研究基于迁移学习理论的高光谱古建筑彩画图像分类问题，采用结合深度学习、深度强化学习、上下文信息、非线性映射、虚拟样本生成和Boosting等方法，开展迁移学习中的样本迁移、特征迁移和模型迁移的研究。研究内容包括基于深度强化学习和上下文的样本迁移方法研究；基于监督及非监督深度学习的特征非线性迁移方法研究；基于虚拟样本生成和Boosting的模型参数迁移方法研究。在理论研究的基础上，将在北京故宫景福宫和拉萨周边寺庙开展古建彩画病害监测和内容识别的应用研究。..本项目旨在突破现有基于深度学习的高光谱分类方法需要大量标注数据的局限性，探索迁移学习结合深度学习等技术的新理论，为解决在文物保护工作中遇到的实际问题提供新的理论方法及实现手段。

古建筑彩画是世界范围内的珍贵文化遗产，其独特的制作方式，鲜明的绘画风格和生动的绘画内容都极具保存和研究价值。但由于长期受环境、人为因素的影响，古建筑彩画都面临不同程度的问题，包括难以识别分类、病害问题和缺乏有效的非侵入式监测手段。本项目基于图像和高光谱图像分析技术对建筑物彩画识别分类中的关键算法问题展开深入研究，不但多次赴故宫采集彩画的高光谱数据，而且从迁移学习、特征提取、显著性分析、多特征融合等角度开展了工作，深入探索了新的深度学习方法及其在本项目中进行分类和识别任务的应用。具体包括：1）高光谱彩画图像的采集工作，赴故宫景福宫使用高光谱相机采集彩画数据并进行整理和标注；2）高光谱图像的预处理工作，包括降噪预处理、稀疏表示、基于2D奇异谱分析的特征提取与降维；3）基于高光谱图像的数据分析工作，基于高光谱数据的特点，从空间和谱段多个维度分析提取识别对象的有效特征，从而进行分类和识别的任务；4）图像的深度学习和迁移学习新理论和方法，主要从样本、特征和模型等三个角度深入探索了在这一类小样本学习的问题中如何基于显著性的检测有效的选择样本、提取特征和获得更加鲁棒和泛化性能好的模型。本项目的实施给高光谱图像的迁移学习和深度学习提供了新算法和思路，将丰富和完善机器学习和计算机视觉领域的基础理论研究，有效的推动艺术作品分类、目标识别和显著性分析等领域的发展，给文物数据分析和文物保护提供新的思路和方法。