基于高光谱的近距离场景分析的研究

Hyperspectral imaging has its unique advantage in providing both spatial and spectral information of the scene. The rapid development of hyperspectral imaging equipment makes close-range scene or target analysis possible. However, different from traditional grayscale or color image based scene analysis and hyperspectral remote sensing analysis, hyperspectral imaging based scene analysis requires innovative methodology to exploit the advantage of hyperspectral imaging to the full. There are some critical research problems in hyperspectral imaging based close-range scene analysis: high-level semantic feature extraction, target analysis from different image sources, hyperspectral imaging feature selection and fusion, and hyperspectral scene and target modeling. Aiming at the proposed problem, the project will investigate the theoretical basis and undertake research in key tasks such as matching, fusion and target analysis. The project is intended to solve the aforementioned issues of hyperspectral imaging analysis through theoretical research including deep learning, graph matching, feature selection and fusion, graph model and so on, which will be applied to target authenticity analysis. This research project will showcase the superiority of hyperspectral imaging and boost the application and innovation of this technology for scene analysis. And the success of this project is also expected to break the limitation of traditional vision analysis methods and bring new perspective for the current research and development.

高光谱图像具有“图谱合一”的特点和优势。高光谱成像设备的发展使得基于高光谱的近距离场景和目标分析成为可能。然而利用高光谱图像对近距离场景分析不同于传统灰度或彩色图像场景分析和高光谱遥感分析，需要新的理论和方法以便发挥高光谱优势。本项目重点研究高光谱近距离场景分析中的匹配、融合及目标分析等内容，针对关键问题：高层语义特征提取、异源图像目标分析、高光谱特征筛选与融合以及场景和目标模型的构建等，通过深度学习、图匹配、特征筛选与融合、图模型等理论研究提出解决方法并将成果应用于真伪目标分析。研究成果将发挥高光谱图像在近距离场景和目标分析中的优势，拓展高光谱图像的应用，为场景分析提供新的方法，为突破现有视觉分析方法局限性提供新的思路。

本项目重点研究了基于图结构的高光谱分析方法、异源图像匹配、高光谱信息关联与融合等内容。项目组提出了基于子空间结构的高光谱图像分析方法，提出了基于attention机制的高光谱语义信息提取方法，提高了高光谱数据的质量和处理能力，有效解决了可见光图像所不能解决的真伪分辨问题。针对高光谱类型数据存在的异源匹配问题，提出了基于GAN网络的自监督的匹配方法，提出了自适应代价聚合的匹配方法，提高了匹配的效果缓解了匹配过程中对数据标注的依赖。针对高光谱图像数据维度高数量大的问题，提出了基于哈希的高维数据分析方法，提出了提出了基于结构保持的网络剪枝和压缩新方法，提高了分析效率能够在小型设备上部署算法。. 研究成果具有国防前景，在海天环境小目标检测演示验证实验中，构建了演示验证系统进行了实际测试获得了专家组的好评，未来可服务国防装备。研发了水果成熟度判别设备，可用于对水果的腐烂和成熟度进行自动筛选，在超市和农场进行了试用，在澳洲获得好评和应用，创造了超千万的产业价值。. 项目组成员在该领域高水平期刊如：IEEE TIP, IEEE TMM, Pattern Recognition等发表论文十余篇，在该领域国际高水平会议ICCV, CVPR, IJCAI, AAAI等发表论文十余篇，2018年百晓组织了模式识别领域重要会议S+SSPR，并在期刊Pattern Recognition Letter上组织了相关特刊。2019年在百晓教授牵头在权威期刊Pattern Recognition组织了网络轻量化与可解释主题的特刊，提升国内外学者在该领域上的理论创新。. 百晓教授担任了国防领域专家、Pattern Recognition副主编、电子学报编委、Displays领域主编，项目组雷鹏、巢文涵2人晋升为副教授、Dr. Jun Zhou晋升为Reader（准教授）、博士毕业2人，硕士毕业4人，项目组累计参加国际会议和国际交流20余次。