基于多级深度学习的极光图像分类和局部特殊结构极光检测

Ground-based all-sky optical imaging of aurora with high spatial and temporal resolutions forms a central element in studying the physical mechanism of the near-Earth space phenomena. Automatic methods are urgently needed to process the hundreds of millions of images produced annually. However, due to its complex morphology and dynamic characteristics, up to now the number of aurora categories and the characteristics of each category are not well defined. Our previous research demonstrated that feature description plays an important role in auroral image classification, clustering analysis and dynamic event analysis. The traditional feature engineering approach has met its performance bottlenecks. This project will investigate methods for feature extraction, classification and detection of auroral image based on multi-stage deep learning. By utilizing a labeled dataset with one hundred thousand auroral images, we will study effective methods for data augmentation, network structure optimization and multi-stage training, to implement the automatic classification of arc and corona auroras. Targeting the problem of automatic raw observation pre-processing, we will study methods for discrete aurora detection based on feature extraction using deep network and detection using support vector data description. Furthermore, we will convert the deep classification network to a deep regression network. Multi-stage optimization of the regression network and multi-scale searching methods will be investigated to detect local special auroral structures. The achievements of this project are expected to provide new auroral image analysis methods for research on the physical mechanism of aurora.

高时空分辨率的地面全天空光学成像是极光物理机制研究的重要手段，每年产生大量的观测数据，迫切需要自动化的极光图像分析技术，然而极光形态和动态演变过程极为复杂，至今尚无明确的形态特征描述和合理的分类方法。我们以往的研究工作表明，极光图像特征描述是对其进行形态分类、聚类和动态事件分析的关键，传统的特征工程方法在性能上已经遇到瓶颈。本项目开展基于多级深度学习的极光特征提取、分类和检测方法研究。利用十万数量级的标记数据集，研究有效的数据扩增、网络结构优化和多级网络训练方法，实现弧状/冕状极光的自动分类；针对原始观测数据的自动预处理问题，研究基于深度网络特征提取和支撑矢量数据描述的分立极光图像检测方法；在深度分类网络的基础上构建深度回归网络，研究深度回归网络的多级优化和多尺度搜索方法，实现局部特殊结构极光图像的自动检测和准确定位。本项目研究成果将为极光物理机制研究提供有效的海量图像自动分析方法。

高时空分辨率的地面全天空光学成像是极光物理机制研究的重要手段，每年产生大量的观测数据，迫切需要自动化的极光图像分析技术，然而极光形态和动态演变过程极为复杂，至今尚无明确的形态特征描述和合理的分类方法。本项目围绕全天空极光图像自动分析问题，开展了基于深度学习的极光形态分类和极光事件分类及检测方法研究。针对深度学习研究必须的大量数据人工标记问题，研发了基于众包的极光图像标注系统和相应的数据管理与服务原型系统，构建了有38044幅标记图像的测试数据库。针对极光形态分类问题，提出了基于图像级标记弱监督和半监督的极光关键局部结构定位方法及极光形态分类方法，提出了基于深度学习的极光弧实例分割和弧宽自动计算方法，提出了基于自监督学习和注意力机制的极光形态深度聚类分析方法。这些方法有效的提高了极光形态识别的准确率，从不同程度上减少了对样本标记量的需求，实现了极光局部结构的自动识别与定位及其物理参数计算，并验证了其应用于分析海量全天空极光数据的可行性与有效性。针对极光事件分类和事件检测问题，提出了基于卷积神经网络的极向运动事件识别方法和一种单阶段极向运动事件检测方法。最后，针对极光图像标注问题，初步探索了基于视觉专家大脑响应的图像标注方法。本项目共发表SCI检索国际刊物学术论文6篇，国际学术会议论文7篇，其中会议口头报告2篇，在国内学术会议做分组报告1次，申请发明专利2项，获得软件著作权1项。本项目研究成果为海量极光观测数据的自动分析提供了技术方法支撑。