结露和结霜现象的视觉特征提取与呈现模式识别

The occurrences, durations and visual patterns of dew and frost happened near land surface are a type of important data for the research on moisture exchanges between the nearby atmospheric and the soil. However, automatically measuring the aforementioned meteorological parameters of dew and frost is still a challenge in surface weather observation. This research explores the methods for closely associating image features with the visual appearance of dew and frost that occur in nature, and investigates the approaches for automatically identifying the meteorological parameters of dew and frost. The main contributions of this proposal include: 1) we locate the deposition regions of dew or frost in images with an innovative saliency detection method, which formulates the priors of the proposed attention model by an one-class learning procedure; 2) We propose to identify the occurrences of dew or frost as well as measure the dew or frost duration with a discriminant model, which is optimized by integrating the image features that are spatially and temporally extracted from the deposition regions with the real-time meteorological factors; 3) Recognition of dew and frost patterns is investigated. For a reliable classification of those patterns, the extracted low-level image features are enriched by a mid-level feature encoding technique, followed by a multi-channel feature fusion framework in a sophisticate manner. This study proposes an effective approach for obtaining more informative data of dew and frost than other methods. In addition, it also potentially provides a practical solution for automated dew and frost observation.

地表结露和结霜现象的发生状态、持续时间以及表征呈现模式是近地面大气与土壤水分交换研究中的一类重要数据。然而，如何以自动的方式测量上述气象参数是天气现象观测中的难题。本课题探索使用图像特征来描述这两类现象视觉特性的方法，并实现对其气象参数的自动测量。内容包括：1）研究结露与结霜现象表征的视觉显著性机理，提出利用单类学习模型构建先验知识的方法，并以此知识引导显著性区域检测模型，以实现结露和结霜区域的自动提取；2）建立结露和结霜区域图像特征的静态量、时变量以及实时大气状态数据与现象演化过程的联系，并提出基于异类特征的联合判别模型，以识别现象发生的状态和测量现象的持续时间；3）提出利用中层特征编码结合多类型图像特征融合的方法来提高特征的描述能力，以解决现象表征呈现模式难分类的问题。本课题的研究成果为获取更丰富的结露和结霜现象信息提供了一种有效的途径，也为两类现象的自动观测提供一种可行的解决方案。

近地层结露和结霜现象属于地面凝结现象，其对近地层大气系统的热交换平衡、生态系统的水分平衡、能量平衡以及作物的养分循环等影响重大。地面气象观测站对结露和结霜现象的日常观测是记录这两类现象的主要手段。目前，这两类现象在我国仍处于以人工观测为主的阶段，对于结露和结霜现象气象参数的自动观测问题，目前国内外也没有得到广泛认可的解决方案。课题前期工作证明，利用图像识别技术来实现露和霜的自动观测是可行的。本课题的研究内容围绕如何通过对结露和结霜现象表征的视觉特征进行时空分析，以解决两类现象重要气象参数的自动提取和测量问题。具体来说，本课题研究内容包含以下三个方面：1) 基于视觉显著性区域检测的结露和结霜候选区域提取；2) 基于中层视觉特征描述的结露和结霜现象表征呈现模式识别；3) 结露和结霜图像数据集合的采集与制备。通过三年的研究，本课题在以上方面都取得了相应的成果，尤其在第一个研究内容上，按照拟定的研究方案，取得的研究成果在2017年计算机视觉顶级国际会议ICCV上获得发表。而另外一种解决方案则已投稿计算机视觉领域著名期刊IEEE T-CSVT。在第二个研究内容上，按照拟定的研究方案，采用的多类型、多尺度及多视角视觉特征在结露和结霜现象的识别正确率上已经超过采用深度卷积网络的正确率，同时考虑到基于深度卷积网络难以应用到在线训练的模式中的问题，提出的方法更具有实用的价值。在第三个研究内容上，本项目已经对前期采集的图像数据进行了规范的整理，并邀请气象专家对其进行了准确的人工标记，构成了多个尺度的结露和结霜数据集合，在近期即准备进行公开发布。在三年的研究过程获得的研究成果说明利用计算机视觉方法可以有效地对地面结露和结霜现象进行检测，并具有一定的应用价值。