基于时间序列光谱数据的水中污染物检测方法研究

The spectral detection is one of the important techniques for monitoring the contaminants in water. It is very beneficial to online monitoring with high sensitivity , fast response and no secondary pollution etc. Generally, large amounts of spectral data will be produced by continuous monitoring, so it becomes specially significant to analyze the data such as feature extraction etc. In this project, focusing on three-dimensional spectroscopy,we will carry out the following research. Fistly, the feature extraction will be effectively completed by combing the characteristic of time series spectral data. This will resolved the impact of humic acid which affects the spectral signal of other pollutants, because humic acid is characterized by wide wavelength and strong intensity. Secondly, we will found the mathematical models which is used to complete the qualitative and quantitive analysis of muti-component organic compound according to the time series fluorescence spectroscopy. Mostly, the detection of the abnormal sequence, namely the accidental pollution, will be discussed. Lastly, on the basis of the first two parts, the short forecast of the organic compound concentration will be studied by time series data. In brief, the detection accuracy of different organic pollutants in water can be greatly improved by the results of this project.

光谱技术是目前对水中污染物进行监测的重要技术，它具有灵敏度高，分析速度快，没有二次污染等特点，十分利于在线实时监测。以连续监测产生的时间序列数据为研究对象，对所获取的光谱数据进行有效的特征提取和数据解析是一项重要而有意义的工作。本项目在充分调研现有的光谱分析法的基础上，以三维荧光光谱技术为研究重点，将主要解决三方面的问题：第一，结合时间序列光谱数据特点，完成光谱的特征提取，解决普遍存在的腐殖酸等有机物的荧光光谱的波长范围广、强度大，影响着其他痕量有机物监测的困难；第二，建立时间序列荧光光谱的多组分有机物定性和定量分析的数学模型，重点探讨异常子序列（即突发性污染）的检测；第三，在前两部分的研究基础上，从时间序列分析的角度，实现不同有机物浓度的短期预测。通过本项目的研究，水中有机污染物检测的精确度会大大提高。

时间序列三维荧光光谱数据的数据挖掘对于实际水污染监测具有十分重要的意义。本项目以连续在线监测三维荧光光谱数据为研究对象开展了一系列相关的研究工作。首先结合时间序列和三维荧光光谱的特点从时间维和光谱维对信息丰富的特征区域进行了选择；根据三维荧光光谱的时频特点，利用聚类分析和二维小波对时间序列三维荧光光谱从时间维和光谱维进行了数据压缩；进一步提出累积相似度的概念给出了异常值的判断方法；结合小波变换的多尺度特性和经验模态分解的数据自适应性特点，提出了wavelet-EMD方法提取弱荧光信号。其次针对样本中存在的噪声、样本不均匀、样本数量少等因素使得预测结果不理想的情况，提出了基于校正样回收率最大误差修正的EWPLS定量分析方法和基于校正样回收率最大方差修正的CWPLS定量分析方法，在不同程度上改善了PLS的预测精确度。最后针对时间序列三维荧光光谱数据量大以及非平稳的特点，构建了wavelet-ARIMA预测模型，不仅对数据进行了有效压缩，而且实现了快速准确的预测。此外为了有效扣除瑞利散射和拉曼散射，提出了一种不受散射区域影响的Kriging散射校正方法。