基于LLE-SVR的水質COD紫外光譜檢測方法研究

北京信息科技大學 自動化學院，北京 100192

一、引言

化學需氧量（Chemical Oxygen Demand，COD）是能夠反應水體有機污染程度的一項重要的指標[1]。基于紫外光譜分析的水質監測是通過建立紫外吸光度和有機物以及部分無機物濃度的相關模型來評價水體污染程度，具有環保、低成本、便攜等優點，是水質監測儀器的重要發展方向[2]。在一定程度上，基于紫外可見光譜法測定COD，其測量精度嚴重依賴于所建立的數學模型。因此，如何選擇合適的數學模型以提高預測精度，成為目前紫外可見光譜COD測量研究的重點[3]。目前，基于紫外可見吸收光譜分析中，模型分析方法主要有人工神經網絡（Artificial Neural Network，ANN）[4-5]、主成分回歸（Principal Component Regression，PCR）[6-7]、支持向量機回歸（Support Vector Regression，SVR）[8-9]以及偏最小二乘（Partial Least Squares，PLS）[10]等，在線性分析建模中，比較常用的是PLS。

張森[11]等運用偏最小二乘法結合支持向量機的方法，解決了水質因子多重相關問題，提高了預測精度，預測值與實際值相對誤差均低于1%，最大為0.7759%，平均相對誤差為0.39%。俞祿[12]等以總有機碳（Total Organic Carbon，TOC）、COD為指標，分別建立PLS、PCR、偏最小二乘回歸（partial least squares regression，PLSR）、最小二乘支持向量機（Least Squares Support Vector Machine，LSSVM）預測模型，結果表明，LSSVM的預測精度最高。陳武奮[13]等以水溫、溶解氫、電導率、濁度數據為影響因子，建立基于SVR的水質pH值預測模型，結果表明，基于SVR預測模型訓練集決定系數為0.854、測試集決定系數為0.897，平均相對誤差為1.419%，該模型為水質評價提供了一定的參考價值。

由于水體具有一定的多樣性和復雜性，紫外吸收光譜信號通常在全波段進行掃描采樣。但是全波段光譜信息作為非線性建模輸入變量會導致模型的復雜度增加，減低計算速度，使檢測的實時性難以保證，同時會導致不確定干擾因素的引入，進而降低準確度[14]。

對原始數據降維是一種有效的消噪并且提取有用信息的方法。流形學習是從高維映射到低維流空間，來達到數據低維、可視的目的，從而找到內在規律[15-16]。局部線性嵌入式算法（Locally Linear Embedding，LLE）是Roweis和Saul[17]于2000年提出的非線性降維方法，其本質是利用局部線性去逼近全局非線性，對原始數據點進行重構，來保持整體的特性。LLE 方法具有低復雜度、少參、高效、容易實現等優點[18-19]。

本文對室內光譜儀測量的水樣紫外光譜進行研究，光譜信息量龐大、維數過高，存在著噪聲干擾，需要對數據降維。首先通過LLE 對紫外可見吸收光譜數據進行非線性降維，然后建立基于SVR的預測模型，由此結合LLE和SVR的優點，建立了基于水質COD預測模型。結果表明，LLE-SVR方法建立的預測模型效果顯著。

二、實驗材料

實驗中，共獲得54組樣本，取自于某市生活廢水、河流地表水以及工業排放廢水，本實驗采用的是BIM-6002A光譜探測器（杭州Brolight公司生產）采用交叉非對稱C-T光路結構，光學分辨率高達0.35nm～1nm，光源選擇LS～3000型50W鹵素燈，工作波長范圍為200nm～900nm。根據GB11914-89《重鉻酸鹽法水質化學需氧量的測定》來獲得每個樣本的COD真值[20]。圖1為54組樣本的光譜曲線，光譜采集的范圍為190nm～400nm。

三、結果與性能評價

本實驗總共獲得54個實驗樣本，將這些樣本劃分為訓練集和預測集，其中訓練集樣本42個，用來建立數學模型，預測集樣本12個，用來檢驗模型的精度和預測能力。

1、光譜數據預處理與初步建模分析

在數據采集的過程中，由于儀器設備的高頻噪音、人員操作、外界環境等因素，往往會導致一些無關因素參與到模型的建立，從而影響所建模型預測精度，選擇合適的預處理方法能夠提高模型的預測精度。對光譜數據分別進行S-G平滑濾波（Savitzky-Golay smoothing filter，SG）、標準正態變換（Standrd Normal Variate，SNV）、一階微分（First Derivative，FD）以及小波變換（Wavelet Transform，WT）的預處理，再通過PLSR和SVR兩種方法進行建模分析，來分析比較不同預處理方法對模型預測結果的影響。

本實驗采用均方誤差（Mean Square Error，MSE）作為性能指標評價模型的建模和預測能力。

通過表1可以得出，通過不同預處理的光譜數據得出了不同的預測效果，通過比較訓練樣本和測試樣本，WT+SVR獲得的預測模型精度最高。WT可以有效的抑制無用噪聲，并保留有用信息，采用SVR建模在總體上優于PLSR，其原因可能是SVR能夠有效利用光譜信息中隱含的與水質COD濃度相關的非線性關系。

表1 不同預處理方法誤差

2、光譜數據的再處理

在水質檢測中，利用全光譜參與模型建立會增加模型復雜度，計算時間長，效率低，不利于模型的應用和推廣。由于全光譜數據中可能含有一些無關信息參與模型建立，運用以上預處理方法仍舊不能很好的改善模型預測精度。通過數據降維，一方面可以降低維數，減小復雜度，另一方面可以更好地提取有用信息。下面分別運用LLE和主成分分析（Principal Component Analysis，PCA）算法對數據降維，再分別結合SVR建立COD濃度預測模型。

（1）PCA-SVR

PCA算法能夠在數據空間中發掘出能盡可能使數據從高維降到低維的向量，以此來得到原始數據空間對應的最低維空間的算法。通過對預處理后的光譜數據進行PCA降維，得到其各主成分分量以及所占比例，如圖2示。

取累計貢獻率達到85%以上的前14維數據，采用SVR進行建模分析，得出訓練樣本MSE=0.216076，測試樣本MSE=0.317303，模型預測值與實際值比較曲線如圖3所示。

（2）LLE-SVR[21]

假設有n個水樣紫外光譜數據樣本，X={x1,x2,…,xn}為初始光譜樣本，且xi=Rp，原始光譜維數為p。映射到低維空間的樣本為Y={y1,y2,…,yn}，yi∈Rd，d為降維后數據維數（d＜p），d為預先設定的值。

LLE算法的步驟如下：

LLE方法是映射數據集X={x1,x2,…,xn}，xi=Rp到數據集Y={y1,y2,…,yn}，yi∈Rd（d＜p），主要包括3步：

第1步，局部鄰域，計算出每個樣本點xi與其他n-1個樣本之間的歐氏距離，選取xi的k個近鄰點，k為預設值；

第2步，重新計算對每個樣本點xi以及它的k個近鄰點的權值；

其中，ωij—xi和xj之間的權值，且當xj不屬于xi的近鄰時，ωij=0；

第3步，根據重建權值，將所有樣本數據點映射到低維空間中，得到低維輸出，且盡量保持高維空間中的局部線性特征，使重構誤差函數最小。

要求滿足下面兩個條件，即：

k和d為LLE算法的兩個可調參數。k和d的大小不同，訓練樣本和測試樣本也會得到不同的預測結果，k的選擇受樣本個數的影響，本實驗為小樣本，選取的k值較小；而d的選擇受光譜數據中干擾因素大小及多少的影響，維數過小導致提取信息不夠充分，維數過高則加大噪聲等無用信息對模型建立的影響。

本文運用六折交叉驗證的方法，k從10取到20，d從10取到30，得到最佳的k為13，最佳的d為27。圖4為參數選擇結果圖。

SVR不敏感損失系數ε取0.021、懲罰系數C取10000、RBF核函數的寬度系數γ取7.2，訓練樣本MSE=0.076030，測試樣本MSE=0.06147，模型預測值與實際值比較曲線如圖5所示。

從圖3、圖5可以看出，LLE-SVR模型預測結果的擬合精度相對于PCA-SVR有很大的提高，以MSE為評價標準，進一步對比兩個模型的預測性能，相對PCA-SVR模型訓練樣本MSE=0.216076，測試樣本MSE=0.317303，LLE-SVR模型訓練樣本MSE=0.076030，測試樣本MSE=0.061477，模型精度顯著提高，由此可見，LLE-SVR模型有效提取了光譜中的非線性特征，預測效果優于PCA-SVR模型。

四、結束語

由于水體成分復雜，無關因素干擾比較多，若以全波段作為輸入，對于所建模型精度必將有很大地影響。本文采用局部線性降維（LLE）和支持向量機回歸（SVR）相結合的方法，建立了水樣紫外可見光譜吸光度與COD濃度之間的預測模型。得到以下結論：

（1）分別用不同的預處理方法結合SVR和PLSR，發現運用WT結合SVR建立的模型效果最好；

（2）預處理后的光譜數據結合LLE非線性降維工具，并與PCA降維進行比較，采用LLE降維后的預測效果更理想；

（3）本文利用LLE這一非線性降維工具結合SVR建立預測模型，揭示了水質COD濃度和吸光度之間的非線性關系，提高了模型預測精度，為紫外可見光譜法檢測水質COD濃度提供了一種可行的分析方法。