基于偏最小二乘法的土壤有機碳高光譜預測研究

馬　麗,　呂成文,　唐　炎

(安徽師范大學 國土資源與旅游學院,安徽 蕪湖　241000)

?

基于偏最小二乘法的土壤有機碳高光譜預測研究

馬麗,呂成文,唐炎

(安徽師范大學 國土資源與旅游學院,安徽 蕪湖241000)

摘要：對86個土壤樣品高光譜數據進行平滑去噪、一階微分變換以及多元散射校正處理，在此基礎上，建立土壤有機碳含量的偏最小二乘法(PLS)反演模型.結果表明，獲得的五種PLS模型均具有較高的模型精度.其中，主成份個數為10時，R+MSC的PLS模型效果最好.校正模型的決定系數R2=0.95，校正均方根誤差RMSEC=0.95.驗證模型的決定系數R2=0.78，預測均方根誤差RMSEP=2.03.利用PLS模型對預測集進行預測，實測值與預測值的決定系數R2=0.83，預測均方根誤差RMSEP=1.71，預測標準差SEP=1.73.PLS模型可以對土壤有機碳含量進行預測.

關鍵詞：高光譜；偏最小二乘法；土壤有機碳

土壤被認為是農業生態服務系統中最主要的貢獻因子，是水土資源與環境模擬等研究的基本參數[1].在環境監測、模型預測及精準農業中需要成本低且質量高的土壤數據，而傳統的土壤數據獲取費時費力且昂貴[2].要解決這一問題就必須要對土壤進行快速準確的測定與評價.近年來，高光譜技術在土壤屬性定量分析中獲得了快速發展[3].國內外的許多學者通過各種方法建立土壤有機碳與高光譜反射率之間的反演模型，常用的方法有多元線性回歸、主成分回歸、人工神經網絡、支持向量機等[4-7].王超等利用多元逐步回歸統計方法進行了土壤有機質信息波段的提取和監測模型的構建[8].姚慧等利用三個中心波段的有機質診斷指數與有機質含量分別進行回歸分析[9].然而這些方法僅使用光譜數據中部分特征波段代替整個光譜數據，造成了光譜信息的損失，丟棄了一些對有機碳含量反演有用的信息.偏最小二乘法(PLS)是解決這一問題的有效方法，它可以利用全譜數據進行分析，且對樣本容量要求不高，對自變量多、變量間存在多重相關性的情況具有獨特的優勢[10]，適合于土壤高光譜數據的處理.本文擬探討基于土壤高光譜數據結合偏最小二乘法(PLS)實現對農田土壤有機碳含量的快速測定與評價，以期為環境監測、精準農業等相關研究提供參考.

1材料與方法

1.1土壤樣品的采集與處理

土壤樣品采集于安徽省淮南市和蚌埠市相接壤的沿淮平原區，采集時間為2014年3月，沿公路兩側且距離公路至少100m外采集，采樣間隔大于100m，在采集過程中使用GPS定位，記錄采樣點的坐標以及土地利用等信息，在其周圍2×2m范圍內再設置4個采樣點，取每個樣本點0-15cm深度的表層土壤混合，獲得一個土樣，取500g左右，裝入布袋中，共86個土樣.土樣置室內風干、研磨，分別過20目(1mm孔徑)和100目(0.149mm孔徑)的篩子，過20目(1mm孔徑)篩的土樣用于實驗室土壤高光譜測量，過100目(0.149mm孔徑)篩的土樣用于土壤有機碳含量測定.實驗室測定的土樣有機碳含量統計特征值見表1.

表1　有機碳含量統計特征值

1.2光譜數據獲取

使用荷蘭Avantes公司生產的型號分別為Avaspec-2048×14、Avaspec-NIR256-2.5的兩種地物光譜儀進行測量.其中Avaspec-2048×14光譜儀光譜范圍為188-1170nm，光譜分辨率2.4nm，光譜采樣間隔0.6nm.Avaspec-NIR256-2.5的光譜范圍是928-2528nm，光譜分辨率10nm，光譜采樣間隔6nm.兩種光譜儀輸出光譜曲線均設定由10條原始掃描光譜自動平均所得.土壤樣品置于深2cm，直徑8cm的器皿中，用直尺刮平土樣表面.光源為4×25w的環形光源.8°視場角的光纖探頭，探頭垂直置于土壤樣品表面上方20cm處.每一個土壤樣品測量前均使用標準白板進行定標，同時每個土壤樣品從四個不同方向進行光譜曲線的獲取，進行算術平均后得到該土樣的高光譜反射率數據.

1.3光譜數據預處理

為了減少噪音，提高信噪比，壓縮數據量，對光譜數據進行平滑處理.本研究采用9點移動平均法對光譜曲線進行平滑去噪處理，得到平滑后的原始光譜反射率數據(Original reflectance, R).為了進一步消除無關信息，充分挖掘高光譜數據中的有效信息，對平滑后的數據進行一階微分(First derivative scattering, FDR)及多元散射校正(Multiplicative scatter correction, MSC)處理.使用Savitzky-Golay卷積求導法對高光譜原始數據R進行求導，求導后的一階微分光譜曲線如圖1所示，從中可看出光譜反射率曲線的波段特征更為明顯，尤其是1370nm和1880nm波段處的吸收谷及1960nm波段處的反射峰，顯著提高了土壤光譜反射率與有機碳含量的相關性.多元散射校正(MSC)處理后的光譜曲線如圖2所示，其可以去除近紅外漫反射光譜中樣品的鏡面反射及不均勻性造成的噪聲，消除漫反射光譜的基線及光譜的不重復性，使圖像更緊湊，提高原光譜數據的信噪比.

圖1　原始光譜一階微分光譜曲線　　　　　　　　　　　　圖2　原始光譜及MSC光譜曲線圖Fig.1　Original spectrum and first　　　　　　　　　　　　　　Fig.2　Original spectrum andderivative scattering correction　　　　　　　　　　　　　　　　multinle reflectance snectrum

基于上述預處理，并參照相關文獻[11]，設置五種光譜預測方案，見表2.

1.4偏最小二乘法(PLS)

偏最小二乘法(PLS)是基于因子分析的多變量校正方法，可以同時實現回歸建模、數據結構簡化以及兩組變量之間的相關性分析. 其原理與主成分分析很相似，假設矩陣X及矩陣Y，主成分只對矩陣X進行分解，消除無用的噪音信息，而偏最小二乘法既對矩陣X分解，提取相關有用信息，也對矩陣Y進行分解，且在分解矩陣X的同時考慮矩陣Y的影響[12].因此，PLS所提取的成分既能很好地概括自變量系統中的信息，又能最好地解釋因變量，并排除系統中的噪音干擾[13].

表2　五種光譜預測方案

以單因變量為例闡述其基本建模思想[10,14]：設有因變量y和k個自變量{x1,x2,…,xk}，樣本數為n，構成因變量和自變量的數據表x[x1,x2，…,xk]n×k和y=[u]n×1，在x中提取一個主成分t1，t1是x1，x2，…，xk的線性組合，要求t1盡可能多的攜帶x中的變異信息，同時與y的相關性最大，提取第一個主成分t1后，實施y和x對t1的回歸，如果此時回歸方程達到滿意的精度，則算法停止.否則，利用x和y被t1解釋后的殘余信息進行第二輪的主成分提取.如此反復，直到能達到一個較為滿意的精度為止.若最終對x提取了m個主成分t1，t2，…，tm，偏最小二乘回歸將實施y對t1，t2，…，tm的回歸，然后再表達成y對原變量x的回歸方程.

1.5模型的評價指標

模型的評價指標常用的有均方根誤差(RMSE)和決定系數(R2)，均方根誤差越小，模型的效果越好，決定系數越接近1，效果越好.好的校正模型及驗證模型對應較低的均方誤差(RMSE)和較高的決定系數R2.校正模型對驗證集預測結果的好壞也是由預測均方根誤差(RMSEP)和決定系數判定，好的預測結果同樣對應較低的預測均方根誤差(RMSEP)和較高的決定系數(R2).此外，預測集標準差(SEP)也常用于模型預測的評價，預測標準差越小，模型的預測結果越好.

2結果與分析

2.1模型的構建

對采樣獲得的86個樣本數據，隨機選取61個用于建立預測模型，剩余的25個用于評價所建預測模型的穩定性和準確性.根據偏最小二乘法原理，模型的構建不需要全部主成分因子參與，而只要選取合適的主成分因子(最適主因子)，就可以得到一個預測效果很好的模型.本研究采用交互驗證法(cross validation)確定主成分最佳因子數，并根據殘余方差和判定最佳主成分因子個數.一般來說，主成分因子數過少不能充分反映光譜特征信息，過多則可能含有過多的噪音信息.具體計算過程：對于參加建模的N個樣本，每次選擇n個作為預測樣本，剩下的N-n個作為建模樣本，用來建立模型用以預測這n個樣本，重復上述過程，直到N個樣本都被且僅被預測過一次時，得到的最小的預測值與真實值的差的平方和的值，即殘余方差和最小，便可確定最佳的預測模型.

建模過程在Unscrambler9.7軟件中完成，各方案建模結果見表3.

表3　5種方案的PLS模型結果比較

由表可知，總體來看，五種方案獲得的PLS模型均具有較高的模型精度.其中，校正模型效果最好的是R+MSC的PLS模型，決定系數R2=0.95，校正均方誤差RMSEC=0.95.其次是原始數據R與R+FDR的PLS模型，模型效果相同，決定系數均為R2=0.94，校正均方誤差RMSEC=1.02.然后是一階微分(FDR)的PLS模型，決定系數R2=0.94，校正均方誤差RMSEC=1.01.最后是多元散射校正(MSC)的PLS模型，決定系數R2=0.92，校正均方誤差RMSEC=1.17.

而驗證模型效果最好的是多元散射校正(MSC)的PLS模型，決定系數R2=0.79，預測均方誤差RMSEP=1.90.其次是原始數據R與R+FDR的PLS模型，決定系數均為R2=0.78，預測均方誤差均為RMSEP=2.01.再次是R+MSC的PLS模型，決定系數R2=0.78，預測均方誤差RMSEP=2.03.最后是一階微分(FDR)的PLS模型，決定系數R2=0.71，預測均方誤差RMSEP=2.30.

以上結果表明，各方案建立的校正模型效果均較好.其中，R+MSC建立的校正模型精度最高，建模效果最好.

2.2模型的檢驗

將預測集中的25個樣本代入建好的模型中，對預測集中的有機碳含量進行預測，結果見表4.

可知模型的預測效果均較好，其中R+MSC的模型預測決定系數R2=0.83，誤差均方根RMSE=1.71，預測標準差SEP=1.73，效果最好.原始數據R的模型預測決定系數R2=0.83，誤差均方根RMSE=1.81，預測標準差SEP=1.84.一階微分(FDR)預測模型決定系數R2=0.81，誤差均方根RMSE=2.13，預測標準差SEP=1.98.多元散射校正(MSC)模型預測決定系數R2=0.82，誤差均方根RMSE=1.66，預測標準差SEP=1.68.R+FDR的預測模型決定系數R2=0.83，誤差均方根RMSE=1.80，預測標準差SEP=1.84.可用于土壤有機碳含量的預測.

表4　預測集的模型比較

3結論

根據光譜預測方案，結合偏最小二乘法(PLS)對土壤高光譜數據進行定量反演，五種方案模型預測效果均較好.其中，校正模型效果最好的是R+MSC結合的PLS模型，決定系數R2=0.95，校正均方誤差RMSEC=0.95.模型驗證效果最好的也是R+MSC結合的PLS模型，預測決定系數R2=0.83，誤差均方根RMSE=1.71，預測標準差SEP=1.73.偏最小二乘法可以實現農田土壤有機碳含量的快速測定與評價，為環境監測、精準農業等相關研究提供參考.

參考文獻：

[1]SANCHEZ PA, AHAMED S, CARRé F, et al. Digital soil map of the world[J]. Science, 2011,325:680-681.

[2]GOMEZ C, ROSSEL AR, McBratney AB. Soil organic carbon prediction by hyperspectral remote sensing and field vis-NIR spectroscopy: An Australian case study[J].Geoderma,2008,(146):403-411.

[3]汪善勤,舒寧.土壤定量遙感技術研究進展[J].遙感信息,2007,(6):89-93.

[4]李啟權,王昌全,岳天祥，等.基于定性和定量輔助變量的土壤有機質空間分布預測——以四川三臺縣為例[J].地理科學進展,2014,33(2):269-268.

[5]LU P, WANG L, NIU Z, et al. Prediction of soil properties using laboratory VIS-NIR spectroscopy and Hyperion imagery[J]. Journal of Geochemical Exploration,2013,132:26-33.

[6]陳紅艷,趙庚星,李希燦，等.基于小波變換的土壤有機質含量高光譜估測[J].應用生態學報,2011,22(11):2935-2942.

[7]紀文君,李曦,李成學，等.基于全譜數據挖掘技術的土壤有機質高光譜預測建模研究[J].光譜學與光譜分析,2012,32(9):2393-2398.

[8]王超,馮美臣,楊武德，等.麥田耕作層土壤有機質的高光譜監測[J].山西農業科學,2014,42(8):869-873.

[9]姚慧,呂成文,劉程海，等.宣城市崗坡地土壤有機質含量光譜預測分析[J].安徽師范大學學報,2011,34(5):472-474,484.

[10]張恒喜,郭基聯,朱家元，等.小樣本多元數據分析方法及應用[M].西安:西北工業大學出版社,2002.

[11]劉雪華,孫巖,吳燕.光譜信息降維及判別模型建立用于識別濕地植物物種[J].光譜學與光譜分析,2012,32(2):459-464.

[12]陸婉珍.現代近紅外光譜分析技術[M].北京:中國石化出版社,2006：44.

[13]杜發興,徐剛.偏最小二乘回歸模型在城市需水預測中的應用[J].水力發電,2008,34(6):20-23.

[14]羅批,郭繼昌,李鏘，等.基于偏最小二乘回歸建模的探討[J].天津大學學報,2002,35(6):783-786.

Soil Organic Carbon Prediction by Hyperspectral Based on Partial Least Squares Regression

MA Li,LYU Cheng-wen,TANG Yan

(College of Territorial Resources and Tourism, Anhui Normal University, Wuhu 241000, China)

Abstract：The hyperspectral data of 86 soil samples were preprocessed with smoothing, first derivative reflectance (FDR) and multiple scattering correction (MSC). SOC contents were predicted by partial least squares regression using original data and pretreatment data. Results showed that the precision of five PLS models were all good. When the principal component number was 10, the model that original data being combined with MSC is suited. For the calibration mode, the determination coefficient (R2) is 0.95, root mean square error of calibration (RMSEC) is 0.95. For the verification model, the corresponding values were 0.78 and 2.03. After prediction set was predicted, the determination coefficient between measured and predicted values was 0.83 with root mean square error and standard error of prediction was 1.71 and 1.73. PLS model can predict SOC contents using hyperspectral.

Key words:hyperspectral; PLS; SOC

中圖分類號：TP79

文獻標志碼：A

文章編號：1001-2443(2016)01-0164-04

作者簡介：馬麗(1989-)，女，安徽定遠人，碩士研究生，主要從事遙感技術應用研究.

基金項目：國家自然科學基金(41371229).

收稿日期：2014-12-08

DOI：10.14182/J.cnki.1001-2443.2016.02.013

引用格式：馬麗，呂成文，唐炎.基于偏最小二乘法的土壤有機碳高光譜預測研究[J].安徽師范大學學報：自然科學版，2016，39(1)：164-167.