基于頻譜圖的土壤有機碳含量高光譜反演

熊志立高會議萬莉

(1.安徽理工大學計算機與工程學院，安徽 淮南 232001；2.中國科學院合肥物質科學研究院，安徽 合肥 230031；3.安徽工業技術創新研究院六安院，安徽 六安 237100)

土壤有機碳(SOC)是土壤的重要組成部分，其主要由死亡植物和動物的遺體、有機廢棄物以及微生物分解產生的有機物質組成[1]。SOC對于土壤的生物學、化學和物理性質具有重要影響，同時也在全球碳循環過程中扮演著關鍵的角色[2]。SOC含量變化是土壤生態系統的安全和全球可持續利用的重點[3]。傳統的物理、化學方法檢測SOC含量效率低，這些過程通常是破壞性的，會影響土壤原有的結構和組織，尤其是對于大面積的土壤調查來說，可能會導致土壤資源的浪費和破壞。高光譜技術大范圍、高精度的數據采集能力，為決策者提供了全面的土壤信息，有助于土壤性質的快速、精準估算，為農業生產、土壤保護和環境監測提供了重要的技術手段[4-6]。

通過高光譜技術估算SOC含量，其中不同的數據的預處理對模型精度至關重要。眾多學者對土壤光譜采用了不同的數據預處理方法[7-9]，如倒數(1/R)、取對數(lgR)、一階微分(R′)等數學運算用來增強光譜數據與SOC之間的特征相關性，并構建了能夠處理大量光譜數據的統計建模方法和機器學習模型[10，11]，如支持向量機(SVM)、偏最小二乘回歸(PLSR)、卷積神經網絡(CNN)等。聶哲等[12]以東北典型黑土區表層土壤為研究對象，對原始光譜開展一階微分、倒數對數和連續統去除變換。鐘亮等[13]以江西省奉新縣北部土壤為研究對象，對光譜反射率進行微分變換，包括0.5階微分(0.5DR)、1階微分(1DR)、1.5階微分(1.5DR)、對數的微分(LDR)等預處理方法。王海江等[14]以新疆鹽漬化土壤為研究對象，對土壤樣本光譜反射數據進行開根號、一階微分根號處理、二階微分根號處理、和連續統去除處理等多種預處理方法。綜上，目前研究所使用的土壤特性高光譜反演方法大多局限于某一地區或者是某種土壤類型，以及目前的光譜數據預處理方法只是對頻率域(光譜吸收率或反射率)進行變換，但沒有直接考慮到波長域的影響。

本實驗以LUCAS數據集為研究對象，運用分析短時傅里葉變換(STFT)和小波包變換(WPT)數據處理方法將光譜數據轉換為可以充分體現土壤吸收率隨波長變化的頻譜圖，而后利用構建的CNN模型，對其特征信息識別與提取，最后進行回歸預測。本研究的目的，探索使用頻譜圖估測SOC含量對于大規模土壤高光譜數據集的可行性；構建基于頻譜圖的CNN回歸模型用于SOC含量分析，并與偏最小二乘回歸(PLSR)、一維卷積模型(1D-RDC)比較；對比STFT和WPT 2種變換的優劣，選出最優的估測模型。

1 實驗材料與方法

1.1 LUCAS數據集

歐洲聯盟統計局(EUROSTAT)發布的是LUCAS 2009表土數據庫[15]。歐盟23個成員國20000個表層土(0～20cm)樣品，數據參數包含粒度分布、pH值、有機碳(g·kg-1)、碳酸鹽含量(g·kg-1)、磷含量(mg·kg-1)、總氮含量(g·kg-1)和光譜等特性，土壤類型包含農田、耕地、草地、林地等6種。光譜數據由漫反射光譜儀(XDS)記錄光譜特征以0.5nm的光譜分辨率捕獲400～2500nm范圍，產生4200個數據點。

1.2 光譜數據選取與預處理

由于礦物土壤和有機土壤材料的光譜響應存在很大差異，數據集中絕大多數為礦物土，因此將數據集中的有機土樣本剔除，保留約18000個礦物土壤樣本。將約18000個樣本劃分為訓練集和測試集，數據劃分規則為隨機劃分。其中訓練集樣本占比80%，驗證集樣本用于檢驗模型準確度，占比為20%。樣本中SOC含量最小值為0g·kg-1，最大值199.2g·kg-1，平均值29.35g·kg-1，中位數19.6g·kg-1。每個樣本具有4200個數據點，對數據進行1∶4下采樣(每2nm保留1個值)，下采樣到1050個數據點。目的是減少數據的維度，去除數據集中的噪聲和冗余信息，保留主要特征，減少存儲和計算成本，提高數據處理和計算的效率，加快模型訓練和預測的速度。

1.3 頻譜圖

譜圖是信號在二維空間中的表示，其中信號的幅度由像素的值表示。STFT和WPT都是生成時頻圖的信號分析算法，土壤光譜數據沒有時間域，所以本文中將波長域看作時間域，這種頻譜圖展示了土壤反射率隨波長變化的情況，而非隨時間變化的情況。

1.4 短時傅里葉變換

短時傅里葉變換(Short-Time Fourier Transform，STFT)是一種將信號分解成時頻域的方法，用于分析信號的時變頻譜特性[16]。具體來說，其將信號分成一系列長度相等的窗口，并對每個窗口內的信號進行傅里葉變換。每個窗口上的傅里葉變換產生1個時頻圖，所有窗口上的時頻圖按時間排列起來，形成1個二維矩陣，即時頻矩陣。

給定1個輸入信號x(τ)，STFT將其分解為若干個窗口函數的加權傅里葉變換。

式中，S(t，f)表示在時間t和頻率ω處的頻譜結果；w(τ-t)是窗口函數，窗口函數的長度決定了頻譜的時間和頻率分辨率；e-jωτ是復指數函數，表示頻率為ω的正弦波。

STFT將輸入信號x(t)在時域中通過窗口函數進行分段，并在每個窗口上執行傅里葉變換來得到頻譜信息。窗口函數w(t)通常是一個具有良好頻率特性的函數，如Hann窗、矩形窗等。通過對不同時間段的窗口信號進行傅里葉變換，STFT將時域的信號轉化為在頻域中隨時間變化的時頻圖像。這樣可以獲得信號在不同頻率上的時變特性，并提供信號的頻譜時序信息。在本實驗中，采用了土壤的光譜數據作為初始輸入信號，并選用了Hann函數作為窗函數進行處理。窗口長度為64，窗口重疊數為32。Hann函數計算公式：

式中，n表示窗口內的樣本索引；M表示窗口的長度。由LUCAS數據集中土壤光譜經過STFT得到的頻譜圖見圖1a。

圖1 頻譜圖

1.5 小波包變換

小波包變換(Wavelet Packet Transform，WPT)是小波變換的一種擴展形式，其將信號分解為不同頻率和尺度的子頻帶，并且具有更高的靈活性和多分辨率特性[17]。WPT的關鍵優勢在于其能夠根據分析需求，靈活調整信號的頻率和時間分辨率。與普通的小波變換相比，小波包變換在掌握和揭示信號的細微特征方面提供了更高的靈活性和更多的自由度。

設原始信號為x(t)，其中t表示時間。通過小波包變換，將原始信號進行分解與重構，小波包變換具體的公式如下。

小波包變換的具體計算會涉及到選擇合適的小波包基函數、尺度和頻率參數的設定，以及數值計算的方法選擇(如積分的數值近似等)。本實驗選用的是Coiflet小波，以及7層變換層數，以LUCAS數據集中土壤光譜生成的頻譜圖見圖1b。

1.6 模型構建方法

1.6.1 偏最小二乘回歸

偏最小二乘回歸(PLSR)是一種統計學方法。其通過計算輸入變量與輸出變量之間的協方差矩陣來確定輸入變量的線性組合，這些線性組合被稱為潛在變量。PLSR使用這些潛在變量來建立回歸模型，從而在考慮輸入變量相關性的同時，提高模型的預測性能和解釋能力。

1.6.2 一維卷積神經網絡

一維卷積(1D Convolution)是指對一維序列數據進行卷積操作，通常應用于時間序列數據或一維信號數據的處理，通過滑動窗口和對應位置元素相乘再相加的方式來提取特征[18]。由于1050個光譜數據較長，構建的殘差擴張卷積神經網絡(1D-RDC)的模塊結構需多次使用擴張卷積和殘差連接的方式，如表1所示，增強了輸入序列中的特征表示能力，并且保持了輸入序列的維度不變。通過使用擴張卷積可以捕捉更廣泛的上下文信息，以增強特征提取的能力。整個一維卷積結構由3個模塊加上2層全連接層組成。

表1 1D-RDC模塊結構

1.6.3 二維卷積神經網絡

卷積神經網絡(Convolutional Neural Network，CNN)是一種深度學習模型，主要用于圖像和視頻等二維數據的處理和分析[19]。CNN的基本結構由卷積層、池化層和全連接層組成。卷積層是CNN的核心部分，其通過卷積操作對輸入數據進行特征提取。通過多個卷積核，卷積操作能夠提取圖像中的局部特征，如邊緣、紋理等，從而捕捉到圖像的局部空間結構。通過不斷堆疊多個卷積層，網絡可以逐漸提取到更加抽象的特征。

CNN通過反向傳播算法進行訓練，不斷調整網絡的權重參數，使得網絡能夠學習到輸入數據的特征表示，從而在分類、目標檢測、圖像分割等任務中取得優秀的性能。本次實驗構建的卷積網絡結構見表2，表2簡要總結了這些層，其中包含4個卷積層2個全連接層。

表2 二維卷積神經網絡結構

1.7 精度評價指標

模型的模擬和預測性能通過決定系數R2和均方根誤差RMSE進行驗證，計算公式：

2 結果與討論

2.1 實驗結果和模型評價

本次實驗共構建了4種估測模型：偏最小二乘回歸(PLSR)，一維殘差擴張卷積模型(1D-RDC)，短時傅里葉變換加卷積模型(STFT-CNN)，小波包變換加卷積模型(WPT-CNN)，4個模型預測值與實測值的關系如圖2所示。由表3可知，訓練集擬合的4個模型中，WPT-CNN表現最佳，獲得了最高的決定系數0.90和最低的均方根誤差9.13，具有更佳的精度和穩定性，相比于STFT-CNN的R2提高了10%，對應的RMSE降低了26%。其中PLSR模型和1D-RDC的R2相同，但在RMSE方面1D-RDC表現更好。模型在驗證集上的回歸適配性和預測準確度是評價其性能的關鍵指標，其直接體現了模型對于新數據的泛化能力。其中WPT-CNN的決定系數最高，為0.84，同時RMSE也是最小11.20，相比于STFT-CNN的R2提高了10%，RMSE降低了16%。在對比1D-RDC與PLSR模型時，觀察到在采用相同光譜數據集和預處理方法的前提下，1D-RDC展現出了更佳的建模表現，其在關鍵性能指標上均超過了傳統的PLSR模型。這一結果凸顯了卷積神經網絡模型在處理大量樣本時的優越性，不僅具備高度的回歸擬合能力，還能實現精確的預測，顯示出其強大的學習力。在比較1D-RDC、STFT-CNN和WPT-CNN 3種方法時，研究發現，將數據轉換為頻譜圖并輸入到CNN模型進行預測分析，可以更充分地挖掘數據的潛力，實現深層次的訓練，從而更準確地反映樣本的實際測量值。

表3 不同模型的SOC估算精度對比

圖2 不同模型SOC含量實測值與估測值比較

2.2 實驗結果分析

本研究表明，CNN模型借助其深度學習架構，能夠有效識別并學習頻譜圖的內在特性，從而獲得更為精細的局部抽象特征表示。當這些深入挖掘的數據特征被用于SOC真實值的預測時，能夠顯著提升預測的性能。其中小波包變換的頻譜圖比短時傅里葉變換的頻譜圖具有更佳的回歸效果。可能是因為小波包變換能夠在時域和頻域上提供更好的局部分辨率，可以顯示信號的瞬時頻率變化情況。相比之下，短時傅里葉變換在頻譜分析上的時頻分辨率較差，對于短時變化的頻率信息的提取能力有限。另外，小波包變換對于噪聲和干擾的抑制能力更強，能夠更有效地提取出信號的有效信息，對于信號的頻譜分析更具優勢。

3 結論

本研究利用LUCAS土壤樣本的高光譜數據，結合頻譜圖數據處理技術和CNN模型，成功實現了對土壤中有機碳含量的準確預測。結果表明，經過STFT和WPT數據處理后得到的頻譜圖能很好地被CNN模型學習并進行高精度擬合，可為大規模SOC含量高光譜估測提供一種新思路。其中WPT比STFT能更好地增強光譜信息特征。基于頻譜圖數據處理方法和卷積神經網絡建模方法的SOC含量估測模型展現出了可行性和有效性。在大型土壤高光譜數據集的表現上，該模型不僅能夠實現對訓練樣本的高精度擬合，還能夠實現對檢驗樣本的高精度估測。與傳統模型相比，該模型的估測精度明顯更優。然而，尋找最優網絡參數以進一步提高估測精度等方面仍有待深入研究。