基于不同卷積神經網絡模型的紅壤有機質高光譜估算

鐘 亮，郭 熙，國佳欣，徐 喆，朱 青，丁 萌

·農業信息與電氣技術·

基于不同卷積神經網絡模型的紅壤有機質高光譜估算

鐘 亮，郭 熙※，國佳欣，徐 喆，朱 青，丁 萌

（1. 江西農業大學國土資源與環境學院, 南昌 330045；2. 江西省鄱陽湖流域農業資源與生態重點實驗室, 南昌 330045）

以卷積神經網絡（Convolutional Neural Network，CNN）為代表的深度學習方法因具有強大的特征學習能力已被廣泛應用于計算機視覺、自然語言處理等領域，但在土壤高光譜遙感領域研究較少。為探究其在小樣本數據集下，通過高光譜數據估算土壤有機質（Soil Organic Matter，SOM）的可行性，以江西省奉新縣北部為研究區，248個紅壤樣本為研究對象。對比分析深度學習方法CNN、多層感知器（Multilayer Perceptron，MLP）、常用的機器學習方法隨機森林（Random Forest，RF）和支持向量機（Support Vector Machine，SVM）在不同光譜預處理下的建模效果，在此基礎上分別建立5種各具特點的CNN結構模型，以探討不同網絡結構的建模效果，包括最早提出的LeNet-5、具有大卷積核的AlexNet-8、采用小卷積核的VGGNet-7、含有Inception結構的GoogLeNet-7以及使用殘差學習的ResNet-13。此外，還探討了VGGNet模型在5種不同網絡深度下的模型效果。結果表明：在使用原始光譜的情況下，CNN模型依然能夠取得較好的建模效果（相對分析誤差>2.5）；淺層CNN結構優于深層建模效果，超參數較小的卷積核、步長和池化范圍有助于提取更多的特征數量，提高建模精度；VGGNet-7網絡結構在所有模型中表現最為突出，在訓練集上決定系數為0.895，均方根誤差為4.145 g/kg，相對分析誤差為3.447，在驗證集上決定系數為0.901，均方根誤差為4.647 g/kg，相對分析誤差為3.291，具有極好的模型估測能力；680、1 360、1 390、1 920、2 310 nm及其附近是VGGNet-7建模過程中所提取的SOM重要特征波長。因此，CNN能夠簡化光譜預處理過程，在土壤高光譜遙感小樣本建模中具備可行性，具有非常廣闊的應用前景，VGGNet-7可以應用于紅壤地區通過高光譜數據快速、準確的估算SOM含量。

土壤；模型；卷積神經網絡；有機質；高光譜

0 引 言

土壤有機質（Soil Organic Matter，SOM）是土壤的重要組成部分，是植物營養的主要來源之一，在提高土壤肥力、改善土壤物理性質和促進作物生長等方面發揮著重要的作用[1]。傳統通過化學分析方法檢測SOM的過程復雜、耗時耗力[2]。近年來，高光譜技術以其光譜分辨率高和波段信息豐富的優點迅速發展起來，在快速估測土壤屬性信息上有其強大的優勢[3-4]，能夠為精準農業的實施提供監測依據，有著廣泛的研究和應用前景[5-6]。目前，已有眾多學者進行了高光譜技術估算SOM的研究，Shi等[7]通過空間約束局部偏最小二乘法（Partial Least Squares Regression，PLSR）和可見光近紅外光譜估算SOM，其建模精度比局部PLSR和單獨PLSR高；章濤等[8]使用小波能量特征降低高光譜的噪聲，提升了SOM含量的估測精度；張東輝等[9]利用神經網絡方法通過航空高光譜數據估算黑土SOM含量；章海亮等[10]應用遺傳算法與連續投影算法相結合的方法，提取光譜特征波段，檢測SOM含量；謝文等[11]和國佳欣等[12]分別采用徑向基函數（Radial Basis Function，RBF）神經網絡組合模型和PLSR-BP（PLSR and Back Propagation，PLSR-BP）組合模型進行紅壤SOM的高光譜估測，結果都比單一模型效果好。

現有研究利用光譜分析估算土壤有機質時，較多通過構建多種機器學習方法的組合模型以提高建模精度，但由于高光譜數據具有成百上千個波段，各波段間共線性較強且關系復雜，傳統機器學習方法處理能力較為有限。在研究過程中需要進行大量光譜數據的預處理，如光譜增強、光譜曲線去噪以及光譜的數學變換等[13]，并且預先提取特征波段，然后做建模對比試驗，尋求適用于研究區域或者研究對象的光譜預處理與建模方法，過程較為繁瑣。探索一種既能保證建模精度又能簡化數據預處理過程的方法顯得十分重要。

隨著計算機技術的發展，以卷積神經網絡（Convolutional Neural Network，CNN）為代表的深度學習逐漸發展起來，其通過卷積和池化逐層提取特征，同時具有權值共享和局部連接的特性，減少了需要訓練參數的數量，使得模型更容易優化[14]。雖然CNN在自然語言處理、圖像和語音識別等領域發展迅速，但CNN在土壤高光譜遙感方面的研究較少。Xu等[15]通過高光譜數據應用多種深度學習模型估算SOM含量，結果表明CNN能夠從復雜的光譜數據中有效提取特征進行學習，相較于BP和多層感知器（Multilayer Perceptron，MLP）具有更強的模型表達能力；王璨等[16]使用CNN通過近紅外光譜估算土壤含水率，結果表明隨著訓練樣本數量的增加，CNN建模效果顯著優于傳統模型。CNN發展至今已衍生出多種網絡結構，為探討不同CNN模型在土壤高光譜遙感領域的建模效果，本研究從光譜預處理、網絡結構以及深度3個方面探討采用CNN方法估算SOM的可靠性，并挖掘CNN模型所提取的特征波段，以期為紅壤地區基于高光譜數據估算SOM含量提供參考。

1 材料與方法

1.1 研究區概況

研究區位于江西省奉新縣北部（115°03′～115°23′E，28°40′～28°47′N），總面積約20 000 hm2，屬中亞熱帶濕潤氣候，年平均降雨量1 612 mm，年平均氣溫17.3 ℃，海拔介于31～133 m之間，地勢較平坦，處于低丘平原地帶。研究區土地利用類型主要包括耕地、園地和林地，土壤類型主要為紅壤。

1.2 土壤樣本采集與光譜數據處理

樣本的采集時間為2018年7月23日－8月11日，將研究區劃分1 km × 1 km的網格，綜合考慮網格內的地理環境后共采集了248個樣本，如圖1所示。樣本在實驗室風干、研磨和過2 mm篩后，均勻分為兩部分，一部分通過重鉻酸鉀容量法測定土壤有機質含量，另一部分采用美國ASD公司的FieldSpec4地物光譜儀獲取光譜數據，波譜范圍為350～2 500 nm，在350～1 000 nm范圍內采樣間隔為1.4 nm，在>1 000～2 500 nm范圍內采用間隔為2 nm，重采樣間隔為1 nm。將信噪比低的邊緣波段350～399和2 451～2 500 nm去除。

為了降低數據維數和減少冗余度，對光譜數據每10 nm間隔取平均值進行重采樣，每個樣本得到205個光譜反射率波段，共計50 840個數據的原始光譜反射率（R）用于建模。同時，在此基礎上進行一定的光譜預處理作為對比：首先采用Daubechies6小波進行三層分解，通過軟閾法去除光譜中的高頻噪聲[17]；然后對光譜反射率進行微分變換[18]，包括0.5階微分（0.5 Order Derivative Reflectance，0.5DR）、1階微分（1DR）、1.5階微分（1.5DR）、2階微分（2DR）、對數的微分（Log-Derivative Reflectance，LDR）。

1.3 基于深度學習方法的SOM模型

1.3.1 CNN模型

CNN建模過程如下：首先對SOM值進行歸一化處理，輸入層可以看成是行、列為（1，205）的二維光譜信息矩陣，以適應CNN模型的學習結構；卷積層通過一定大小的多個卷積核按照一定的步長對輸入數據進行特征提取；池化層也稱下采樣層，以一定大小采樣范圍的最大值或者平均值替代原范圍的值，以達到減少數據處理量并且保留重要特征信息的目的；全連接層位于卷積層和池化層之后，其作用則是對提取的特征進行非線性組合以得到輸出結果，其超參數主要為神經元的數量；輸出層為0～1范圍內的值，最后通過反歸一化得到SOM估測值。數據集每迭代訓練和驗證完1次為1個迭代周期（Epoch），整個學習過程通過不斷的Epoch循環更新權重參數值以降低損失函數值，從而自主提取光譜特征。在模型構建過程中，激活函數一般位于卷積層和全連接層后面，其作用是使用非線性的激活函數提高模型的表達能力；優化器作用則是計算和更新模型參數，使其逼近或達到最優值，從而最小化損失函數；隨機失活法和早停法目的都是為了防止模型過擬合的現象，使用隨機失活方法在每個訓練批次中按一定比例屏蔽掉一些神經元，早停法則是在訓練過程中損失函數在一定忍耐度內沒有得到改善時模型提前停止訓練。

由于本研究主要探討不同CNN結構和深度情況下的建模效果，在保證網絡結構和大部分超參數與對應的CNN模型相同的情況下，為了有可比性，所有模型固定某些模型函數和超參數的值，具體設置如下：輸出層激活函數為Sigmoid，其他層的激活函數為Tanh，優化器為Nadam，Loss為均方根誤差（Root Mean Squared Error，RMSE），學習率為0.000 1，忍耐度為300 Epoch，在最后的3個全連接層中神經元數量分別為200、100和1，并且在全連接層中引入Dropout隨機失活30%神經元。

本研究構建了5種不同的CNN模型，如表1所示。為了增加各CNN模型的可比性，對部分模型的原始結構和參數進行了調整以相對統一，其中LeNet-5與文獻[19]中提到的LeNet-5結構不同在于第2個卷積層中卷積核數量由16變為12，全連接層數量由120、84、10變為200、100、1，并且加入了隨機失活率為30%的Dropout方法。AlexNet-8[20]特點是深度比LeNet-5更深、使用更大的卷積核和步長并且池化范圍也增大。VGGNet[21]首先采用7層的VGGNet-7網絡結構，由4個卷積層、2個池化層和3個全連接層構成；之后通過增減卷積層和池化層分別進行了VGGNet 5、7、10、13和16層網絡結構的建模，以探討不同深度下的建模效果。GoogLeNet[22]的Inception結構將上層的特征通過不同大小的卷積核，以4種方式提取特征，并且采用1×1卷積核提高計算效率，GoogLeNet-7包含1個Inception結構，其卷積核數量為6。ResNet[23]通過跨層連接構建殘差結構，緩解了深度CNN中容易出現梯度消失的問題，ResNet-13包含3個殘差結構，每個殘差結構由3個卷積層構成。

表1 不同卷積神經網絡模型結構

注：Normalization(SOM)為歸一化有機質值；(1,205)表示1行205列的光譜矩陣；Res1-Conv2(1,1)-1-6表示第1個殘差結構，卷積層位于模型第2層，卷積核大小為（1,1），步長為1，卷積核數量為6；Inception-6表示Inception結構中卷積核數量為6；Maxpool1(1,2)-2表示最大池化層位于模型第1層，池化范圍為（1,2），步長為2；FC3-200（Dropout-0.3）表示全連接位于模型第3層，神經元數量為200，30%的神經元隨機失活；FC5-1表示全連接位于模型第5層，神經元數量為1。其他依次類推。

Note: Normalization(SOM) is the normalized Soil Organic Matter (SOM) value; (1,205) denotes the spectral matrix with 1 row and 205 columns; Res1-Conv2(1,1)-1-6 denotes the 1stresidual structure, the convolution layer is located in the 2ndlayer of the model, the convolution kernel size is (1,1), the step size is 1, and the number of convolution kernels is 6; Inception-6 denotes inception structure with the number of convolutional kernels of 6; Maxpool1(1,2)-2 indicates that the maximum pooling layer is located at layer 1 of the model with a pooling range of (1,2) and a step size of 2; FC3-200 (Dropout-0.3) indicates that the full connectivity is located at layer 3 of the model with the number of neurons of 200 and 30% of the neurons randomly deactivated; FC5-1 indicates that the full connection is located at layer 5 of the model and the number of neurons is 1. And so on for the others.

1.3.2 其他模型

MLP是一種構建多隱含層的深度學習模型，通過學習構建的深層非線性網絡結構，從數據集中挖掘潛在的特征規律，其網絡結構中的隱含層由全連接層構成[24]。本研究的MLP-5通過BP反向傳播算法進行訓練，包含5個全連接層構成，神經元數量分別為200、200、100、100、1，并且每個全連接層中間都加入了30%Dropout機制以防止過擬合，其他超參數與LeNet-5模型一致。

隨機森林（Random Forest，RF）是一種集成學習方法，通過構建多個樹模型，對單個模型結果通過平均或者多數表決原則來決定最終結果[25]。經過多次調試，本研究的RF使用了10個基評估器。

支持向量機（Support Vector Machine，SVM）基于統計學習理論，通過核函數將數據映射到高維特征空間，以找出一個超平面作為決策邊界，使估測誤差盡可能小[26]。本研究的SVM模型，通過多次調試，核函數為linear時建模效果較其他核函數更優。

1.4 高光譜特征提取

1.5 精度評價

模型的精度通過決定系數（2）、RMSE以及相對分析誤差（Relative Percent Deviation，RPD）3個指標進行評價，2和RPD越大以及RMSE越小說明模型的估測效果和穩定性越好，其中，當RPD為2.5～3時，表明模型估測能力很好；當RPD>3時，表明模型估測能力極好[29]。

本研究在OriginPro 9.1、ArcGIS 10.2和Microsoft Excel 2 010軟件中完成數據統計分析，CNN和MLP模型在Spyder軟件中通過深度學習keras庫使用Python3.7語言編寫腳本搭建，RF和SVM模型調用Sklearn接口中相應的機器學習模塊實現，SHAP值通過調用shap接口中的DeepExplainer模塊得到。

2 結果與分析

2.1 紅壤有機質統計特征和光譜特性

將248個土壤樣本依據K-S（Kennard-Stone）算法[30]得到樣本間的歐式距離，按照3:1的比例分為2個部分，共得到186個訓練樣本集，62個驗證樣本集，如表2所示，土壤樣本的SOM含量介于5.27～64.00 g/kg之間，3個樣本類型的平均SOM含量分別為33.97、35.04、30.78 g/kg，變異系數均為中等程度變異。

表2 土壤有機質含量統計特征

以10 g/kg為梯度，將土壤樣本按照SOM含量進行分組，測定各組土壤光譜曲線，取各組平均值，獲得不同SOM含量的土壤光譜反射率特征，如圖2所示。可以看出各光譜曲線形狀和走勢相似，總體上，光譜反射率隨SOM含量增大而降低，但在550 nm附近存在交叉現象。SOM含量>60 g/kg土樣的反射率，在600～1 400 nm波段內高于SOM含量為>40～60 g/kg的土樣，在1 400～1 900 nm波段內高于SOM含量為>50～60 g/kg的土樣。在900 nm左右受氧化鐵的影響存在吸收谷，在1 400、1 900和2 200 nm附近存在水分吸收谷。

2.2 光譜預處理對不同SOM模型估算精度的影響

以驗證集為例，比較6種光譜預處理對不同模型（LeNet-5、MLP-5、RF、SVM）估算土壤SOM含量的影響，結果如圖3所示。圖中值為最后1個Epoch的估測值，從不同光譜預處理來看，光譜微分變換僅在MLP-5和RF模型中精度有所提高，從2、RMSE和RPD可以看出，對于原始光譜、0.5DR和1DR附近是較好的預處理選擇。從不同模型來看，LeNet-5在不同預處理下的表現都要優于其他模型，且在原始光譜作為模型輸入時建模效果最好；LeNet-5和MLP-5估測與實測值較為靠近1:1線，但在SOM含量>40 g/kg時，存在一定的估測值小于實測值；LeNet-5在所有預處理中，相較于MLP-5，將網絡結構中的全連接層部分替換為卷積和池化層不僅能夠提高模型精度，同時精度波動也較小。RF與SVM的估測與實測值的散點圖較為離散，在SOM<40 g/kg時，估測值普遍大于實測值，SOM>40 g/kg時，估測值普遍小于實測值。

2.3 CNN結構對SOM模型估算的影響

為探索不同CNN結構在原始光譜反射率作為模型輸入時的建模效果，得到各CNN模型訓練和驗證精度曲線和精度對比分別如圖4和表3所示。從整體來看，5種模型的精度曲線非常相似，學習過程大致可分為迅速學習、緩慢學習、趨于穩定3個階段；在精度對比中5種模型在訓練集和驗證集的2>0.85以上，訓練集的RMSE<5 g/kg，RPD>3，驗證集RMSE<6 g/kg，RPD>2.5，表明各模型具有很好或者極好的估測能力。從各模型來看，LeNet-5在訓練集和驗證集上表現都較為穩定，2穩定在0.89左右，RMSE<5 g/kg，RPD>3，具有極好的估測能力。AlexNet-8和ResNet-13都是在訓練集上的建模效果好，2超過0.9，RMSE低于4 g/kg，但在驗證集上的精度偏低，從精度曲線中也可以看到各評價指標在迭代后期訓練集曲線和驗證集曲線之間拉開較大并且在驗證集上的震蕩較大，產生了過擬合現象并且模型不穩定，分析其原因是這2種模型在第1個卷積層的卷積核大小和步長太大，并且池化層的池化范圍相較LeNet-5和VGGNet-7更大，雖然增大了提取特征的范圍，但是減少了提取到的特征數量，導致模型的泛化能力減弱[21]。另外，ResNet-13僅迭代了2 000 Epoch就訓練完成了，而其他模型需要訓練4 000或者5 000 Epoch左右，原因是ResNet-13的殘差學習結構，解決了梯度消失的問題，加快了學習的過程[23]。VGGNet-7在5種模型中訓練集和驗證集的2指標差距以及RMSE指標差距最小，并且RPD最高，達到3.291±0.053，建模效果最好，其原因是采用了較小卷積核、步長和池化范圍，能夠提取到更多的特征數量，提高學習能力[21]。相比其他模型，GoogLeNet-7雖然在訓練集上的建模效果最差，但在驗證集上的精度卻比AlexNet-8和ResNet-13高，RPD也趨近于3，可能由于Inception結構中多種大小不同的卷積核，提取到不同范圍的特征，增強了模型的泛化能力[22]。

表3 基于不同CNN模型的SOM估算精度對比

2.4 CNN建模結果比較

為進一步探索在原始光譜反射率作為模型輸入時不同深度VGGNet模型建模效果，其訓練和驗證精度對比如表4所示，從中可以發現，模型在訓練集上由VGGNet-13取得2最高值（0.914）和RMSE最低值（3.719 g/kg），但在驗證集上卻是VGGNet-7模型取得最高2值（0.901）、最高RPD值（3.291）和最低RMSE值（4.647 g/kg）。隨著網絡深度的進一步（7～16）增加，模型在訓練集和驗證集的2指標差距以及RMSE指標差距逐漸變大，說明模型隨著深度增加容易出現過擬合現象；從2、RMSE和RPD指標在訓練集的標準差逐漸增大，以及在驗證集也是深層模型標準差更大，可以看出深度的增加使得模型的穩定性也逐漸降低。綜合3個指標來看，VGGNet-7建模效果最好，其在驗證集上SOM含量實測值與估測值比較如圖5所示，從圖中可以看出大部分樣點的估測值都接近1:1線。

表4 基于不同VGGNet模型的SOM估算精度對比

注：VGGNet-5為5層網絡結構的VGGNet模型，其他模型以此類推。

Note: VGGNet-5 is a VGGNet model with five layers of net structure, and so on.

2.5 CNN模型特征波段提取

VGGNet-7模型驗證集各波長重要性分布如圖6所示，其中SHAP值大于0說明該波長提升了SOM的估測值，有正向作用，SHAP值小于0說明該波長使得估測值降低，有負向作用，SHAP的絕對值越大說明該波長對SOM估測的貢獻程度越大。從圖6a中可以發現，不同的波長對于樣本的貢獻程度不同，同一波長對于不同的樣本既可以起正向作用，也可能有負向作用；圖6b反映了各波長的平均貢獻程度，其中排名前五的波長為1 390、680、2 310、1 360、1 920 nm，可以發現這些波峰附近的波長對SOM估測貢獻程度較高，是VGGNet-7模型在利用高光譜數據估測SOM時所提取的重要特征波長。

3 討 論

本研究首先比較了CNN、MLP、RF和SVM在不同光譜預處理下的建模效果，發現光譜微分變換能夠在部分模型中提高建模精度，且0.5DR和1DR附近是較好的光譜微分變換選擇，這與李雪萍等[31]得到的光譜一階微分處理更加突出SOM隱藏的信息，光譜二階微分處理反而起到抑制作用結論相似。但LeNet-5在不同預處理下的表現都要優于其他模型，且在原始光譜作為模型輸入時建模效果最好，說明CNN能夠充分挖掘出原始光譜數據中所包含的豐富且復雜的特征信息。在此基礎上進一步探討了CNN模型在哪種網絡結構以及哪種網絡深度下的建模效果更好，結果表明，各CNN模型RPD都大于2.5，都具有很好或者極好的預測能力，這得益于CNN強大的特征學習能力，使其在處理高維度以及大數據集時具有特殊的優勢[32]。本研究的樣本數量雖然不多，但每個樣本的光譜波段較多，數據量相對較大，在這種背景下，將CNN應用于土壤高光譜建模是具備可行性的，試驗結果數據證明結構簡單并且深度較淺的VGGNet-7效果最好，未出現過擬合現象，體現了奧卡姆剃刀“簡單有效”的原理，這在推廣到實際應用的過程中是有益的。但CNN模型也存在解釋性差和一定的不穩定性等缺點，相信在樣本數量增加時，模型的穩定性會進一步提高。而CNN模型的“黑箱”探索是目前學者們正在研究的熱點，本研究通過獲取解釋模型預測的SHAP值，得到VGGNet-7模型各波長對于SOM估測的貢獻程度，發現1 390、680、2 310、1 360、1 920 nm及其附近是VGGNet-7所提取的重要特征波長。680 nm及其附近與Galvao等[33]的550～700 nm和紀文君等[34]的600～800 nm是SOM的敏感波段結果一致，其他幾個特征波長可能是由于高嶺石、脂肪族化合物、酚類物質、甲基、碳水化合物等因素O-H、C-H、Al-OH、C=O基團的基頻振動以及合頻和倍頻振動吸收的影響[35]。

在圖3估測與實測值的散點圖中發現，當SOM含量大于40 g/kg附近時，各模型估測值都出現了偏小的現象，在SOM含量小于40 g/kg附近時，RF和SVM估測值普遍偏大。分析其原因，圖2中雖然光譜反射率隨SOM含量增大而降低，但由于交叉現象以及SOM含量大于60 g/kg的樣本在部分波段范圍反射率高于SOM含量40～50 g/kg和50～60 g/kg的樣本，使得模型在訓練過程中當SOM含量在40 g/kg附近時特征學習較為混亂，容易降低高實測值的估算，提高低實測值的估算。但從圖5中VGGNet-7的估測與實測值的散點圖可以看出，其散點分布相對較為均勻，沒有明顯的估測偏低或者偏高的現象，表明VGGNet-7具有更好的特征學習和區分能力。

土壤光譜是土壤內在理化特性的綜合反映，環境因素會造成成土條件的差異，從而導致光譜響應波段的不同[36]。本研究在未考慮環境協變量的情況下，通過構建一個綜合環境因素的模型，僅利用光譜數據估算SOM含量，以挖掘CNN模型的建模能力。結果證明模型精度較為理想，這在實際應用過程中可以在不考慮環境條件下，直接通過光譜數據進行土壤屬性的估算，從而減少工作量。但由于本文的研究區較小，環境變量相對較為統一，以上結論的適用性還有待考證，今后可以對不同區域、不同土壤類型、不同土壤屬性進行高光譜數據的CNN建模驗證。

4 結 論

本研究以248個紅壤樣本的可見近紅外光譜數據作為輸入數據，土壤有機質（Soil Organic Matter，SOM）含量為輸出數據，在小樣本數據集下，探討了6種光譜預處理、5種不同卷積神經網絡（Convolutional Neural Network，CNN）結構和5種不同網絡深度情況下CNN的建模效果，得到結論如下：

1）得益于CNN模型強大的特征學習能力，在僅使用原始光譜數據的情況下，各CNN模型在驗證集上的相對分析誤差大于2.5，具有很好的模型估測能力，是一種較好的利用高光譜數據估算SOM含量的方法。

2）在不同網絡結構的對比中，GoogLeNet-7和ResNet-13雖然都加入了特殊的結構，但擁有超參數較小的卷積核、步長和池化范圍的LeNet-5和VGGNet-7網絡結構建模效果更好，因此，CNN模型中一些超參數的設置可能比網絡結構本身更關鍵；在不同深度的對比中，隨著網絡深度的增加，模型容易產生過擬合現象且不穩定，淺層的CNN結構比深層建模效果更好。

3）VGGNet-7網絡結構在所有模型中建模效果最好，在訓練集上決定系數為0.895，均方根誤差為4.145 g/kg，相對分析誤差為3.447，在驗證集上決定系數為0.901，均方根誤差為4.647 g/kg，相對分析誤差為3.291，具有極好的模型估測能力。

4）680、1 360、1 390、1 920、2 310 nm及其附近是VGGNet-7所提取的SOM重要特征波長，為便攜式土壤有機質監測設備的研發和應用提供參考。

[1]Gong W, Yan X, Wang J, et al. Long-term manure and fertilizer effects on soil organic matter fractions and microbes under a wheat-maize cropping system in northern China[J]. Geoderma, 2009, 149(3): 318-324.

[2]Tian Y, Zhang J, Yao X, et al. Laboratory assessment of three quantitative methods for estimating the organic matter content of soils in China based on visible/near-infrared reflectance spectra[J]. Geoderma, 2013, 202: 161-170.

[3]童慶禧，張兵，張立福. 中國高光譜遙感的前沿進展[J]. 遙感學報，2016，20(5)：689-707.

Tong Qingxi, Zhang Bing, Zhang Lifu. Current progress of hyperspectral remote sensing in China[J]. Journal of Remote Sensing, 2016, 20(5): 689-707. (in Chinese with English abstract)

[4]于雷，洪永勝，周勇，等. 高光譜估算土壤有機質含量的波長變量篩選方法[J]. 農業工程學報，2016，32(13)：95-102.

Yu Lei, Hong Yongsheng, Zhou Yong, et al. Wavelength variable selection methods for estimation of soil organic matter content using hyperspectral technique[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 95-102. (in Chinese with English abstract)

[5]陳仲新，任建強，唐華俊，等. 農業遙感研究應用進展與展望[J]. 遙感學報，2016，20(5)：748-767.

Chen Zhongxin, Ren Jianqiang, Tang Huajun, et al. Progress and perspectives on agricultural remote sensing research and applications in China[J]. Journal of Remote Sensing, 2016, 20(5): 748-767. (in Chinese with English abstract)

[6]史舟，梁宗正，楊媛媛，等. 農業遙感研究現狀與展望[J]. 農業機械學報，2015，46(2)：247-260.

Shi Zhou, Liang Zongzheng, Yang Yuanyuan, et al. status and prospect of agricultural remote sensing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(2): 247-260. (in Chinese with English abstract)

[7]Shi Z, Ji W, Rossel R A V, et al. Prediction of soil organic matter using a spatially constrained local partial least squares regression and the Chinese vis-NIR spectral library[J]. European Journal of Soil Science, 2015, 66(4): 679-687.

[8]章濤，于雷，易軍，等. 高光譜小波能量特征估測土壤有機質含量[J]. 光譜學與光譜分析，2019，39(10)：3217-3222.

Zhang Tao, Yu Lei, Yi Jun, et al. Determination of soil organic matter content based on hyperspectral wavelet energy features[J]. Spectroscopy and Spectral Analysis, 2019, 39(10): 3217-3222. (in Chinese with English abstract)

[9]張東輝，趙英俊，趙寧博，等. 航空高光譜預測黑土地SOM含量的神經網絡方法[J]. 光譜學與光譜分析，2018，38(增刊1)：328-329.

Zhang Donghui, Zhao Yingjun, Zhao Ningbo, et al. Neural network method for prediction SOM content in black soil using aerial hyperspectral data[J]. Spectroscopy and Spectral Analysis, 2018, 38(Supp.1): 328-329. (in Chinese with English abstract)

[10]章海亮，羅微，劉雪梅，等. 應用遺傳算法結合連續投影算法近紅外光譜檢測土壤有機質研究[J]. 光譜學與光譜分析，2017，37(2)：584-587.

Zhang Hailiang, Luo Wei, Liu Xuemei, et al. Measurement of soil organic matter with near infrared spectroscopy combined with genetic algorithm and successive projection algorithm[J]. Spectroscopy and Spectral Analysis, 2017, 37(2): 584-587. (in Chinese with English abstract)

[11]謝文，趙小敏，郭熙，等. 基于RBF組合模型的山地紅壤有機質含量光譜估測[J]. 林業科學，2018，54(6)：16-23.

Xie Wen, Zhao Xiaomin, Guo Xi, et al. Spectrum based estimation of the content of soil organic matters in mountain red soil using RBF combination model[J]. Scientia Silvae Sinicae, 2018, 54(6): 16-23. (in Chinese with English abstract)

[12]國佳欣，趙小敏，郭熙，等. 基于PLSR-BP復合模型的紅壤有機質含量反演研究[J]. 土壤學報，2020，57(3)：636-645.

Guo Jiaxin, Zhao Xiaomin, Guo Xi, et al. Inversion of organic matter content in red soil based on PLSR-BP composite model[J]. Acta Pedologica Sinica, 2020, 57(3): 636-645. (in Chinese with English abstract)

[13]史舟. 土壤地面高光譜遙感原理與方法[M]. 北京：科學出版社，2014.

[14]Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[15]Xu Z, Zhao X, Guo X, et al. Deep learning application for predicting soil organic matter content by VIS-NIR spectroscopy[J]. Computational Intelligence and Neuroscience, 2019, 2019(6): 1-11.

[16]王璨，武新慧，李戀卿，等. 卷積神經網絡用于近紅外光譜預測土壤含水率[J]. 光譜學與光譜分析，2018，38(1)：42-47.

Wang Can, Wu Xinhui, Li Lianqing, et al. Convolutional neural network for application in prediction of soil moisture content[J]. Spectroscopy and Spectral Analysis, 2018, 38(1): 42-47. (in Chinese with English abstract)

[17]Hu Y, Jiang T, Shen A, et al. A background elimination method based on wavelet transform for Raman spectra[J]. Chemometrics and Intelligent Laboratory Systems, 2007, 85(1): 94-101.

[18]王敬哲，塔西甫拉提·特依拜，丁建麗，等. 基于分數階微分預處理高光譜數據的荒漠土壤有機碳含量估算[J]. 農業工程學報，2016，32(21)：161-169.

Wang Jingzhe, Tashpolat·Tiyip, Ding Jianli, et al. Estimation of desert soil organic carbon content based on hyperspectral data preprocessing with fractional differential[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(21): 161-169. (in Chinese with English abstract)

[19]Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[20]Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25(2): 1-9.

[21]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014-09-04 [2015-04-10].https://arxiv.org/pdf/1409.1556.pdf

[22]Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]. Boston, MA, USA: 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015: 1-9.

[23]He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Las Vegas, NV, USA: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 770-778.

[24]孫志軍，薛磊，許陽明，等. 深度學習研究綜述[J]. 計算機應用研究，2012，29(8)：2806-2810.

Sun Zhijun, Xue Lei, Xu Yangming, et al. Overview of deep learning[J]. Application Research of Computers, 2012, 29(8): 2806-2810. (in Chinese with English abstract)

[25]Breiman L. Random forests[J]. Machine Learning, 2001, 45(1): 5-32.

[26]張學工. 關于統計學習理論與支持向量機[J]. 自動化學報，2000，26(1)：36-46.

Zhang Xuegong. Introduction to statistical learning theory and support vector machines[J]. Acta Automatica Sinica, 2000, 26(1): 36-46. (in Chinese with English abstract)

[27]Lundberg S, Lee S I. A unified approach to interpreting model predictions[C]. Long Beach, CA, USA: NIPS’17 Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017: 4768-4777.

[28]Lipovetsky S, Conklin M. Analysis of regression in game theory approach[J]. Applied Stochastic Models in Business & Industry, 2010, 17(4): 319-330.

[29]史舟，王乾龍，彭杰，等. 中國主要土壤高光譜反射特性分類與有機質光譜預測模型[J]. 中國科學：地球科學，2014，44(5)：978-988.

Shi Zhou, Wang Qianlong, Peng Jie, et al. Classification of hyperspectral reflectance characteristics of main soils and spectral prediction model of organic matter in China[J]. Scientia Sinica: Terrae, 2014, 44(5): 978-988. (in Chinese with English abstract)

[30]Bilgili A V, Es H M V, Akbas F, et al. Visible-near infrared reflectance spectroscopy for assessment of soil properties in a semi-arid area of Turkey[J]. Journal of Arid Environments, 2010, 74(2): 229-238.

[31]李雪萍，張飛，王小平. 微分算法的艾比湖濕地自然保護區土壤有機質多光譜建模[J]. 光譜學與光譜分析，2019，39(2)：535-542.

Li Xueping, Zhang Fei, Wang Xiaoping. Study on differential-based multispectral modeling of soil organic matter in Ebinur lake wetland[J]. Spectroscopy and Spectral Analysis, 2019, 39(2): 535-542. (in Chinese with English abstract)

[32]Yuan Q, Shen H, Li T, et al. Deep learning in environmental remote sensing: Achievements and challenges[J]. Remote Sensing of Environment, 2020, 241: 111716.

[33]Galvao L S, Vitorello I. Role of organic matter in obliterating the effects of iron on spectral reflectance and color of Brazilian tropical soils[J]. International Journal of Remote Sensing, 1998, 19(10): 1969-1979.

[34]紀文君，史舟，周清，等. 幾種不同類型土壤的VIS-NIR光譜特性及有機質響應波段[J]. 紅外與毫米波學報，2012，31(3)：277-282.

Ji Wenjun, Shi Zhou, Zhou Qing, et al. VIS-NIR reflectance spectroscopy of the organic matter in several types of soils[J]. Journal of Infrared and Millimeter Waves, 2012, 31(3): 277-282. (in Chinese with English abstract)

[35]Viscarra R R A, Behrens T. Using data mining to model and interpret soil diffuse reflectance spectra[J]. Geoderma, 2010, 158(1/2): 46-54.

[36]周清，周斌，張楊珠，等. 成土母質對水稻土高光譜特性及其有機質含量光譜參數模型影響的初步研究[J]. 土壤學報，2014，41(6)：905-911.

Zhou Qing, Zhou Bin, Zhang Yangzhu, et al. Influence of parent materials on paddy soil hyperspectral characteristics and SOM spectral-parameter-models[J]. Acta Pedologica Sinica, 2014, 41(6): 905-911. (in Chinese with English abstract)

Hyperspectral estimation of organic matter in red soil using different convolutional neural network models

Zhong Liang, Guo Xi※, Guo Jiaxin, Xu Zhe, Zhu Qing, Ding Meng

(1.,,330045,; 2.,330045,)

Deep learning represented by Convolutional Neural Networks (CNN) has been increasing rapidly in recent years, due to its powerful feature learning for computer vision and natural language processing. But there are few studies in the field of hyperspectral remote sensing in soil. Therefore, this study aims to estimate Soil Organic Matter (SOM) using hyperspectral images in small sample dataset, thereby to investigate the modeling effects of different network structures. A total of 248 red soil samples were collected from the northern Fengxin county, Jiangxi province, China. A geospectrometer was used to capture the spectral data. The original spectral data was resampled at 10 nm intervals, after removing the edge bands of 350-399 nm and 2 451-2 500 nm with a low signal-to-noise ratio. A total of 205 original spectral bands and their derivative transformation were obtained as input data, while the SOM content as output data of the model. Firstly, the modeling effects of CNN were compared, such as Multilayer Perceptron (MLP), Random Forest (RF) and Support Vector Machine (SVM) under different spectral pretreatments. Five CNN structures were established, including the earliest LeNet-5, AlexNet-8 with large convolutional core, VGGNet-7 with small convolutional core, GoogLeNet-7 with inception structure, and ResNet-13 with residual learning, particularly on the modeling effects of VGGNet model at five depths. Secondly, all models were evaluated using random deactivation (Dropout) and early stopping to prevent overfitting of the model by three indicators: decision coefficient (2), Root Mean Square Error (RMSE) and Relative Analytical Error (RPD). Finally, the black box of CNN model was explained. The results showed that: 1) Due to the strong capability of feature learning in CNN models, the RPD of each CNN model in the validation set was greater than 2.5 in the case of the original spectral data, indicating excellent prediction capability and a better way to predict SOM content using hyperspectral images. 2) In the comparison of different network structures, an optimal model was determined in the network structures of LeNet-5 and VGGNet-7 with small convolutional nuclei, step length, and pooling range of hyper parameters, although the later GoogLeNet-7 and ResNet-13 both incorporated special structures. Therefore, the setting of some hyper parameters in the CNN model can be more critical than the network structure. In different depths, the model was prone to overfitting and unstable, as the network depth increased, where the shallow CNN structure was better than the deep one. 3) An optimal model was achieved in the VGGNet-7 network structure with the excellent model estimation power:2was 0.895 and RMSE was 4.145 g/kg on the training set, while2was 0.901, RMSE was 4.647 g/kg and RPD was 3.291 on the verification set. 4) The wavelengths of 680, 1 360, 1 390, 1 920, 2 310 nm and its vicinities were the important for SOM and they were extracted from the process of VGGNet-7 model establishment. The CNN can be expected for very broad application prospects, due to its simple spectral pre-processing, and feasibility in small samples of soil hyperspectral remote sensing. Therefore, the VGGNet-7 can be applied to the red soil area for rapid and accurate estimation of SOM content using hyperspectral data.

soils; models; convolutional neural network; organic matter; hyperspectrum

鐘亮，郭熙，國佳欣，等. 基于不同卷積神經網絡模型的紅壤有機質高光譜估算[J]. 農業工程學報，2021，37(1)：203-212.doi：10.11975/j.issn.1002-6819.2021.01.025 http://www.tcsae.org

Zhong Liang, Guo Xi, Guo Jiaxin, et al. Hyperspectral estimation of organic matter in red soil using different convolutional neural network models[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 203-212. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.01.025 http://www.tcsae.org

2020-07-23

2020-10-10

國家重點研發計劃項目（2017YFD0301603）；國家自然科學基金項目（41361049）；研究生創新專項基金（NDYC2020-S008）

鐘亮，研究方向為農業遙感與信息技術。Email：zhongliang1007@163.com

郭熙，博士，教授，研究方向為農業遙感與信息技術及土地資源利用。Email：xig435@163.com

10.11975/j.issn.1002-6819.2021.01.025

S127；S153.6+21

A

1002-6819(2021)-01-0203-10