基于多光譜圖像的土壤有機質含量檢測系統(tǒng)與APP研究

楊 瑋 于 滈 李 浩 曹永研 郝子源

(中國農業(yè)大學智慧農業(yè)系統(tǒng)集成研究教育部重點實驗室,北京 100083)

0 引言

SOM是土壤的主要養(yǎng)分,對作物的生長至關重要,也是評估土壤肥力的重要指標。土壤有機碳(Soil organic carbon,SOC)主要存在SOM中,二者之間可以實現定量轉換,SOC也是全球碳循環(huán)和氣候調節(jié)的重要參考指標,通過測定SOM含量可以實現SOC含量的高效測定[1-6]。傳統(tǒng)的SOM含量測量手段,如重鉻酸鉀測定法以及灼燒法等實驗室方法測量精度高,但存在成本高昂、檢測周期長、破壞性和污染性較強的問題[7]。光譜學分析方法具有高效、環(huán)保等特點,近年來已經逐漸成為了最具潛力取代傳統(tǒng)方法測量SOM含量的技術手段[8]。由于光譜數據處理步驟繁瑣,基于光譜學分析預測SOM含量的工作大多在實驗室環(huán)境下進行,無法實現原位SOM含量的測量,較高的造價也限制了方法的推廣性[9-13]。綜上所述,確立一種廉價、高效的原位SOM含量測量方法,對于土壤養(yǎng)分檢測以及田間作業(yè)生產意義重大。

受到SOM含量變化的影響,土壤的顏色、孔隙度、貯水能力和團聚性也會產生明顯的變化[14-17]。已有研究證明,隨著SOM含量的增加,土壤的團聚能力變強,孔隙度變大,同時土壤的顏色也會逐漸加深,當SOM質量分數超過4%后,土壤會呈現黑褐色,這些特征有助于通過圖像建立SOM含量的預測模型[18-19]。雖然圖像數據容易獲取,但也容易受到客觀因素的影響,水分含量的變化以及土壤組成不同都會導致土壤在顏色上呈現出明顯的差異[20]。與此同時,基于傳統(tǒng)機器學習手段利用圖像預測SOM也存在著性能不足以及泛化性差的問題,這些都導致了基于圖像預測SOM含量的準確性受限。如何建立更高精度的SOM預測模型成為當下研究的重點。

目前,利用圖像預測SOM含量的研究在國內外已經取得了一定的進展,證明了利用圖像預測SOM含量的可行性。吳才武等[21-22]提取數字圖像的顏色特征建立模型預測SOM含量,并通過分析數據證明RGB圖像中R通道圖像建模效果最佳,為后續(xù)相關研究奠定了基礎。FU等[23]用智能手機拍攝土壤圖像,建立了不同含水量條件下的SOM預測模型,并利用不同色彩空間對圖像顏色參數進行量化,模型性能更加穩(wěn)定,預測R2為0.819,證明了通過手機端圖像實現SOM含量預測的潛力。也有研究[24]證明了通過圖像數據建立模型,可以反映出相關波段受到SOM的影響程度,證明了圖像信息與波段之間的聯(lián)系。以上研究結果表明,可見光圖像與SOM存在較強的關聯(lián)性,利用圖像進行SOM預測具有成本低、普適性高、易于推廣等特點,圖像信息獲取便捷,也包含了所在光譜波段的特征,通過圖像進行SOM含量的檢測有助于提升田間工作的效率。

相較于土壤光譜數據獲取流程繁瑣復雜,獲取土壤圖像數據具有便捷、高效的特點,且圖像中也包含了紋理、顏色等多種特征信息。研究證明,在可見光區(qū)間內SOM含量存在著多個敏感區(qū)間,通過獲取更多波段的圖像信息,有助于獲取到更多特征,提升模型的性能[25-26]。相比于傳統(tǒng)機器學習手段,深度學習在圖像特征提取領域展現出了巨大的技術優(yōu)勢,基于深度學習手段有助于實現更高精度的SOM含量預測,但深度學習對于更多數據樣本的需求對于田間采樣工作提出了巨大的挑戰(zhàn)。基于以上問題,本文采集不同水分梯度可見光圖像與無人機采集的R波段(650 nm±16 nm)、紅邊波段(730 nm±16 nm)與近紅外光譜波段(840 nm±26 nm)圖像,建立改進的N_DenseNet模型預測SOM含量,并開發(fā)手機端APP實現田間原位的SOM實時檢測。基于北京市、山東省、黑龍江省3個省市采集不同種類土壤作為樣品。于實驗室環(huán)境下配置并采集不同水分梯度圖像增加數據樣本,去除水分對土壤顏色的影響,結合無人機拍攝R波段與近紅外波段圖像建立基于手機端APP的N_DenseNet模型,以實現土壤田間圖像采樣以及SOM含量實時檢測。

1 數據獲取與方法

1.1 樣品采集

我國幅員遼闊,不同地區(qū)SOM含量分布受氣候、土壤種類等多種因素影響呈現出明顯差異,這對土壤樣本的采集以及模型的性能提出了更高要求。根據全國土壤普查養(yǎng)分分級標準,將SOM含量按照梯度劃分為一級土(大于40 g/kg)至六級土(小于6 g/kg)共6個等級。為盡可能采集到更多等級土壤,本研究選擇土壤種類和SOM含量分布具有明顯差異的北京市昌平區(qū)(試驗區(qū)1,10～35 g/kg)、黑龍江省雙鴨山市友誼縣(試驗區(qū)2,30～60 g/kg)和山東省泰安市泰山區(qū)(試驗區(qū)3,20～40 g/kg)3個地區(qū)作為土壤樣本采集試驗地點,3個試驗采樣點分別屬于寒溫帶與溫帶大陸性季風氣候、溫帶大陸性季風氣候和溫帶暖風氣候,土壤類型主要為棕土、褐土、黑土,SOM含量涵蓋了一級土到五級土。3個試驗區(qū)總占地面積超過100 hm2,采樣點信息如圖1所示。

圖1 研究區(qū)地理信息

為減少天氣以及光線強度等客觀因素對圖像數據集造成的影響,采集試驗在10月進行,采樣時間均選擇晴朗無云天氣的10:00—11:00之間。共采集350份樣品,其中在北京市上莊實驗站采樣160份、黑龍江省友誼縣采樣90份,山東省泰安市采樣100份。土壤采樣深度為10 cm,每份樣品采集 500 g 并用牛皮紙袋封存后帶回實驗室。土樣采集回實驗室后進行350份土壤樣品SOM真值的測定。首先,將土樣在105℃的干燥箱內干燥24 h,剔除秸稈等雜質后采用9 mm篩子過篩稱量,之后采用干燒爐對土壤樣本的SOM含量進行測定。總體數據按照6∶2∶2的比例分為訓練集、驗證集、測試集。各數據集SOM含量描述性統(tǒng)計如表1所示。土壤樣本整體SOM含量區(qū)間為9.25～51.50 g/kg,訓練集樣本區(qū)間為9.40～51.50 g/kg,驗證集樣本區(qū)間為9.25～51.10 g/kg,測試集樣本區(qū)間為9.68～49.20 g/kg,訓練集涵蓋了測試集的全部范圍,總體變異系數為43%,屬于中等變異。

表1 土壤樣本SOM含量統(tǒng)計

在圖像采集工作中,每份土壤樣品均通過多光譜無人機拍攝3幅多光譜圖像(紅邊波段、R波段和近紅外波段圖像)、不同通道的多光譜數據樣本以及手機拍攝的不同含水率梯度圖像樣本信息如圖2所示。手機端拍攝5幅水分梯度圖像,訓練集樣本數量為1 680幅,驗證集與測試集樣本數分別為560幅,總數量為2 800幅。首先通過手機相機獲取高清圖像,然后使用大疆Phantom 4 型無人機搭載的多光譜相機獲取光譜圖像,相機可獲取紅((650±16)nm)、綠((560±16)nm)、藍((450±16)nm)、紅邊((730±16)nm)、近紅外波段((840±26)nm)圖像信息,結合已有研究可知,SOM在660、740、840 nm附近存在明顯的特征波長[27],由于圖像中反映了所在波長的特征,所以選擇R波段、紅邊波段和近紅外波段的光譜圖像結合梯度圖像構建數據集。同時為避免土壤水分對于圖像信息的干擾,同時提升數據樣本數量以滿足深度學習的需求,本研究通過實驗室內水分脅迫的方式,將350組土壤樣品分別配置為含水率5%、10%、15%、20%梯度,并通過手機拍攝圖像作為數據集。

圖2 多光譜圖像數據

通過無人機獲取的多光譜圖像尺寸更小(1 600像素×1 300像素),為保證數據輸入的一致,在數據輸入神經網絡前,將每份SOM含量數值標簽對應的近紅外、R波段以及紅邊波段光譜圖像進行通道疊加,將3幅單通道多光譜圖像轉換為1幅具有3通道的光譜圖像。本研究數據集每份樣品對應5幅可見光圖像和1幅3通道多光譜圖像,在進行模型訓練時,6幅圖像會被壓縮為224像素×224像素進行計算。

1.2 方法

1.2.1DenseNet

DenseNet的基本網絡結構主要由稠密塊(DenseBlock)和Transition組成,不同深度的DenseNet網絡基本結構相同,主要是在卷積層數量上的差異,DenseBlock和Transition結構如圖3所示,DenseNet169是由4個DenseBlock和Transition(卷積層與池化層)結構組成,DenseBlock和Transition結構網絡層逐漸加深。DenseNet主要是通過concat操作實現不同網絡層輸出特征的短路連接,這種操作可以讓模型更快地完成訓練,同時模型也能夠保留更多低維度的特征,使得模型可以在一定程度上減少因數據有限造成的模型性能下降的問題。相比VGG和ResNet模型,DenseNet可以使用更少的參數達到更好的訓練效果。

圖3 DenseBlock和Transition結構

在實際應用中,由于框架優(yōu)化的因素,DenseNet往往存在著占用系統(tǒng)內存過多的情況,這也限制了DenseNet網絡在移動端部署平臺的運行效率。

1.2.2改進的DenseNet SOM預測模型

目前,通過圖像數據預測SOM的技術手段一直存在著模型預測精度有限的問題,雖然方法更加便捷但是無法取代傳統(tǒng)光譜學以及化學式檢測方法。為保證圖像數據中的特征被模型充分利用以提高模型的預測精度,本研究在DenseNet結構的基礎上做出改進,結合多尺度的池化特征提取方法提升模型性能,完成SOM含量的高效預測。

為提升模型的預測精度,本研究基于DenseNet169進行改進,提出N_DenseNet,通過添加具有3層多尺度的池化特征模塊提升模型的特征提取能力,3層池化層的size分別為2、4、8。為避免池化操作使輸入數據分辨率降低,在第2層和第3層池化層后進行上采樣,scale_factor的參數為2和4,以還原輸入池化模塊前的數據尺寸。

相比于傳統(tǒng)模型中使用單一小尺寸池化層,多尺度池化模塊能夠為模型獲取到更多的特征數據,可以讓模型提取到更多高、低維度的數據特征,提升模型的性能,改進的DenseNet網路整體結構如圖4所示。

圖4 N_DenseNet網絡

1.2.3基于Android端的SOM檢測APP

為避免手機性能不足限制模型表現,綜合成本以及已有硬件條件等實際因素考慮,本研究通過內網透射方式實現手機Android端APP與固定PC端的數據實時處理與傳輸,這有效解決了移動端嵌入模型導致性能下降的問題,同時該手段運營成本較小,避免了高昂的開發(fā)成本。

APP開發(fā)分為移動端模塊和PC端模塊。移動端模塊通過Vue開發(fā),并利用Hbuilder X封裝成便攜式設備支持的安裝包;PC端模塊基于Python 3.7開發(fā)環(huán)境部署深度學習模型,利用Django作為Web接口框架實現數據的交互。

基于內網透射,用戶通過手機端便可以實現SOM圖像的獲取、調用以及PC端數據的處理與傳輸,并將最終數據傳送至APP內實時顯示,實現SOM的實時檢測。為了提升APP的功能性,在實現SOM含量檢測的基礎上,APP內也集成了土壤含量等級展示、采樣地點GPS信息以及歷史信息查詢等功能,實現更加精準、多功能的SOM含量信息檢測。研究的整體技術路線如圖5所示。

圖5 整體技術路線

2 結果與分析

2.1 基于可見光圖像的SOM預測

為了探討多光譜圖像在不同模型上的表現效果,分別對比本研究提出的N_DenseNet以及經典網絡ResNet101、ResNet152、DenseNet121、DenseNet169、DenseNet 201以及進行訓練預測,對比分析基于可見光圖像和多源圖像信息的表現效果。以上訓練結果都是基于Pytorch環(huán)境,在配置了11 GB 顯存的GTX 2080顯卡和16 GB內存的高性能計算機上進行,通過內網透射實現PC端與手機端的連接。基于手機端的可見光數據模型預測結果如圖6所示。從圖6中能夠看出,基于可見光圖像建立SOM預測模型,測試集R2分別為0.817、0.742、0.771、0.786、0.809、0.801。其中基于改進的DenseNet模型表現最好,比ResNet101、ResNet152、DenseNet121、DenseNet169、DenseNet201高出0.075、0.046、0.031、0.008、0.016。整體上看,DenseNet模型表現整體更好,證明了基于concat操作實現不同網絡層特征信息共享的方式能夠更好地提升模型的預測能力。通過加入多尺度池化層后,N_DenseNet網絡性能更佳,相較于更深層的DenseNet169和DenseNet201具有明顯優(yōu)勢。

圖6 基于可見光圖像的SOM預測效果對比

2.2 基于多光譜圖像的SOM預測

在可見光圖像數據的基礎上,加入紅波段、紅邊波段與近紅外波段通道疊加后的光譜圖像作為數據集進行訓練,測試集結果如圖7所示。N_DenseNet的測試集R2為0.833,RMSE為3.943 g/kg。經過與基于可見光圖像的3種預測模型的R2對比可知,基于多光譜圖像的模型性能整體優(yōu)于可見光圖像,N_DenseNet、ResNet101、ResNet152、DenseNet121、DenseNet169、DenseNet201測試集的R2比基于可見光數據分別提高0.026、0.045、0.013、0.031、0.011、0.020。證明添加R波段、紅邊波段與近紅外波段圖像含有的特征信息對模型精度具有一定的提升。相比于ResNet表現,DenseNet網絡在多光譜數據上的表現最佳,證明了DenseNet的優(yōu)勢。

為更好地分析不同模型整體表現以及部署手機端對運行效率的需求,不同模型建模、測試集的R2以及模型運行時間的結果如表2所示。整體上看,在網絡深度相近的情況下,DenseNet網絡在可見光與多光譜圖像數據方面表現優(yōu)于ResNet系列,N_DenseNet表現最佳,相比于DenseNet169更好,且運行時間更短,證明加入多池化操作使模型的精度和效率得到明顯提高,運行時間與DenseNet169十分接近,雖然相比于層數較少的ResNet101、ResNet152、DenseNet121更耗時,但取得了最好的精度,測試集完成預測所需時間在可見光與多光譜數據上分別為0.38 s和0.45 s,都可以滿足SOM含量實時檢測。

表2 不同模型對比

對比ResNet架構和DenseNet架構,發(fā)現ResNet整體效果弱于DenseNet,證明了基于concat操作可以更好地融合更多維度特征,提升模型性能,而在運行效率上,ResNet系列占據明顯優(yōu)勢,證明較深層網絡對于模型運行速度具有一定的影響,但是基于計算機端都能夠實現實時數據處理。總體上,基于N_DenseNet系列精度最好,優(yōu)于DenseNet169,更好地滿足了田間原位土壤的高效檢測。

2.3 基于APP的田間驗證

本研究使用搭載Exynos 8895芯片的魅族15plus手機作為移動端設備進行APP設計,于中國農業(yè)大學上莊實驗站進行田間試驗。采集地塊分為7列15行,共105個采樣測試點。通過手機端實時拍照獲取樣點中心位置圖像與GPS信息經過田間試驗驗證,基于多光譜圖像檢測SOM含量的R2為0.805,檢測時間為2.8 s,基于可見光圖像模型的R2為0.766,檢測時間為2.4 s。基于多光譜圖像的模型性能更好,檢測精度更高,與實驗室內結果一致,熱力圖如圖8所示。

在檢測時間上,受限于網絡信號傳輸速度的影響,數據傳輸至PC端并完成檢測的時間明顯增加,但也滿足了原位高效的SOM含量檢測,相比基于光譜學原理的便攜式檢測儀,該方法在檢測速度上具有明顯提升。通過結合田間試驗結果,證明該APP可以有效實現SOM含量預測,一定程度上能夠指導農業(yè)生產、土壤施肥、土地類型判斷、SOM含量測定等工作的開展,具有良好的研究價值。

3 討論

本文采集了基于多水分梯度圖像以及R波段、紅邊波段與近紅外波段的多光譜波段圖像數據,通過搭建N_DenseNet模型并于手機端開發(fā)APP,最終完成SOM含量的檢測。經試驗驗證,基于多源圖像數據檢測SOM含量效果最好,優(yōu)于可見光圖像數據模型,模型R2為0.805。該方法相比于AITKENHEAD等[28]基于可見光圖像預測SOM含量和YANG等[29]基于CNN預測SOM含量的方法取得了更好的結果。這與多光譜圖像數據中包含了更多的特征信息有一定關系,豐富的信息有助于模型提取到更多有用特征,同時使用更好的模型對于精度也有一定提升。

目前,基于圖像數據實現SOM含量預測已有相關研究,然而模型精度不足限制了該方案的推廣性,成像式光譜儀雖然集成了圖像與光譜數據,受限于數據處理步驟的繁瑣以及高昂的制造成本,導致方法難以被推廣使用[30]。基于圖像信息預測SOM具有簡單、便捷,便于推廣等特點,尤其是4G、5G通信技術的飛速發(fā)展,讓數據傳輸變得更加及時,基于手機端開發(fā)APP,有效節(jié)省了成本也實現了便攜性,在田間信息監(jiān)測方面具有巨大潛力。

許多研究人員專注于通過可見光圖像實現SOM含量的預測,受限于圖像信息不足以及模型性能的影響,模型預測能力受限,無法取代光譜分析等手段[31-32]。SOM在可見光-近紅外區(qū)間內存在著多個敏感波段,基于多波段光譜圖像預測SOM含量可以獲取更多的圖像數據特征,有助于提升模型的預測精度,也能有效改善因土壤數據采集和處理步驟繁瑣導致的數據獲取難的問題,多光譜圖像能夠有效實現土壤數據的擴容,更好地滿足深度學習訓練需要大量基礎數據的要求。然而,本研究使用的數據信息有限,尤其是土壤類型和土壤采集區(qū)域有限,同時無人機與手機采集圖像信息也存在傳感器分辨率、拍攝距離不同等情況,這可能會造成數據間存在差別,最終影響模型的表現。未來,有必要進一步采集更多地區(qū)和更多種類土壤樣品,并對已有模型進行改進,以提升模型的精度。

4 結論

(1)在獲取可見光和多梯度水分圖像的基礎上,加入R、紅邊與近紅外波段圖像豐富數據集并進行訓練。經分析,基于多光譜圖像模型的性能優(yōu)于可見光圖像模型,證明增加光譜圖像優(yōu)化模型參數對于SOM含量預測具有一定的提升。

(2)該研究在DenseNet169基礎上加入多尺度池化模塊,提出N_DenseNet模型,實現了多尺度特征的提取與融合。基于多光譜和可見光數據集,預測R2相比于DenseNet169分別提高0.011和0.008,實現了更高精度的SOM含量檢測。

(3)開發(fā)手機端SOM檢測APP,該APP能夠實現手機端與PC端的數據傳輸,并整合了歷史查詢、GPS信息、土壤等級展示功能。經過田間驗證,模型R2為0.805,檢測時間為2.8 s,實現了原位實時的SOM含量檢測。