基于無人機遙感的農作物自動分類研究

王晨宇張亞民吳伯彪郭學來

(1.國家統計局河南調查總隊，河南 鄭州 450018；2.鄭州科技學院，河南 鄭州 450064)

長期以來，我國農作物種植類型等重要農業統計數據，主要通過全面統計或抽樣調查等傳統方法獲得，由分布在全國各地的農調隊等定期收集農作物種植種類信息、農作物播種面積信息、作物長勢狀況、受災情況，逐級匯報或者直接上報到農業農村部，作為分析全國農業結構種植情況和采取對策的依據。采用人工GPS實測地面樣方或衛星影像輔助調查時，由于調查人員的業務能力各不相同無法做到客觀規范，在收集、處理及上報的過程中存在時間滯后，采集的信息存在差異性，且人工方法存在調查工作量龐大、財力和物力耗費高及調查周期長等諸多缺陷。衛星遙感信息具有可覆蓋面積大、探測能力強及現勢性強等特點，為快速準確獲取作物種植分類提供了新的技術手段。近些年，遙感技術已經在農作物分類動態信息提取、作物分布制圖中發揮了重要作用，但由于高分辨率的衛星重返周期長，特定時間的指定區域的數據無法保證，單一利用遙感進行農作物分類監測精度無法滿足要求，必須輔助以地面采樣調查，實現農作物種植分類的精細提取。

隨著無人機平臺及攝影測量技術的發展，無人機遙感為農作物分類調查提供了新思路，無人機具有作業靈活、操作簡單、節省人力物力等特點，可以獲得超高分辨率遙感影像，在中小尺度上，無人機能充分發揮優勢，還可以為大面積衛星遙感提供地面驗證，對作物監測技術的發展和應用具有重大意義。因此，通過無人機遙感影像獲得農作物分類信息十分必要。

多波段傳感器可獲得更多波譜信息，然而如何從海量影像數據中及時、準確地獲取所需信息并加以利用是需要解決的重大問題之一。有效地對具有高空間及光譜分辨率的影像分類，進行信息的提取和解譯，在地物識別、農田災害監測、植被覆蓋度反演等方面具有重要的意義，也是困擾很多人的難點之一。

1 研究區概況

原陽縣屬河南新鄉市，地處豫北平原，南臨黃河，北面是余河通道，地勢西南偏高，東北偏低，地貌屬黃河沖積平原，其地理坐標E113°36′～114°15′，N34°55′～35°11′，其四鄰，東接封丘，西鄰武陟、獲嘉，背靠新鄉、延津，南于中牟和鄭州郊區隔河相望。

2 研究方法

2.1 技術路線

基于無人機影像提取農作物光譜、紋理和地形3種特征，基于語義分割模型DeepLabv3+獲取4種農作物(玉米、花生、水稻和大豆)范圍信息。具體技術路線如圖1所示。

圖1 技術流程圖

2.2 基本原理

利用無人機影像光譜、紋理、空間特征組合提取農作物分類信息方法的基本原理大體如下。進行研究區域選擇和地面實際情況調查，用無人機遙感系統進行影像采集；基于影像及數字表面模型提取農作物光譜、紋理、空間組合最優分類特征,采用多種分類辦法，如支持向量機等，進行農作物無人機遙感影像的分類研究，統計分類精度及分類速度，分析無人機遙感影像分辨率對農作物分類精度的影響；根據分類精度，制定滿足農業統計調查應用的分類方法和遙感影像分辨率，形成農作物分類的自動解譯系統。

目前關于農作物分類自動解譯還處于技術研究和分析階段，沒有較為成熟的識別系統廣泛應用。其根本原因為農作生長情況較為復雜，生長過程受自然因素和人為因素影響較大，在遙感影像中呈現的紋理特征和光譜特征差異較大，往往還會出現同物異譜和異物同譜的現象，僅通過物候時間、紋理特征、光譜信息比較難以區分易混淆和相似的作物種類，作物識別精度不高。

因此，設計該功能模塊應該充分借助當前應用較為廣泛的深度學習模式，利用調查隊的調查優勢，獲取足量的、準確的樣本數據，為開展本地作物的自動識別做好數據支撐，從而提高作物識別精度。

2.3 特征確定

2.3.1 光譜特征

大疆精靈4無人機平臺搭載的多光譜成像相機，搭載可見光、近紅和紅光邊緣5個原始波段，以及5個植被指數。具體原理是利用植被指數將不同作物的光譜信息與其它地物的光譜信息差異放大，從而提取出農作物分類的分布信息。

表1 無人機多光譜影像波段范圍

表2 無人機多光譜影像植被指數說明

2.3.2 紋理特征

高分辨率無人機遙感數據，減少了混合像元的出現，使得農作物的冠層形狀、尺寸、結構等更加清晰，因而增加紋理信息比單純利用光譜信息有更好分類效果。灰度共生矩陣是目前應用最廣泛的一種紋理統計分析方法，將灰度共生矩陣GLCM作為基礎提取紋理統計量，在14個紋理統計量中，僅有4個特征是不相關的，分別是二階矩、對比度、相關和熵。

2.3.3 地形特征

表3 無人機多光譜影像紋理特征說明

無人機數字表面模型(Digital Surface Model，DSM)是包含各種地物的表面高程信息，如建筑物頂層表面高度、植被冠層表面高度，并不是植被覆蓋區地面的高度。在原陽縣，種植多種農作物，如玉米、水稻、大豆和花生，由于農作物物候不同以及品種本身差異，從而可以將作物高程信息作為農作物分類提取特征，提高分類精度。采用DSM-DEM提取農作物植株株高數據。

2.4 影像切片

通過將無人機多個特征通道輸入，結合野外和內業人工標注具體農作物類型，將每景影像切割成1024×1024的切片大小，基于語義分割模型DeepLabv3+將影像分割成5個類別，分別是玉米、水稻、花生、大豆和背景，并通過GDAL庫將結果賦予地理投影信息。

2.5 語義分割模型

圖像語義分割(Semantic Segmentation)，又叫作全像素語義分割(Full-pixel semantic segmentation)是圖像處理和機器視覺技術中關于圖像理解的重要一環，也是AI領域中一個重要的分支。

早期，計算機視覺的初始應用需求只是識別基本元素，如邊緣(線和曲線)或漸變，前期的卷積神經網絡(Convolutional Neural Network，CNN)只是識別圖像中存在的內容，從未完全按照人類感知的方式提供像素級別的圖像理解。通過圖像語義分割來理解像素級的圖像，其將屬于同一目標的圖像部分聚集在一起，是對圖像中每一個像素點進行分類，確定每個點的類別(如屬于背景、大豆或玉米等)，從而進行區域劃分。

識別每個像素或分組像素一起分配類別的過程可以通過以下過程，效果如圖2所示。

圖2 圖像分類(左)、物體識別和檢測(中)、語義分割(右)

圖像分類(image classification)，識別圖像中存在的內容；物體識別和檢測(object recognition and detection)，識別圖像中存在的內容和位置(基于邊界框)；語義分割(semantic segementation)，識別圖像中存在的內容和位置(通過查找屬于它的所有像素)

語義分割模型可以被認為分類問題，其中每個像素被分類為來自某一系列對象中的某一個，為了識別衛星圖像上每個像素的具體農作物類型(如玉米、花生、水稻和大豆)，農作物分類可以被視為多級語義分割任務。

2.6 DeepLabv3+模型

2.6.1 模型基礎

2.6.1.1 深度卷積神經網絡DCNN

深度卷積神經網絡(DCNN)如AlexNet、VGG和ResNets的常規深度卷積神經網絡模型不適合于這類像素級預測任務，因為這些模型包含很多層，經過多層卷積層和池化層來降采樣，此時特征圖維度降低，但是特征更高級，語義更豐富，對于簡單的圖像分類任務沒有問題，由于特征圖過小對于語義分割模型則無法接受。圖3為深度卷積神經網絡基本架構。

圖3 深度卷積神經網絡基本架構示意圖

2.6.1.2 殘差網絡ResNet

殘差網絡(ResNet)是一個非常受歡迎的DCNN，ResNet的特點是容易優化，并且能夠增加相當的深度來提高準確率，其內部的殘差塊使用了跳躍連接，緩解了在深度神經網絡中增加深度帶來的梯度消失問題。

2.6.1.3 DeepLabv3

DeepLab使用在ImageNet上預訓練的殘差網絡ResNet作為其主要特征提取器網絡，在這個模塊頂部，使用了ASPP。

2.6.1.4 ASPP空洞空間金字塔池

對于ASPP，其想法是為模型提供多尺度信息，因此ASPP增加了一系列具有不同擴張率的空洞卷積，這些不同擴張率是為了獲取較大上下文圖像語義信息，此外，為了添加全局上下文信息，ASPP通過全局平均池合并了圖像級的特征。

2.6.1.5 空洞卷積

空洞卷積是帶有擴張因子的傳統卷積，其中擴張因子擴展了濾波器的視野。

2.6.2 模型架構

DeepLabv3+是性能最好的語義分割模型之一。相較于其它語義分割模型，采用2大關鍵技術，把Xception和深度可分離卷積應用到ASPP和Decoder中，編碼器-解碼器(Encoder-Decoder)結構可以更好地恢復物體的邊緣信息。

DeepLabv3+模型的整體架構如圖4所示，將原DeepLabv3當作Encoder，添加Decoder，得到新的模型DeepLabv3+。其Encoder的主體就是原DeepLabv3，Decoder的主體是帶有空洞卷積的DCNN，采用常用的分類網絡ResNet，然后是帶有空洞卷積的SPP，主要是為了引入多尺度信息，相比DeepLabv3，v3+引入了Decoder模塊，其將底層特征與高層特征進一步融合，提升分割邊界準確度。

圖4 DeepLabv3+模型的整體架構示意圖

3 實驗分析及精度評估

以原陽縣為研究區，采集原陽縣7個村，共21個樣方，共18景多光譜無人機影像；進行作物標注，并基于深度學習進行作物分類識別；最終識別規則為將樣方內及周圍作物分為5類，分別為玉米、水稻、花生、大豆、其它(道路、坑塘、水溝、園林、大棚、建筑等)5類。并進行分類精度驗證。

3.1 數據采集

使用大疆精靈4多光譜版搭載了一體式的多光譜成像系統，集成了1個可見光及5個多光譜傳感器(藍、綠、紅、紅邊和近紅外)。配置智能規劃軟件，創建自動化作業任務，包括飛行計劃、任務執行和飛行數據管理。利用制圖軟件，進行照片拼接和基礎指數提取。通過相關軟件完成影像的拼接及相關指數層提取。

大疆精靈4以開發基于安卓版的SDK，后期可集成于安卓平板。無人機獲取數據參數：飛行高度，120m；地面分辨率，5cm；光譜通道，可見光拼圖1套，紅、綠、藍、近紅外光單獨通道4套，自動計算的指數5套，DSM數據5套；單個樣方飛行時間，2min以下，此次為了積累訓練數據，飛行面積大大超過200m×200m的樣方面積。

3.2 數據處理

快速拼圖使用大疆制圖軟件對拍攝完成后的原片進行快速制圖，2.5G左右文件，約8min即可完成(拍攝范圍遠遠大于樣方面積)。

3.3 模型訓練

標注使用深度學習專業標注軟件，對7個村拍攝范圍內的影像進行標注，以供后期訓練學習。進行像素級別標注(即水稻或玉米地中的樹木、墳地都會標注出來)，分為玉米、水稻、花生、大豆、其它(道路、坑塘、水溝、園林、大棚、建筑等)5類。

訓練模型構建，基于可見光圖層，紅、綠、藍、近紅外、DSM等6個維度進行訓練。將不同地物的光譜特征、紋理特征和高度特征進行充分考慮，使用深度學習算法進行訓練。植被、水、建筑、道路、大棚之間有著明顯光譜區別，易于區分；園林木與作物之間在紋理與光譜之間差別也較大，也易于區分；玉米、水稻、花生、大豆之間，光譜差別較小，但在紋理、高度差別較大，也相對容易區分。

3.4 分類結果

以桂劉莊為例，使用深度學習分別對遙感影像和無人機拍攝的影像進行分類，分類結果如圖5所示。從圖5中可以看出，以GF-6為底圖進行的野外實測，主要有玉米、花生、果樹、道路、其它等地類，不同地類邊界整齊；以GF-6為底圖采用機器學習的方法進行分類，從分類結果看，不同地類的識別精度比較準確，但是不同地類的圖斑邊界精度效果很不理想，如道路并沒有單獨識別出來，玉米和花生的圖斑邊界相互交錯，兩類作物中間的空隙識別成道路，區分度很差，果樹所在地塊識別不準，錯分為其它和裸地；以無人機影像為底圖進行機器學習分類，分類效果比較理想，不同地類識別準確，圖斑邊界精度也很高，尤其是果樹、裸地等地物邊界精度較高，其中果樹地塊中的行樹間的裸地也很精確地識別并分離出來，部分花生地塊中長勢較差土壤裸露較大的位置也可以識別分離出來。

圖5 不同數據源機器學習自動解譯分類效果對比

3.5 精度驗證

將遙感數據分類結果和無人機分類結果進行統一處理，以野外實測數據為監測數據，采用混淆矩陣分析方法分別對以2種數據源為底圖的機器學習分類結果進行精度分析，以遙感影像為底圖的機器學習分類結果中，總體分類精度為81.26%，其中花生分類精度為77.43%，玉米分類精度為89.69%；以無人機影像為底圖的分類結果中，總體精度為96.16%，其中花生分類精度為93.77%，較遙感影像分類精度提升16.34%，玉米分類精度為98.91%，較遙感影像分類精度提升9.22%。分析結果如表4-6所示。

表4 遙感影像分類結果精度驗證矩陣

表5 無人機影像分類結果精度驗證矩陣

表6 不同數據源為底圖的主要作物機器學習分類精度

4 研究總結

綜上，目前無人機多光譜影像自動分類精度均在90%以上，飛行及識別時間均在預期范圍內，已經能初步滿足調查工作使用，后續可以繼續完善深度學習模型訓練，將多種植被指數納入訓練體系，從而進一步提升分類精度，使調查結果更為精準，實現多光譜無人機調查替代人工調查。

5 延伸與展望

5.1 影像配準及面積統計

目前因無人機外業時RTK信號不強，未開啟RTK高精度定位功能，后期開啟后，可與前期通過衛星影像勾繪的矢量進行精準配準。

配準后，可對分類結果進行面向對象的后處理。目前現有分類結果是以像素為單位，處理后的結果是以矢量為單位，可有效地過濾雜質像素，完成以矢量為單位的自動解譯，并進行不同地物類別的面積統計和自動填報。

5.2 農作物長勢監測

長勢監測工作主要利用植物的反射光譜，植物的反射光譜隨著葉片中葉肉細胞、葉綠素、水分含量、氮素含量以及其它生物化學成分的不同，在不同波段會呈現出不同的形態和特征的反射光譜曲線。不同的作物、或同一作物在不同的環境條件、不同的生產管理措施、不同生育期，以及作物營養狀況不同和長勢不同時都會表現出不同的光譜反射特征。

目前可以結合農業部門關于作物苗情的監測情況，使用多光譜無人機對確定的苗期數據進行飛行，獲取植被指數。將處理好的無人機影像數據對應的不同星源衛星影像數據、MODIS數據一齊獲取，并保持時間的一致性。對這3個數據均進行植被指數的提取分析，研究這3個植被指數之間的關聯、相關性等，進而確定一個比例或者擬合系數，通過這個系數對全區的植被指數進行分析，獲取到監測地區的不同區域的苗情和長勢情況。

此外也可以將農情遙感監測技術與無人機平臺相結合，不僅可以控制在低成本內獲取高時間、高空間分辨率的遙感影像，而且減少了天氣、地形等對影像獲取的影響，可以實時獲取作物關鍵生育時期的信息，從而使得快速準確監測作物長勢成為可能。

5.3 農作物產量估算

遙感估產是基于作物特有的波譜反射特征，利用遙感手段對作物產量進行監測預報的一種技術。利用影像的光譜信息可以反演作物的生長信息(如LAI、生物量)，通過建立生長信息與產量問的關聯模型(可結合一些農學模型和氣象模型)，便可獲得作物產量信息。

在收集分析各種農作物不同生育期不同光譜特征的基礎上，通過無人機影像記錄的地表信息，辨別作物類型，監測作物長勢，并在作物收獲前，預測作物的產量?；跓o人機影像產品提供的植被指數產品，采用積分數據原理，計算累積植被指數LNDVI；構建NPP與LNDVI關系函數；根據NPP與作物總產的關系，確定作物的產量轉換系數，利用當年監測區域的總NPP值來估算當年作物的總產。