基于改進的DeepLabV3+模型結合無人機遙感的水稻倒伏識別方法

慕濤陽 趙 偉 胡曉宇 李 丹

(東北林業大學 信息與計算機工程學院，哈爾濱 150040)

水稻是我國重要的糧食作物，水稻產量的波動會對糧食安全產生一定的影響。水稻生長容易受到不良氣象因素影響從而導致水稻產生倒伏現象，形成大范圍倒伏災害，不僅會造成較大的產量和質量損失，而且對農業機械的自動化收割產生不利影響，造成農戶經濟損失。因此監測水稻倒伏受災區域對提升農業機械的收割效率和降低農民經濟損失具有重要意義[1]。

傳統遙感影像數據獲取為人工獲取，所需要的人力物力較大，獲取倒伏信息的成本高、效率低，大面積快速監測的手段非常有限，并且受勘測人員的主觀影響較大。目前利用無人機獲取遙感數據進行倒伏監測可以降低數據獲取的時間成本，無人機具有獲取遙感數據靈活方便、圖像的空間分辨率高等優點，可以較好的應用于農作物災情監測等領域。已有研究[2]表明利用無人機遙感技術在小尺度范圍使用航拍攝影的方式，可以提取小尺度農作物的倒伏信息，并提出了相應的農作物倒伏面積信息提取的方法：1)對植被各光譜之間的差異進行分析，快速獲取玉米倒伏災情信息[3]；2)經過構建5種典型特征組合，對農作物倒伏面積進行特征組合提取[4]；3)采用色彩或者閾值分割來分析倒伏情況并對倒伏面積進行提取[5]；4)基于分水嶺算法結合自適應閾值分割的混合算法[6]；5)采用色彩或者閾值分割來分析倒伏情況并對倒伏面積進行提取[7]。以上方法[8-11]的缺點是倒伏與非倒伏區域區分不明顯，并且使用的算法模型的效率較低，降低了水稻倒伏識別模型的工程實用性。

水稻倒伏監測的另1種手段是使用雷達遙感技術[12]。已有研究使用地基雷達進行植被檢測[13-14]，地基雷達對測量物體有一定的穿透力，能夠不受云霧雨水影響，對待測物體群體結構產生的變化很敏感[15-17]，同時可以模擬出被測物體的3維點云模型，能夠對農作物進行生長狀態識別與監測[18]。目前雷達遙感的研究對不平整且碎塊較多的地面，其結果會受到一定的影響，并且對大范圍農作物的識別監測需要耗費大量的資源，研究成本高昂。

綜合研究表明，目前的水稻倒伏識別方法無法滿足大范圍的水稻倒伏區域識別，存在識別時效低、精度低、成本高的缺點。本研究擬將深度可分離卷積和混合域注意力機制引入DeepLabV3+模型中，將無人機遙感圖像與改進DeepLabV3+深度學習模型結合，降低識別成本，增強模型對水稻倒伏識別的魯棒性和泛化能力。

1 材料與方法

1.1 研究區域概述及試驗裝備

本試驗于2020年10月12日在黑龍江省佳木斯市七星農場(132.133° E，47.516° N)進行。該農場地處三江平原腹地，地勢低平，坡降平緩，總面積約103 000 hm2，以水稻為產業支柱。該地區屬中溫帶大陸性季風氣候，年平均氣溫3 ℃，冬長夏短，無霜期約140 d，年平均降水量527 mm，日照時數2 525 h，適宜的溫度、肥沃的土壤共同組成了水稻生長的理想環境。

數據采集試驗部分使用大疆悟Inspire1無人機，搭載的相機型號為DJI FC6310R。倒伏識別試驗硬件方面，CPU為Intel Xeon Gold 6128，內存64 GB，顯卡為GTX 1080Ti×3。倒伏識別試驗軟件方面，系統版本為Ubuntu 18.04.2，CUDA版本為9.0。基于Python編程語言使用TensorFlow框架和Keras框架進行深度學習模型的搭建。

1.2 數據采集

2020年10月上旬佳木斯市出現臺風等強對流天氣，導致七星農場內出現多處水稻倒伏災情。2020年10月12日，以七星農場內倒伏最為嚴重的區域作為試驗區域，使用無人機搭載RGB載荷平臺對試驗區域的水稻冠層進行低空拍攝。數據獲取于當日09:00，天氣晴，航拍時無人機飛行高度為448 m，飛行速度5 m/s，航向重疊率90%，旁向重疊率80%，規劃主航線條數12條，航點數140個，獲取原始圖像346張，單張原始圖像分辨率183點/cm，獲取試驗區域面積約1.2 hm2。利用倒伏分級方法，將水稻分為倒伏、半倒伏和未倒伏3種狀態[19]。

使用Pix4D mapper軟件對原始遙感圖像進行拼接校正[20]。Pix4D mapper是1款便捷、高效的無人機遙感數據處理軟件。應用該軟件的圖像拼接功能對采集的圖像進行正射校正和圖像拼接[21]。首先進行航片對齊，并解算圖片的空中三角測量數據，然后進行幾何校正、關鍵點匹配、解算數據構建密集點云及紋理信息，最后得到大范圍水稻倒伏的數字正射影像。

1.3 數據集及預處理

得到水稻倒伏區域的數字正射影像后，由于計算機內存較低且高分辨率遙感圖像的尺寸不同，不能直接將遙感圖像直接輸入到深度學習網絡中進行訓練。需要先將數字正射影像進行標注和裁剪，標注分為倒伏、半倒伏、未倒伏和其他雜物4部分，分別用紅、黃、綠和黑色進行標注。數據集預處理具體過程如下：

數據標注。本研究使用Labelme工具進行圖像標注，Labelme是1款開源的輕量級圖像標注軟件，能夠對圖像數據進行標注。

數據裁剪。在對原始圖像進行標注之后，再對原始圖像和標注圖像進行裁剪。

數據增強。在數據增強過程中時進行模糊、鏡像、噪聲、旋轉、隨機偏斜等操作。為了增加深度學習模型的魯棒性，本研究在增加噪聲時加入了高斯噪聲及椒鹽噪聲。

數據集劃分。在經過數據增強后，得到5 000余幅高分辨遙感數據集。將數據集隨機劃分訓練集、測試集和驗證集，以0.7∶0.15∶0.15的比例進行測試。2種典型特征的水稻倒伏圖像見圖1。

圖1 2種典型特征的水稻倒伏原始圖與標注圖Fig.1 Original and annotated images of two typical characteristics of rice lodging

1.4 SVM支持向量機算法

傳統機器學習算法SVM支持向量機算法是有監督學習分類算法的1種，是在特征空間上使用間隔最大化學習策略的線性分類器。SVM支持向量機算法的主要思想是在特征空間中尋找超平面，使用極低的錯分率將正負樣本區分，經過學習獲取對樣本求解的最大邊距超平面。SVM支持向量機算法在學習非線性方程時提供了1種優秀的方法。

1.5 改進DeepLabV3+網絡結構

1.5.1DeepLabV3+網絡結構

目前語義分割所需要面對的問題主要是，圖像的連續池化和下采樣的問題，大多數語義分割網絡采用空洞卷積的方法進行處理。為了解決多尺度目標的問題，DeeplabV3+語義分割模型中引入了編碼器和解碼器結構，模型融合了ASPP結構和Encoder-Decoder方法[22]。不僅可以充分挖掘多尺度的上下文信息，而且可以使用重構圖像空間信息的方法確定物體的邊界。ASPP對于輸入特征圖x，其輸出特征圖(y)為：

(1)

式中：i為1維輸入信號；w[k]為濾波器數值；r為膨脹率；K為空洞卷積的長度。

DeepLabV3+的空洞卷積結構是在傳統網絡的標準卷積的結構基礎上進行拓展，空洞卷積的感受野計算與標準卷積核一致，其空洞卷積感受野的值K為：

K=k+(k-1)(r-1)

(2)

式中：k為原始卷積核大小；r為空洞卷積實際卷積核的大小。

DeeplabV3+網絡結構主要分為解碼層和編碼層[23]。DeeplabV3+的編碼模塊是由DeepLabV3作為編碼器，利用卷積核生成任意維度的特征。DeeplabV3+的解碼模塊，首先將圖像的編碼特征進行雙線性上采樣，然后將主干網絡所輸出的特征進行拼接，由于所輸出的特征可能會超出編碼特征，所以在拼接特征前需要采用11卷積，對特征進行操作，以減少通道個數。同時處理時采用3×3卷積和4因子的雙線性內插上采樣方式，接著與經過4倍雙線性內插上采樣的特征圖進行融合，最后經過3×3卷積后4倍雙線性內插上采樣將圖片恢復至原圖的分辨率，完成語義分割。DeeplabV3+的網絡結構見圖2。

圖2 DeeplabV3+網絡結構Fig.2 DeeplabV3+ network structure

相比較于傳統的DeepLab系列模型，DeepLabV3+中的編碼特征需要直接將雙線性采樣從1/16上采樣還原到原始分辨率[24]，DeepLabV3+改進了使用空間金字塔池的DeepLabV3，同時使得編碼器能夠應用于卷積，因此可以經過任意分辨率來提取特征[25]。DeepLabV3+能夠改善圖片分割、語義分割的效果，其原因與加入的解碼模塊相關，新的解碼模塊提高了模型處理圖像邊界的效果，較好的保留了目標的邊緣細節信息[26]，而且encode-decoder能夠實現對Atrous convolution的靈活控制，從而能夠有效的獲得編碼特征的分辨率，使得DeepLabV3+模型在語義分割的精度和效率都達到了非常好的效果。DeepLabV3+的網絡結構分為EnCoder和DeCoder，其中EnCoder模塊與DeepLabV3模型相同，DeCoder模塊類似于Unet模型的上采樣部分，可以幫助圖像上采樣的過程中更加的平滑。

1.5.2建立改進DeepLabV3+網絡結構

本研究以DeepLabV3+網絡模型為主網絡，對DeepLabV3+網絡從2個方面進行改進。首先，將ASPP結構中的標準卷積替換為深度可分離卷積，空洞卷積替換為空洞深度可分離卷積，加快結構信息的傳輸速度，提高網絡效率；其次，將卷積注意力機制(CBAM)嵌入進DeepLabV3+網絡結構中，提高卷積神經網絡的注意力，減少無關特征對識別精度的影響。CBAM包括空間注意力與通道注意力機制2個模塊，能夠實現通道權重與空間權重的自學習。

經過隨機畫出4個3×3卷積操作，能夠更加形象的表現通道分離的過程，此時深度可分離卷積的結構見圖3。輸入特征后將每個通道進行3×3卷積，使其通道分離。隨后拼接特征，進行1×1卷積，得到輸出特征。深度可分離卷積主要可以應用在DeepLabV3+模型中的ASPP模塊，如ResNet、VGG[13]等網絡使用堆疊大量的卷積層和池化層來使網絡同時學習特征圖的空間相關性和通道相關性[27]，而深度可分離卷積先是逐個通道學習特征的空間相關性，再用標準卷積學習特征的通道相關性[28]。深度可分離卷積與空洞卷積相比，深度可分離卷積可以使用更少的參數來進行特征學習，提升網絡的迭代效率。本研究在DeepLabV3+模型的ASPP模塊中將標準卷積替換為深度可分離卷積、空洞卷積替換為空洞深度可分離卷積，在不降低預測精度的前提下，能夠大幅提升DeepLabV3+網絡模型的訓練效率。

通過原原本本向農民反復宣傳中央有關文件精神，使他們對土地流轉形式、流轉程序、履行手續以及對自身權益的影響等問題有基本的認識。

圖3 深度可分離卷積結構Fig.3 Deep separable convolution structure

卷積注意力機制是結合空間與通道的卷積注意力模塊，本研究引入卷積注意力機制構建的混合域注意力機制模塊，使得卷積神經網絡更加關注關鍵信息，抑制非關鍵信息。混合域注意力機制模塊分為通道注意力和空間注意力2個模塊，DeepLabV3+模型在進行下采樣時會丟失信息，造成精度降低。本研究引入了混合域注意力機制模塊，將注意力映射從特征圖的通道和空間2個維度進入，對特征圖進行自適應的特征優化，降低非關鍵信息的干擾，提升DeepLabV3+網絡的表征能力。CBAM卷積注意力模塊結構見圖4。

圖4 CBAM卷積注意力模塊結構Fig.4 Convolutional block attention module

輸入特征圖后，通道注意力將特征圖壓縮為1維矢量，逐元素求和合并，產生通道注意力圖。通道注意力可以關注特征圖上的重要內容，經過平均值池化對特征圖的所有像素點產生反饋值，最大值池化在進行梯度反向傳播時，只在特征圖響應最大的地方產生梯度反饋。輸入1個H×W×C的特征圖F，對特征向量使用最大池化和平均池化進行壓縮，通道注意力機制為：

(3)

通道注意力模塊輸出后的特征圖經過空間注意力模塊，經過全局最大池化和全局平均池化，生成2個1通道特征圖，然后將2個結果進行連接，降維成1維卷積經過sigmoid生成空間特征，將之前提取到的通道數為1的特征圖合并，生成最終的2通道特征圖。特征圖F的空間注意力機制為：

(4)

本研究經過改進DeepLabV3+網絡結構，凸顯對于模型網絡學習有利影響的通道信息，并降低消極冗余通道信息，加強優勢特征的針對性，使得模型分割效果更為精細，同時可以在不影響模型運行時間的基礎上，增強深度學習網絡的魯棒性和泛化能力[29]。

2 試驗與結果分析

2.1 試驗參數設置及網絡訓練

為加速深度學習模型的收斂，本研究將數據集隨機劃分訓練集、測試集和驗證集，并且以0.7∶0.15∶0.15的比例進行測試。循環次數設置為1 000，初始學習率設置為1×10-3，根據試驗環境配置將batchsize設置為4。

本研究采用改進的DeepLabV3+網絡模型作為主網絡模型進行訓練，骨干網絡模型分為ResNet50與ResNet101，總體來看兩者的精度值都隨著訓練次數的增加而增加并且逐漸穩定，但是ResNet101骨干網絡收斂速度明顯更快、精度更高。ResNet101使用批歸一化的方法來化解梯度消失的現象，降低了網絡訓練過程中對于初始值權重的依賴，并且在使用堆疊殘差網絡模塊搭建網絡模型時，不會出現模型退化現象，訓練后期的波動更小。因此本研究將ResNet101作為改進DeepLabV3+的骨干網絡。為了探究對于DeepLabV3+模型的改進效果，對比DeepLabV3+模型在改進前后的收斂速度以及精度對比。改進DeepLabV3+與DeepLabV3+模型在驗證集的識別精度對比見圖5，可以看出，改進后的DeepLabV3+模型在水稻倒伏數據集上識別精度更高，同時收斂速度更快，后期的波動更小，說明改進后的DeepLabV3+模型的魯棒性和模型的泛化能力更強，識別效果優于DeepLabV3+模型。

圖5 DeepLabV3+模型改進前(a)和改進后(b)對水稻倒伏的識別精度Fig.5 The accuracy map of rice lodging recognition before (a)and after (b)improvement of DeepLabV3+ model

2.2 模型評價指標

(5)

(6)

(7)

(8)

(9)

(10)

(11)

式中：TP表示被正確分割為水稻倒伏區域的像素數量；TN表示被正確標記為其他不相關區域的像素數量；FN表示為被錯誤標記為水稻倒伏區域的像素數量；FP表示為被錯誤標記為其他的水稻倒伏區域的像素數量；PE表示真實樣本數乘實際樣本數與總樣本平方的比；A為人工標記的正確圖像面積；B為深度學習模型識別得到的圖像面積；k表示圖像類別個數。

2.3 閾值分割倒伏區域識別方法

本試驗采用傳統的閾值分割識別技術對倒伏面積進行提取，使用植被指數對水稻倒伏區域進行識別。對水稻倒伏影像進行基于顏色植被指數的識別，使用的植被指數有過綠指數(2G-R-B)、過綠-過紅指數(3G-2.4R-B)、歸一化綠-紅差值指數((G-R)/(G+R))和綠葉指數((2G-R-B)/(2G-R-B))，經過對比分析，發現過綠指數能夠在提取出相對精準的水稻倒伏植被信息后，并且產生的噪音點較少，所以本試驗使用ENVI軟件采用過綠指數對水稻倒伏圖像進行提取，計算得出水稻倒伏遙感圖像的過綠指數結果。

經過閾值分割得到水稻倒伏圖像的像素分布在-11～60區間內，將-11～0的像素分為背景，0～10的像素分為未倒伏水稻，10～20的像素分為半倒伏水稻，20～60的像素分為倒伏水稻。經過圖片上色后，生成倒伏預測圖。過綠指數計算結果與閾值分割識別結果見圖6。

圖6 水稻倒伏過綠指數結果(a)與閾值分割識別效果(b)Fig.6 Rice lodging green index result (a)and threshold segmentation recognition effect (b)

閾值分割識別之后，使用均值哈希算法對閾值分割識別圖與標注圖進行對比，得到均值哈希算法相似度為30，表明閾值分割識別圖的精度低于0.5，精度較低，傳統的閾值分割技術倒伏與非倒伏區域區分不明顯，達不到實際倒伏識別所需精度。

2.4 模型對比分析

本研究使用傳統機器學習算法SVM與改進的DeepLabV3+模型進行對比。改進后的DeepLabV3+深度學習模型的準確率遠遠高于傳統的機器學習算法，并且在試驗過程中，傳統機器學習的準確率較低，準確率為0.58，Kappa系數為0.53，平均交并比為0.55；改進后的DeepLabV3+模型的準確率為0.99，Kappa系數為0.98，平均交并比為0.97。相對于傳統機器學習SVM算法，改進后的DeepLabV3+有著更高的準確率、平均交并比和Kappa系數，擁有著更高的水稻倒伏識別工程的實用性。對水稻倒伏識別評估結果對比見表1。

表1 SVM與改進DeepLabV3+模型對水稻倒伏的識別結果Table 1 Evaluation results of SVM algorithm and improved DeepLabV3+ model for rice lodging recognition

本試驗采用10種深度學習模型與改進DeepLabV3+模型進行對比試驗，其中包括NetAdapt、BiseNet、DeepLabV3+、DenseASPP、SegNet、ICNet、FRNN、GCN、MobileUNet和RefineNet。經過對比分析11種模型在標注完成的水稻倒伏圖像上的分類所需要的時間與分類準確率，得出1種準確率較高、分類預測時間能夠滿足實際作業需求的模型。10種模型在經過訓練和預測水稻倒伏區域的準確率、Kappa系數、像素準確率、召回率、平衡F分數、平均交并比、交并比與訓練時間見表2。

表2 各模型對水稻倒伏識別的評估結果Table 2 Evaluation results of various models on rice lodging recognition

根據訓練模型對倒伏面積進行預測得到各模型對于水稻倒伏區域的提取結果見圖7。可見，改進DeepLabV3+模型和其他10種模型都完成了對水稻倒伏的識別，但各個模型之間的識別差異較大。相比較于改進后的DeepLabV3+模型，DeepLabV3+模型在識別精度等各項指標方面低于改進后的DeepLabV3+模型，同時預測圖的效果有少量的明顯識別錯誤。RefineNet、DenseASPP、ICNet和BiseNet網絡模型的各項指標較低，其預測效果圖與原圖差距較大，存在大量的識別錯誤，不適合作為水稻倒伏識別的網絡模型。NetAdapt、SegNet、FRRN和MobileUNet網絡模型各項評價指標較為均衡，可以較好的實現水稻倒伏識別，但仍然存在少量明顯的錯誤，其中將背景識別為倒伏水稻的錯誤最為明顯。改進后的DeepLabV3+模型與GCN模型在預測圖上的效果最好，對倒伏識別的錯誤較少，但GCN模型的預測圖相比標注圖，邊緣處理效果較為模糊，相比較于改進DeepLabV3+，GCN模型的精度略低，改進DeepLabV3+模型的MIoU和IoU明顯優于GCN，同時改進DeepLabV3+預測圖的邊緣處理更為平滑，預測圖顯示效果優于GCN網絡模型。總體來看，改進DeepLabV3+模型對于水稻倒伏識別的效果最好，特征提取更加迅速，預測識別圖邊緣處理圓滑并且細節處理更優秀，其準確率、Kappa系數、MIoU與訓練時間均優于其他網絡結構。

圖7 標注圖(a)與各模型對水稻倒伏的識別效果(b)～(l)Fig.7 Annotated image (a)and each model on the recognition effect of rice lodging (b)-(l)

綜上，與傳統的閾值分割技術和機器學習算法以及其他深度學習算法相比，改進DeepLabV3+模型在指標評價和識別效果圖均具有較大的優勢，表現出良好的泛化能力，能夠滿足對于水稻倒伏識別準確率高和識別速度快的要求，在水稻倒伏識別方面有一定的現實應用價值。

2.5 倒伏智能評估系統

為滿足水稻倒伏識別的實際應用場景，滿足農戶單人對大范圍倒伏區域進行識別，本研究使用C# 與Python語言開發水稻倒伏智能評估系統。系統實現了從無人機遙感圖像獲取的預處理到深度學習模型的識別以及災情報告單打印的功能。系統模塊主要分為預處理模塊、倒伏識別模塊和倒伏面積計算模塊。預處理模塊使用了開源代碼GIMP工具，可以實現對圖片的裁剪、縮放和更改格式等操作。倒伏識別模塊使用預訓練的改進DeepLabV3+模型，能夠以較高的精度對水稻倒伏區域進行識別提取。倒伏面積計算模塊提取倒伏區域后利用比例尺計算實際的倒伏面積，使用Python-Word開源庫將數據保存到word中，方便查勘人員進行定損報告單打印。為了更好的體現深度學習模型對于水稻倒伏災情的識別效果，本試驗首先將無人機航拍數據整合成大尺度圖片，使用深度學習模型對于大尺度圖片進行識別，最后將原圖與模型識別圖進行融合，生成更為直觀的災情效果圖。倒伏面積預測功能與災情效果圖功能的系統界面見圖8。

圖8 改進DeepLabV3+的水稻倒伏預測功能(a)與災情效果輸出功能(b)界面Fig.8 Improved some functional interfaces of DeepLabV3+’s rice lodging recognition system

該系統實現了自動化倒伏識別、倒伏面積提取和定損計算，解決了傳統查勘定損效率低、強度大、定損標準不統一和取證保全不足等問題，為解決水稻倒伏識別和查勘定損提出了一種標準化的解決方案。

3 結束語

本研究針對當前水稻倒伏識別存在的問題，提出了一種無人機遙感圖像結合改進DeepLabV3+模型的水稻倒伏識別方法。使用搭載高分辨率RGB相機載荷平臺的無人機，獲取水稻倒伏的遙感圖像；改進的DeepLabV3+模型識別水稻倒伏的準確率、Kappa系數、像素準確率、召回率、平衡F分數、平均交并比和交并比分別達到了0.98、0.98、0.99、0.99、0.99、0.97和0.96，分割效果遠超閾值分割識別以及傳統的機器學習算法和其他10種深度學習算法；建立了一套完整的水稻倒伏識別系統，為非專業人士使用無人機遙感圖像結合深度學習提供了途徑。

本研究提出的基于無人機遙感圖像結合改進DeepLabV3+模型的水稻倒伏識別方法解決了水稻倒伏識別難、成本高的問題，改進的DeepLabV3+模型在保證識別速度的基礎上，達到了較高的識別精度，為大面積、高效率、低成本的水稻倒伏監測研究提供了一種有效的方法。