基于深度學習的無人機遙感小麥倒伏面積提取方法

申華磊 蘇歆琪,2 趙巧麗 周 萌 劉 棟,4 臧賀藏

(1.河南師范大學計算機與信息工程學院， 新鄉 453007； 2.河南省農業科學院農業經濟與信息研究所， 鄭州 450002； 3.農業農村部黃淮海智慧農業技術重點實驗室， 鄭州 450002； 4.河南省教育人工智能與個性化學習重點實驗室， 新鄉 453007)

0 引言

小麥作為河南省主要糧食作物，連續5年播種面積穩定在5.67×107hm2以上，占全國小麥種植總面積近1/4，總產3.75×1010kg[1-2]，肩負著我國糧食安全重任。倒伏是制約小麥品種產量的主要因素[3]，近年來由于臺風天氣偏多，暴風雨時有發生，對小麥產量影響極大，嚴重時減產達50%[4]。及時準確地提取小麥倒伏面積，可為災后確定受災面積及評估損失提供技術支撐[5]。

目前，小麥倒伏面積的獲取主要包括低通量的人工測量和高通量的遙感測量[6-8]。人工測量法存在主觀性強、隨機性強、缺乏統一的標準，導致效率低下且費時費力，不能高效快速地提取倒伏面積。而遙感測量法是基于遙感影像中不同紋理[9]、光譜反射率[10]、顏色特征[11]等進行特征融合，采用最大似然法對圖像進行監督分類提取倒伏面積。隨著深度學習在語義分割中的快速發展，國內外專家采用語義分割方法檢測作物倒伏面積取得了突破性進展[12-16]。這些研究主要采用遙感測量法進行特征分類，分割方法較為單一，未對不同特征篩選與分類方法進行組合優選，而深度學習方法存在無人機飛行高度較高的情況，只能實現粗略的倒伏區域分割。

深度學習的優勢在于通過多層神經網絡自動提取有效特征，這些特征不僅包括圖像的局部細節特征，而且包括圖像的高級語義特征。但由于計算量大、資源消耗的限制，特別是遙感高分辨率圖像，內存約束要求必須對其進行下采樣，或將其分割成多個塊分別進行處理。然而，前一種方法會使圖像失真，而后者則會由于缺乏全局信息造成誤判。因此，本文移植并改進一種基于注意力機制的深層顯著性網絡U2-Net[17]，對其進行輕量化，以對小麥倒伏面積進行信息提取和自動分割。同時，通過無人機拍攝圖像并自建數據集，對該模型性能進行評價。

1 研究區概況與數據

1.1 研究區概況

研究區位于河南省農業科學院河南現代農業研究開發基地的小麥區域試驗試驗地，地處35°0′44″ N，113°41′44″ E，如圖1所示。氣候類型屬暖溫帶大陸性季風氣候，年平均氣溫為14.4℃，多年平均降雨量為549.9 mm，全年日照時數2 300～2 600 h，冬小麥—夏玉米輪作為該地區的主要種植模式。

圖1 研究區位置Fig.1 Geographical location of study area

1.2 數據采集與預處理

根據國內外專家經驗[12-14，18]結合本研究實際情況，實驗采用大疆精靈4 Pro型無人機，軸距350 mm，相機像素為2 000萬像素，影像傳感器為1英寸CMOS，鏡頭參數為FOV 84°，8.8 mm/24 mm(35 mm格式等效)，光圈f/2.8～f/11。搭載GPS/GLONASS雙模定位，拍攝圖像分辨率為5 472像素×3 078像素，寬高比為16∶9。時間為2020年5月14日，此時研究區內小麥處于灌漿期。影像采集時間為 10：00，天氣晴朗無云，垂直拍攝，飛行速度3 m/s，飛行時長25 min，航向重疊度為80%，旁向重疊度為80%，相機拍照模式為等時間隔拍照，最終采集700幅原始圖像。飛行采用大疆無人機自動規劃的航線，共規劃5條航線，航拍完成后采用自動返航的方式降落，如圖2所示。

圖2 無人機自動規劃航線圖Fig.2 UAV automatic planning route map

為實現小麥倒伏區域細粒度分割，使倒伏區域更加精確，本實驗設置飛行高度為30 m。低于30 m，無人機可能與建筑碰撞，而高于30 m，則無法獲得較高分辨率圖像。無論無人機飛行高度和天氣條件等變量如何變化，只要在可控操作的環境下，通過合適的訓練及參數調整，本模型技術均具有一定的有效性和準確性。圖3為小麥倒伏圖像2種分割策略，裁剪方法注重局部特征，下采樣方法注重全局特征。

圖3 小麥倒伏圖像分割策略Fig.3 Different methods for wheat lodging image segmentation

1.3 數據集構建和標注

實驗使用原數據集700幅圖像，通過對測試集進行去重，訓練集進行優選，最終篩選出250幅原始數據圖像。深度學習通常需要大量數據，本實驗采用的高通量數據分辨率為5 472像素×3 078像素，深度學習通常使用數據分辨率僅為512像素×512像素。如果使用滑動窗口進行裁剪，單幅圖像可裁剪出64幅完全無重復圖像，經過隨機位置裁剪，單幅圖像可得到100幅以上有效圖像。250幅原始圖像經過數據處理后可得25 000幅有效圖像，滿足了深度學習的數據量要求。無人機飛行過程中，由于無人機拍攝角度和光影不同，不同航道拍攝相同位置圖像會有差異，因此同樣存在訓練價值。為了均衡數據，選取第1、2、3號航線圖像作為訓練集，5號航線圖像作為測試集。本研究分下采樣組和裁剪組，具體步驟為：

(1)篩選出無人機姿態平穩、拍攝清晰無遮擋數據，用于深度學習訓練。

(2)人工標注：使用Labelme插件[19]將小麥中度、重度倒伏區域標注為前景，其余區域標注為背景，并轉換成二值圖像作為訓練集和測試集的標簽。

(3)下采樣組和裁剪組：下采樣組將所有訓練樣本和測試樣本等比例下采樣至342像素×342像素，之后通過背景填充將圖像擴充至512像素×512像素。裁剪組將測試樣本裁剪為固定比例、邊緣重疊和圖像分辨率為512像素×512像素，同時記錄重疊區域的長和寬。

(4)數據增強：對下采樣組訓練樣本進行無損變換，即水平或豎直隨機旋轉，以提高模型的魯棒性。對裁剪組訓練樣本進行隨機剪裁，剪裁區域尺寸為512像素×512像素，以在每輪訓練中生成不同的訓練樣本。

(5)圖像拼接和恢復：將裁剪組掩膜圖按記錄的重疊區域長和寬進行合并，最終拼接成5 472像素×3078像素的分割結果圖。將下采樣組掩膜圖裁剪為342像素×342像素，并等比例放大復原。

(6)精度驗證：對比分割結果(Mask)圖和標注(Ground truth)圖，計算模型指標。同時，通過地物關系與遙感圖像映射，計算標注面積與分割面積，從而求出有效面積與準確率。

2 研究方法

2.1 U2-Net模型

顯著性目標檢測[20-21]主要用于人臉檢測領域，通常旨在僅檢測并分割場景中最顯著的部分。中、重度小麥倒伏區域特征明顯，U2-Net是一種2層嵌套的U形結構的深度神經網絡，用于顯著性目標檢測。該網絡能夠捕捉更多的上下文信息，并融合不同尺度的感受野特征，增加了網絡深度，但沒有顯著提高計算代價。

具體而言，U2-Net是一個2層嵌套的U型網絡架構，其外層是由11個基本模塊組成的U型結構，由6級編碼器、5級解碼器和顯著圖融合模塊組成，其中每個模塊由一個基于殘差的U-Net塊填充。因此，嵌套的U型網絡結構可以更有效提取每個模塊內的多尺度特征和聚集階段的多層次特征。

雖然原始的U2-Net已經具備優異的性能，但是為了對高通量小麥倒伏面積的特征特異性進行提取，對U2-Net做出進一步改進：引入通道注意力機制和一種Non-local注意力機制，構建一種新的小麥倒伏面積分割模型——Attention_U2-Net。該模型在進一步挖掘現有語義特征的同時，優化了網絡結構。

2.2 基于注意力機制的Attention_U2-Net語義分割模型

如圖4所示，Attention_U2-Net由2層嵌套的U型結構組成。本文改進了U2-Net中的RSU(ReSidual U-blocks)塊，使用了基于通道注意力機制的級聯代替了U2-Net本身的級聯，在每個Block層使用Non-local[22]機制代替U2-Net中的空洞卷積[23]，并使用改進的Multi focal loss緩解訓練樣本難易程度不均和類別不平衡問題。

圖4 Attention_U2-Net網絡結構圖Fig.4 Attention_U2-Net architecture

U2-Net使用了大量的空洞卷積，在盡量不損失特征信息的前提下，增加感受野。對于顯著性目標需要大感受野，而裁剪后數據語義混亂且倒伏面積隨機。由于空洞卷積的卷積核不連續，導致特征空間上下文信息可能丟失；頻繁使用大步長空洞卷積可能增加小麥倒伏區域邊緣識別難度。同時，空洞卷積使得卷積結果之間缺乏相關性，從而產生局部信息丟失。

Non-local機制(圖5a)是一種Self-attention[24]機制，原理式為

圖5 分支結構圖Fig.5 Branch structure diagrams

(1)式中x——輸入特征圖yi——特征圖i對應位置的值i——輸出位置的響應j——全局位置的響應f()——計算特征圖在i和j位置的相似度g()——計算特征圖在j位置的表示C()——歸一化函數，保證變換前后信息不變

Non-local可以通過計算任意2個位置之間的交互直接捕捉遠程依賴，而不用局限于相鄰點，相當于構造了一個和特征圖譜尺寸一樣大的卷積核，從而保留更多信息。Attention_U2-Net在每個RSU塊里保留了少量擴張率低的空洞卷積用于提取上下文信息特征，廣泛使用Non-local模塊替換了擴張率大的空洞卷積，同時Non-local模塊也替代了整個U2-Net網絡底層，增強了網絡模型的特征提取能力，同時減少了計算量。U2-Net采用級聯的方式將上采樣Block和下采樣Block結合，產生多個通道，通過Block channel attention(圖5b)使神經網絡能夠自動為融合后多個Block自動分配合適的權重。本文采用了全局平均池化和最大池化2種方式，分別獲取Block不同的語義特征，并設計一個殘差結構進行信息融合。經過隨機裁剪的樣本，可能存在樣本難易度和類別分配不均衡問題，從訓練組數據每個航道隨機抽取144幅裁剪后圖像用于類別統計，如表1所示。單幅圖像倒伏面積大于30%樣本約占總體樣本的24%，以致于大部分裁剪圖像中無倒伏面積，正負樣本比例失衡，樣本難易度同樣存在比例不均衡問題。由表2可以看出，將倒伏面積小于10%的樣本以及邊緣特征不明顯的樣本定義為高難度樣本，其它倒伏樣本定義為低難度樣本。雖然高難度樣本總占比約為9.31%，但倒伏樣本中高難度樣本占比高達27.56%，這并不意味著能夠拋棄高難度樣本而專注于提升低難度樣本的分割準確率。本實驗基于U2-Net的Multi bce loss和Focal loss[25]提出了一種適用于小麥倒伏面積分割的損失函數：Multi focal loss，計算式為

表1 隨機抽樣正負樣本分布Tab.1 Distribution of randomly selected positive and negative samples

表2 隨機抽樣樣本難易度分布Tab.2 Statistics on difficulty of randomly selected samples

使用Focal loss可以通過設置不同權重以抑制簡單樣本并解決正負樣本比例嚴重失衡問題。Multi focal loss降低了大量簡單負樣本在訓練中所占權重，極大程度上抑制了裁剪帶來的噪聲；該損失函數控制了難易分類樣本權重，并將每層掩膜圖疊加，從而提高了模型魯棒性，使其更適合用于小麥倒伏面積提取。

模型的輸入圖像分辨率為512像素×512像素，輸出為單通道掩膜圖像。Attention_U2-Net沿用了U2-Net的編、解碼結構，由6層編碼器、5層解碼器和掩膜圖融合模塊組成。在前5個編碼階段，Attention_U2-Net同U2-Net將其分別標記為RSU-7、RSU-6、RSU-5、RSU-4和RSU-3；其中“7”、“6”、“5”、“4”和“3”表示RSU塊的高度(H)，對于高度和寬度較大的特征圖，上層使用較大的H來捕獲更大尺度的信息。RSU-4和RSU-3中的特征圖的分辨率相對較小，進一步降低這些特征圖的采樣會導致裁剪區域上下文信息丟失。底層使用Non-local結構替換U2-Net大步長串聯空洞卷積，降低了模型深度的同時，使其擁有更大的感受野能更好地識別邊緣信息。在后5個解碼階段，Attention_U2-Net使用線性插值進行上采樣，解碼模塊同編碼器結構保持一致，但對輸入特征向量進行了處理，通過級聯上一層特征與同一層相同分辨率特征，經過改進的通道注意力機制進行特征融合后輸入上采樣塊，可以更有效地保證語義信息的完整性。

通過替換空洞卷積為Non-local結構，可以提升分割精度，但同樣帶來了巨大的參數量。Attention_U2-Net只對大步長的空洞卷積進行了替換，在每個RSU塊中，Attention_U2-Net使用Non-local結構替換了大步長的空洞卷積，從而權衡模型速度和精度。掩膜圖融合階段，生成掩膜圖概率映射，通過3×3卷積和線性插值生成每一階段相同分辨率的掩膜圖。將6個階段的掩膜圖并在一起，之后通過1×1卷積層和Sigmoid函數輸出最終的掩膜圖。

2.3 模型訓練

實驗選用Intel(R) Core(TM) i7-10600 CPU，主頻2.90 GHz，GPU選擇NVIDIA GeForce RTX3090，顯存24 GB，使用PyTorch作為深度學習框架。

實驗將訓練集和測試集分為多個批次，遍歷所有批次后完成一次迭代。優化器選擇Adam，設置初始學習率為0.001，隨著迭代次數提升降低學習率至0.000 1。

2.4 評價指標

采用查準率(Precision)、召回率(Recall)、F1值(F1-Score)和IoU(Intersection over Union)指數評估模型性能，使用準確率量化倒伏面積提取能力。其中查準率指預測為倒伏面積占實際倒伏面積的比例；召回率表示預測倒伏面積占實際倒伏面積的比例。F1值為查準率和召回率二者的調和均值；IoU指數為倒伏面積預測面積和實際倒伏面積的重疊率；準確率指識別有效面積與提取總面積的比值。以上指標取值在0～1之間，值越大，表明評估效果越好。本文定義了一種用于量化倒伏面積準確率的公式

(4)

式中Lt——正確識別為倒伏小麥面積

Nt——正確識別非倒伏小麥面積

Lf——誤把倒伏小麥識別為非倒伏小麥面積

Nf——未正確識別出倒伏小麥面積

Ps——倒伏面積預測準確率

3 結果與分析

3.1 不同分割模型訓練結果

基于測試樣本數據，對比了Attention_U2-Net、U2-Net和主流模型FastFCN[26](預訓練網絡ResNet[27])、U-Net[28]、FCN[29](預訓練網絡VGG[30])、SegNet[31]、DeepLabv3[32]的分割性能，圖6為訓練圖像可視化進行了指數平滑。采用下采樣所得樣本訓練神經網絡收斂速度快、準確率高，而采用裁剪所得訓練樣本的訓練收斂速度慢。由于正負樣本不均衡導致裁剪后訓練難度增大，部分模型的決策邊界偏向數量多的負樣本，使得準確率波動不明顯并偏高。

圖6 訓練損失Fig.6 Train loss

3.2 不同分割模型性能對比分析

由表3可以看出，Attention_U2-Net的分割效果最佳。U-Net、FCN、FastFCN、SegNet等在下采樣方法上性能相差較小，但在裁剪方法上多尺度適應性優勢未能體現，識別準確率較低。U-Net、SegNet等淺層網絡對于裁剪出的512像素×512像素掩膜圖誤檢率較高，而DeepLabv3的整體分割效果較好。說明深層網絡在下采樣圖像上的性能和淺層網絡相似，淺層網絡模型對解決許多簡單并有良好約束的問題非常有效。深層網絡訓練速度慢，內存占用大，因此可以攜帶更多的數據，能夠實現更復雜的數據關系映射。由圖7可以看出，對比下采樣方法和裁剪方法，嚴重倒伏區域有顯著的紋理和顏色特征，易于分割；小范圍或輕微倒伏區域的紋理和顏色特征不明顯，采用下采樣后的分割效果較差。通過裁剪得到的邊緣特征較為明顯，能夠識別難度較高樣本，但模型收斂速度慢，算力需求高。

表3 不同分割模型在提取小麥倒伏面積時的評價指標Tab.3 Evaluation indexes of wheat lodging area extraction by different segmentation models

圖7 下采樣和裁剪方法對小范圍倒伏區域分割效果Fig.7 Segmentation of down sampling method and cropping method on small-scale lodging area

采用裁剪方法處理紋理細節時，深層網絡能獲取更充分的上下文信息，而淺層網絡采用裁剪方法時，分割結果較差。采用下采樣方法分辨率損失嚴重，甚至無法辨別輕、中度小麥倒伏面積。由于數據集中嚴重倒伏面積的占比較大，輕微倒伏面積占比較少，從而導致基于下采樣方法的評價指標偏高。由于人工標注誤差，整體準確率偏低。移植后U2-Net的整體性能略高于DeepLabv3，同時處理裁剪圖像時的性能較其它模型有較大提升。由于Attention_U2-Net基于裁剪方式進行改進，從而更關心局部特征，使用下采樣方法處理數據不能很好地提取全局特征導致模型效能較差。使用裁剪方法時Attention_U2-Net的計算成本略高于原U2-Net，但極大地增強了特征提取能力和泛化能力，F1值提高3.65個百分點，識別效能有效提高。

3.3 不同模型面積提取效能分析

為了通過掩膜圖像計算實際區域倒伏面積，以實地測量方式測得一個小區面積為8 m×1.5 m，對應區域遙感圖像像素數為356 400個。通過計算可得29 700個像素對應實際面積為1 m2，從而求出標注面積與提取面積。

如表4與表5(結果保留兩位小數)所示，為了對模型實際性能進行評估，對標記數據進行地物關系映射，測得標注倒伏面積為0.40 hm2，非倒伏面積為3.0 hm2。非倒伏區域面積大、識別難度低、誤檢率低；倒伏區域面積小，但部分倒伏區域識別難度大、誤檢率高。大部分模型使用裁剪方法提取倒伏面積效能較下采樣方法有所提升。其中使用裁剪方法時Attention_U2-Net檢測倒伏面積為0.42 hm2,準確面積為0.37 hm2；檢測非倒伏面積為2.98 hm2，其中準確面積為 2.94 hm2，Ps為97.25%。Attention_U2-Net提取倒伏區域有效面積最接近標注面積，擁有最高的Ps值，且誤檢面積較其它方法最低，能夠檢測出其它模型無法檢測出的異常樣本，體現出在復雜大田環境下準確判斷倒伏區域的有效性，具有更高的實用價值。

表4 裁剪方法各模型提取面積準確率對比Tab.4 Comparison of area extraction accuracy of each model of cropping method

表5 下采樣方法各模型提取面積準確率對比Tab.5 Comparison of area extraction accuracy of each model of down sampling method

3.4 不同分割模型定性比較

如圖8和圖9所示，預測圖中白色區域為判斷倒伏小麥的高權重區域，黑色為低權重區域。從圖8可看出，U2-Net和Attention_U2-Net可以更好地實現裁剪后小麥倒伏面積提取，其中Attention_U2-Net的驗證結果更接近標注圖，U-Net和SegNet的驗證結果較差；Attention_U2-Net、U2-Net和淺層網絡訓練結果差距不大，但算力消耗較大。綜合圖8、9分割結果，采用下采樣方法進行小麥倒伏面積分割結果較裁剪方法的誤差大；而使用裁剪方法的訓練難度高。

圖8 下采樣方法實驗結果定性比較Fig.8 Qualitative comparison of crop experimental results of down sampling method

圖9 裁剪方法實驗結果定性比較Fig.9 Qualitative comparison of crop experimental results of cropping method

4 結論

(1)采用下采樣和裁剪兩種策略對無人機遙感小麥倒伏區域進行了分割。為了提高困難樣本的檢測率，提出了一種深層神經網絡Attention_U2-Net。首先移植了U2-Net網絡并使用改進注意力機制優化了級聯模式，并使用Non-local替代了大步長的空洞卷積，使模型能從深層和淺層捕獲更多的局部細節信息和全局語義信息；然后融合所有中間層的Focal損失，能在每層上更好地梳理樣本分配不均和難易不平衡問題，進一步提高網絡分割精度。

(2)基于無人機高通量倒伏區域識別方法精度高，能識別細微倒伏區域，移植后的網絡通過采用裁剪方式，對小麥倒伏數據集的語義分割F1值為84.30%。改進后的Attention_U2-Net分割小麥倒伏區域，其F1值可達87.95%。為了對模型實際性能進行評估，本實驗對倒伏區域進行人工標注并進行地物關系映射，測得標注倒伏面積為0.40 hm2，非倒伏面積為3.0 hm2。Attention_U2-Net檢測倒伏面積為0.42 hm2,其中準確面積為0.37 hm2；檢測非倒伏面積為2.98 hm2，其中準確面積為2.94 hm2，Ps為97.25%。通過與FastFCN、U-Net、FCN、SegNet、DeepLabv3主流神經網絡模型對比，Attention_U2-Net具有最高的準確率及F1值，表明本文模型在小麥倒伏區域檢測應用中的準確性和有效性。

(3)實驗結果表明，采用裁剪方法處理小麥倒伏數據，可能導致小麥倒伏區域的語義信息丟失，且訓練難度大；采用下采樣方法通過淺層網絡可以兼顧訓練速度和訓練效果，但只能適用于區域大、倒伏程度嚴重的情況,準確率較裁剪方法整體偏低。本文提出的Attention_U2-Net采用裁剪方法可以完成高難度訓練任務且不顯著占用計算資源，能夠準確提取出小麥倒伏面積，可以滿足麥田環境下的高通量作業需求，為后續確定受災面積及評估損失提供技術支撐。