改進U-Net 模型的保護性耕作田間秸稈覆蓋檢測

劉媛媛，周小康，王躍勇，于海業，庚 晨，何 銘

（1.吉林農業大學 信息技術學院，吉林 長春 130118；2.吉林農業大學 工程技術學院，吉林 長春 130118；3.吉林大學 工程仿生教育部重點實驗室，吉林 長春 130025）

1 引言

保護性耕作是農業生產中的重要環節，它是一種以農作物秸稈還田、免耕或者少耕播種為主要內容的現代耕作技術體系，能夠有效減輕土壤風蝕水蝕、增加土壤肥力和抗旱保墑能力，提高農業生態和經濟效益。其中，秸稈還田是保護性耕作的有效措施之一［1-8］，而秸稈覆蓋率的檢測是衡量秸稈還田質量的直接手段。為了促進保護性耕作的實施及推廣，2021 年2 月吉林省農業農村廳頒布關于轉發《2021 年東北黑土地保護性耕作行動計劃技術指引》的通知，東北四省按照《東北黑土地保護性耕作行動計劃》制定的秸稈覆蓋率測算標準實行還田補貼政策。因此，快速、準確檢測秸稈覆蓋率是當前亟待解決的問題。

傳統的秸稈覆蓋率檢測方法為人工拉繩測量，時間和人工成本大，測量效率低，難以測量面積巨大的農田。近年來，計算機視覺算法已經成功地應用到秸稈覆蓋檢測中［9-11］。為了提高檢測效率，本課題組提出一種基于多閾值圖像分割算法的秸稈覆蓋率檢測方法［12］，但對于含有農機和樹影干擾的田間圖像，分割效果欠佳。這些干擾因素導致秸稈還田圖像的分割難度增大，秸稈覆蓋率檢測的準確性降低。為進一步提高檢測效率，本課題組提出了基于語義分割的復雜場景下的秸稈檢測算法［13］，該算法可以分割帶有樹影和農機等復雜場景下的秸稈農田，但存在模型訓練時間較長、收斂速度慢等問題，樹影的去除效果仍需進一步提升。

針對上述問題，本文提出了一種以U-Net［14］作為基本骨架的語義分割模型，能夠有效分割出樹影以及田間其他干擾因素，減少了模型參數，縮短了訓練時間，能夠更加高效地進行秸稈覆蓋率圖像分割，使得檢測效果進一步提高。

2 改進U-Net 模型框架

2.1 模型分析

一般情況下，實際田間場景比較復雜，農田之間會設置防林帶，緊靠農田邊緣種植樹木，在陽光的照射下投影出面積較大的樹影，且農田區域內通常會有農機、公路、植被和房屋等，如圖1所示。實際田間圖像中秸稈末端纏繞交錯，細長且雜亂。由于秸稈、土壤、樹影等顏色接近，傳統的閾值分割方法難以區分，檢測結果誤差較大。因此，秸稈圖像分割難度大、精確度低。為了提高秸稈圖像的分割精度，本文在原始U-Net 模型的基礎上，提出了一種改進的U-Net（Improved U-Net，IU-Net）模型。U-Net 是完全卷積網絡的經典變體，在圖像分割應用中具有三個優勢：一是提取全局特征和上下文信息的能力較強；二是整個圖像可以作為輸入，直接輸出分段圖像；三是對小樣本圖像分割具有較強的泛化能力。

圖1 復雜田間場景Fig.1 Complex field scene

首先，IU-Net 模型使用U-net 的對稱上下采樣結構作為骨干網絡以實現語義分割；為了提高模型的特征提取能力，提出了一種復雜的卷積模塊Block 代替原始U-Net 模型中的3×3 卷積；然后，將空洞卷積［15］引入Inception 結構［16］，提出一種拓展網絡寬度的模塊結構Gception，以拓寬感受野，提取高維特征；將Gception 與條形池化Strip pooling［17］一同引入卷積模塊中，并使用Sigmoid 函數將輸出轉換為注意力形式，以強化焦點特征；最后，在下采樣階段使用殘差卷積［18］，在上采樣使用深度可分離卷積［19］，連接Block 卷積模塊，以減輕梯度消失，減少模型參數量。

復雜卷積模塊能夠提升模型對秸稈細節特征的提取能力；Gception 能夠提升模型對全局特征及高維特征的提取能力；注意力機制的引入能夠減輕樹影及農機等因素對秸稈分割的干擾。因此，IU-Net 模型拓寬了網絡結構，能夠在不增加參數量的情況下提升網絡性能，從而實現在復雜田間場景下秸稈圖像的精準分割。

2.2 改進的U-Net 模型

IU-Net 網絡架構如圖2 所示，整體呈現U 型結構，可分為左側編碼器Encoding 和右側解碼器Decoding 階段。與原始U-Net 不同的是，在編碼器階段附加一個三角形結構，包含最大池化和Concatenate 連接操作。圖中，每個立方體對應一個多通道特征圖，通道的數量位于立方體頂部，特征圖尺寸位于立方體的左上邊緣。箭頭表示不同的操作，其中細長空心箭頭表示復制下采樣階段的特征圖到相應層數的上采樣階段；加號表示Concatenate 連接操作；向下的箭頭表示2×2最大池化運算；向上的箭頭表示2×2 的上卷積操作；粗實心和空心箭頭表示將特征圖輸入復雜卷積模塊Block。彩色圖像經過灰度處理后輸入IU-Net 模型。

圖2 IU-Net 模型結構Fig.2 Structure of IU-Net model

網絡中的卷積操作均采用本文提出的復雜卷積模塊Block 代替原始U-Net 結構中的3×3 卷積。在下采樣階段，使用一個3×3 殘差卷積塊與Block 模塊相連，形成Block1，每個Block1 模塊后接2×2 最大池化運算。相對于原始U-Net 結構，卷積操作將通道數量增加一倍，而IU-Net 下采樣階段的卷積操作不改變通道大小，將未經過卷積模塊的上層特征圖經過2×2 最大池化后，與經過卷積模塊的下層特征圖通過Concatenate 連接操作進行特征融合，以此實現通道數量的倍增，進行高維特征提取的同時保證了全局特征的完整性。

在上采樣階段，使用一個深度可分離卷積塊與Block 模塊相連，形成Block2。首先進行2×2的上卷積，將通道數量減半；其次，將特征圖與上采樣中相應路徑的特征圖進行Concatenate 連接；然后，通過Block2 模塊；在最后一層使用兩個3×3 卷積和一個1×1 卷積模塊減少通道數量，并將每個分量特征向量映射到所需的6 個類中。

3 網絡結構優化設計

3.1 卷積模塊結構

由于秸稈特征復雜細小，普通的卷積結構對于這類特征的提取效果并不理想，導致秸稈精準分割困難。為更好地提取秸稈的細節特征，本文對原始U-Net 的3×3 卷積塊進行改進，設計了一種復雜的卷積模塊Block，其內部結構如圖3 所示。其中，W和H分別為特征圖的寬度和高度。

在利用池化操作擴大視野時，不可避免地會加入一些無關緊要的像素區域，因此，在卷積模塊Block 中引入條紋池化結構，限制池化區域，以避免全局池化或金字塔池化帶來的無用信息及誤導信息。該模塊通過條紋池化結構與Gception 結構得到的張量進行Concatenate 連接，后接一個使用Sigmoid 激活函數的1×1 卷積模塊，作為整個卷積模塊的輸出。

在下采樣階段，使用殘差卷積模塊得到的特征圖作為卷積模塊Block 的輸入，以減輕復雜網絡梯度消失的問題；在上采樣階段，使用深度可分離卷積模塊得到的特征圖作為卷積模塊Block輸入，以減少模型的參數量，避免復雜網絡帶來的計算量增加問題。

3.2 Gception 結構

針對田間圖像中秸稈特征不明顯的問題，準確分割要求網絡可以提取多樣的全局特征以及高維的細節特征。在特征值提取時，網絡的寬度一定程度上決定了特征提取的多樣性，Inception結構能夠有效拓寬網絡，以提取高維特征。通過上述條紋池化和最大池化運算，分別可以獲得特征圖上的高度概括特征和條形特征。為了獲得傳統方形大視野，通常采用增加卷積核大小的方法，但以增加參數計算量為代價。因此，本文將空洞卷積引入Inception 結構，提出一種新的Gception 結構，如圖3 所示。

圖3 卷積模塊的內部結構Fig.3 Internal structure of convolution module

在Gception 結構中，像素對經過兩個3×3 卷積模塊、一個3×3 卷積模塊以及空洞卷積的3 種不同操作的卷積結果進行Concatenate 連接后，使用Sigmoid 函數對其進行轉換并與輸入相乘，將Inception 結構由殘差形式轉換為注意力形式，以強化焦點特征。

空洞卷積可以在不增加參數計算量的同時獲得更大的視野，但插值次數越高，插值結果越偏離原函數，出現龍格現象。為解決此問題，本文采用高效空間金字塔空洞卷積模塊（Efficient Spatial Pyramid of Dilated Convolutions Module，ESP mod），如圖4 所示。當需要進行高空洞值的卷積時，將相應的低空洞值與之進行累加，以彌補空洞卷積參數之間的無關聯性。本文采用擴張率為2，4，8，16 的4 種卷積核得到的結果通過Concatenate 操作進行特征提取。

圖4 高效空間金字塔空洞卷積模塊Fig.4 Efficient spatial pyramid of dilated convolutions module

3.3 注意力機制

為更好地排除田間秸稈圖像中樹影、土壤以及農機等干擾，強化秸稈的焦點特征，以提高網絡對秸稈的提取能力，本文在模型中引入了注意力機制。首先，通過一個1×1 卷積和Sigmoid 函數將原始Inception 結構的輸出轉換為注意力參數形式；其次，將條紋池化的結果與Gception 結構輸出的結果進行Concatenate 連接；然后，將結果與輸入相乘，達到提取焦點特征的目的。注意力形式的Gception 結構可以更完整地提取圖像中秸稈的邊緣細節，其性能優于Inception 結構的殘差形式。

4 實 驗

4.1 模型訓練

4.1.1 圖像采集與預處理

本文采用DJI 大疆M200 無人機搭載X5S 云臺相機，采集時 間為2021 年4 月21 日、2021 年5月5 日，采集地點為中國吉林省榆樹市大崗鄉，采集范圍為（126.261 675° E，45.097 652° N），（126.287 043°E，45.101 012°N），（126.262 969°E，45.074 335°N），（126.300 194°E，45.075 098°N），采集數據的光照條件為自然光照。

無人機按照既定的航線等高度垂直于地面勻速飛行，高度為50 m，速度為5 m/s，云臺相機鏡頭始終垂直于地面拍攝，拍攝間隔為2 s，相鄰采集圖像重復率為70%，最終得到900 張秸稈圖像。上述數據集包含農機、植被、道路、房屋和土地等干擾信息的圖像僅為50 張，所以需要通過增加干擾信息的方式來合成新的圖像。將圖像中含有的農機、植被、道路及房屋等干擾信息裁剪出，然后將它們添加到不含干擾信息的圖像上并做旋轉、縮放等操作，通過以上方法得到了600 張包含多類別干擾信息的圖像。

對秸稈圖像數據集的預處理操作分為三步。首先將圖像內容分為六類并標注，針對秸稈復雜的細節，采用Photoshop 軟件中通道摳圖的方法進行標注，常規秸稈的曲線值為67/0.92/14，利用藍色通道調整圖像色階，將原始圖像轉為灰度圖像保存。再將閾值設置為25，轉為二值圖像。通道摳圖可以大致分割出秸稈的輪廓特征，然后再通過像素工具筆進行手動注釋和修復完整秸稈和土壤的細節，標注出真實的秸稈和土壤。秸稈區域的像素值為1，背景像素為0。再對樣本圖像中其他干擾物體進行手動標注。其次，將標記好的圖像生成npy 格式類型的文件，以備模型訓練和測試。最后，將1 500 張圖像隨機打亂并劃分為1 200 張訓練集圖像、150 張驗證集圖像和150 張測試集圖像，各數據集之間相互獨立，無重復樣本。

4.1.2 交叉熵損失函數

本文在模型訓練時選用的損失函數為交叉熵損失函數［20］。計算方法如下所示：

其中：M為類別數；yi，c為符號函數，若第i個樣本的真實類別等于c，則取1，否則取0；pi，c為第i個樣本的屬于類別c的預測概率。交叉熵函數可以準確得到不同模型預測效果的差異。

4.1.3 訓練過程

從訓練集中隨機選擇4 張圖像組成一組，并輸入到網絡以進行前向傳播以預測像素類別。將模型輸出的分割圖像與標簽文件進行比對以計算損失函數。采用隨機梯度下降方法進行向后學習，確定最佳網絡參數：初始學習率為1×e-4，衰減系數為0.5。當損失函數曲線匯聚和穩定時，停止訓練并保存訓練模式。隨著迭代次數的增加，損失函數值逐漸下降，準確性逐漸提高。

如圖5 所示，模型在最終迭代的損失函數值為0.216，從第97 次迭代開始，后一次迭代的損失函數值與前一次迭代損失函數值之間的差值已經小于0.001，損失函數圖像的斜率趨近為0，表明模型從第97 次迭代開始趨于收斂。在訓練初期，損失函數通過學習快速地降低，表明模型處于學習狀態；在訓練中期，從第97 次迭代開始，模型在訓練集中的損失函數曲線趨于穩定，表明該模型處于逐漸收斂的狀態；在訓練后期，第150～200 次迭代期間，模型在訓練集的損失函數曲線已經保持平穩，表明模型已經穩定收斂。

圖5 訓練過程的損失函數值Fig.5 Plot of loss value during training

4.1.4 訓練超參數設置

（1）優化器：Adam；

（2）學習率（learning-rate）：初始學習率為1×e-4，衰減系數為0.5，最小值為1×e-8；

（3）批量大小（batch size）：2；

（4）訓練迭代周期（epochs）：200；

（5）每周期步數（step per epoch）：300。

4.2 算法性能對比實驗

算法處理計算機配置為：3.02 GHz Inter（R）Core（TM）i7-8700 處理器、16 GB內存、NVIDIA GeForce GTX 1080顯卡；Windows10專業版操作系統，Pyhon3.6、TensorFlow10、Keras 環境下進行訓練和仿真實驗。

4.2.1 評價指標

為量化分析模型性能，本文采用語義分割的標準化評價指標衡量模型在驗證集與測試集的表現，主要包括平均交并比（Mean Intersection Over Union，mIoU）［21］和平均像素識別準確率（Mean Pixel Accuracy，mPA）［21］。mIoU 用于評價模型總體目標區域的分割準確度，是預測區域與真實區域在像素層面的交集和并集之比，反映兩者之間的重合程度，定義如下：

其中：TP表示預測正確的秸稈像素數量，FP是將背景預測為秸稈的像素數量，TN為預測正確的背景像素數量，FN是將秸稈預測為背景的像素數量。

mPA 表示2 個預測類別的平均像素識別準確率，是評價模型像素預測精度的主要指標，表示全部類別中正確預測的像素平均比例，定義如下：

4.2.2 算法對比

本文采用不同算法對測試集中的圖像進行了分割和分析，評估指標包括mPA，mIoU 和參數量Parameters。

實驗中，所有對比算法的迭代次數均設置為200。本文所提算法IU-Net 在第97 次迭代開始收斂，在訓練后期平穩收斂。對比算法中Res-net未達到收斂狀態，其他算法均達到收斂狀態。由此表明對于秸稈圖像的訓練過程，Res-net 模型相對于其他對比模型收斂速度稍慢。從圖6 中可看出，本文所提算法IU-Net 最終迭代時的mIoU 為80.05%，改進前算法 UNET 的 mIoU 為76.61%，PSP-Net［22］，Link-net［23］，Res-net 和DSRA-Unet 的mIoU 分別為69.10%，63.45%，60.34%，66.56%。

圖6 不同算法的驗證集測試結果Fig.6 Validation set test results of different algorithms

將本文提出的算法與其他算法進行比較，結果如表1 所示。可以看出，U-Net 模型在驗證集上的mIoU 為76.61%，mPA 為89.23%，但是模型參數略大；Link-Net 在該數據集上的性能表現一 般；DSRA-Unet［13］為使用深度可分離卷積的U-Net，其深度和卷積核尺寸均較小，最終mIoU為66.56，mPA 為89.52%；PSP-Net 采用金字塔池模塊，增大了特征提取能力，使得mIoU 提高至69.10%，mPA 為83.92%；Res-Net［18］上 的mIoU在最終迭代時達到60.34%，結果略低于其他對比算法，表明Res-Net 模型不太適用于秸稈圖像分割；DE-GWO 為傳統閾值分割算法［12］，它對含陰影等的復雜場景的檢測效果有限，mIoU 為72.50%，mPA 為85.37%。IU-Net 的驗證集測試結果的mIoU 為80.05%，mPA 為91.20%，優于相同訓練條件下其他算法的檢測結果，具有最高的mIoU 和mPA，能夠保證良好的泛化能力。

表1 算法性能比較Tab. 1 Algorithm performance comparison

IU-Net 模型的訓練集和測試集的平均交并比、平均像素識別準確度和損失函數曲線如圖7所示。隨著迭代次數的增加，模型的損失函數值逐漸下降，平均像素識別準確率和平均交并比逐漸升高。在訓練的中后期，第150～200 次迭代期間，模型在訓練集和驗證集的損失函數曲線已經保持平穩，表明IU-Net 模型已經穩定收斂。在最終迭代時，模型的平均交并比為80.05%，平均像素識別準確率為91.20%，損失函數值為0.216，優于其他對比算法。

圖7 改進的U-Net 語義分割模型的訓練集和驗證集測試結果Fig.7 Test results of improved U-Net semantic segmentation model on training and validation sets

4.2.3 消融實驗

為了研究IU-Net 算法中各個模塊的作用，設計了4 個不同的網絡進行效果對比，實驗結果如表2 所示。第1個是U-Net 網絡，其mIoU 為76.61%；第2 個是U-Net 網絡與改進的卷積塊的結合，其mIoU 為78.58%；第3 個是U-Net 與改進注意力機制結合，其mIoU 為79.69%；第4 個是U-Net 與改進的卷積塊和注意力機制結合。從表中可以看出，引入改進的卷積塊和注意力機制后mIoU 和mPA 有了進一步的提升，可以很好地平衡參數量和精度，mIoU 最高可達80.05%。

表2 消融實驗結果Tab. 2 Ablation experiments results

5 秸稈覆蓋率檢測

5.1 評價指標

為了更好地評價秸稈的覆蓋準確率，本文使用預測秸稈覆蓋率RSCP、實際秸稈覆蓋率RSCT和秸稈覆蓋率誤差ESCR等來衡量算法性能［13］，其表達式分別為：

其中：H為圖片高度；W為圖片寬度；Pp為預測的秸稈像素點個數；Pt為真實的秸稈像素點個數。

5.2 秸稈圖像檢測

在不同場景下，IU-Net 算法以及其他算法的秸稈檢測結果如圖8 所示（彩圖見期刊電子版）。其中，白色代表秸稈，紅色代表房屋，綠色代表植被，藍色代表馬路，黃色代表農機，黑色代表土壤。

圖8 田間秸稈圖像分割效果Fig.8 Segmentation result of field straw images

樣本1 是田間的常見場景，僅包含馬路和植被，由圖可以看出PSP-Net 檢測效果一般，不能明確分割出秸稈區域，Res-Net 對于田間場景的分割出現大量誤判。樣本2 是含有少量樹影的場景，可以看出Link-Net 對陰影遮蓋的秸稈區域檢測效果一般，DSRA-Unet 則可以檢測出小部分被陰影遮蓋的秸稈區域。樣本3 是含有大量樹影的農田場景，可以看出其他方法均出現了較大面積的誤判，尤其是在道路、植被和樹影周圍，而IU-Net 則可以排除出這些干擾信息，提高秸稈覆蓋率的檢測精度。

5.3 秸稈覆蓋率檢測

為了測試IU-Net 算法在秸稈分割中的檢測性能，本文使用7 種算法對19 幅田間圖像進行了分割和檢測，各算法得到的秸稈覆蓋率預測值如表3 所示。其中，通過式（5）計算對比算法及本文提出算法的分割圖像的秸稈覆蓋率預測值，通過式（6）計算秸稈覆蓋率真實值，最后通過式（7）得到覆蓋率檢測誤差。

在19 幅田間圖像秸稈覆蓋率檢測實驗中，將表3 中最接近真實值的結果用粗體示意。IU-Net算法在15 幅圖像上的秸稈覆蓋率檢測結果最接近真實值，表現最佳；原始U-Net 算法得到的結果有2 次最接近真實值，表現次之；DSRA-Net 與DE-GWO 都有1 次最接近真實值，表現再次之。

表3 秸稈覆蓋率檢測結果Tab. 3 Results of straw coverage rate detection

為進一步統計實驗結果，將各算法在19 幅圖像上的誤差取平均值，得到平均秸稈覆蓋率誤差（Average of Straw Coverage Rate Error，AVGSCRE），并且統計單幅圖像的平均運行時間（Singleimage Average Running Time，SART），通過上述兩個參量評估秸稈覆蓋率檢測效果，如表4所示。

表4 秸稈覆蓋率檢測評估結果Tab. 4 Evaluation results of straw coverage rate detection

檢測結果表明，PSP-Net 不適用于秸稈圖像的分割，大量的秸稈未被檢測出，其檢測結果誤差較大；Res-Net 的結果圖中大面積的土壤被誤判為秸稈，導致其檢測結果誤差較大，因此不適用于秸稈圖像的精準分割；U-net，Link-Net，DSRA-Unet，DE-GWO 算法對秸稈覆蓋率檢測得到的平均誤差分別為3.80%，2.40%，2.00%，2.90%，均控制在4%以內，單幅圖像的平均運行時間分別為1.00，0.90，1.90，2.00 s。本文所提算法的平均秸稈覆蓋率檢測誤差為0.80%，單幅圖像的平均運行時間為0.75 s。與其他算法相比，本文方法得到的平均秸稈覆蓋率檢測誤差更低，單幅圖像的運行速度更快，能夠更精準、快速地檢測秸稈覆蓋率，從而更高效地衡量秸稈的還田質量。綜上所述，IU-Net 模型的分割結果最優，能夠保障特征提取的有效性和全局特征的完備性，有效剔除樹影以及田內其他干擾因素。

6 結論

為了適應保護性耕作還田監測的技術需求，本文提出了一種改進的U-Net 語義分割算法對秸稈覆蓋率進行檢測。通過Gception 在不增加計算量的同時拓寬視野，獲取高維特征；通過引入注意力機制提升對秸稈細節的關注，強化焦點特征；通過復雜卷積模塊保證全局特征的完備性和特征提取的有效性。在自標注田間秸稈圖像數據集上進行測試，結果表明，IU-Net 模型在保護性耕作田間秸稈圖像上的平均像素識別準確率為91.20%，對比關閉注意力機制模塊的算法得到的平均像素識別準確率提升1.75%；對比U-Net，PSP-Net，Link-Net，Res-Net，DSRA-Unet和DE-GWO 得到的平均像素識別準確率，分別提升約1.97%，7.28%，3.50%，8.11%，1.68%和5.83%。IU-Net 模型在保護性耕作田間秸稈圖像上的平均交并比為80.05%，對比關閉注意力機制模塊的算法得到的平均交并比提升1.47%；對 比U-Net，PSP-Net，Link-Net，Res-Net，DSRA-Unet 和DE-GWO 得到的算法平均交并比，分別提升約3.44%，10.95%，16.60%，19.71%，13.94%和7.55%。實驗表明，IU-Net能夠有效分割出樹影以及農田里的其他干擾因素，從而在一定程度解決現有的保護性耕作地面秸稈覆蓋檢測效率低、誤差大、勞動強度大及結果不理想等問題。