基于遙感影像和卷積神經網絡的農田及道路信息提取

陳 理 楊 廣 劉名洋 周宇光

(中國農業大學 工學院，北京 100083)

農業設備的智能化研究是當前農業智能化研究的熱點。掌握農田及其道路分布信息是實現農業智能化的關鍵，明確農田分布及其道路信息不僅可以為農作物及其秸稈產量等提供精準的預測，而且可以提高農業機械化程度和農產品的運輸效率。圖像是獲取上述信息的主要方式。因此，探索穩定可靠的農用地(耕地)信息提取技術，實現對原始圖像進行高效的加工，使其成為可以直接利用的信息，對于農業資源的整合與利用起著至關重要的作用。

當前，農用地(耕地)的分類識別存在一些問題，如耗人力、效率低、難量化等。現有的農用地識別算法主要包括人工標注和計算機視覺。人工標注主要采用人工牽引的方式，受時間、人力等因素的限制，不適用于大面積的分類識別。隨著計算機與遙感技術的進步，計算機視覺算法在土地識別方面取得豐碩的成果。Dronova等對覆蓋復雜、田間獲取困難的濕地進行多分類植被分析；Mylonas等提出一種面向對象的遙感影像分類方案；鄧曾等利用SVM等方法區分城市土地利用類型。但早期的人工特征提取算法精度較差、難以適配大尺寸圖像。隨著大數據技術的蓬勃發展和硬件計算能力的飛速提升，基于深度學習的圖像分割成為新的研究方向。楊蜀秦等利用改進后的DeepLab v3+分類農田作物；呂道雙等利用改進后的U-Net提取遙感圖像中的建筑物；Rawat等利用CNN-LSTM分割水稻移栽田影像。但大多數研究基都基于公開數據集進行，這些數據集主要包含城市、道路和山區等，缺乏農田等鄉村場景；在預測圖像的后續處理及應用方面，多數論文也鮮有提及。本研究擬采用卷積神經網絡(Convolutional neural network，CNN)的方法，以提取農田和道路信息為目標，為相關研究者提供利用遙感影像和深度學習技術獲取田間道路和農田信息的通用流程。

1 圖像獲取與模型搭建

1.1 圖像采集

本研究樣本數據源為6幅拍攝于2020年5月24日的河北省獻縣某鄉的衛星遙感影像，圖片大小為11 651像素×7 768像素，空間分辨率0.23 m，覆蓋區域面積4.787 7 km，其中5幅用于制作訓練集和驗證集，1幅用于制作測試集。為使模型可以進行學習，需要對圖片進行標注加工，研究使用的標注工具為labelme，基于此制作“道路-背景”和“農田-背景”2個數據集。在原始圖像中由于道路和農田所占的像素比例相差較大，而不同的模型在分割大小不同的目標時效果也有所差別，因此，單獨提取道路和農田有助于后期進行模型選擇和模型融合等操作。

1.2 圖像處理及數據集劃分

由于原始影像的尺寸過于龐大，不能將其直接送入網絡進行訓練，故需要根據訓練集、驗證集和測試集的不同特點對原始圖像進行切割。

制作訓練集和驗證集時，綜合考慮數據量、GPU顯存和模型特性等，圖像提取方式確定為從圖像原點開始，每向右(或向下)滑動224像素或384像素即取出1副小圖。切割后的圖片總數分別為8 840張(224像素×224像素)與3 000張(384像素×384像素)。選取9∶1、8∶2和7∶3的比例劃分訓練集與驗證集。

制作測試集時，考慮到后續的相關應用，需要將預測后的小圖拼接成一幅完整的大圖。由于原圖的寬和高均非小圖邊長的整數倍，因此會留下一部分寬或(和)高小于切割尺寸的長方形圖像，此時使用0 像素對它們進行邊緣填充，使其邊長變為224 像素或384 像素。

1.3 數據增強

在深度學習中，訓練數據的不足容易導致過擬合，因此需要進行數據增強，以提高模型的穩定性和魯棒性。本研究利用伽馬校正、圖像旋轉、圖像濾波、噪聲增加、圖像翻轉、圖像放縮的方式對2個數據集中的訓練集進行數據增強。圖1以分割后為224像素×224像素的原始圖像及其標簽圖像為例，展示旋轉、翻轉、縮放3種數據增強的效果。

(b)和(c)中，紅色像素為農田和道路的真值，黑色像素為非真值。圖3、4、5同。 In (b) and (c), the red pixel is the true value of field and road. The black pixel is the non-truthy.Figs. 3, 4 and 5 are the same.圖1 原始圖像及其標簽的旋轉、翻轉、縮放3種數據增強示例Fig.1 Three types of data enhancement examples: rotation, overturn, and resize of the original image and its label

1.4 模型搭建

本研究制作的2個數據集具有如下特點：1)僅涉及相對簡單的2分類問題；2)數據量相對較少；3)目標道路和農田的圖像特征相對簡單；4)需要測試上百個超參數不同、網絡結構不同的模型。因此選取結構簡單、參數量小的神經網絡模型。

基于此本研究共搭建5種模型，分別是：1)基于MobileNet v1的U-Net；2)基于MobileNet v1的SegNet；3)基于MobileNet v1的PSPNet；4)基于MobileNet v1的 DeepLab v3+；5)基于MobileNet v2的DeepLab v3+。本節以基于MobileNet v1的U-Net模型和MobileNet v1的SegNet模型為例介紹5種模型的搭建思路。

MobileNet v1最主要的特點是深度可分離卷積，深度可分離卷積可實現常規卷積的效果，但它的參數量卻大大減少。

U-Net是一個典型的具有“編碼器-解碼器”結構的語義分割模型，具有全卷積、上采樣和跳躍連接的特點，可以融合圖像的多尺度特征，在小數據集上有著良好的表現。

SegNet的編碼部分沿用VGG16的前13層結構；其解碼部分采用Same padding以豐富特征圖中的內容，使網絡能夠在解碼時學習到池化過程中丟失的部分信息。

圖2(b)為基于MobileNet v1的U-Net的結構圖：Dep sep conv block為深度可分離卷積模塊(圖2(a))，

F

至

F

分別代表不同編碼階段輸出的特征圖，Zero padding為補零，Conv為卷積，BN為批標準化，ReLU為激活函數，Upsampling為上采樣模塊，Reshape用于調整輸出張量的尺寸，Softmax為損失函數。圖中的左半部分為模型的編碼器，其基本沿用MobileNet v1的結構；右半部分為解碼器，其結構參考U-Net的解碼部分，但層數更少，這主要是因為相較于經典U-Net中的編碼器VGG16，MobileNet v1提取到的圖像特征更為淺層。解碼部分共進行3次上采樣，先后用到編碼階段輸出的

F

、

F

和

F

共3組特征圖。此外，經過多次對比試驗發現，將

F

或(和)

F

拼接到解碼部分會使模型的性能下降。圖2(c)示出基于MobileNet v1的SegNet模型的結構圖，編碼部分采用MobileNet v1的大部分結構；解碼部分則參考經典SegNet解碼部分的結構，但更為簡潔:3次重復的“補零-卷積-批標準化-激活-上采樣”操作。該模型并沒有使用經典SegNet中的池化索引策略，因為其利用MobileNet v1編碼時未進行池化操作。此外，經多次對比試驗發現，相較于

F

、

F

、

F

和

F

，使用

F

作為解碼部分的輸入可使模型表現更好。

基于MobileNet v1的PSPNet、基于MobileNet v1的DeepLab v3+和基于MobileNet v2的DeepLab v3+的構建思路同上述2種模型基本一致:選用去除全連接層的MobileNet v1、v2作為網絡的編碼器，選用PSPNet、DeepLab v3+作為網絡的解碼器，并經過一定修改。

圖2模型結構圖Fig.2 Model structure drawing

1.5 遷移學習

遷移學習部分使用基于ILSVRC數據集和Cityscapes數據集進行訓練所獲得的2套預訓練權重，對于使用ILSVRC數據集進行訓練的權重，遷移的目標是基于MobileNet v1的U-Net、SegNet、PSPNet和DeepLab v3+共4個模型的編碼部分；另1套使用Cityscapes數據集進行訓練所獲得的權重應用于基于MobileNet v2的DeepLab v3+模型本身的編碼和解碼部分。

2 試驗方法

2.1 試驗環境

硬件環境為Intel Core i7- 10700F CPU、16 gb內存、NVIDIA GeForce RTX 2060 Super GPU。軟件環境為Windows 10專業版、CUDA 10.0、cuDNN 7.4.1.5、Python 3.6、Tensorflow-gpu 1.13.2、Keras 2.1.5。

2.2 評價指標

對于像素級別的圖像分類，最常用的評價指標是交并比(Intersection over union，IoU)和平均交并比(Mean intersection over union， mIoU)。前者的含義是某一類標簽中的像素(Ground truth)的集合和模型預測出的結果(Prediction)的集合之間的交集同它們之間的并集的比值，后者則是多個IoU值的平均值。IoU的表達式為：

(1)

mIoU的表達式為：

(2)

式中:TP表示真值為某類別

x

，預測值也為

x

的像素點的數量(預測正確)；FN表示真值為

x

，但預測值不是

x

的像素點的數量(預測錯誤)；FP表示真值不是

x

，但預測值為

x

的像素點的數量(預測錯誤)；TN表示真值不是

x

，預測值也不是

x

的像素點的數量(預測正確);

n

為總類別數，iIoU表示第

i

個類別的IoU值。

本研究選用mIoU為不同模型在2個數據集上表現的評價指標，選用IoU為軟投票時的權重。

2.3 超參數設置

超參數(Hyperparameters)對模型的表現有著極大的影響。本研究中，超參數的設置目標是：構建參數不同的模型和確保每個模型能夠以較快的速度收斂。具體設置為：

1)Batch size分別設置為：4、8、16、32；

2)優化器：Adam；

除傳統的歷史文化外，地方民俗文化對三峽游客也十分具有吸引力。很多游客在游記中描述了土家族民俗文化和巴東纖夫文化體驗，表示參與性的土家婚嫁儀式十分受歡迎，如一位北京游客在游記中所寫：

3)學習率：初始值為10，當驗證集的損失函數值經過3個Epoch后不下降時，學習率就下降為先前的1/2；

4)最大迭代次數：40；

5)損失函數：“道路-背景”數據集采用Focal loss+Softmax損失函數、“農田-背景”數據集采用Cross entropy loss +Softmax損失函數；

6)早停：當驗證集的損失函數值經過6個Epoch后不下降，網絡停止訓練。

3 試驗過程與結果分析

依據2種測試集圖像切割方法，設計對應的圖像拼接策略：1)對于切割步長為224 像素或384 像素的小圖，進行預測后直接按照切割時的順序將其拼接(拼接策略1)；2)對于切割步長為112像素或192像素的小圖，同樣需要進行預測和依序拼接，但拼接時需考慮相鄰圖像間的重疊區域:對于2張相鄰的小圖，模型對二者重疊區域的預測結果可能不同，主要原因是部分模型對圖像邊緣特征的提取能力較差，從而誤將圖像邊緣的道路或田地識別為背景。因此，在對上述重疊區域的預測結果進行判定時，遵循“對于某1像素點，只要其在1張小圖中被預測為道路或田地，那么該點在最終生成的大圖中即被認定為道路或田地”的原則(拼接策略2)。此外，對于進行補零操作的小圖，在大圖融合完畢后，應切除補零，以使預測拼接圖的尺寸與原始圖像的尺寸保持一致。

為比較不同算法的有效性及其與傳統算法的差別，對5種算法與支持向量機 (Support vector machine，SVM)共6種算法進行比較。此外，為測試算法的穩定性，每種使用不同參數組合的模型都進行3次訓練，同時記錄其mIoU的最佳值、平均值和標準差。

3.1 “道路-背景”數據集的試驗結果

表1示出按照最佳mIoU從高到低順序列出的7種性能最佳、超參數不同、結合不同拼接策略的CNN以及SVM道路預測模型。可見，在5種CNN模型中，基于MobileNet v1的SegNet和基于MobileNet v1的U-Net從圖像中提取道路信息的能力較強，且穩定性較高。在輸入圖像的尺寸方面，224 像素×224 像素是更優的選擇；訓練集與驗證集的樣本數比則以9∶1和8∶2為宜；第2種圖像拼接策略可以更好地優化預測結果；此外，相較于CNN模型， SVM在“道路-背景”數據集中表現較差，最佳mIoU值僅為0.695 5，且穩定性較弱。

表1 7個mIoU值最高的CNN道路預測模型和SVM道路預測模型
Table 1 7 CNN road prediction models with the highest mIoU and SVM road prediction model

模型名稱Model圖像尺寸(長×寬)/像素×像素Image size(length×width) Batchsize迭代次數IterationsnT∶nV①圖像拼接策略ImageMosaicstrategy最佳mIoU值OptimalmIoUvalue平均mIoU值AveragemIoUvaluemIoU值的標準差StandarddeviationmIoU valueM1-SegNet224×224 8169∶120.839 60.834 00.004 7M1-U-Net224×22432199∶120.829 00.825 90.005 2M1-U-Net224×22416158∶220.825 80.822 60.004 1M1-U-Net224×22416158∶210.823 00.82070.003 8M1-SegNet224×22416148∶220.819 30.815 00.004 7M1-SegNet224×2248106∶420.816 90.811 30.008 1M1-U-Net224×22432199∶120.812 30.806 40.005 8SVM224×224——10∶0 20.695 50.673 30.022 0

注：M1表示MobileNet v1。①和分別為訓練集和驗證集樣本數量。下表同。

Note: M1 stands for MobileNet v1. and are the number of samples of training set and verification set， respectively. The same as in the following
Table.

M1-SegNet:基于MobileNet v1的SegNet的預測圖；M1-U-Net:基于MobileNet v1的U-Net的預測圖。圖4、5同。 M1-SegNet: Prediction graph of SegNet based on MobileNet v1; M1-U-Net: Prediction graph of U-NET based on MobileNet v1.Fig.4 and 5 are the same. 綠色像素表示模型預測為真值的像素，黑色像素表示模型預測為非真值的像素。圖4、5同。 The green pixels in the prediction graph represent the pixels predicted by the model to be truthy, and the black pixels represent the pixels predicted by the model to be non-truthy.Fig.4 and 5 are the same.圖3 基于MobileNet v1的SegNet、U-Net的道路預測圖Fig.3 Road prediction results of SegNet/U-Net based on MobileNet v1

3.2 “農田-背景”數據集的試驗結果

表2示出“農田-背景”數據集的試驗結果，可見：基于MobileNet v1的SegNet和基于MobileNet v1的U-Net在圖像中提取農田信息的能力較強，且穩定性較好；基于MobileNet v1的DeepLab v3+和基于MobileNet v1的PSPNet也具有不錯的提取效果，但穩定性欠佳；而基于MobileNet v2的DeepLab v3+的分割效果較差。在輸入圖像的尺寸方面，224 像素×224 像素是更優的選擇；在Batch size的選擇上，使用32能夠更好地幫助網絡訓練；而訓練集與驗證集的樣本數比則以9∶1和8∶2為宜；第二種圖像拼接策略可以更好地優化預測結果。此外，SVM在“農田-背景”數據集上表現尚可，最佳的mIoU值可以達到0.849 2，但穩定性較弱，且同CNN

表2 7個mIoU值最高的CNN農田預測模型和SVM農田預測模型
Table 2 7 CNN field prediction models with the highest mIoU and SVM field prediction model

模型名稱Model圖像尺寸(長×寬)/像素×像素Image size(length×width)Batchsize迭代次數IterationsnT∶nV圖像拼接策略Imagemosaicstrategy最佳mIoU值OptimalmIoUvalue平均mIoU值AveragemIoUvaluemIoU值的標準差StandarddeviationmIoUvalueM1-SegNet224×22432197∶320.947 30.943 30.006 0M1-U-Net224×22432129∶120.946 80.944 10.005 1M1-U-Net224×22432138∶220.926 10.921 20.007 2M1-SegNet224×22416119∶120.897 00.893 60.006 3M1-DeepLab v3+224×22432169∶120.887 50.880 10.010 2M1-U-Net224×22432129∶110.885 40.881 90.006 1M1-PSPNet384×384 8188∶220.869 30.860 00.012 4SVM224×224——10∶0 20.849 20.838 80.025 3

模型有著較為明顯的差距。

圖4(a)為2種模型在測試集(224像素×224像素)上的預測結果。可以看到，2種模型可以正確地預測出大部分的農田，但即使是表現較好的模型，有時也無法完整地提取到圖像的邊緣特征；此外，農田的內部還存在著少許孔洞，這進一步說明拼接策略的必要性。圖4(b)為基于MobileNet v1的SegNet和基于MobileNet v1的U-Net在測試集上的預測圖(融合拼接策略2、大小為11 651像素×7 768像素)，可以看到其中絕大部分預測的農田像素和標簽中的農田像素是重合的，并且圖中幾乎沒有因模型提取不到邊緣特征而產生的縫隙；同時，相對于預測小圖，預測大圖中農田內部的孔洞也大幅減少，這說明搭建的模型和圖像拼接策略是有效的。

圖4 基于MobileNet v1的SegNet、U-Net的農田預測結果Fig.4 Field prediction results of SegNet/U-Net based on MobileNet v1

為驗證遷移學習在模型訓練中起到的作用，本研究選取在農田預測結果中表現較好的基于MobileNet v1的U-Net和MobileNet v1的SegNet，采用訓練集樣本數:驗證集樣本數為9∶1和8∶1，Batch size分別設置為8、16、32進行訓練，結果表明：基于MobileNet v1的U-Net模型在使用遷移學習的情況下表現更好，迭代可以次數減少50%～100%、準確率提升5%～16%、mIoU提升0.02～0.1；基于MobileNet V1的SegNet模型在加入遷移學習之后準確率和mIoU沒有較大提升，但其迭代次數也可減少20%～80%。

3.3 模型融合

模型融合屬于集成學習的范疇，是1種把分類器強強聯合，以使最終的模型具有更好分割效果的算法。本研究主要使用投票法進行模型融合，CNN模型(表1、2各7個)被選為待融合模型，衡量指標為mIoU,表3為融合的結果，可以看出，硬投票和軟投票都可以優化模型的性能，而軟投票的效果略優于硬投票。從mIoU提升的幅度來看，相較于“農田-背景”數據集，模型融合更有助于提高“道路-背景”數據集的分割精度，這是因為參與優化的單個“道路-背景”模型本身的精確度相對較低，提升空間較大。

表3 農田和道路預測圖的模型融合結果
Table 3 Model Ensemble results of field and road forecast maps

數據集Data set未融合前最佳Best before fusion硬投票Hard vote軟投票Soft vote差值(硬投票后)Margin (after hard vote)差值(軟投票后)Margin (after a soft vote)道路 Road0.839 60.850 10.853 30.010 50.013 7農田 Field0.947 30.954 40.956 80.007 10.009 5

3.4 預測時間成本及儲存成本

本研究對模型的訓練和預測時長以及參數占用硬盤儲存空間的大小進行記錄。在5種模型中，基于MobileNet v1的U-Net和基于MobileNet v1的SegNet的訓練時間相對最短，在15～33 min。此外，就權重文件的存儲而言，5種模型的權重文件均在電腦硬盤上占據20～30 Mb的空間。由此可見，本研究最終選用的模型的訓練和預測時間成本以及儲存成本可被接受。

3.5 結果分析及圖像后處理

3

.

5

.

1

結果分析

對農田和道路信息的提取試驗表明：1)在使用2分類方法從農村地區的遙感影像中提取道路和農田信息時基于MobileNet v1的U-Net模型和基于MobileNet v1的SegNet模型擁有更佳的準確率和穩定性, 這可能是由于數據量有限，而PSPNet和DeepLab v3+模型解碼部分的網絡層數較多，且鄉間道路和冬小麥田所具有的圖像特征較為簡單，從而產生過擬合現象導致的。此外，隨著網絡層數和參數量的增加，模型訓練的穩定性會相應降低。綜上，在搭建深度學習模型時，模型的結構并非越復雜越好，應該依據具體的應用場景加以確定；2)遷移學習在模型的訓練過程中發揮良好的作用；3)在對大尺寸圖片進行處理時，合理的切割和拼接方法有助于提升圖像的分割效果；4)模型融合(硬投票法和軟投票法)可以進一步提升道路和農田的分割精度；5)傳統的機器學習方法支持向量機在數據分布很不均勻的“道路-背景”數據集上表現不佳，而在數據分布相對平均的“農田-背景”數據集上表現較好，但總體而言，CNN模型的分割精度和穩定性更高。

3

.

5

.

2

圖像后處理

模型預測出的圖像由于存在縫隙、孤立點和細小連接等問題，不能直接應用于后續的相關研究，需對其進行處理。因此，確定了如下圖像處理方法：對農田預測圖而言，采用“形態學處理+去除孤立區域”的方法；對道路預測圖來說，采用“形態學處理+去除孤立區域+細化中心線”的方法，使之能夠滿足后續相關研究的基本條件。

數學形態學處理基于集合理論、格理論、拓撲學和隨機函數，是一種識別和分析幾何結構的技術。它利用一些具有原始形態特征的核來測量和獲取圖像中的形狀。腐蝕、膨脹、開操作和閉操作是形態學處理中常用的4種處理方式。

對基于MobileNet v1的SegNet模型預測出的道路圖像，根據其特征，對其進行閉操作處理(圖5(a))。同時，由于原始影像中存在部分寬度較大的田埂和寬度較小的小路，模型在預測時會將這些田埂和小路預測為道路，這部分預測錯誤的像素點相對孤立，而預測正確的道路像素點則互相連接，形成若干個面積較大的連通域。因此，本研究去除預測圖中面積小于15 000個像素點的8連通域(圖5(a))。此外，盡管經過處理后的道路預測圖中仍有個別不合要求且連接著主干路網的田埂和小路，但它們僅與道路的1端相連，幾乎不會對后續的路徑規劃產生影響。經過上述操作的道路預測圖需要經過細化處理(提取道路的中心線)才可被直接用于路徑規劃，參照Lam等的算法對道路預測圖進行提取中心線(圖5(a))。

對基于MobileNet v1的U-Net模型預測出的農田圖像，需要去除相鄰田地間的細小連接，因此應選用開操作對其進行處理(圖5(b))。同時，因為在獻縣境內地勢較為平緩，農田大都成片相連，較少出現單獨在小片區域種植糧食作物的情況。所以對農田預測圖，本研究設定去除面積小于5 000個像素點(對應實際的土地面積為264.5 m)的八連通區域(圖5(b))。

圖5 農田和道路預測圖的后處理Fig.5 Post-processing of field and road forecast maps

4 結束語

本研究以我國河北省獻縣某鄉為研究區域，制作“道路-背景”和“農田-背景”遙感影像數據集，搭建了5種基于卷積神經網絡的語義分割模型，基于此進行圖像分割試驗，并融入遷移學習、圖像拼接和模型融合策略。研究結果表明：基于MobileNet v1的U-Net和基于MobileNet v1的SegNet 2種模型的準確率和穩定性最佳；此外，在提取道路和農田時，融合后模型的平均交并比(mIoU)值分別可達0.853 3和0.956 8；同時圖像后處理的運用，也使預測結果能夠滿足后續相關研究的基本要求。

在進一步的研究中可以改變超參數部分相關參數的設置，同時，將不同版本的MobileNet作為特征提取部分，將SegNet等作為像素分類部分，以形成具有不同結構的網絡模型，并測試其能否具有更佳的圖像提取效果。