基于ECLDeeplab模型提取華北地區耕地的方法

魏青迪 范昊 張承明

摘要：準確提取耕地信息對農業資源調查、遙感估產以及災害監測等具有重要意義，從遙感圖像中提取耕地的信息屬于圖像識別和分類的問題，目前深度學習是非常適合的方法。以語義圖像分割（Deeplab）模型為基礎，選擇耕地為提取目標，建立了一種從高分2號遙感影像上提取耕地信息的方法耕地提取語義圖像分割（ECLDeeplab）。首先分析了耕地在高分2號遙感影像上的表現特點;其次依據耕地的具體特點對Deeplab的結構進行調整，形成了能夠提取耕地的網絡結構;最后用訓練成功的網絡進行提取耕地，得到精度較高的分割結果。應用方法對山東省肥城市的2016年12月至2017年3月的10幅影像進行了試驗，試驗結果表明，該方法獲取的耕地精度為88.3%，提取耕地信息得到了較好的結果。

關鍵詞：遙感影像分類;卷積神經網絡;農用地信息;ECL Deeplab模型;高分2號;華北地區

中圖分類號： S127文獻標志碼： A

文章編號：1002-1302（2020）04-0209-06

收稿日期：2018-11-26

基金項目：國家自然科學基金（編號：41471299）;山東省自然科學基金（編號：ZR2017MD018）;山東農業大學青年科技創新項目（編號：23659）;中國氣象局旱區特色農業氣象災害監測預警與風險管理重點實驗室開放研究項目（編號：CAMF-201701）。

作者簡介：魏青迪（1992—），女，山東煙臺人，碩士研究生，主要從事遙感信息提取方面的研究。E-mail：weiqingdiyx@163.com。

通信作者：范?昊，博士，副教授，主要從事農業信息化、深度學習等方面的研究。E-mail：fanhao@sdau.edu.cn。

實現農田信息的快速獲取與可視化表達，對農用地管理與決策、耕地保護以及農業的生產有重要意義。遙感影像因具有大面積、實時監測的優勢已成為農田信息獲取的一種重要手段，已被應用于農作物的信息提取、農作物識別、耕地面積估算、植被覆蓋等多個領域[1-3]。從遙感圖像中提取耕地的信息屬于圖像的識別和分類問題，目前從遙感圖像中提取耕地信息的方法主要有以下幾類：（1）傳統分類方法。這類方法是以像元為基本單元，僅利用像元的光譜信息實現目標提取[4]。傳統方法的耕地提取主觀性強、更新速度不快、且費時耗力。面對不斷增大的遙感數據量，傳統的方法不是可行的，實現農田遙感數據自動化提取非常有必要。（2）遙感圖像的決策樹分類方法。決策樹分類方法，在遙感圖像分割方面的應用也較為廣泛。潘琛等提出一種基于多特征的遙感影像決策樹分類方法，并對Landsat-5 TM遙感影像進行分類試驗[5]。Sharma等提出使用決策樹分類算法對Landsat TM遙感數據進行分類，結果表明，決策樹分類法明顯優于最大似然（MLC）分類法[6]。但這些算法均存在計算精度相對較低、跨算法運算等問題。（3）基于機器學習的遙感圖像分類方法。呂啟等提出一種基于深度置信網絡（DBN）模型的遙感合成孔徑雷達（SAR）圖像的分類模型，并使用該模型在6波段的搭載C波段傳感器的高分辨率商用雷達衛星（RADARSAT2）遙感圖像上進行驗證，取得了77%的總體精確率[7]。肖錦成等使用誤差逆傳播法（BP）神經網絡搭建了一個遙感圖像的分類模型，并用于遙感圖像中濕地覆被分類問題[8]。（4）基于卷積神經網絡（CNN）的遙感圖像分類方法。2013年深度卷積神經網絡被提出用于圖像分割[9]。曲景影等提出一種基于CNN模型的遙感圖像分類方法，并提出了一種基于矩陣乘法的卷積展開技術的優化矩陣乘法卷積（MMCNN）模型，該模型能使卷積的計算速度加快5倍左右[10]。Long等提出將全卷積神經網絡（FCN）用于圖像分割，利用原始圖像與人工標注的標簽圖像進行訓練，提取圖像特征，最后得到較好的圖像分割結果[11]。

以上各類對遙感影像識別和分類的方法，雖然都取得了一定的成果，但由于數據精度不高或網絡不適合耕地細小特征變化，導致對耕地信息提取的準確率和效率一直不高[12-15]。本研究基于語義圖像分割（Deeplab）神經網絡的耕地提取問題，提出耕地分割提取方法耕地提取語義圖像分割（ECLDeeplab），并應用該方法對山東省肥城市2017年12月至2018年12月10幅高分2號遙感影像進行試驗。試驗結果表明，該方法獲取的耕地精度為90.3%，提取耕地信息得到了較好的結果。

本研究方法的工作思路為：首先分析耕地在高分2號遙感影像上的表現特征;然后以Deeplab模型為基礎，依據地物的具體特點對Deeplab的結構進行調整，形成能夠提取耕地的ECLDeeplab網絡結構，結合訓練結果;最后通過對比試驗比較Deeplab模型和語義分割（Segnet）網絡模型在耕地提取方面的性能，最終得到準確率較高的覆蓋度分割圖。

1?基于ECLDeeplab模型耕地信息提取方法

1.1?Deeplab模型結構的工作原理

Deeplab（v3+）采用編解碼器（encoder-decoder）結構，其工作原理見圖1[16]。模型主要通過調整帶孔卷積的大小來控制編碼器分辨率，因而Deeplab模型在圖像識別時有較好的尺度適應性。模型中編碼器的工作原理是：通過1×1卷積、不同擴張率的多層3×3的空洞卷積、空間金字塔池化共同作用得到特征圖組。模型中解碼器工作原理是：首先將低層卷積特征圖與對應擴大后的編碼器特征圖合并?然后進行3×3的卷積，最后通過上采樣

得到與原圖大小相同的特征圖。

1.2?對Deeplab模型模結構的改進

針對高分2號遙感影像中耕地的特點，為了對耕地信息提取更加準確，本研究對Deeplab模型進行了如下改進。

1.2.1?引入卷積核超參數d?引入一個新的超參數d，參數（d-1）為插入卷積核的空格數，假定原來的卷積核大小為s，那么塞入（d-1）個空格后的卷積核大小n為：

n=s+（s-1）×（d-1）。（1）

假定輸入空洞卷積的大小為i，步長為s，則空洞卷積后特征圖大小o的計算公式為：

o=i+2p-k-（k-1）×（d-1）s+1。（2）

空洞卷積綜合了空間信息，但當擴張率過大時忽視了很多細節特征，所以在ECLDeeplab的網絡結構中，采用1×1卷積、多層3×3卷積和1層擴張率為2的3×3空洞卷積（圖2）來共同得到特征組。

1.2.2?使用改進激活函數線性整流函數（ReLU）

深度卷積網絡都需要大量的數據進行訓練，傳統激活函數（如tanh函數和sigmoid函數）的數據計算量大，幾乎不能夠配合卷積神經層完成訓練。因此，ECLDeeplab模型中采用了線性激活函數ReLU。ReLU激活函數隨機梯度下降的收斂速度比sigmoid函數快，而且ReLU只須要1個閾值就可以得到激活值，而不須要去進行一大堆復雜的運算。ReLU的數學形式見圖3，ReLU函數不僅減少了訓練時間，而且提高了算法性能。

1.2.3?ECLDeeplab的網絡結構加入了相應的解碼器組?高分2號影像耕地在每個像素中有較多的特征，主要表現為1個像素包含1個甚至多個物體，所以結合低層卷積特征圖的解碼器對于從高分2號影像提取耕地有著重要作用，解碼器組如圖4所示，左側卷積結構進行了多次池化，特征圖不斷減小，使得細小的特征在最后的特征圖上沒有體現，而解碼器如圖右側所示將左側特征圖與低層特征圖結合生成的特征圖，這樣結合了適量的低層特征，使模型最終識別的細節特征更精確。

本研究對模型的改進主要有以下3點：（1）通過改進可以更好地利用地物的空間信息，如耕地規則的邊緣等特征，使模型獲得更豐富的特征;（2）主要是使隨機梯度下降的收斂速度加快，減少訓練時間;（3）主要作用是結合低層特征圖以避免因池化丟失的細節特征，使識別結果更準確。

1.3?ECLDeeplab模型的具體步驟

從圖5可以看出，改進后模型的具體步驟如下：（1）原圖像分別通過1層1×1卷積、6層3×3的卷積層、3層3×3的卷積層、3層3×3的空洞卷積得到不同的特征圖。（2）上步中得到的特征圖的像素個數是不同的，通過金字塔池化統一大小，再經過1層卷積合成1張特征圖。（3）最終解碼器實現低層特征圖與以上各層合成的特征圖整合，與標記文件對比調整網絡參數，得到訓練好的網絡。（4）運用得到的網絡對高分2號影像進行最終的耕地提取。

2?ECLDeeplab模型提取耕地信息的試驗步驟

2.1?試驗區

研究區域為山東省肥城市（圖6），范圍在116°02′～116°77′E、36°18′～36°28′N之間，全市總面積1 277 km2。研究選取的試驗數據是2017年12月至2018年3月10幅肥城市的高分2號影像，將其中4幅作為訓練集，6幅為測試集。

2.2?地面調查數據

通過與山東省氣象局合作進行的實地調查，獲得了大量地面數據，調查時間為2017年3月。調查時利用GPS獲取耕地位置信息，并記錄下相應的耕地類型。因本試驗以提取小麥耕地與裸地為目標，所以調查共獲取90個樣點數據，其中70個樣點為冬小麥樣點，20點樣點為裸地樣點，采樣點均勻分布在肥城市區周邊4個方向。數據顯示，該地區耕地分布均勻、較集中，多數為小麥和裸地。

2.3?高分2號影像上耕地的影像特點

一般遙感圖像中的地物類別非常豐富，耕地在高分辨率遙感影像上的影像特征主要表現為如下幾點[17]。

2.3.1?光譜特征?指遙感圖像上不同波段的亮度值、色調或像元值的差別。耕地的色調相對比較均勻，在不同的季節由于種植的農作物不同而呈現出不同的色調。本試驗12月的耕地中，小麥占多數，裸地也分布較多，在影像上體現為紋理均勻的綠色和褐色。

2.3.2?空間特征?不同的地物類型表現出來的空間特性也是相同的，空間特征主要表現在地物的面積、外形、陰影（高低）、圖案、位置以及與附近地物的關聯等。平原地區的耕地多呈長方形，邊緣規則。

2.3.3?紋理特征?圖像上的細部結構按照一定的頻率重復出現就構成了紋理特征，它是單一特征的組合，耕地中的紋理主要包括光滑的、波形的、斑紋的、線性的及其他不規則的紋理。耕地中典型的細部結構主要是農作物，農田中的農作物單個來看是農作物葉子的形狀、大小、陰影、色調、圖形，當它們按一定規律聚集分布時就形成明顯的紋理特征，裸地有明顯的條狀紋理。

2.3.4?形狀特征?耕地的外形和輪廓，實際中的耕地一般都是比較規則的多邊形。

綜上所述，耕地是比較典型的一種地物。在冬季，耕地在影像中總體呈現綠色，也有裸土色，并且耕地分布集中，耕地除了具有明顯的植被光譜特征以外，還具有比較明顯的邊緣特征（田埂），形狀多為規則的多邊形，具有一定的面積。

要使地物的綜合特征能夠完整地被提取，選擇的遙感數據應該盡量云量小且區域容易識別，根據這一原則，選擇2016年12月至2017年12月的10幅GF-2遙感影像。選擇2016年12月的2幅影像、2017年3月的2幅影像作為訓練數據，剩余的2016年12月3幅影像、2017年3月3幅影像為測試數據。

2.4?訓練樣本和檢驗樣本制作

2.4.1?預處理

由于原始圖像在生產過程中會產生幾何以及輻射變形，所以須要對遙感影像進行預處理，以便還原圖像的真實信息[18]，試驗利用ENVI 5.3遙感圖像處理軟件，實現GF-2影像的數據預處理。首先將1 m分辨率影像與4 m分辨率影像作反相色譜（RPC）正射校正，然后將多光譜波段數據與全色波段數據進行融合，再對融合后的數據進行快速大氣校正處理。

2.4.2?標記

精確的人工標注樣本是訓練的基礎和關鍵，本研究使用的標注方法為：（1）首先在ArcGIS 10.2中打開預處理好的原始遙感影像，建立1個面圖層（.shp）文件，類別如表1所示。（2）矢量轉柵格，用C++利用GDAL庫編實現矢量轉柵格。（3）將 .tif格式轉換為模型需要的 .png格式。由于設置好訓練樣本的像素是固定大小，利用python實現圖像分割，裁剪制作出15 000張的訓練樣本。

2.5?ECLDeeplab模型試驗過程

（1）高分2號遙感圖像預處理，利用ENVI軟件對獲取的圖像進行預處理，包括對全色光譜和多光譜圖像進行大氣校正、輻射校正;將全色光譜和多光譜圖像融合，將對比度拉伸生成彩色增強的合成圖像。（2）使用感興越區域（ROI）選擇并生成訓練樣本，得到標記文件。（3）利用python程序對原影像和標記文件進行裁剪。數據集包括2個部分，包括13 000張圖像的訓練集、2 000張圖像的驗證集、170 000張圖像的測試集。（4）進行訓練，將圖像-標記文件組成的樣本作為ECLDeeplab網絡的輸入，并對網絡參數進行初始化。（5）對樣本中的圖像執行前向傳播計算;將前向計算后的結果反向傳播到網絡內部，調整內部參數，從而得出穩定的網絡。（6）輸入測試集得到提取結果，最終須要對模型的分割結果進行分析評價，以精度、準確率、查全率和κ系數作為評價方法。

3?結果與分析

3.1?試驗結果

2018年2篇博士論文《基于深度學習的神經分割方法的研究與實現》[19]、《一種面向農田提取的高分遙感影像分割模型》[20]提出的模型均是在SegNet模型基礎上改進的。可以得出SegNet網絡是目前最為高效的深度學習模型之一，特別是在道路識別具有廣泛的應用。SegNet網絡[21]是Badrinarayanan提出的網絡結構，主要的優勢是利用深度卷積，該網絡同樣通過端到端的訓練方式來實現像素級的分類，SegNet網絡分為編碼層和解碼層2個部分，能夠很好地發現和提取圖像豐富的細節特征。

但在冬季的在高分2號的遙感圖像上，耕地的綠地與裸地差別非常大，給使用單一卷積結構的SegNet模型發現共同特征帶來了較大的困難。而ECLDeeplab模型結合深度卷積神經網絡和概率圖模型的方法，提高了編碼器-解碼器網絡的運行速率和健壯性，不僅能夠很好地挖掘像素間的空間關系，而且能夠很好地挖掘像素自身的信息。

在比較試驗中，將訓練得到的模型應用到GF-2圖像進行分割，這些圖像只用于測試，不參與訓練。SegNet和ECLDeeplab方法得到的結果見圖3。從圖7-a的原圖中可以看出，耕地的面積占整體圖片的面積比較大，邊緣處較清晰，區域也比較規則。圖7-b卷積層為真值，圖7-c為SegNet模型的試驗結果，邊緣有不少漏分并且淺色耕地漏分較多，圖7-d ECLDeeplab模型的試驗結果，最主要的耕地被完整分出，輪廓清晰。

3.2?試驗分析

根據試驗的具體情況，使用精度、準確率、查全率和κ系數作為評價方法的指標，這些指標是由本研究使用混淆矩陣計算得到的。如公式（3）所示，表示第i類的像素被錯誤分到第j類的像素數量。正對角線上的數值表示被正確分割的像素數量，其值占總數的比例越大，表示被正確分割的精度越高，分割結果越準確。反之，對角線上的數值占總數的比例越小，說明被錯誤分割的像素越多，分割效果越差。

CM=c11c12…c1n

c21c22…c2n

cn1cn2…cnn。（3）

精度是指分類結果中正確分類的樣本數與總樣本數之比，本研究使用的精度采用公式（4）計算所得;分割精度是指測試集樣本中被正確分割的像素的數量占整個測試集樣本中像素總數的百分比，即混淆矩陣中對角線上值的和除以總像素數，計算公式中N為像素的總數，n為分割類別的數目。

AC=∑ni=1ciiN×100%。（4）

查全率是指分類結果中正確分出的像素數與該類實際的像素數之比。在此基礎上，將模型的查全率定義為所有類別查全率的平均值。本研究使用的查全率公式定義為：

p=12∑ni=1cii∑ni=1，j=1cij。（5）

κ系數是一個用于進行一致性檢驗的指標，本研究使用的κ計算方式如下：

p0=∑ni=1cii∑ni=1，j=1cij;

pe=∑ni=1c1i×ci1∑ni=1，j=1cij×∑ni=1，j=1cij;

κ=p0-pe1-pe。（6）

根據上述公式計算得試驗精確度（表2）。ECLDeeplab模型識別結果的精度最高，為90.3%，查準率為95.7%，查全率為89.2%。

4?結論

本研究提出了針對耕地提取的ECLDeeplab模型結構。通過大量樣本進行樣本訓練和特征提取，最后再將學習后的樣本特征運用于遙感影像分類完成信息提取。選取山東省肥城市為試驗區進行試驗和精度驗證，平均精度為88.3%，與傳統的SegNet模型識別結果相比精度提高了6百分點，最終形成了用于提取耕地的網絡結構。試驗結果表明，模型能夠高精度地從高分2號遙感影像上提取出耕地的分布信息。下一步工作中，將針對如何對模型進行修改、提取其他地物提高精度進行研究。

參考文獻：

[1]Liu M W，Ozdogan M，Zhu X. Crop type classification by simultaneous use of satellite images of different resolutions[J]. IEEE Transactions on Geoscience and Remote Sensing，2013，52（6）：3637-3649.

[2]Evans C，Jones R，Svalbe I，et al. Segmenting multispectral landsat TM images into field units[J]. IEEE Transactions on Geoscience and Remote Sensing，2002，40（5）：1054-1064.

[3]李?暉，肖鵬峰，馮學智，等. 基于向量場模型的多光譜遙感圖像多尺度邊緣檢測[J]. 測繪學報，2012，41（1）：100-107.

[4]肖?艷，姜琦剛，王?斌，等. 基于ReliefF和PSO混合特征選擇的面向對象土地利用分類[J]. 農業工程學報，2016，32（4）：211-216.

[5]潘?琛，林?怡，陳映鷹. 基于多特征的遙感影像決策樹分類[J]. 光電子·激光，2010，21（5）：731-736.

[6]Sharma R，Ghosh A，Joshi P K. Decision tree approach for classification of remotely sensed satellite data using open source support[J]. Journal of Earth System Science，2013，122（5）：1237-1247.

[7]呂?啟，竇?勇，牛?新，等. 基于DBN模型的遙感圖像分類[J]. 計算機研究與發展，2014，51（9）：1911-1918.

[8]肖錦成，歐維新，符海月. 基于BP神經網絡與ETM+遙感數據的鹽城濱海自然濕地覆被分類[J]. 生態學報，2013，33（23）：7496-7504.

[9]Zhou S S，Chen Q C，Wang X L. Convolutional deep networks for visual data classification[J]. Neural Processing Letters，2013，38（1）：17-27.

[10]曲景影，孫?顯，高?鑫. 基于CNN模型的高分辨率遙感圖像目標識別[J]. 國外電子測量技術，2016，35（8）：45-50.

[11]Long J，Shelhamer E，Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：3431-3440.

[12]Mas J F，Flores J J. The application of artificial neural networks to the analysis of remotely sensed data[J]. International Journal of Remote Sensing，2008，29（3）：617-663.

[13]刁智華，魏玉泉，吳貝貝，等. 基于圖像的農業信息演變規律提取現狀分析[J]. 江蘇農業科學，2017，45（16）：8-11.

[14]張日升，張燕琴. 基于深度學習的高分辨率遙感圖像識別與分類研究[J]. 信息通信，2017（1）：110-111.

[15]Fu G，Liu C，Zhou R，et al. Classification for high resolution remote sensing imagery using a fully convolutional network[J]. Remote Sensing，2017，9（6）：498.

[16]Chen L C，Zhu Y K，Papandreou G，et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]. The European Conference on Computer Vision，2018：801-808.

[17]李正國，唐華俊，楊?鵬，等. 植被物候特征的遙感提取與農業應用綜述[J]. 中國農業資源與區劃，2012，33（5）：20-28.

[18]李?婷，吳克寧. 基于遙感技術的耕地質量評價研究進展與展望[J]. 江蘇農業科學，2018，46（15）：5-9.

[19]徐晨陽. 基于深度學習的神經分割方法的研究與實現[D]. 北京：北京郵電大學，2018.

[20]程?清. 一種面向農田提取的高分遙感影像分割模型[D]. 泰安：山東農業大學，2018.

[21]Badrinarayanan V，Kendall A，Cipolla R. Segnet：a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.