基于卷積神經網絡的高分遙感影像耕地提取研究

陳玲玲 施 政 廖凱濤 宋月君 張紅梅

(1.江西省水利科學院， 南昌 330029； 2.江西省土壤侵蝕與防治重點實驗室， 南昌 330029； 3.南昌工程學院水利與生態工程學院， 南昌 330099)

0 引言

高分辨率遙感影像降低了中低分辨率影像的混合像元問題，能夠較為清晰、準確地表達地物邊界、形狀、紋理信息、內部幾何結構和空間關系[1-2]，當前高分遙感地物提取傳統方法主要有最大似然法(Maximum likelihood，ML)[3]、支持向量機法(Support vector machine, SVM)[4-5]、隨機森林法(Random forest, RF)[6-7]、面向對象分類法[8-9]等，并取得了較好的研究成果。然而傳統方法大多是先由專業技術人員人工設定規則或劃分樣本，再根據自身算法或結合其他算法來實現分類提取[10]，受經驗限制和人主觀影響強，且高分影像中豐富的細節信息和復雜的規律往往無法被很好地描述，對特征差異大、信息復雜的遙感影像提取效果有限，容易導致椒鹽噪聲[11]。隨著遙感大數據時代的來臨，特別是米級、亞米級高分遙感影像的出現，其擁有更清晰、更加豐富的地物影像信息[12]。采用SVM方法將消耗大量的時間和計算資源，對計算機的性能要求高。雖然將大影像裁剪為若干小塊來處理是一種解決辦法，但這些提取方法需人工選取樣本和設定參數，每一小塊都要重新操作，繁瑣耗時，還存在前后結果不一致的風險。目前，圖斑精細化解譯的實際過程依然以人工目視解譯為主，遙感傳統模型為輔的方式進行。

近年來，伴隨著大數據、云計算和服務器的發展，給深度學習(Deep learning, DL)技術帶來了巨大的機遇[13-15]，卷積神經網絡(Convolutional neural network, CNN)在遙感影像分類領域表現突出[16]，CNN完全基于數據驅動，是一種無需專家知識來人工選擇參數和設計特征，便可從數據中挖掘所需要的特征信息。具有智能化、自動化以及對海量遙感數據適應力強等特點。但CNN一般主要用作圖像級的分類，歸一化后輸出結果為整個輸入圖像的一個數值描述(概率分布式)，只能標識整幅圖像的類別，不能對標識圖像中的每個像素點進行識別[17]。因此，LONG等[18]提出了全卷積神經網絡(Fully convolution network, FCN)，首次實現了端到端對圖像進行像素級分類的功能，做到了像素對像素的映射。FCN是目前許多語義分割方法的基礎，相關學者基于FCN語義分割模型也開展耕地提取方面的研究工作[19-21]，基于FCN的模型算法，一旦訓練出模型參數，即可實現復用推廣，不必多次人工選定參數，大大節省了人工判讀時間，實現了耕地的自動化提取，且最大限度地降低了人主觀因素影響。然而，目前應用于遙感領域的FCN模型大多注重精度而忽略了資源投入以及時間成本，在硬件資源和計算能力有限的情形下，可能會導致模型訓練困難，耗時長，甚至無法實現等問題。

為解決上述問題，在以低資源消耗和高計算效率的輕量級卷積網絡的基礎上，通過對比SqueezeNet[22]、Xception[23]、ShuffleNet[24-25]和 MobileNet[26-27]等優秀輕量級CNN模型，引入參數少、計算量小、精度高的深度可分離卷積、壓縮-激勵塊和反殘差塊，并將這些塊組合生成一個新模塊(Inv-Bottleneck)。并借鑒語義分割模型實現端到端的高效框架[28]，引入U-Net 網絡結構的編碼-解碼框架[29]。最后，以Inv-Bottleneck模塊為核心，以編碼-解碼骨架為基礎框架聯合建立基于FCN的輕量級耕地圖斑提取模型(Lightweight Inv-Bottleneck net，LWIBNet)，應用數學形態學算法作為后處理手段，研究基于深度學習的高分遙感影像耕地圖斑提取技術，以期為土地利用變化以及生態環境效益評價提供數據和技術支撐。

1 研究方法

本文采用LWIBNet模型進行耕地圖斑提取，LWIBNet的整體架構見圖1。編碼-解碼結構是LWIBNet的基本框架，其中編碼部分由11個Inv-Bottleneck、2個標準卷積和1個最大池化組成，并分為5個模塊，將向解碼部分輸出5個不同尺度信息的特征圖譜 (FP)，編碼部分用于學習輸入耕地圖像的上下文語義信息并進行特征提取；解碼部分由4個Inv-Bottleneck、4個標準卷積和5個上采樣層組成，同樣分為5個模塊，將依次融合編碼部分輸出的5個FP，形成更為豐富的特征信息。解碼部分用于加強編碼部分的特征提取結果，并恢復特征圖的的空間信息和分辨率，圖1中，E-FP、D-FP分別表示編碼、解碼部分的特征圖譜，各5層。

圖1 LWIBNet輕量級耕地圖斑提取模型結構圖Fig.1 Structure diagram of LWIBNet lightweight cultivated land spot extraction model

解碼部分的輸出緊接帶Softmax分類器的卷積層，此層能歸納出輸入圖像中具有相同語義的像素點，并輸出一幅和輸入圖像大小相同的已分類標記好的圖像，形成耕地圖斑信息圖。

1.1 Inv-Bottleneck模塊

Inv-Bottleneck模塊是本文模型的核心模塊，由反殘差塊、壓縮-激勵塊、深度可分離卷積和標準卷積構成，其能高效利用深層特征，在確保網絡擁有一定準確率的同時降低參數量和計算量，節約計算資源并提高效率，其結構圖如圖2a所示。NL表示激活函數,即ReLU6和H_swish。

圖2 模型組件結構圖Fig.2 Structure diagrams of model components

1.1.1深度可分離卷積

深度可分離卷積是輕量級神經網絡模型的核心工具，可顯著降低計算量和計算成本，同時實現與標準卷積類似(或稍好)的性能，其將一個標準卷積拆分為兩個獨立的操作：深度卷積(DW)操作和逐點卷積(PW)操作[30]。

深度卷積中，一個卷積核負責一個通道，一個通道只被一個卷積核所卷積，且只改變FP的大小，不改變通道數，相同卷積核的深度卷積比標準卷積需要更少的參數；逐點卷積等價于核大小為1×1的標準卷積，操作時只改變通道數，不改變FP，它常被用來關聯特征圖各通道之間的信息，進行信息交流。

使用DW和PW參數量和計算量將顯著減少，深度可分離卷積與標準卷積參數量、計算量比值分別為

(1)

(2)

式中Dk——卷積核尺寸

Wo、Ho——特征圖寬度和高度

M——輸入通道數N——輸出通道數

若卷積核尺寸采用3×3，深度可分離卷積的參數量和計算量將減小為標準卷積的1/9～1/8。在Inv-Bottleneck中混合使用5×5和3×3的DW，能使參數量不過多增加的同時有更好的效果，并且為了降低過擬合的風險，每步DW和PW之后都將使用批標準化(BN)。

1.1.2反殘差模塊

反殘差模塊是以ResNet[31]的殘差塊為基礎，并結合深度可分離卷積優化而來的，與ResNet殘差塊中維度先縮減后擴增相反，它先使用1×1 PW將輸入的低維FP升維，然后在中間層利用輕量級的DW來提取特征并引入非線性，再使用一個線性的1×1 PW將其映射回低維空間中，如果步長為1，殘差傳播會被激活，此時特征圖將與輸入圖譜相加，不僅能加深網絡層數，緩解訓練時網絡深度增加而出現的梯度消失問題，還能減少參數量和計算量，提高模型的效率和性能。具體結構見圖2b。

本文Inv-Bottleneck的骨架采用反殘差結構，并引入了H_swish激活函數[32]。計算式為

(3)

因H_swish在更深層才能體現它的優勢，在編碼部分Inv-Bottleneck模塊將在較后層才應用H_swish函數，其他則繼續使用ReLU6。

1.1.3壓縮-激勵模塊

壓縮-激勵模塊(SE)是能夠讓網絡模型對特征進行校準的機制，通過學習來自動獲取每個特征通道的重要程度，然后依照這一結果去提升有用的特征并抑制對當前任務用處小的特征[33]。SE能提升模型的質量，但也會增加網絡的總參數量和總計算量，因此引入了改進的SE塊，其結構見圖2c,包含1個壓縮(Squeeze)和2個激勵(Excitation)操作，與未改進前相比，第1個激勵中增加了0.25的縮放參數，可減少通道個數從而降低計算量，兩個激勵中的激活函數都替換為計算量少的H_swish。圖中的FC表示全連接層，可以看作1×1的卷積層，有利于實現通道間的融合；W、H和C分別表示特征圖的寬、高和通道數。改進的SE模塊被運用在Inv-Bottleneck模塊的最后一層，先進行SE操作再進行PW操作。實現壓縮-激勵塊能在不破壞特征的情況下，提升整個模型的運算性能。

1.2 編-解碼結構

LWIBNet的編碼、解碼部分具體結構和參數如表1、2所示。

表1 編碼部分具體結構和參數Tab.1 Specific structure and parameters of encoding part

表2 解碼部分具體結構和參數Tab.2 Specific structure and parameters of decoding part

2 實驗與結果分析

2.1 實驗數據

本文收集了江西省奉新縣、上高縣、新余市渝水區、靖安縣、崇仁縣和宜豐縣等6個縣級行政區的高分1號以及高分6號遙感影像，并經過大氣校正、幾何校正以及多波段影像融合處理后的分辨率為2 m的柵格影像以及經人工目視解譯的耕地矢量數據作為實驗數據，其中奉新縣、上高縣、新余市渝水區、靖安縣和崇仁縣的部分影像被截取作為訓練影像，相應的耕地矢量數據作為標簽數據，訓練影像以及對應標簽共同構成訓練數據。為滿足 GPU 顯存需求和提升訓練效率，利用滑窗裁剪和隨機裁剪，將訓練數據裁剪為若干256像素×256像素的子圖，并按比例4∶1分為訓練集和驗證集。另外，為避免訓練集影像過少引起的欠擬合或過擬合等問題，還對訓練集和驗證集進行了水平翻轉、垂直翻轉、對角翻轉等數據增廣操作，并將其打亂使得樣本分布更合理。最后生成了77 969幅256像素×256像素圖像的訓練集，19 492幅256像素×256像素圖像的驗證集。宜豐縣的遙感影像作為測試影像，測試LWIBNet模型提取耕地圖斑的精確度。高分遙感影像相關信息如表3所示。

表3 高分遙感影像的相關信息Tab.3 Related information of high-resolution remote sensing images

2.2 實驗方案與設置

選取RF、SVM和ML與LWIBNet模型的提取結果進行對比分析。其中，SVM的每個類最大示例數設為500；RF的樹設置為最大數量100，最大深度30；LWIBNet模型的訓練參數設置為：損失函數均采用交叉熵函數，優化器采用更優的Nadam優化算法[34]，分類器采用Softmax激活函數，初始學習率均采用1×10-4，批尺寸為36，驗證集的損失率連續10輪沒有下降，則停止訓練。LWIBNet與傳統模型對比實驗軟硬件環境為：CPU為lntel(R)Xeon(R)CPU E5-2687W；GPU為NVIDIA GeForce GTX 1070；操作系統為Windows 10；開發工具為Tensorflow2.3+Python3.8。

選取基于FCN的U-Net模型、Deeplabv3+模型(主干網絡為Resnet50)與LWIBNet的模型對輕量性和提取精確度進行了對比，實驗環境為：CPU為lntel (R) Core i7-10875H；GPU為NVIDIA GeForce RTX 2070；操作系統為Windows 10；開發工具為Tensorflow2.3+Python3.8。

為了避免傳統模型以及基于FCN的模型產生細小圖斑的影響，引入數學形態學方法，對傳統分類模型和LWIBNet模型的提取結果進行后處理，傳統模型先通過聚類處理將臨近的類似分類區域聚類并進行合并，再用聚類之后的圖像做過濾處理濾除小圖斑。測試時增強算法具有提升精度的效果，所以LWIBNet模型的后處理為先使用增強算法來增強提取結果，再利用數學形態學的閉運算來優化圖斑內部空洞，最后利用閾值法濾除雜波。

2.3 實驗結果

使用優化后的耕地提取模型得到江西省宜豐縣耕地圖斑空間信息，如圖3所示。

圖3 LWIBNet模型提取的宜豐縣耕地圖斑空間分布信息圖Fig.3 Spatial distribution information map of cultivated land spots in Yifeng County extracted by LWIBNet

2.4 精度評價與分析

為驗證LWIBNet模型提取耕地圖斑的精度，選取宜豐縣一塊7 107像素×5 052像素的區域作為測試影像，并將測試結果與相應區域人工標注的耕地信息圖進行定性和定量比較。

2.4.1傳統模型與LWIBNet模型定性對比

圖4為各模型從測試影像提取耕地圖斑的整體對比，有助于全局性對各模型提取結果進行對比。圖5為各模型從測試影像提取耕地圖斑的細節對比，能更具體地辨別出正確分類和錯誤分類的地物。

圖4 各模型從測試影像提取耕地圖斑的整體對比Fig.4 Overall comparisons of cultivated land patches extracted from test images by various models

圖5 各模型從測試影像提取耕地圖斑的細節對比Fig.5 Comparisons of details of cultivated land patches extracted from test images by different models

由圖4可知，從整體來看，除了ML將較多耕地錯誤識別為非耕地而導致整體分類情況和標簽圖相差較大外，其他模型的提取結果都與標簽圖在整體趨勢上有較高吻合度。但與LWIBNet相比，沒有經過后處理的傳統分類模型都受到了嚴重的椒鹽噪聲干擾，從圖4d、4f、4h可以看到后處理后的傳統模型緩解了噪聲對影像質量的影響，各圖斑之間的界限也更明晰，但它們依然存在諸多錯分漏分情況。而LWIBNet僅受少量雜波影響，其在未后處理的制圖整潔度和美觀度遠優于經后處理的傳統模型。在各模型中的后處理主要針對被錯識別為耕地的像素，后處理的效果在LWIBNet模型中的表現最為突出，錯識別像素明顯減少。根據圖中錯識別和漏識別像素數量和分布情況來看，ML的表現最差，正確識別的像元數最少，RF和SVM不管是后處理前還是后處理后分類表現相差不大，且這3個模型提取的圖斑都存在破碎度大和像元混合的問題，將本是成片的耕地識別成了破碎不連續的零散圖斑，破壞了耕地信息的空間完整性。而LWIBNet模型結果不僅錯分像素最少，提取的成片耕地大部分都具有連續性，后處理后的制圖成果更加整潔，圖4k中也可以看出，LWIBNet模型提取的耕地區域與實際耕地的分布位置具有較好的一致性，從耕地圖斑提取整體效果來看，LWIBNet模型表現最優。

由圖5可知，從細節分析上看，傳統模型提取的圖斑破碎大和像元混合看的更清晰，出現這些問題可能是因為耕地的光譜信息類內差異大，這與種植方式、土壤屬性和作物類型等的不同有關。而LWIBNet模型能充分利用上下文語義信息，可減輕這種類內差異大帶來的影響，故提取的圖斑連續性好。傳統模型還易將枯水期的河湖庫塘、植被覆蓋較低的其他林地裸土地等錯誤識別為耕地，這可能是受高分影像“同物異譜”和“異物同譜”影響。而LWIBNet模型完全趨于數據驅動，能反復多次地學習圖像的底層和高層特征，這個優點可減輕上述現象的影響，故LWIBNet模型錯識別為耕地的像素更少。從細節圖能明顯地看出后處理后的結果比處理前更加整潔和準確，但后處理也會帶來一定的負面影響，容易濾除一些正確識別的孤島小圖斑，從而造成漏識別，但總體效果較好。通過與標簽圖像對比，ML表現最差，SVM略優于RF，而LWIBNet表現最優。

2.4.2傳統模型與LWIBNet模型定量對比

表4為LWIBNet模型與傳統模型的定量評價結果。從表4可看出，所有模型后處理后的各項指標都高于處理前，ML、RF、SVM的Kappa系數比處理前分別提升了7.7%、9.6%和10.3%，而LWIBNet模型后處理后的提升較少，也提升了0.008。在3個傳統模型中ML的評分最低，而SVM略高于RF。LWIBNet模型的各項評分顯著優于傳統模型，比表現最好的傳統模型F1值提高11.6%，OA提高5.2%，MloU提高12.2%，Kappa系數提高12.0%。

表4 LWIBNet與傳統模型的定量評價指標對比Tab.4 Comparison of quantitative evaluation indexes between LWIBNet and traditional model

通過對比LWIBNet提取的宜豐縣耕地總面積與人工解譯的總面積發現，LWIBNet提取的宜豐縣耕地圖斑面積為278.30 hm2，人工解譯的宜豐縣耕地矢量數據中耕地面積為300.59 hm2。絕對誤差為22.29 hm2，相對誤差為7.42%，模型提取的耕地圖斑大體上和人工識別的一致，但一些林間耕地，窄小耕地等樣本量少或復雜的耕地類型，容易被漏提取，但總體上表現較好，表明利用LWIBNet模型提取耕地圖斑有較大的可行性。

2.4.3經典FCN模型與LWIBNet模型的對比

實驗主要包括模型輕量性和模型提取精確度對比。輕量性實驗中包括模型的參數量、浮點運算數和訓練耗時，這3個指標分別用于衡量模型復雜度、模型計算復雜度以及模型運行速度(表5)。對于模型提取精確度，主要開展了定性和定量的分析。此對比實驗訓練集和驗證集是從大數據集中隨機抽取7 500幅圖像，每個模型都訓練40個周期(由于計算資源和時間限制，這里未進行充分訓練，能對比本文模型與經典模型的輕量度、精確度的差異即可)。從表5可看出，在參數量上，LWIBNet為1.07 MB，U-Net的參數量是它的29倍，Deeplabv3+ 約為LWIBNet的11倍。在浮點運算數上，LWIBNet為14.14 GB，U-Net是LWIBNet的7.7倍，Deeplabv3+約為LWIBNet的3.7倍。在訓練耗時上，U-Net的耗時最多，是Deeplabv3+ 的2.3倍，是LWIBNet的4.6倍，LWIBNet的耗時最少，每步耗時139 ms。

表5 LWIBNet與經典FCN模型的計算資源、時間消耗指標對比(輕量度對比)Tab.5 Comparison of computing resources and time consumption between LWIBNet and classical FCN model

在分割耗時上，U-Net的每步耗時最多，LWIBNet的耗時最少。LWIBNet 無論是參數量、計算量還是訓練耗時都低于經典語義分割模型，符合輕量級網絡模型的特點。

圖6為各深度學習模型從測試影像提取耕地圖斑的整體對比。由圖6可知，Deeplabv3+的紅色像素比黃色像素更多，表明錯識別的像素中錯識別為非耕地的更多，U-Net的紅色像素比黃色像素略多一點，兩種錯識別概率相近，LWIBNet主要是黃色像素比紅色像素多，也就是錯識別為耕地的更多一點；3個模型對比來看，LWIBNet模型的黃色像素最多，也錯識別為耕地的更多，但是它紅色像素最少，正確提取的灰色像素也比其他模型多一點，Deeplabv3+紅色像素最多，黃色最少，U-Net的黃色和紅色像素數量居于中間。定量對比如表6所示。從表6可看出，U-Net與LWIBNet在各項指標上只有0.001～0.005的差異，LWIBNet與Deeplabv3+也僅有0.005～0.028的差異，且LWIBNet的大部分指標更優于Deeplabv3+。綜合定性和定量結果，LWIBNet與經典FCN模型有著相似的分割精度，且該模型具有一定輕量性，它的計算資源和時間消耗更低。

圖6 各深度學習模型從測試影像提取耕地圖斑的整體對比Fig.6 Each deep learning model extracted whole contrast of cultivated land patches from test images

表6 LWIBNet與經典FCN模型的提取結果定量對比Tab.6 Quantitative comparison of extraction results between LWIBNet and classical FCN model

3 結論

(1)綜合輕量級卷積神經網絡和U-Net的優點，以Inv-Bottleneck模塊(由深度可分離卷積、壓縮-激勵塊和反殘差塊組成)為核心，聯合高效的編碼-解碼結構為框架，建立了基于FCN的輕量級耕地圖斑提取模型(LWIBNet模型)。

(2)LWIBNet模型有效改善了傳統模型提取結果破碎的問題，并減輕了椒鹽噪聲影響，其F1值、整體精度(OA)、均交并比(MloU)和Kappa系數等各項指標均比表現最好的傳統模型(經后處理的SVM)分別提高了11.6%、5.2%、12.2%和12.0%；且LWIBNet模型訓練得到模型參數具有更好的普適性，降低了人為主觀因素的干擾，自動化水平更高。

(3)在相同的實驗環境和設置下，LWIBNet模型的參數量、計算量和訓練耗時都低于經典的FCN模型Deeplabv3+和U-Net，其中，Deeplabv3+的參數量是LWIBNet模型的11倍，U-Net的計算量是LWIBNet模型的7.7倍，U-Net的訓練耗時是LWIBNet模型的4.6倍，LWIBNet無論是參數量、計算量還是訓練耗時和分割耗時都低于經典的FCN模型Deeplabv3+和U-Net，且提取結果的精度與經典FCN模型相似，表明LWIBNet能以更少的計算資源和時間消耗實現與經典FCN模型相似的分割精度。