基于SE-DRUnet的遙感影像耕地變化檢測

黃 梅，楊文忠，汪傳建，魏文鈺

(1.新疆大學信息科學與工程學院，新疆 烏魯木齊 830046；2.新疆多語種信息技術實驗室，新疆 烏魯木齊 830046；3.安徽大學互聯網學院，安徽 合肥 230039)

耕地一直以來都是人類生存的必要條件，但是，隨著森林采伐以及過度游耕，耕地面積在不斷地減少.目前我國人均面積較少，人地矛盾愈發尖銳，耕地質量有所下降，退化嚴重[1]，并且可以開墾的耕地資源非常有限，我國耕地保護迫在眉睫.快速、準確地檢測出耕地的變化情況是十分有必要的[2].

目前國內外學者對遙感圖像變化檢測的研究眾多[3-6]，主要分為無監督方法和有監督方法，通常利用圖像差分、主成分分析、變化向量分析(CVA)等方法檢測變化區域，但這些方法不能利用先驗知識，只能依賴假設的差異圖來檢測變化.然而遙感圖像常常因拍攝角度不同、光照不同或是傳感器本身的原因而產生差異，無監督方法不能很好地適應這種變化.有監督方法使用標記好的數據來檢測變化，檢測結果的準確率相對較高.基于對象的方法[7-10]雖然能很好地利用空間信息，不易受噪聲影響，但可以使用的分割算法比較局限.基于像素的方法[11-14]能夠保留更多原始信息，具有豐富的細節特征信息.傳統的方法通過閾值分割的方法處理差異圖像得到最終的變化圖.這類方法對閾值和特征指標的選擇要求極高，而且很容易受到噪聲(例如亮度或大氣條件)的影響，泛化能力較差，準確率較低[15-16].近年來，深度學習已逐漸成為計算機中的研究的熱點，很多國內外學者開始將深度學習應用到解決實際問題當中并取得了很好的研究成果[17-22].深度學習網絡架構能夠通過數值來描述輸入數據，因此這種結構可以用在圖像分類任務當中，傳統的網絡架構[23]通常是在卷積層后連接一些全連接層，其輸入圖像的大小是固定不變的，并且網絡冗余太大，十分耗費資源，不能在增大感受野的同時提高定位精度，效率不高.為完成語義級分割任務，文獻[24]提出全卷積神經網絡FCN，將CNN網絡的全連接層換成卷積層，采用下采樣與上采樣結合的方式，不僅可以訓練任意大小的網絡，還能保留圖像的空間信息，但是FCN的分割結果還是不夠精細.后來Ronneberger 等[25]在FCN的基礎上提出一種能夠結合深層特征和淺層特征的U-net架構，在圖像分割領域中取得了顯著成果[26-29].U-net是一種端到端的網絡結構，可以完整保留上下文信息，并在數據量很少的情況下取得了不錯的分割效果.文獻[30-32]也將U-net用在變化檢測任務中，效果俱佳.但是現有的模型提取到的特征有限，模型檢測變化區域的準確度仍然有待提升.本文提出一種基于U-net改進的模型來檢測耕地變化，該模型巧妙地將U-net與VGG[33]、SE-Net[34]和殘差結構[35]相結合.首先，利用更深的卷積層提取到更多復雜的地物特征，獲取到更加高級的語義特征，同時這種方式能夠增大感受野，增強模型的抗干擾能力；其次，引入SE模塊和殘差結構，SE模塊對圖像各通道分配權重，讓網絡能夠自動學習到對變化檢測任務有用的特征，殘差結構則能降低模型復雜度，提升模型性能.所提出的模型經過實驗對比，效果優于其他模型.

1 數據集

本文采用Landsat-8衛星遙感圖像.使用的圖像為預處理后的RGB真彩色圖像.創建地面真實標簽的過程完全是人工完成的.白色表示變化區域，黑色表示未變化區域(見圖1).研究區域為新疆的3個地區：巴音郭楞蒙古自治州地區、昌吉回族自治州地區和烏蘇市地區(見表1).它們對應的圖像尺寸分別為1 408×2 304像素、1 920×1 792像素、1 536×2 048像素.預處理后，雙時相圖像和對應的標簽被分成共600組128×128像素大小的圖像.隨機抽取一半樣本作為訓練集，另一半作為測試集，僅對訓練集進行數據增強.一共生成了1 792個訓練樣本和300個測試樣本.

表1 Landsat數據集

圖1 數據集

2 網絡模型

本文模型融合VGG[34]來增加網絡深度，VGGNet采用3×3的卷積核和2×2的池化核，并不會使網絡因深度的增加而降低性能，也不會帶來參數爆炸問題.兩個串聯的3×3卷積層感受野大小與1個5×5的卷積層的感受野一樣(見圖2)，這種操作將小片區域參數轉換為單個值以進行比較，可以很好地處理由傳感器的不同視角等因素引起的配準問題.3個串聯的3×3卷積層感受野大小與7×7的卷積層感受野一樣，但是3個3×3的卷積層的參數總和只有1個7×7的一半左右.并且利用3個非線性操作會讓網絡學習特征的能力更強.這種結構在不增加網絡復雜度的同時也增大了感受野，能夠獲取到更多的信息，因此本文采用VGGNet的方式改進了U-net的卷積模塊.

圖2 2個3×3卷積層串聯感受野示意圖

在利用更深的深度網絡進行變化檢測時，網絡是否越深越好并不清楚，為了探索出合適深度的網絡進行變化檢測，本文探索了18層、24層、27層的U-net在耕地變化檢測任務中的表現.

2.1 網絡結構

SE-DRUnet網絡架構包含兩個部分：編碼路徑和解碼路徑(見圖3).在編碼路徑中，多組卷積和池化操作將自動提取圖像特征并將其映射至高維，殘差結構防止梯度消失，使網絡有更好的收斂能力.編碼路徑的核心包含5組卷積模塊，SE模塊添加在每個模塊的捷徑連接層之前，不同之處是1，2組卷積模塊均包含兩個卷積層，3，4，5組卷積模塊均包含3個卷積層.激活函數均為Relu函數，為提高模型的魯棒性，降低特征圖的維度，在捷徑連接層之后做2×2的池化并添加了BN層來防止過擬合，同時提高網絡的收斂速度，使模型的訓練更加穩定.

圖3 網絡結構

解碼路徑中，每層輸入不但包括上采樣得到的深層特征圖，還包括對應編碼部分生成的淺層特征圖.隨著網絡的層數加深，得到的特征會更加有區分度，但也更加抽象，損失的原圖信息也更多，這種將兩張特征圖通過通道連接的方式進行融合的方法，能夠讓高分辨率的圖片與低分辨率的圖片相結合從而獲取到更豐富的信息.解碼路徑的核心包含4組卷積模塊，SE模塊添加在每個模塊的捷徑連接層之前，不同之處是，6，7組卷積模塊均包含兩個卷積層，8，9組卷積模塊均包含3個卷積層.

2.2 SE模塊

SE-Net(Squeeze-and-Excitation Networks)[34]是2017年的ImageNet冠軍模型.該模型采用了“特征重標定”方法，其主要思想是讓網絡自動學習每個特征通道的重要程度，通過特征的重要程度來判斷特征的作用并加強對任務有用的特征，忽略作用不大的特征.此外，文獻[34]也將SE模塊應用到Inception模型和ResNet模型中，在一定程度上提升了模型的性能.U-net是一種基于像素的變化檢測方法，此類方法能夠保留更多原始信息，具有豐富的細節特征信息，但其使用局部感受野，不能充分考慮像素的空間位置特征，比較容易受噪聲影響.因此將SE模塊引入U-Net中，SE模塊能獲取全局信息，對各通道特征之間的相互依賴性建模，找到更加具有區分度的特征，提升網絡表征能力和抗噪能力.

SE模塊一共包含3個部分(見圖4)：(1)Squeeze操作，該操作采用全局平均池化來壓縮特征，將二維的特征通道轉變成實數，利用這個實數獲取全局信息.(2)Excitation操作，該操作包含兩個全連接層和一個Sigmoid層.全連接層能融合全部的特征信息，Sigmoid層則將輸入數據映射到0～1之間，由此來獲取特征圖各通道的權重.(3)Scale操作，該操作通過乘法讓權重與特征融合，從而實現特征的重標定.

圖4 SE模塊示意圖

2.3 殘差結構

ResNet在2015年由He等[35]提出，并在2016年對深度學習的發展方向產生了巨大影響.ResNet在輸入和輸出之間做捷徑連接，從而形成殘差函數.該殘差函數易于優化，非常適用于深度網絡.研究人員[36-37]巧妙地將殘差網絡與深度學習網絡模型相結合得到了很好的分割效果，殘差模塊將不同卷積層級聯的輸入和輸出相加來提取特征，在一定程度上能夠減少模型參數，從而減少模型訓練時間，能更好地防止梯度消失.本文將SE模塊與殘差結構相結合的示意圖如圖5所示.

(a)兩層殘差卷積模塊 (b)三層殘差卷積模塊

3 評估指標與后處理

為了評估模型的性能，我們使用混淆矩陣(Confusion matrix)對分類結果進行評估.像素的分類結果共4種：TP，FP，TN和FN分別表示真陽性的數量，假陽性的數量，真陰性的數量和假陰性的數量，根據這些來計算這4個指標：準確率(A)、精確率(P)、召回率(R)和F1值(F1-score)，具體描述如下：

(1)

(2)

(3)

(4)

模型的預測結果圖中會出現一些小面積的空洞區和誤報區，為了提升模型的檢測效果，本文采用孔洞填充和腐蝕的方法來消除這些預測錯誤的地方，效果見圖6.

圖6 后處理效果圖

3.1 孔洞填充

在觀察預測結果后發現少數耕地變化預測結果圖中出現孔洞現象，影響實驗效果，因此對圖像進行了孔洞填充.本文先利用label( )函數標記出連通區域，再利用remove_small_holes( )函數將連通區域內的小面積黑色區域填充成白色.

3.2 腐蝕

在網絡模型的檢測結果中，存在一些零散的小塊的區域，這些區域的意義不大，但影響效果，本文利用morphology子模塊的remove_small_objects()函數來消除這些誤報區，該函數會先計算出連通區域的面積，然后刪除給定閾值的連通區域.通過計算發現，標簽中耕地的最小面積為64，因此閾值設為64，預測結果中，面積小于64的區域都會被腐蝕.

4 實驗結果

本次實驗的硬件環境為Intel(R) Core(TM) i9-9900K CPU (3.6 GHz，8核和32 GB RAM)和單個NVIDIA-SMI GeForce GTX 2080 Ti GPU，內存64 GB，軟件環境為Ubuntu 18.04.3，python3.6，tensorflow1.14.0.在訓練和測試的時候僅讀取標簽圖像中一個通道(R通道)的像素值，將每個像素值除以255(轉換成0和1)使之成為一個二值圖像，與兩個時相的原圖堆疊后一起輸入模型訓練.訓練集和測試集圖像讀入時的形狀為(128，128，6)，標簽讀入時的形狀為(128，128，1).模型按批次處理圖像，批處理的大小為32，共需要56個批次完成一次模型的訓練.使用學習率為0.001的Adam優化器不斷更新網絡的權重，直到找到全局最優點，當損失函數降低并趨于平緩時，模型訓練結束.本文使用的損失函數是網絡模型預測結果的像素值和標簽真實的像素值的交叉熵，此損失函數常與Softmax函數搭配在分類問題中使用.

表2是不同深度網絡模型的參數數量以及準確率對比.從參數上來看，隨著網絡層數的加深模型的參數會提升很多，但24個卷積層的網絡模型檢測比18層和27層的效果都要好.因此選用24層網絡進行變化檢測.

表2 不同深度模型對比

圖7 不同模型在巴音郭楞蒙古自治州地區的預測結果

圖8 不同模型在昌吉回族自治州地區的預測結果

圖9 不同模型在烏蘇市地區的預測結果

本文計算了4個評價指標(A，P，R，F1)，并匯總于表3.圖7—9分別是不同模型在3個地區檢測耕地變化的預測結果.可以看出，本文模型具有最好的變化檢測性能，結果與人工標注的結果更加相似.與其他模型相比，SE-DRUnet模型的預測結果圖中多邊形的邊緣更加清晰且漏檢情況較少，其他模型檢測結果邊緣非常不規則，且孔洞的發生更為嚴重.通過比較，發現U-net模型的A，P，R，F1值在這些網絡模型中最低(見圖7d、圖8d、圖9d).其他模型的變化檢測效果均優于U-net.其中，Res-Unet模型 (見圖7e、圖8e、圖9e)沒有使用傳統的卷積塊，而是使用殘差連接，極大地促進了深度網絡的訓練，提高了空間精度，可見殘差結構在一定程度上能提升模型的性能；FlowS-Unet模型[38](見圖7f、圖8f、圖9f)結合了FlowNet和U-net，在檢測建筑的變化取得了不錯的效果，但檢測耕地變化的效果有待提升.Forest-Unet模型(見圖7g、圖8g、圖9g)是Hamdi等[39]找出的最適合檢測森林破壞的網絡模型，可以看出該模型在檢測耕地變化時效果也并非最佳；SE-DRUnet模型(見圖7h，圖8h和圖9h)將VGG結構和SE模塊引入U-net并采用殘差結構，可以提取更加具有區分度的特征，并且不容易受噪聲數據的影響.該模型極大地促進了深度網絡的訓練，提高了空間精度.

表3 SE-DRUnet與其他模型性能比較 %

由表3可以看出，SE-DRUnet在沒有進行后處理的情況下準確度已經比其他方法好很多，在經過后處理之后也準確度略微上升，A，P，R和F1值分別達到95.61%，92.33%，86.62%，89.39%，是幾個模型中表現最好的.證明本文提出的SE-DRUnet方法更適合于耕地變化的檢測.

5 總結

針對目前變化檢測方法的準確性不高、容易受到噪聲影響的問題，本文在U-Net的基礎上提出了SE-DRUnet模型.該網絡采用編碼器-解碼器架構，能夠融合高分辨率特征和語義特征.SE-DRUnet有較好的魯棒性，在提取的特征時抗噪能力較強.模型采用VGGNet思想加深了U-net的深度，不僅能增大感受野，增強模型抗噪能力，還能提取到更加具有區分度的特征，并且引入SE模塊和殘差結構，SE模塊對圖像各通道分配權重，讓網絡能夠學習到變化檢測的重要特征，殘差結構則能降低模型復雜度，提升模型性能.訓練后的模型在新疆3個地區進行了測試.與其他模型相比，本文提出方法的預測結果更加接近人工標注的結果.但是由于硬件設備的限制，模型的訓練周期較長.在提高邊緣精度的同時，減少模型的訓練時間和預測時間是下一步研究的主要內容.