改進U-Net的遙感圖像中建筑物變化檢測

張翠軍，安 冉，馬 麗

1.河北地質大學 信息工程學院，石家莊050031

2.河北地質大學 人工智能與機器學習研究室，石家莊050031

遙感圖像變化檢測[1]是對同一地理位置不同時期獲取的兩幅或多幅圖像進行分析和檢測，從而獲得地物變化信息的技術，在土地利用監控、農業監測、防災預警、城市規劃等許多領域都有廣泛的應用。目前，遙感圖像的變化檢測方法和技術是遙感圖像處理領域的研究熱點和難點之一。

傳統的遙感圖像變化檢測方法流程[2]一般分為三步：（1）應用圖像預處理技術對圖像進行配準、去噪等，消除成像因素帶來的圖像差異；（2）以圖像差分、圖像比值等方法生成差分圖像；（3）對差分圖像進行分類，從中提取變化類特征，分析變化類特征得到變化圖。Gong等人[3-4]在小波域利用平均比值圖像和對數比值圖像的互補信息生成差分圖像，并對FLICM算法進行改進，提出改良局部鄰域模糊C 均值（Reformulated Fuzzy Local Infornation C-Means，RFLICM）聚類算法，對融合后的差分圖像進行分類，得到圖像的變化情況；劉陸洋等[5]利用對數比差異圖和均值差異圖合成新的差異圖，再由主成分分析法得到新差異圖每個像素的向量表示，最后通過模糊C均值聚類算法得到變化圖，減少了散斑噪聲對檢測結果的影響，提高了變化檢測的精度。上述方法都依賴于手工構建的特征表示，對復雜的高層次變化信息的建模能力有限，并且當變化類和非變化類的特征重疊或其統計分布建模不準確時，檢測結果會產生誤差。

近年來，深度學習技術發展迅速，在目標檢測、語義分割和圖像分類等領域中取得了顯著效果，一些學者開始對深度學習在遙感圖像變化檢測中的應用進行研究。楊海倫[6]提出基于卷積神經網絡的有監督特征學習，通過無監督特征學習生成特征圖，再利用有監督的卷積神經網絡從中提取更加抽象的特征，從而檢測出遙感圖像中的變化部分和非變化部分；趙景晨[7]提出一種基于超像素和孿生卷積神經網絡模型，首先以超像素為單位進行局部特征計算和樣本選擇，實現對數據集的自動標注，然后利用孿生網絡對標注后的數據集進行訓練，最后以歐式距離來度量目標相似性，通過閾值分割提取變化結果，兼顧了兩組圖像各自的特征信息，但是閾值的選取較為困難；顧煉[8]將超列和FlowNet 的細化結構應用于U-Net 中，在U-Net 網絡解碼階段對每一層進行預測，并將預測結果融入下一層的預測中，設計出FlowS-Unet網絡，實現對遙感圖像的變化檢測；唐文博[9]將FPN結構融入U-Net網絡，構建具有更深層語義特征的金字塔模型，并逐層與前一層特征圖橫向連接，有效融合多個層級的特征，豐富了編碼階段的特征語義信息，提高了變化檢測對建筑物邊緣信息的提取精度。深度學習技術在遙感圖像變化檢測中的應用取得了初步成效，但進一步提高變化檢測的準確性仍然是該領域研究的主要難點之一。

本文提出了一種基于改進U-Net 的遙感圖像中建筑物的變化檢測方法。針對U-Net 網絡進行遙感圖像變化檢測時，特征提取階段容易出現梯度消失，導致模型過擬合的現象，提出用非對稱卷積塊（Asymmetric Convolution Block，ACBlock）來代替U-Net網絡特征提取部分的標準卷積操作，增強網絡中心骨架，防止模型過擬合；針對遙感圖像數據集中圖像背景復雜且小目標變化情況容易被漏檢的問題，提出在U-Net網絡中引入注意力機制，抑制模型對非變化類像素特征的學習，加強對變化類像素特征的學習，提取到更具代表性的特征，提高檢測精確度。

1 U-Net模型

U-Net 網絡[10]是一個U 型對稱網絡，左側是一個編碼器，右側是一個解碼器。編碼器用于提取圖像特征、減少空間維度，解碼器逐步恢復圖像的細節信息和空間維度，兩者之間階躍連接，使解碼器更好地恢復目標的細節信息，還原圖像精度。編碼器由4組相同的編碼塊組成，每組編碼塊包含2個卷積核為3×3的卷積層和一個下采樣層，卷積層用以提取圖像特征，下采樣層用以過濾一些不重要的高頻信息，減小特征維度，增大感受野。重復的卷積和池化操作可以充分提取圖像的高層特征，每經過一個編碼塊，特征圖尺度縮小一半而維度加倍。解碼器由4組相同的解碼塊組成，每組解碼塊包含兩個卷積核為3×3的卷積層和一個反卷積層，每組解碼塊都將特征圖的尺度擴大一倍而將特征圖的維度減半；同時，每組解碼塊的輸入將與對應層編碼塊的輸出相融合作為下一個反卷積層的輸入，以降低編碼塊中下采樣帶來的信息損失。經過4 組解碼塊后得到與輸入圖片尺寸相同的64維特征圖，將其映射為2維變化特征圖。利用Softmax分類器計算變化特征圖中每個像素屬于變化類和非變化類的概率，對概率進行映射，得到以黑色為背景、白色為變化區域的變化圖。U-Net模型結構如圖1所示。

圖1 U-Net網絡結構圖

利用U-Net 網絡進行遙感圖像中建筑物的變化檢測，首先將兩幅多時相圖像合并通道，然后將合并通道后的數據送入U-Net模型進行測試，最后得到變化檢測結果圖，具體流程如圖2所示。

圖2 基于U-Net模型的遙感圖像中建筑物變化檢測

2 改進的U-Net模型

2.1 非對稱卷積塊

U-Net 網絡在特征提取部分經過了5 個編碼塊，10次3×3的標準卷積操作，重復的卷積操作會使網絡在特征提取部分產生大量信息損失，導致模型在訓練中容易出現過擬合現象，影響變化檢測的精度[11]。因此，本文對U-Net網絡的內部結構進行了改進，在特征提取環節用非對稱卷積塊（ACBlock）代替3×3標準卷積以提高網絡變化檢測的精確度。ACBlock如圖3所示。

圖3 ACBlock模塊

ACBlock 是由一組卷積核為3×3、1×3、3×1 的卷積結果累加得到的卷積操作，相當于在3×3卷積核的中心位置增加了兩個卷積核為1×3、3×1的單個卷積操作，獲得一個等價的輸出，模塊結構如圖4 所示。用ACBlock代替特征提取部分的標準3×3 卷積可以在訓練過程中豐富特征空間，將模型學到的知識融入方形核中，增強方形卷積核的中心骨架部分，減少因卷積操作帶來的信息損失，在不增加額外參數和計算量的前提下增強模型對旋轉扭曲的魯棒性，從而提高模型精度。

圖4 ACBlock模塊結構圖

2.2 注意力機制

變化檢測的數據集圖片中包含建筑物、植被、裸地、農田和水域等多種地物，而本文只關注發生變化的建筑物，其他類別地物及未發生變化的建筑物均作為背景處理，背景情況較為復雜，對變化檢測結果的準確性有很大的干擾[12-13]。因此，本文提出在U-Net 網絡的階躍連接部分引入注意力機制調節特征權重，抑制模型學習與變化類像素無關的特征，重點學習與變化類像素相關的特征，加強網絡對變化類建筑物特征的提取。注意力機制的結構如圖5所示。

其中，g為解碼部分的特征圖矩陣，x為編碼部分特征圖矩陣，H、W、C分別代表特征圖的長、寬、通道數，Wg、Wx為特征權重矩陣。注意力機制的具體操作分為三個步驟：

圖5 注意力機制模塊

（1）特征權重提取

其中，i、j對應特征圖中像素位置。

通過公式（1）、（2）將編碼部分的特征圖x和解碼部分的特征圖g分別進行全局平均池化，得到特征圖包含C個通道信息的權重矩陣Wx、Wg。

（2）特征權重更新

其中，σ1代表ReLU激活函數，σ2代表Sigmoid函數。

注意力機制通過兩個全連接層實現特征權重的更新，首先，通過Wx點乘x、Wg點乘g實現一次編碼部分特征圖和解碼部分特征圖的全連接操作，減少參數計算量；然后，將全連接層結果求和后經過ReLU層，將結果與Ψ點乘再做一次全連接，過程如式（3）所示，權重矩陣Wg、Wx經過反向傳播學習，得到g和x矩陣中每個元素的重要程度，據此對g和x矩陣繼續前向傳播的比例進行調整；最后，對每個像素的權重重新分配，經過Sigmoid層得到特征權重更新后的權重矩陣α如式（4）。

（3）更新后的特征權重映射到特征圖

將更新后的權重矩陣α與特征圖x點乘，將特征圖中與變化類像素相關的通道權重加大，與其他像素相關的通道權重減小，得到具有注意力機制的特征圖，并將其與特征圖g階躍連接，進入下一層解碼層。

在U-Net 網絡中引入注意力機制，得到的Att-Unet網絡結構如圖6所示。Att-Unet是在U-Net網絡的階躍連接部分引入了注意力門，將底層信息和當前通道的特征進行了一個通道層面的注意力控制，使不同通道之間的特征能夠聯系起來，而同類特征之間有了相互限制，比直接上采樣恢復的圖像更加精細，變化檢測準確率也得到提高。

圖6 Att-Unet結構示意圖

3 實驗數據與預處理

3.1 實驗數據

實驗數據選自QuickBird 衛星獲取的廣東某地區2015 年和2017 年的兩幅遙感圖像，圖像樣例如圖7 所示。兩幅遙感圖像均包含紅、綠、藍和近紅外四個通道，大小為15 106×4 000。

圖7 數據集樣例

3.2 預處理

3.2.1 色差勻衡與拉伸

兩個時期的圖像都是多景拼接數據，在紅、近紅外波段拼接痕跡不明顯，但在藍、綠波段拼接痕跡明顯，使得圖像存在一定的色差，會對后續模型的訓練造成不良影響。因此，本文對圖7所示的遙感圖像進行了色差均衡和圖像拉伸，以消除圖像的波段拼接痕跡，下面以2015年圖像為例展示了色差均衡與拉伸的過程。

（1）采用Canny邊緣檢測算法提取圖像的波段拼接邊界，并根據檢測到的邊界對圖像進行分割。2015年圖像由兩部分拼接而成，存在一個拼接邊界，圖8 展示了拼接邊界的檢測和分割效果。

圖8 邊界分割

（2）每次提取一個部分作為感興趣區域，將其他部分的信息屏蔽，生成如圖9 所示的掩碼圖像（紅色為感興趣區域，黑色為信息屏蔽區域）。對各掩碼圖像的感興趣區域進行2%拉伸[14]，即首先將整張圖像每個像素點的像素值按從小到大進行排序；然后將該序列中2%位置處的像素值作為下限minvalue，將98%位置處的像素值作為上限maxvalue；最后遍歷圖像中的每一個像素，若像素值小于minvalue，則將該點像素值設為0；若像素值大于maxvalue，則將該點像素值設為65 535；若像素值大于minvalue且小于maxvalue，則將該點像素值按比例拉伸至0～65 535。

圖9 2015年圖像掩碼圖

（3）用鄰域平均法分別對兩塊感興趣區域進行邊界平滑，將平滑后的圖像拼接在一起，得到色差均衡后的圖像如圖10所示。

圖10 色差均衡后的圖像

3.2.2 樣本標注與擴充

（1）樣本標注

本文利用ENVI 軟件對2017 年圖像與2015 年圖像相比新增的建筑物進行了標注，并根據標注結果生成與原圖大小相同的Ground Truth圖，如圖11所示。Ground Truth 為單通道灰度圖，其中白色部分表示建筑物發生變化的像素，黑色部分表示未發生變化的像素。

圖11 ENVI標注的Ground Truth圖

（2）樣本切分與增廣

圖12 樣本切分后的部分數據集樣例

數據集中兩幅圖像的大小均為15 106×4 000，生成的Ground Truth 圖大小同樣為15 106×4 000，若將其作為樣本數據直接送入網絡進行訓練，會因遙感圖像尺寸較大，導致訓練過程出現內存不足的問題。為了保證實驗的順利進行，本文對標注后的數據集進行了以下操作：①將遙感圖像按照7∶2∶1 的比例劃分為互不重疊的訓練集、驗證集和測試集三個部分；②以隨機位置窗口的方式利用滑動窗口將訓練集、驗證集和測試集圖像切分為256×256大小的小尺寸圖像，圖12展示了樣本切分后形成的數據集中部分代表性的樣例；③對訓練集中的圖像進行水平翻轉、逆時針旋轉等操作進行數據增強，如圖13所示。經過樣本切分與數據增強后，用于訓練的數據有1 750 對，每張圖像大小為256×256，其中，正樣本有969對，負樣本有781對。

圖13 數據增強后的圖像樣例

3.2.3 數據歸一化

遙感圖像各部分的亮度和像素值分布差異較大、數據分布不一致，直接將其送入網絡進行訓練，梯度下降過程數據形成的等高線是一組偏橢圓，迭代過程緩慢并且可能使模型陷入局部最優解，因此，本文對實驗數據進行了歸一化處理。利用均值歸一化，將圖像的像素值歸一化到0～1之間，使訓練數據有相似的分布，訓練過程對應的等高線將變圓，梯度下降速度較快，模型的收斂速度也隨之加快[15]。數據歸一化前后的梯度下降情況如圖14。

圖14 歸一化前后梯度變化

3.2.4 通道合并

U-Net 網絡是一個單輸入模型，在訓練中難以兼顧兩張不同時相圖像的對應關系信息，因此，本文在模型訓練之前先將不同時相的兩張遙感圖像的通道合并，再送入網絡進行訓練，如圖15所示。

圖15 合并通道

4 實驗

4.1 實驗環境

實驗環境如表1所示。

表1 實驗環境

4.2 網絡配置

4.2.1 損失函數

經典的二分類交叉熵損失函數如式（6）：

其中，tn表示真實標簽類別，當n為變化類像素時tn取值為1，否則，tn取值為0；pn代表預測n為變化類像素的概率且N是一個樣本中總的像素數，n是樣本中一個像素。

在數據分布不平衡的情況下，會使網絡對占比高的類別識別度高，對占比低的類別識別度低，容易陷入局部極小值[16]。本文的數據集中存在變化類像素占比小或完全沒有變化類像素的樣本，樣本分布不均衡。當樣本中非變化類像素過多時，選用交叉熵函數作為損失函數，可能導致模型更側重于對非變化類特征的學習，通過增加非變化類像素的預測概率來降低損失，而Dice損失函數只關注像素點是否被正確分類。因此，本文選用如式（7）所示的Dice損失函數作為交叉熵函數的補充，減輕類別不平衡對檢測精度的影響，最終以式（8）所示的復合函數作為損失函數，提高模型在變化類像素較少時對變化類特征的學習。

其中，yn是預測類別，其他參數設定與式（6）相同。

4.2.2 優化器

優化器用于網絡訓練過程中更新模型參數，使損失函數降到最低。模型訓練過程中常用的優化器有SGD、BGD、Adam 等[17]。其中，Adam 算法相當于Rmsprop 梯度下降法和momentum 梯度下降法的結合，收斂速度快，學習效果好，適用于各種神經網絡。因此，本文選用Adam作為優化器，并且為了防止陷入局部最優解，引入了模擬退火算法調整學習率，使模型更好地收斂。

4.2.3 ReLU激活函數

卷積神經網絡特征提取部分的作用是從大量的數據中提取出具有代表性的關鍵因子。原始數據通常由高度密集的特征組成，為了解開這些特征間的復雜關系，將其轉換為稀疏特征，使提取的特征具有魯棒性，在卷積神經網絡中引入了ReLU激活函數[18]，如式（9）所示：

當輸入x大于等于0 時，輸出值為x；當輸入x小于0 時，輸出值為0。這是一種具有單側抑制特性的激活函數，卷積神經網絡經過ReLU 函數后輸出為0 的神經元越多，特征稀疏性越強，提取出來的特征更具有代表性，泛化能力越強。ReLU函數的曲線如圖16所示。

圖16 ReLU激活函數

本文采用端到端的訓練方法，同時以Adam 作為梯度下降方式，將ReLU 函數作為激活函數，初始學習率設為0.000 1，并以模擬退火算法調節學習率，以100 epoch作為訓練輪數進行模型訓練。

4.3 評價指標

本文采用F1 score 作為評價指標。F1 score 是衡量二分類問題精確度的重要指標，是召回率（Recall）和精確率（Precision）的調和平均，在利用F1 score 對模型精度進行評估時，每個像素點的分類結果都會影響得分。F1 score越高，得到的變化圖的精確度越好。

其中，TP表示分類正確的正類別數，TN表示分類正確的負類別數，FP表示分類錯誤的正類別數，FN表示分類錯誤的負類別數。本實驗中，正類別是變化類像素數，負類別是非變化類像素數。

4.4 實驗結果與分析

本文通過引入注意力機制、ACBlock卷積塊對U-Net網絡進行改進，并利用改進后的模型對遙感圖像中建筑物進行變化檢測，表2展示了模型的訓練時間對比情況。

從表2可以看出，U-Net模型的訓練時間最短，其他四個模型相較U-Net 模型規模越來越大、參數越來越多，訓練花費的時間也越來越長。Att-Unet 模型是在U-Net模型中引入了注意力機制，注意力機制中特征權重的提取和更新增加了模型參數量，從而增加了模型訓練的時間；ACBlock+Unet模型是在U-Net的基礎上引入了非對稱卷積塊，非對稱卷積塊中的三個分支輸出相加的方式豐富了特征空間，但加操作的存在使模型訓練時間增長；ACBlock+Att-Unet 模型是以上兩種模型的結合，兩種改進方式增加的參數之和更是模型訓練耗時長的主要原因；ACBlock+Att-Unet+dataAugmentation的模型與上一個模型的參數量相同，但數據增強操作增加了訓練樣本數，從而增長了模型訓練時間。

表2 不同改進模型訓練時間對比

圖17展示了兩組實驗結果。從圖17的兩組實驗結果圖可以看出，五種方法都提取到了變化的區域，但是提取效果有一定的差距。從圖17（d）可以看出，U-Net模型可以提取出一部分的變化區域，但與Ground Truth圖相比，還有一些細節區域沒有提取到；圖17（e）提取的變化圖中包含了與周圍未變化區域差別較小的變化區域，體現了加入注意力機制后的網絡能更好地恢復圖像細節；圖17（f）提取的變化區域更清晰，說明ACBlock提取的特征更具代表性；圖17（g）提取的變化區域最完整，說明注意力機制和ACBlock 對網絡的雙重作用使模型準確率得到了提升；從圖17（h）可以看出，在進行數據增強以后，通過豐富數據集的多樣性，模型性能得到了進一步提升，提取的變化區域也更為清晰和完整。表3、表4分別展示了用4.3節中的評估指標對兩組測試結果進行評估的評估結果以及測試花費的時間。

圖17 變化檢測結果圖

表3 第一組圖像不同改進實驗結果對比

表4 第二組圖像不同改進實驗結果對比

表3中統計了圖17中第一組圖像的測試結果，從中可以看出，在效率方面，U-Net模型測試所需時間最短，在其他方法中，隨著網絡參數的增加，測試所需時間也不斷增長，但整體差別不大；在精度方面，五種方法的Accuracy 值都達到了95%以上，但利用U-Net 網絡進行變化檢測的召回率和F1 值較其他方法都比較低，而在U-Net 網絡中分別引入了注意力機制和非對稱卷積塊后，模型在召回率、準確率和F1 值上都有了一定的提升，其中，ACBlock+Att-Unet 模型雖然準確率比U-Net模型的準確率低了0.077，但是召回率比U-Net模型高了0.230，在作為準確率和召回率的調和平均的F1 值上，ACBlock+Att-Unet模型比U-Net模型要高0.102，說明在U-Net模型上引入的兩點改進，對模型性能的提升有很大作用，在進一步利用數據增強增加了數據集的多樣性后，本文最終提出的基于ACBlock+Att-Unet+圖像增強的方法能夠較為完整地提取出建筑物的變化信息，且F1值較U-Net模型提升了將近20%。

表4統計了圖17中第二組圖像的測試結果，從中可以看出，在效率方面，U-Net模型測試所需時間最短，在其他方法中，隨著網絡參數的增加，測試所需時間也不斷增長，但整體差別不大；在精度方面，五種方法的Accuracy值在逐步提升，最終達到了90%，但利用U-Net網絡進行變化檢測的召回率和F1 值較其他方法都要低。其中，在U-Net 中引入注意力機制后，模型的準確率雖較U-Net模型低了0.082，但召回率高了0.119，模型F1值比原始的U-Net模型高了0.040；在U-Net中引入非對稱卷積塊后，模型的準確率、召回率和F1值都有所提升。由以上數據分析可以得出，最終在U-Net中同時引入注意力機制和非對稱卷積塊而提出的基于ACBlock+Att-Unet+dataAugmentation的變化檢測方法能夠較為完整地提取出建筑物的變化信息，且F1值提升了將近10%。

5 結論

本文通過引入非對稱卷積塊和注意力機制對U-Net模型進行改進，并將改進后的模型用于遙感圖像變化檢測算法，實現對建筑物變化情況的監測。一方面，將U-Net模型在特征提取部分的標準卷積操作替換成一組由卷積核為1×3、3×3 和3×1 卷積之和組成的非對稱卷積塊，增強了方形卷積核的中心骨架部分，使模型更具有魯棒性；另一方面，在U-Net中引入了注意力機制，使模型訓練時能通過抑制對非變化類像素的關注度，加強對變化類像素特征的學習，提高了模型對變化類建筑物像素的敏感性。改進后的模型能較為準確地檢測出遙感圖像中的變化類建筑物像素，且較原始U-Net 模型，改進后的模型在準確率和F1 score上都有提升。然而，改進后的模型網絡框架較大，參數量增加，導致模型訓練時間加長，因此，后續研究要朝著進一步提升模型準確率和加快模型訓練速度的方向進行。