一種改進Unet網絡的遙感影像分割算法

李嬌嬌，劉志強，宋 銳，李云松

(西安電子科技大學 綜合業務網理論及關鍵技術國家重點實驗室，陜西 西安 710071)

語義分割是計算機視覺中的一項基礎技術，其目的是對圖像中每個像素點的目標類別進行預測。該技術在很多具有挑戰性的領域中被廣泛應用，如醫學影像病灶分析、精準農業地質檢測、影視面部表情分析、時尚服裝解析和自動駕駛等。

近年來，研究者們提出了很多基于全卷積網絡(Fully Convolution Networks，FCN)的語義分割算法[1]。然而，由于遙感影像分割中目標具有復雜的幾何拓撲結構以及基于網絡的分割方法自身感受野有限，在遙感影像語義上下文內容建模時，存在對邊緣語義信息利用不足的缺陷。為了彌補在語義上下文內容建模中的不足，部分研究者在上下文依賴關系上進行了廣泛且深入探索[2-5]，從而一定程度地改善了算法的分割效果。主要方法可以歸納為兩類：一種是采用了金字塔模塊；另一種是從圖像通道或空間方面對長距離的依賴關系進行適應性建模。采用金字塔結構主要是利用不同尺度的卷積和池化層來擴大模型的感受野，例如：Deeplab中的空洞空間卷積池化金字塔模塊(Atrous Spatial Pyramid Pooling，ASPP)[2]和PSPNet中的金字塔池化模塊(Pyramid Pooling Module，PPM)[3]。圖像通道或空間建模主要是根據圖像通道或空間各特征重要程度，增強或者抑制不同的通道或部分空間，例如，EncNet[4]在通道維度學習特征圖的權重以及Non-local[5]模塊利用注意力機制獲得周邊像素點的上下文信息。雖然這類算法在一定程度上獲得了較好的分割結果，但是無論是以固定的方式還是以漸進式的學習方式聚集上下文信息，現有的這類算法的上下文內容聚合模塊通常都缺乏對邊緣先驗信息的充分利用，造成目標區域的分割結果具有較大的誤差，即同一分割目標被分割為不同對象，而不同分割目標被分割為同一類別。

為了解決缺乏明確邊緣先驗信息的前提下分割區域分割結果誤差較大的問題，一些研究者也探索了將多尺度語義信息和上下文內容依賴關系導入到網絡架構設計中。例如，MDCCNet[6]首先在整個網絡結構中融合編碼模塊不同尺度的特征信息，然后通過捕捉到不同尺度的目標邊緣來自適應地將其納入到解碼模塊，提高了分割精度。文獻[7]也提出了一種帶有注意力機制的編解碼架構，利用一種改進的殘差模塊用于捕獲邊緣部分的特征信息。盡管這類算法考慮了將邊緣信息融入到網絡結構的設計中，但是從分割的結果中分析可知，該類算法通常計算復雜度較高，其邊緣分割的效果依然無法滿足實際的應用需求。此外，上述方法在很大程度上依賴于編碼階段邊緣提取的準確性，因此容易造成邊緣區域被誤分類。

考慮到物體的邊緣區域容易被誤分類，筆者研究了一種邊緣二值化交叉熵損失函數用來改善遙感影像的分割性能。該方法只建模圖像內部像素和邊緣之間的依賴關系，因此能有效地解決類間依賴和類內模糊問題，使得分割結果的邊緣更貼近真實圖像中的目標邊緣。筆者在研究中進一步注意到，傳統的語義分割后處理模塊將邊緣作為有效信息加入到網絡中可凸顯分割目標邊緣特征。針對遙感影像語義分割任務的特點和需求，筆者提出了基于改進Unet的端到端的遙感影像語義分割網絡。文中主要貢獻總結如下：

(1)為了充分利用遙感影像中邊緣特征，設計了簡單高效的邊緣提取模塊。通過主干網絡中各層語義特征信息與Canny分支直接提取的影像邊緣信息融合來提高網絡對邊緣的學習能力。

(2)在邊緣提取模塊的基礎上，設計了邊緣引導上下文聚合模塊，有效捕捉全局信息，增強網絡在分割對象上類內的一致性。

(3)在邊緣提取模塊的基礎上，設計了二值化交叉熵損失函數，在網絡編碼階段進一步約束了遙感影像邊緣，提高了網絡對邊緣特征信息的感知能力。

1 相關研究工作

1.1 語義分割網絡

近年來，基于卷積神經網絡(Convolution Neural Network，CNN)的方法在語義分割領域占據主導地位。通過用卷積層取代全連接層的全卷積網絡(FCN)[1]開創了CNN在語義分割中應用的先河。最近，許多研究集中在捕捉更豐富的上下文信息以增強特征表示，其中多尺度的金字塔模塊[2]對性能有很大的提升。例如，文獻[8]研究了PSPNet中的PPM來聚合不同尺度的上下文信息，而文獻[2]則研究了ASPP模塊來聚合不同尺度的上下文信息。此外，為了克服卷積核固定大小的限制，一些基于全局池化的方法[9-10]和基于圖卷積的方法[11-12]被引入網絡結構以感知全局環境。為了克服標記的訓練數據的限制，文獻[13]研究了一種半監督的方法并獲得了比較先進的結果。筆者的研究也利用了上下文信息，但將邊緣作為更有效且明確的約束。

1.2 語義分割中的邊緣信息

邊緣作為圖像中的重要元素在計算機視覺各類任務中一直受到廣泛的關注。在早期基于FCN的語義分割研究中，文獻[14-17]利用邊緣信息導入網絡架構末端，以此來提高分割精度。近年來，一些研究者正開始明確地將邊緣檢測建模為一個獨立的子任務，該子任務與分割主任務并行。例如，文獻[13]和文獻[14]在分割網絡架構中專門設計了一個邊緣分支，將邊緣和語義建模這兩個任務結合起來。文獻[17]提出，物體邊緣和目標本體對應于圖像的高頻和低頻信息。在此基礎上，他們對目標本體和邊緣進行了解耦。與此同時，目標本體和邊緣有不同的監督。文獻[18]研究了邊緣感知特征傳播模塊(Boundary aware Feature Propagation，BFP)來傳播物體內部像素之間的信息。邊緣感知特征傳播模塊在物體的內部像素中傳播信息。然而，在BFP中一旦檢測到邊緣沒有形成閉環，整個特征圖就會變得過于平滑。因此，該方法大大降低了類間的區分度。與現有的研究不同，筆者的工作明確地利用邊緣信息進行上下文聚合，用于進一步提高語義表征。

1.3 語義分割中的注意力機制

注意力機制已經在深度神經網絡中得到了廣泛而積極的利用。對于語義分割，文獻[19]提出了一項開創性的工作，利用注意力對多尺度特征進行重新加權。受機器翻譯中自我注意力模塊的啟發[20-22]，文獻[4]提出了Non-local模塊，通過計算所有位置的像素的相關矩陣來捕捉全局依賴性，并應用它來生成新的特征表示。基于Non-local模塊，許多方法[23-25]被提出用于更精確的語義分割。筆者的邊緣上下文內容聚合模塊也受到注意力機制的啟發，在此基礎上提出了一個不同但更有效的網絡。該網絡主要關注邊緣區域的位置。當發生類內歧義時，這種解決方案比以前的方法能更有力地加強類內的相關性。

2 邊緣引導內容聚合的遙感影像分割算法

筆者所提出的方法明確地將邊緣建模為上下文內容，確保同一物體的內部像素在上下文聚合后獲得類似的增益。如圖1所示，該方法采用了殘差網絡作為其主干[10]，其原始卷積被空洞卷積所取代以擴大感受野。此外，筆者設計了多尺度邊緣提取器，將邊緣預測作為一個獨立的子任務與主干網絡特征學習一起建模分割過程。通過聚合骨干網各階段的不同尺度的特征以捕捉具有不同語義的邊緣信息。利用多尺度邊緣提取模塊提取的語義信息嵌入到邊緣特征中以方便進行語義聚合。筆者在語義特征圖中的每個像素和邊緣特征之間建立關系以產生一個注意力圖。該注意力圖中同一類別的物體邊緣區域被高度激活。通過沿著邊緣聚合語境信息，同一類別的像素可以獲得類似的收益，從而增強語義的一致性。

圖1 網絡整體架構圖

2.1 邊緣提取模塊

考慮到邊緣特征被用來引導語義內容的聚合過程，并且它們與主干網絡相互聯系，因此邊緣提取模塊直接采用主干殘差網絡的中間表征作為其輸入。筆者在主干網絡和邊緣網絡之間增加了4層連接，以使低級的特征信息和高級的語義信息能夠在支干網絡中流動，從而使低層次的細節和高層次的語義都能得到充分利用。如圖1所示，來自主干殘差網絡每個階段的最后一個剩余塊的特征圖先被送入邊緣提取器，然后經過一個3×3的卷積層以使其通道統一為256。由于邊緣特征與主干殘差網絡相互流通，因此它們傳達了語義相關的信息。為了使邊緣區域更為突出，多尺度的特征直接受到從分割數據集中產生的二元邊緣標簽的監督。最后，多尺度特征和來自Canny算子及膨脹數學形態學操作的邊緣特征通過拼接操作連接在一起，用于下文中的上下文聚合模塊。

2.2 邊緣引導上下文聚合模塊

筆者利用邊緣自身對分割的引導能力，將其作為上下文語義來加強類內一致性。受Non-local[5]在語義分割中成功建模的啟發，筆者設計了一個基于注意力的模塊，即邊緣引導上下文聚合模塊，以聚合主干網絡多尺度語義信息和邊緣提取支干的邊緣信息。與原來計算自我注意力的Non-local模塊不同，邊緣特征作為邊緣引導上下文聚合模塊的關鍵，其使用了具有豐富語義的多尺度特征，并且只有邊緣區域是突出的。因此，來自同一物體的像素會激活相似的注意力區域，而來自不同物體的像素則相似度較低。

2.3 分割算法損失函數

筆者提出的算法主要分為兩個部分：主干網絡和邊緣提取支路。主干網絡主要用來提取語義信息，邊緣提取網絡主要提取邊緣信息。對應這兩部分分別設計兩個損失函數。對于主干分割網絡，采用帶權交叉熵損失函數Lseg，可表示為

(1)

(2)

其中，N表示總的像素個數；Nc表示標注類別為c的像素數；yc是一個one-hot向量，元素只有0和1兩種取值，如果該類別相同就取1，否則取0；Pc表示預測樣本屬于c的概率。

對于邊緣提取分支，采用二值化交叉熵損失函數Ledge，可表示為

(3)

L=λ1Lseg+λ2Ledge。

(4)

由于訓練過程中單獨使用Lseg和Ledge在接近收斂時其結果的數量級不一致，因此通過系數加權的方式使其度量尺度保持一致。據文中3.1節的實驗設置，帶權交叉熵損失函數Lseg最終收斂于約0.02，而Ledge最終收斂于約0.002，因此文中根據實驗結果，系數λ1和λ2分別設置為1和10。

3 實驗結果與分析

3.1 數據集描述和實驗基本設置

筆者在“天智杯”人工智能挑戰賽、ISPRS Vaihingen和Potsdam基準中發布的數據集上，驗證了文中提出的方法。“天智杯”數據集的標簽包括5個不同的常見土地覆蓋類別：農場、道路、水源、植被以及背景。ISPRS數據集包括6種最常見的土地覆蓋類別：不可滲透表面、建筑物、低矮植被、樹木、汽車和雜物/背景。

“天智杯”數據集包含23張分辨率為7 400×4 950的遙感影像(包括對應的標簽)。每一幅圖像包含3個通道：紅、綠和藍。根據“天智杯”人工智能挑戰賽比賽說明，其數據集中12張用于訓練，6張作為驗證數據，其余的遙感圖像用于測試。ISPRS Vaihingen挑戰賽數據集包含各種獨立建筑和小型多層建筑，涉及33個不同大小的正攝影像，由Vaihingen(德國)鎮上空的近紅外、紅色、綠色和藍色通道航空相機獲取。每張圖像的平均尺寸為2 494×2 064，空間分辨率為9 cm。筆者使用其中12張帶標注的圖像來訓練網絡，4張圖像來驗證模型性能，其余17張圖像作為測試集來評估分割的準確性。ISPRS Potsdam挑戰數據集包含38個正攝的同尺寸圖像塊，大小為6 000×6 000，空間分辨率為5 cm，覆蓋Potsdam(德國)。該數據集提供了近紅外、紅色、綠色和藍色通道，訓練集有20張圖片，驗證集有4張圖片，測試集有14張圖片。

筆者實驗的硬件和系統配置為別為GeForce GTX2080Ti和Ubuntu16.04。實驗的基本軟件包括Python 3.6、CUDA 9.0、Pytorch 1.1.0等。為了提高筆者提出方法的泛化性能，在數據增強中隨機采用了一些圖像增強操作，如旋轉、翻轉等。此外，由于數據集的樣本不平衡，筆者引入了樣本均衡化來提高訓練過程的有效性。一方面通過亮度調整、噪聲添加等數據增強操作，增加了樣本中占比較少的道路元素的數量；另一方面隨機從占比較多的植被、農場和水源的圖像中抽取與占比較少的道路元素圖像數量相當的數據組合成訓練集進行模型訓練。為了避免硬件資源限制造成的問題，圖像被裁剪成512×512分辨率的圖塊，其中行和列的跨度都是256像素。在訓練過程中，Adam優化采用批大小為8，學習率初始化為0.000 02且以系數1.5的多項式函數作為衰減策略。

3.2 實驗評估指標

筆者提出的算法的性能由以下3個指標衡量：總體準確度(Overall Accuracy，OA)、平均交并比(mean Intersection over Union，mIoU)以及F1得分。

總體準確度作為語義分割直觀的評價指標，計算出正確分類的像素數量與總像素數量的比率，代表了總體像素的一般評估結果。總體準確度ROA可以按以下方式計算：

(5)

其中，Pii表示將第i類分成第i類的像素數量(正確分類的像素數量)，Pij表示將第i類分成第j類的像素數量(所有像素數量)。

平均交并比通過對除背景之外的所有標簽類別的交并比進行平均而得到。假設總共有k+1個類別(從0到k，0代表背景)，平均交并比RmIoU可以計算如下：

(6)

F1得分被定義為召回率和精確度的調和平均值，其計算方式如下：

(7)

其中，Rrecall和Rprecision分別代表召回率和精確度。

3.3 模型消融實驗結果對比

本實驗是在“天智杯”數據集上測試的結果。表1中，方法a代表骨干網絡Unet；方法b代表不加入Canny算子和膨脹數學形態學操作分支的邊緣模塊與邊緣引導上下文聚合模塊共同構建的方法；方法c為使用完整邊緣提取模塊和邊緣引導上下文聚合模塊共同構建的方法；方法d在方法c的基礎上添加了損失函數Ledge。由表1中結果可知，與骨干網絡Unet的結果相比，使用文中提出的模塊均能有效提升遙感影像分割的性能，方法b，c，d與方法a相比，RmIoU值分別提升了的0.61%，1.11%，2.34%。分析可知，方法c比方法b提升更為顯著的主要原因在于Canny算子和膨脹數學形態學操作能增加更細致的邊緣信息。而方法d效果最為明顯,說明損失函數Ledge的加入進一步加強了對遙感影像的邊緣約束。可視化結果如圖2所示，其結果與量化分析結果一致。

表1 模型消融實驗量化實驗結果對比

圖2 模型消融實驗可視化結果對比圖

3.4 與經典語義分割網絡對比

本實驗是在“天智杯”數據集上測試的結果。表2中第2列至第5列分別表示分割算法在各類別中的分割IoU結果。從表2的結果可知，筆者的算法在農場和道路上的分割效果與其他經典算法相比是最佳的；在水源和植被上的分割效果上與最佳分割算法相比，其結果具有一定的競爭力。從最后的統計結果分析可知，在ROA和RmIoU上均達到最佳，分別為84.5%和68.6%。可視化結果如圖3所示，其結果與量化分析結果一致。

表2 與經典分割網絡量化實驗結果對比 %

圖3 與經典網絡可視化實驗結果對比圖

3.5 不同數據集分割結果

本實驗是在ISPRS數據集上測試的結果。表3為不同分割網絡在ISPRS Vaihingen挑戰賽數據集上量化實驗結果對比。從表3可知，筆者的算法在不可滲透表面、樹木和汽車類別分別達到93.4%、90.2%和89.6%最佳F1值。另外，CASIA2和BKHN10在建筑物類別上達到最佳F1值96%。而筆者的算法與最佳結果僅僅相差0.1%。因此，筆者的算法在建筑物類別的分割上獲得了具有競爭力的效果。最終，筆者的算法在ROA和F1均值兩個指標上均取得最佳結果。不同分割網絡在ISPRS Vaihingen挑戰賽數據集上可視化結果如圖4所示，其結果與量化分析結果一致。

表3 不同分割網絡在ISPRS Vaihingen挑戰賽數據集上量化實驗結果對比 %

圖4 不同分割網絡在ISPRS Vaihingen挑戰賽數據集上實驗結果可視化對比圖

表4為不同分割網絡在ISPRS Postdam挑戰賽數據集上量化實驗結果對比。從表4可知，筆者的算法在低矮植被、樹木和汽車3個類別分別達到89.0%、89.6%和96.3%最佳F1值。在不可滲透類別和建筑物類別上依然獲得具有競爭力的結果。最終，筆者的算法在F1值上達到93.1%的最佳F1值。不同分割網絡在ISPRS Postdam挑戰賽數據集上可視化結果如圖5所示，其結果與量化分析結果一致。

表4 不同分割網絡在ISPRS Potsdam挑戰賽數據集上量化實驗結果對比 %

圖5 不同分割網絡在ISPRS Postdam挑戰賽數據集上實驗結果可視化對比圖

從以上量化結果和可視化結果分析可知，筆者提出的算法充分利用了遙感影像中邊緣特征并增強了分割對象類內的一致性，其分割結果相比其他算法更貼近真實分割結果。尤其在圖像目標邊緣處的分割結果相比其他算法更為精細和準確。盡管在一些類別上的分割結果未達到最佳分割精度，但是其分割效果確保了語義分割的整體改進。

4 結束語

針對現有遙感影像分割算法對自身邊緣信息獲取的不足，筆者搭建了改進Unet網絡的語義分割網絡。通過邊緣特征提取模塊，增強了網絡對遙感影像邊緣的學習能力；利用邊緣引導上下文聚合模塊捕獲了邊緣區域的像素和物體內部的像素之間的長距離依賴關系；改良了網絡損失函數，引入了二值化交叉熵損失函數，在網絡編碼器部分對遙感影像邊緣加強了約束。實驗表明，相比于經典的語義分割算法，筆者提出的算法顯著地提高了遙感影像的分割精度，為遙感影像領域提供了新的參考。由于實際的遙感影像場景復雜、目標尺度多變，算法的處理效率距離實際工程需求仍有一定差距。如何優化算法的時間復雜度，提升運算效率，將成為日后主要的研究目標。