遙感圖像語義分割中的弱監(jiān)督域自適應算法

丁一鵬，趙 璐

中南大學 物理與電子學院，長沙 410083

在制圖、城鎮(zhèn)規(guī)劃、地物分類等任務中，高分辨率遙感影像的語義分割起著重要的作用[1-4]。隨著卷積神經網(wǎng)絡（convolutional neural networks，CNN）如VGG[5]、ResNet[6]等在分類任務上取得巨大的成功，基于滑動窗口的卷積神經網(wǎng)絡的遙感圖像語義分割得到應用。而該類方法存在訓練、預測耗時，且patch大小難以確定的問題，因此許多基于全卷積神經網(wǎng)絡（fully convolutional network，F(xiàn)CN）[7-8]的方法被提出。它利用卷積操作的平移不變性與參數(shù)共享機制完全實現(xiàn)了語義分割的端到端的學習，使以上問題得到解決，大大提高了高分辨率遙感圖像語義分割的整體準確性。而后，DeepLab系列[9-10]、PSPNet[11]及U-Net[12-13]等方法的提出極大推動了基于CNN的遙感圖像語義分割體系走向成熟。近年來，得益于研究人員對語義分割中注意力機制、上下文關系的獲取的研究，如Non-local[14]、DANet[15]與CCNet[16]等使用自注意力機制去獲取全局上下文關系，使得遙感圖像語義分割的精度又提升了一個臺階。然而，遙感圖像中物體和場景的劇烈變化是很難通過一個以少數(shù)特定地點上收集的遙感影像為訓練集訓練得到的模型可以學習到的，且獲取遙感圖像時不同的天氣條件及不同的時刻也會影響圖像中物體的結構及其周圍環(huán)境的外觀[17]。因此在一個特定數(shù)據(jù)集上（源域）訓練的模型往往很難泛化到另一個在訓練過程中模型沒有見過的影像集合（目標域）上。而通過直接在目標域上對模型進行微調來解決跨域問題的方式需要收集相應的像素級標簽卻是十分費時費力的。一位熟練的標注者標注一幅512×512的自然圖像需要5～7 min，對于更大的遙感圖像而言，標注所需時間更是成倍提升。此外，現(xiàn)階段，隨著衛(wèi)星及各種傳感器的增多，可獲得的遙感影像數(shù)量也變得越來越多。當需要為一個新的區(qū)域（目標域）進行分割時，如果使用這種微調的方法就要為該區(qū)域的遙感影像進行像素級標注。顯然，為如此海量的遙感影像數(shù)據(jù)標注像素級別的標簽以訓練語義分割模型是不現(xiàn)實的。

因此針對遙感圖像從源域到目標域的泛化問題，提出了域自適應算法。其中基于對抗學習的研究大致分為兩個方向：一是無監(jiān)督域自適應[18-21]。該方向的研究利用對抗學習的思想在特征空間上對經過編碼器提取的源域與目標域的特征進行對齊，然后在對齊后的特征上預測分割結果。Tasar等人[22]在圖像空間[23-25]提出了一種名為ColorMapGAN的方式去進行源域到目標域的分割遷移，使它們在視覺上相似。Hoffman等[18，26]在特征空間上使用一個域分類器優(yōu)化域對抗損失函數(shù)，使得源域與目標域被同一特征提取器如ResNet提取的特征盡可能相似。Luo等[20]提出的CLAN以及Vu等[27]提出的ADVENT則通過對抗學習的思想在輸出空間中迫使源域與目標域相似。其中在CLAN[20]中，他們通過自適應調整針對每個類別的對抗性損失的權重來調整每個類別的特征。而ADVENT[27]則提出了一種熵值最小化方法，該方法基于域自適應，借助對抗學習最小化自熵。文獻[19]是最早引入輸出空間的域自適應的語義分割方法。另一個方向是自監(jiān)督域自適應。其思想是通過為模型之前的狀態(tài)生成的未標記數(shù)據(jù)生成偽標簽來訓練模型。文獻[28]提出了一種基于類平衡的自訓練方法，該方法從圖像中生成類平衡的偽標簽，并根據(jù)模型的最后狀態(tài)分配最可信的標簽。MinEnt[27]提出使用最小化熵的損失函數(shù)進行模型的自監(jiān)督訓練。通過閾值來生成偽標簽也是一種常用的方法。文獻[29]用恒定閾值排除不太確信的類，并根據(jù)生成的偽標簽訓練模型。文獻[30]通過應用在訓練過程中分別為每個類計算的動態(tài)閾值，過濾掉不太自信的類。

基于對抗學習無監(jiān)督域的自適應方法目前已經在遙感圖像域自適應領域取得一定的進展。然而，一方面，由于源域與目標域之間的顯著差異性，如果直接通過對抗訓練來實現(xiàn)源域和目標域之間的相似性，容易導致向目標域中引入來自源域的噪聲信息，即出現(xiàn)“負遷移”現(xiàn)象，從而降低語義分割域遷移的性能；另一方面，由于目標域的標簽缺乏，在對抗過程中容易導致模型多次迭代后更偏向源域類別分布，從而出現(xiàn)精度下降的不穩(wěn)定情況。

針對上述問題，本文對模型進行改進，提出一種目標域圖像級標簽已知的弱監(jiān)督域自適應方法。一方面，圖像級標簽較像素級的語義分割標簽相比更容易獲得，且在一定程度上反映了圖像的目標信息，因此在訓練過程中能減少對源域的過度偏移；另一方面，考慮到不同類別目標之間的差異性，提出了一種多類域判別器以及一種基于熵值的目標域像素級偽標簽產生方法。具體地，多類域判別器為當前圖像中存在的每一個類別都單獨計算損失函數(shù)，從而使得目標域各個類別以一種自適應的方式對齊到源域。而基于熵值的目標域像素級偽標簽產生方法能夠產生可靠的目標域像素級別偽標簽，從而使得模型能夠學到目標域的類別分布，進而改善上述提到的訓練過程不穩(wěn)定的問題。

綜上，本文的貢獻可以總結為如下三點：

（1）提出一種目標域圖像級標簽已知的弱監(jiān)督域自適應方法，通過多類域判別器為圖像中的每個類別計算損失函數(shù)，從而實現(xiàn)類別自適應的特征對齊，與全局對齊方式相比魯棒性更強。

（2）提出一種基于熵值的目標域像素級偽標簽生成過程，使得模型能學習到目標域大致的類別分布，從而保持訓練過程的穩(wěn)定。

（3）在ISPRS Vaihingen與ISPRS Potsdam數(shù)據(jù)集上的大量實驗表明，本文算法相較于其他遙感圖像語義分割中的基于對抗學習域自適應算法性能有顯著提升。

1 基于對抗學習的無監(jiān)督域自適應

為了更好地對基于對抗學習的無監(jiān)督域自適應模型進行講述，首先對一些概念進行定義。定義一個有著像素級真值標簽遙感圖像集合為源域，其對應的像素級真值標簽集合記為Ys?(1,K)H×W。其中K表示類別的數(shù)目，H和W則表示圖片的高與寬。而另一個在風格上與源域圖像有著較大差異同時又缺乏像素級真值標簽的遙感圖像集合被稱為目標域。無監(jiān)督遙感圖像語義分割域自適應的目標是在僅在Ys的監(jiān)督下，模型能夠在Xt上達到一個很好的分割性能。

基于對抗學習的無監(jiān)督域自適應[18-21]是利用對抗學習的思想在特征空間上對經過編碼器提取的源域與目標域的特征進行對齊，然后在對齊后的特征上預測分割結果。基本網(wǎng)絡結構如圖1所示，包括一個特征提取器F以及一個判別器D。

整個模型訓練過程如下：

（1）利用源域進行有監(jiān)督學習，提取源域特征信息。從Xs中取一張圖像xs，其對應的像素級標簽為ys,xs通過F之后進行上采樣得到對應的預測置信度圖Ss,定義Ss與ys計算交叉熵損失函數(shù)Lseg=(1,1)(Ss,ys)：

通過最小化Lseg完成對特征提取器F參數(shù)的更新，得到基于源域數(shù)據(jù)的模型。

（2）通過對抗學習優(yōu)化特征提取器及判別器，對齊源域與目標域的特征分布。在對目標域進行訓練時，缺乏目標域像素級標簽，因此進行無監(jiān)督學習。整個過程基于對抗網(wǎng)絡，特征提取器F以及判別器D進行交替訓練。訓練網(wǎng)絡F時固定判別器D，使F生成D無法辨別真?zhèn)蔚慕Y果，訓練網(wǎng)絡D時，使其盡可能地區(qū)分來自源域與目標域的樣本真?zhèn)巍Ｗ罱K使模型學習到目標域的特征分布并與源域特征對齊。具體來講，從Xt中取一張圖像xt，通過F之后進行上采樣得到對應的預測置信度圖St，與先前的Ss先后送入D中，計算并優(yōu)化對抗損失函數(shù)Ladv。xs與xt通過之后得到的特征在特征空間上將十分接近。

其中域分類器輸入Ss和St，如文獻[27，31]中所用到的，是K個通道的特征圖，經過域分類器的處理后得到單通道的特征圖Cs和Ct。Cs和Ct上每一個像素點的值都代表著該點是否屬于源域的概率。將來自源域的圖像標記為1，來自目標域的圖像標記為0。利用這個標記以及域分類器的輸出計算對抗損失函數(shù)Ladv。Ladv包括兩部分，一個是對域分類器的訓練的損失函數(shù)Ladv1=(1,1)：

其中，LD是二元交叉熵損失，H與W為Cs和Ct高和寬。值得注意的是該項損失函數(shù)只優(yōu)化域分類器中的參數(shù)而不優(yōu)化F中的參數(shù)。其意義在于使得域分類器能夠準確地判斷F提取的特征是來自源域還是目標域。而Ladv的另一部分Ladv2則為如下形式：該項損失函數(shù)只優(yōu)化F而不影響域分類器。其意義在于使得F提取的目標域的特征能夠在特征空間上與源域圖像經過F的特征對齊，從而使得域判別器將其判斷為來自源域。這樣，通過兩部分損失函數(shù)的對抗學習，使得F提取的目標域的特征與源域相似，從而能夠用于后續(xù)的分割。

雖然該方法對自然影像的語義分割起到促進作用，但其所用的判別器為單通道，即多個通道的特征圖經過域判別器處理后會得到單通道的特征圖，其上每一個像素點的值代表著該點是否屬于源域的概率。并將來自源域的圖像標記為1，來自目標域的圖像標記為0。而單通道的輸出并未考慮到不同類的差異，在多個類別特征對齊時可能產生負遷移現(xiàn)象。此外，由于目標域與源域之間的類別分布存在差異[32]，而基于對抗思想的無監(jiān)督自適應缺乏目標域類別分布的學習，導致模型在多次迭代后，可能出現(xiàn)性能下降的不穩(wěn)定情況。

2 弱監(jiān)督域自適應算法

本文所提出的弱監(jiān)督遙感圖像語義分割域自適應，與無監(jiān)督所使用的在Ys的監(jiān)督下，模型在Xt上達到很好的分割性能的方法有一點不同，即目標域的圖像級標簽集合It?(0,1)K已知。因為It容易收集，所以能夠在花費很少代價的情況下為模型的訓練提供一種強有力的監(jiān)督信息。

模型的總體架構如圖2所示，yt中的黑色為未標記類別的區(qū)域，虛線代表測試階段不會用到。模型總體上由特征提取器F（這里采用帶空洞卷積的ResNet）以及一個多類域判別器D（5個步長為2的卷積）組成，即整體模型架構沿用圖1所展示的GAN網(wǎng)絡，而后在此基礎上對判別模塊進行改進，提出多類域判別器模塊，并在ADVENT基礎上提出基于熵值產生目標域像素級偽標簽的方法。該模型的訓練流程與傳統(tǒng)對抗網(wǎng)絡相似，在計算Lseg(Ss,ys)以及Ladv的基礎上，借助xt的圖像級別標簽It以及預測置信度圖St，根據(jù)本文提出的基于熵值的偽標簽產生方法，在偽標簽生成模塊中生成了xt的像素級偽標簽yt。

Lseg(St,yt)的持續(xù)優(yōu)化使得模型能夠學習到目標域中類別的大致分布，從而不會出現(xiàn)文獻[32]中所提到的在多次迭代之后，模型偏向于學習到源域的類別分布導致模型性能出現(xiàn)下降的情況。

2.1 多類域判別器

在全局對齊的過程中，所有類別的分布在一次訓練迭代中都會被重新映射到其他的位置，并且每一個類別之間的對齊過程會相互影響。比如，A類在上一次的對齊過程中已經被映射到特征空間中正確的位置，但是因為需要全局對齊，所以A類需要在本次對齊過程中在特征空間中被重新映射，導致了A類對齊不正確，這也是負遷移出現(xiàn)的根本原因。顯然，全局特征對齊是不合理的，因此提出了多類域分類器。在Ss和St輸入多類域分類器之前，通過一個類別選擇模塊進行處理。對于源域，不用任何代價可以通過ys得到其圖像級別的標簽（即當前圖像中包括了哪幾個類），對于目標域，可以通過極小的人力成本獲得圖像級別的標簽It。這樣，在類別選擇模塊就可以選擇出當前類別中所存在的類別對應的通道圖并送入域分類器中。因此，在一個類別特征被對齊的時候，就不會再引起當前不相關類別特征的變化，從而解決了負遷移的問題。

2.2 基于熵值的偽標簽生成方法

文獻[6]通過自監(jiān)督的方式，緩解了基于對抗思想的無監(jiān)督自適應在不同域之間由于缺乏類別分布的學習而導致多次迭代后性能下降這一問題，該方式與大多數(shù)自監(jiān)督學習一致，由于缺乏先驗信息的指導，其用于自我監(jiān)督的信息不夠可靠。因此本文基于熵值的理論思想，以It作為先驗信息，獲得了可靠的目標域像素級偽標簽yt。下面詳細地闡述基于熵值的偽標簽生成方法。

熵是描述混亂程度的度量，可以通過如下方式計算得到St對應的熵值圖：

如ADVENT[27]中所提到的，熵值越大的區(qū)域，代表模型的預測可信度越低，反之則越高。因此對熵值做一個閾值分割，保留熵值小于閾值的模型預測。這項操作可以正式地描述為：

其中，E為閾值，本文取E=0.52。但是這樣取值之后的偽標簽依然不夠可靠。因為還存在一種可能性，即模型可能以較大的信心預測錯了類別。所以在式（5）y(n,k)t取1的條件中又加入了一項k?It。通過弱標簽It這一先驗信息的加入，在一定程度上限制了模型錯誤預測的可能性。同時最重要的一點在于讓模型學習到當前圖片存在哪些類別的正確信息。

3 實驗結果

3.1 模型訓練細節(jié)

數(shù)據(jù)集：ISPRS Vaihingen與ISPRS Potsdam數(shù)據(jù)集分別包含來自德國兩座城市Vaihingen與Potsdam的超高分辨率遙感影像。其中Vaihingen采集了33幅，Potsdam采集了38幅。每幅影像都是從一個更大的正射遙感影像中裁剪出來的，它們的地面采樣距離為9 cm。因為來自不同的城市，同時成像的波段有所差異，所以這兩個數(shù)據(jù)集的影像風格與內容上有很大的不同，是很典型的來自不同的兩個域的影像。

數(shù)據(jù)預處理：出于硬件條件的限制，本文利用隨機裁剪的方法將33幅Vaihingen影像與38幅Potsdam影像裁剪為512×512的大小。裁剪后，Vaihingen與Potsdam數(shù)據(jù)集分別產生了3 000張與6 000張512×512的影像。其中Vaihingen數(shù)據(jù)集被視為源域，Potsdam為目標域。源域中所有的影像進行參加模型的訓練，而在目標域中，隨機劃分了20%的影像作為測試集，其余80%作為訓練集。

網(wǎng)絡框架：本文使用DeepLab-V2[2]作為基礎語義分割架構。同時，更好地捕捉場景上下文，空洞空間金字塔池化應用于最后一層的特征輸出，其采樣率固定為{6，12，18，24}。DeepLab-V2中的特征提取器采用的是ResNet[6]。與DeepLab-V2一致，修改了最后一層的步長和空洞率，以產生具有更大感受野同時分辨率不變的特征圖。最后，為了進一步提升模型的性能，采用了與ADVENT[27]一樣的操作，即自適應地輸出了來自Conv4和Conv5的多級特征。多類域分類器實際上就是5層步長為2的卷積層。需要注意的是，卷積后使用的激活函數(shù)是Leaky Relu。

實施細節(jié)：本文的代碼實現(xiàn)基于PyTorch深度學習框架[33]，同時所有實驗都是在單個顯存為8 GB的NVIDIA 2070Super GPU上完成的。除了多類域判別器之外，使用隨機梯度下降算法來優(yōu)化模型參數(shù)，并設置初始學習率為2.5×10-4，動量為0.9，權重衰減為10-4。而對于多類域判別器，使用Adam優(yōu)化器來進行模型參數(shù)優(yōu)化，其初始化學習率為10-4。對于學習率下降，采用了余弦退火策略。模型總共訓練了30個epoch，大約耗時12 h。

評價指標：實驗選取平均交并比（mean intersection over union，mIoU）作為衡量本文模型分割效果的指標。該值是衡量模型對圖像分割精度的重要指標[34]，計算公式為：

式中，i表示真實值，j表示預測值，pij表示將i預測為j。

3.2 實驗對比

3.2.1 消融實驗

為驗證各個模塊的有效性，本文進行了消融實驗，實驗結果如表1所示。使用RAN[31]作為基線模型（即表1中的Baseline），然后，依次添加所提出的多類域判別器策略與偽標簽產生策略以驗證每一個模塊的有效性。

從表1中可以看出，當多類域判別器被使用之后，相比于基線模型，本文所實現(xiàn)的模型的性能大幅度上升。這主要歸功于在多類域判別器的機制下，每一個類別都獨立地將特征分布從目標域對齊到源域，從而使得每個類別對齊的過程互不干擾，進而減少了負遷移的現(xiàn)象，提升了模型性能。但是，從表中也可以觀察到樹木、汽車以及未知類的IoU指標出現(xiàn)了不同程度的下降。這并不是負遷移造成的，而是由于這三類在整個數(shù)據(jù)集中訓練樣本不多，使得訓練不充分而導致。而使用多類域判別器所導致的小樣本類別性能的下降是之后重點需要研究的方向。

表1 消融實驗對比結果Table 1 Comparison of results of ablation experiments

在使用本文所提出的偽標簽監(jiān)督網(wǎng)絡訓練之后，模型的性能進一步提高，平均交并比達到了42.0%。這主要得益于偽標簽的信息使模型訓練的穩(wěn)定性得到保證。這一點，在圖3加入偽標簽前后的模型在訓練過程中所表現(xiàn)的性能變化趨勢圖的對比中可以進一步印證。在圖3中，可以直觀地感受到偽標簽的加入對模型訓練穩(wěn)定性的提升效果。

3.2.2與其他優(yōu)秀模型的對比

首先將在ISPRS Vaihingen數(shù)據(jù)集（源域）上訓練好的DeepLab V3[10]對ISPRS Potsdam數(shù)據(jù)集（目標域）影像進行分割，結果見圖4。

在目標域上，其分割總體精確度（OA）從源域上的0.85下降至0.35，這說明了進行無監(jiān)督域自適應的必要性。隨后，使用基于對抗思想的無監(jiān)督域自適應方法，對目標域中同一圖片的預測結果如圖5。可以看到，基于對抗思想的無監(jiān)督域自適應方法產生了上文提到的負遷移的現(xiàn)象[20]，即圖5中紅圈所劃定的區(qū)域出現(xiàn)了在域適應前被劃分正確，而在進行域適應之后被錯誤劃分的現(xiàn)象。

為了避免這種負遷移現(xiàn)象，本文提出了多類域判別器的機制。同時，為了保證模型訓練的穩(wěn)定性，還提出了基于熵值的偽標簽生成方法。加入這兩種機制之后，在表2中對比了本文模型與其他基于對抗思想的無監(jiān)督域適應模型的性能。可以看到，由于多類域判別器避免了負遷移，偽標簽保證模型訓練的穩(wěn)定性，本文模型的性能要優(yōu)于其他優(yōu)秀的模型。

表2 弱監(jiān)督域自適應算法與其他方法的比較Table 2 Comparison of weakly-supervised domain adaptive method with other methods

最后，為了直觀地展示本文方法與其他方法的對比，在圖6中進行可視化效果展示。可以看出，DeepLab網(wǎng)絡誤分較多，基本上達不到使用的水平。ADVENT網(wǎng)絡分割效果相比DeepLab有所提升，特征保留較為豐富，對第一行的房屋分割更為準確，對陸地的劃分效果得到提升，且將第二行的建筑輪廓基本分割出來。

CLAN及LT-WAN[17]網(wǎng)絡對建筑的分割精度進一步提升。但是通過觀察很容易發(fā)現(xiàn)，基于對抗思想的模型在這些分割實例中，存在很多原本分割正確的區(qū)域在對抗訓練之后被分割錯誤。而本文模型由于加入了多類域判別器，大大減少了負遷移問題，因此性能要優(yōu)于其他模型。

4 結束語

由于天氣、人文以及傳感器等因素的影響，遙感圖像域與域之間的圖像風格差異往往非常大。而在實踐中，顯然人們無法為如此海量的遙感數(shù)據(jù)的每一個域都標注像素級別的真值標簽，因此遙感圖像語義分割的域自適應是一個十分實際且有意義的任務。本文提出了一種弱監(jiān)督的遙感圖像語義分割域自適應方法。相比于無監(jiān)督的方法，本文基于弱監(jiān)督標簽提出了多類域判別器策略與偽標簽產生策略，分別解決了域遷移中的負遷移問題與訓練過程不穩(wěn)定的問題。與此同時，相比于像素級的地面真值，本文的圖像級標簽僅僅需要耗費少量人力物力即可獲得。換言之，本文模型在較小地提升人力的情況下，極大地提升了域遷移的準確率。