面向領域自適應的部分最優傳輸高光譜圖像分類

王碧琳，王生生*，張 哲

（1.吉林大學 計算機科學與技術學院，吉林 長春 130012；2.中國科學院 蘇州生物醫學工程技術研究所，江蘇 蘇州 215163）

1 引言

隨著航天技術和電子信息科學的發展，遙感器分辨率及信息處理能力不斷提高，遙感技術已被廣泛應用于氣象觀測、精準農業和土地利用規劃等多個領域［1-3］。高光譜圖像由多空間平臺的成像光譜儀采集，結合光譜儀和光學相機的優點，實現目標區域的大范圍細粒度成像，采集圖像數據中包含豐富光譜-空間結構信息。基于像素空間關系及多波段光譜信息，高光譜圖像分類技術致力于實現圖像中地物精準分類，逐像素分配語義標簽，對后續多種復雜地球信息的分析研究具有重要意義。

由于時空環境變化和圖像采集設備不同，高光譜圖像通常處于不同數學概率分布，數據特征偏移明顯。在已有標注的源域數據集上訓練的模型難以直接有效遷移到新捕獲的無標注目標域數據。數據標注工作依賴專業設備和領域內專家，耗時費力，難以收集足夠的標注數據。標注數據的缺乏對構建高精度高光譜圖像分類模型帶來了巨大挑戰。

為解決域偏移導致的模型遷移困難問題，領域自適應技術通過縮減源域數據與目標域數據間的分布差異實現模型適配。當前領域自適應技術通常采用基于深度學習的方法，構建神經網絡模型提取樣本高維特征，衡量特征分布差異，利用神經網絡迭代反饋促使域對齊［4］。Liu 等［5］提出建立特征提取器與多個域鑒別器對抗學習模型結構，引入基于概率分布的最大均值差異方法，有效提升模型特征比較能力。Miao 等［6］提出聯合分布對齊框架，采用變分自編碼器學習在共享空間中學習域不變表示，實現細粒度跨域比對。Fang 等［7］提出將領域自適應與自信學習相結合，選取高置信度的目標域樣本作為訓練數據，并逐步增加高置信度樣本的比例，從而提升分類準確性。Liang 等［8］提出多源few-shot 學習方法，從源域融合同質和異質數據內提取特征，提升分類模型的泛化能力。Makkar 等［9］基于對抗學習提取一致特征，采用半監督方法擴展可用標簽，模型在多類別大尺度遙感圖像上取得了優異效果。

為進一步減小源域和目標域的分布差異，緩解域偏移，結合高光譜遙感圖像性質，本文提出一種基于部分最優傳輸的域適應方法，引入類感知批量樣本采樣技術和質量分數因子自適應調整策略，促進同類別像素樣本間建立傳輸映射，緩解類別錯誤對齊。在建立傳輸方案時考慮目標域樣本偽標簽置信度，通過計算熵可靠性自適應調整傳輸質量分數，促進構建全局最優映射，優化傳輸方案，減小分布差異，提升分類模型精度。

2 基本原理

2.1 無監督領域自適應

神經網絡模型訓練依賴于大規模有標注樣本。然而，由于數據分布不同，在已有標注的源域訓練集上學習的模型通常難以在新出現的無標注目標域數據上取得同樣優異的表現。為了充分利用已有的數據信息，提高模型在多源分布數據上的魯棒性，無監督領域自適應（Unsupervised Domain Adaptation，UDA）方法通過基于對抗或基于散度的方法對域間差異進行準確度量，挖掘域不變信息或減小域間分布差異，從而使源域模型同樣適用于目標域數據。基于以上構想，Ben-David 等提出了無監督領域自適應的優化泛化誤差界［10］。具體公式如下：

其中：h∈H為假設函數空間中分類函數。函數h在目標域數據上的分類誤差εT(h)由源域分類誤差εS(h)、源域與目標域間分布差異dHΔH以及常數項λ約束。因此，無監督領域自適應算法的關鍵是在保證分類函數h適配于源域樣本的同時最小化源域與目標域間的分布差異。進一步，對源域與目標域分布間差異的準確度量至關重要。

2.2 最優傳輸

最優傳輸（Optimal Transport，OT）理論在18 世紀由Gaspard Monge 提出，旨在通過優化尋找概率測度間變換。Kantorovich 將求解多個數學分布之間的變換問題松弛化為求解滿足條件的聯合概率分布，從而有效衡量不同分布間的差異［11-12］。假設存在兩組處于不同分布的樣本點X：=和Y：=組成的兩個離散概率分布μn：=和νn：=，則分布μn與νn間的最優傳輸優化問題定義如下：

其中：C是分布間的傳輸成本矩陣，π為分布間的概率耦合。在域適應問題中，為最小化域間分布差異，建立全局最優傳輸方案準確度量域間距離，在樣本間建立傳輸，通過反向傳播更新高維特征，實現樣本級別分布對齊。

3 部分最優傳輸域適應圖像分類算法

3.1 問題定義

假設存在兩組由成像光譜儀采集的處于不同分布的高光譜遙感圖像數據，兩組數據中包含相同的地物類別。圖像數據中任意像素位置均包含多個光譜多段信息，在模型構建及訓練中，將圖像中像素逐一作為數據樣本。源域HS為有標注樣本集XS=，包含M個像素樣本，對應像素位置的標簽為YS=。目標域HT為無標注樣本集XT=，包含N個像素樣本。源域與目標域像素地物類別空間YS(T)∈{1，2，…，C}相同，均包含C個類別。源域分布與目標域分布分別表示為和。

3.2 算法原理

根據基于散度的領域自適應方法框架，利用度量函數衡量域間差異，通過不斷縮減源域與目標域間距離學習域不變特征，實現模型遷移。域適應模型構建中需要解決的關鍵問題在于如何準確衡量復雜分布間差異，以及如何通過調整特征提取器參數實現源域與目標域特征在高維空間中對齊。

針對以上問題，本文提出基于部分最優傳輸的領域自適應模型，算法框架如圖1 所示。對于傳入的源域與目標域數據，采用共享多層卷積神經網絡Gθ作為特征提取器，將數據映射到潛在高維特征空間。對于提取到的數據特征，采用基于部分最優傳輸的度量函數，通過類感知樣本采樣以及質量分數因子自適應調整策略，構建樣本間最優傳輸方案，準確衡量域間差異。進一步，利用兩個不同的由全連接網絡構造的分類器Fφ和Fφ之間的對抗學習，挖掘難以辨別的樣本特征從而實現特征對齊。通過分類器Fφ計算源域樣本分類損失，保證模型在域不變特征上具備分類能力。

圖1 基于部分最優傳輸的領域自適應模型整體框架Fig.1 Framework of proposed domain adaptive model base on partial optimal transport

3.2.1 部分最優傳輸

對于離散樣本集，最優傳輸算法通過建立樣本間的全局映射，根據樣本間傳輸成本矩陣，計算最優全局傳輸方案，從而準確度量離散分布間差異。然而，高光譜圖像數據通常包含數以萬計離散樣本點，直接建立全局映射面臨嚴重運算存儲問題和難以接受的計算復雜度。因此，在實際計算中，通常采用批量樣本采樣方法，在每次迭代中僅使用原始數據集中的小部分樣本參與訓練，從而提升模型迭代效率。在此情況下，每次映射僅有部分像素樣本參與，無法保證域間最優樣本匹配同時采樣在當前批量，導致計算得到的最優映射存在偏差，域間樣本次優對齊，影響模型到目標域數據的適配效果。

針對以上問題，部分最優傳輸（Partial Optimal Transport，POT）算法［13］通過在傳輸過程中設置質量分數因子控制樣本質量映射，避免局部次優傳輸導致的負遷移。依照定義，離散概率測度μn與νn間的部分最優傳輸優化問題如下：

3.2.2 類感知樣本采樣

基于部分最優傳輸理論構建域間差異損失，為進一步促進最優傳輸的建立，預先避免由于域間樣本類別不一致導致的傳輸干擾，提出類感知樣本采樣方法（Class-aware Sampling，CS），通過顯式采樣控制每次迭代中批量樣本的類別，期望存在相同類別的域間樣本，為類級別特征對齊以及建立最優匹配傳輸奠定基礎。首先，在訓練過程中利用源域數據訓練的分類器Fφ計算目標域樣本類別的偽標簽：

3.2.3 質量分數因子自適應調整

已有基于部分最優傳輸的方法通常在不同域適應任務中采用顯式設置質量分數因子的方式，在模型開始訓練前固定因子數值，通過多次訓練觀測不同質量分數因子下的模型分類效果，確定最優數值［13］。然而，由于數據集規模不同、分布差異不同，難以預先準確估計質量分數因子的具體選取區間，并且批量采樣的訓練方式進一步加劇了固定因子數值難以適配到全部最優傳輸建立的情況，導致分布差異度量準確性嚴重受到質量分數因子的限制。

為解決以上問題，這里提出一種基于目標域樣本分類預測熵可靠性的方法，自適應調整質量分數因子s的取值（s-adapt）。假設最優傳輸映射存在比例受當前批量樣本類別匹配度的影響，考慮目標域樣本預測偽標簽的可信度，將目標域樣本分類輸出向量的熵正則化結果融入質量分數因子的計算中，每次迭代前更新質量分數因子s，實現自適應調整，計算公式如下：

3.3 優化目標函數

基于深度學習卷積神經網絡構建分類模型，期望在反向傳播時更新特征提取器和分類器參數，特征在潛在高維空間實現對齊，在建立損失函數中綜合考慮模型分類能力、域特征間分布差異檢測能力，對模型訓練中建立的各項損失函數進行介紹。

對于特征提取器Gθ得到的特征，根據無監督領域自適應泛化誤差［10］，需要確保分類器可以對模型挖掘到的域不變特征準確分類。因此，基于交叉熵損失函數lce計算源域樣本分類損失：

進一步，采用基于邊際差異MDD 的域差異測度［14］，設置兩個分類函數Fφ，Fφ，計算分類器間對抗損失，利用分類結果一致性損失度量域間差異，disp（，）函數表示分類器結果差異，計算公式如下：

結合以上目標函數，模型整體優化問題由三部分組成，分別是源域樣本分類損失Lcls、域間分布差異損失LPOT以及源分類器間對抗損失Ladv。整體優化目標函數如下：

其中：α，β為平衡因子，平衡各個損失項在模型訓練中所占的比例。

4 實驗與結果

4.1 數據集

為驗證本文模型的有效性，在兩組公開高光譜遙感圖像數據集上進行實驗，包括Pavia 數據集和Houston 數據集。

4.1.1 Pavia 數據集

Pavia 數據集［15］由反射光學光譜傳感器ROSIS 于2003 年在意大利北部上空采集，其中包含Pavia University（UP）和 Pavia Center（PC）兩組數據，波長為0.43～0.86 μm，空間分辨率為1.3 m/pixel，均為城市場地圖像。UP 數據實驗過程中，將UP 與PC 分別作為源域與目標域數據，并移除UP 中最后一個光譜波段，使UP 與PC擁有相同的光譜波段數量，均為102，同時選取共有的7 種地物類別用于構建分類模型。偽彩色圖像及對應的地物類別標簽如圖2 所示。表1 顯示了Pavia 數據集中包含的地物類別及對應的樣本數量。

表1 Pavia 數據集中的地物類別及樣本數Tab.1 Land cover classes and numbers of samples in Pavia dataset

圖2 Pavia 數據集的偽彩色圖和地物標簽Fig.2 Pseudocolor images and corresponding ground truths with color indexes of Pavia dataset

4.1.2 Houston 數據集

Houston 數據集［16］包 括Houston2013（H13）與Houston2018（H18）兩組數據，由不同傳感器于不同年份在美國休斯敦上空采集，空間分辨率分別為2.5 m/pixel 與1 m/pixel，包含波段數量分別為144 個和48 個，波長均為380～1 050 nm。實驗過程中，將Houston2013 與Houston2018 分別作為源域與目標域數據，選取Houston2013 數據中與Houston2018 數據相對應的48 個光譜波段和共有的7 個類別。偽彩色圖像及對應的地物類別標簽如圖3 所示。表2 顯示了Houston 數據集中包含的地物類別及對應的樣本數量。

表2 Houston 數據集中的地物類別及樣本數Tab.2 Land cover classes and numbers of samples in Houston dataset

圖3 Houston 數據集的偽彩色圖和地物標簽Fig.3 Pseudocolor images and corresponding ground truths with color indexes of Houston dataset

4.2 實驗分析

4.2.1 評價指標

為檢驗本文提出方法的有效性，采用總體精度（Overall Accuracy，OA）、平均精度（Average Accuracy，AA）和Kappa 系數3 種指標評價模型的分類性能。其中，OA 計算正確分類樣本個數占所有樣本數量的比例，評估模型對數據的整體分類能力；AA 則分別在每個類別上計算精度，反映模型對數據中各個類別的分類能力；Kappa 系數則是基于混淆矩陣計算，用于一致性檢驗，當模型出現強偏向性時，計算出的Kappa 數值降低，反映模型出現了類別預測偏向性。

4.2.2 實現細節

本文研究基于Pytorch 框架，利用Nvidia 2080Ti GPU 實現。在訓練集和測試集構建過程中，為有效利用空間關系信息提高網絡特征的提取能力，在構建樣本時，將每個像素本身及其周圍兩個像素看作一個樣本，即每個樣本尺寸均為5×5，通道數為波段數量，樣本標簽為中心像素所屬類別。模型訓練時，為了避免由于樣本類別不平衡導致的分類器偏移，參考Fang 等［7］提出模型中的實驗設置，對于有類別標注的源域樣本，在每個類別中隨機采樣180 個樣本用于模型訓練，而目標域中包含的全部樣本均參與隨機采樣，訓練過程中不使用類別標簽。特征提取器Gθ由多層卷積神經網絡構成，將樣本特征映射到200 維，并利用平均池化及全連接映射將每個樣本表示為128 維向量，用于后續訓練分類網絡。分類網絡Fφ，Fφ均為兩層全連接層網絡，進行128→64→C過程映射，最終輸出地物類別數量長度的向量作為分類結果。采用隨機梯度下降法訓練模型，動量因子為0.9，權重衰減系數為0.000 5，學習率設置為0.01，批量采樣大小為64，迭代輪次為100。在平衡因子α，β的選取上，利用網格搜索法調整參數，在固定其中一個參數α（β）時，對另一個參數β（α）在｛0.05，0.1，0.5，1，5｝內進行調整，選取模型OA 最高時的參數值。具體地，對于Pavia 數據集和Houston 數據集，參數（α，β）分別設置為（1，0.5）和（1，0.1）時，模型OA 最優。

4.2.3 分類結果

在UP→PC，Houston2013→Houston2018 兩組域適應遷移任務上進行實驗。為驗證本文提出模型的效果，將分類結果與當前已有方法進行對比，比較方法包括TSVM［17］，DAN［18］，DANN［19］，ED-DMM-UDA［20］，CDA［5］以 及CLDA［7］。以上方法的實現細節及結果參照方法CLDA［7］文中結果。

兩組遷移任務的量化像素級地物分類結果如表3 所示。可以看出，基于深度學習的方法優于傳統方法TSVM，證明了神經網絡結構能夠有效挖掘樣本特征，基于對抗和散度的方法在高維空間上對齊源域與目標域，提高了模型適配能力。對于遷移任務UP→PC，本文方法相較于TSVM 方法提升17.64%，相較于采用聚類的方法ED-DMM-UDA、利用偽標簽的方法CDA、采用自信學習進一步篩選偽標簽的方法CLDA 在OA 上分別提升11.7%、3.89%和0.87%，相應的AA 及分類一致性Kappa 結果同樣得到了提升，證明了本文提出的類感知采樣方法和隨后的質量分數因子自適應調整方法充分利用了偽標簽信息，指導域不變特征挖掘，實現了更加精確的類級別特征對齊，提升了模型的分類精度。對于遷移任務H13→H18，雖然本文方法相較于已有方法存在小幅度提升，但在分類精度上仍低于80%，推測原因是當前源域與目標域的分布差異更為明顯，因此從初始訓練時取得的目標域樣本的偽標簽準確度不高，導致其指導的類感知采樣及后續質量分數因子調整均受到較多錯誤標簽的影響，建立的傳輸難以達到最優。從一致性檢驗系數Kappa 值可以看出，模型對于分類類別具有較強的傾向性，后續考慮在模型構建中進一步針對各個地物類別特點優化特征提取器和最優傳輸算法。

表3 目標域上不同方法在OA、AA 和Kappa 上的分類結果Tab.3 Classification performance on OA，AA（%）and Kappa of different target domains

圖4 展示了部分已有方法及本文提出方法的像素級地物分類效果。可以看出，本文方法的分類效果更加精細。較為明顯的是，對于處于地物不同類別間邊緣的像素，本文方法獲得了更為清晰的地物輪廓邊緣。由于處于邊緣的像素通常存在更復雜的空間上下文關系，提取到的特征往往區別于地物中心位置的像素，因此，需要與源域建立更為準確的映射關系。本文提出的基于部分最優傳輸的域適應方法實現了類級別的樣本傳輸，有助于緩解樣本負遷移，提升了分類模型的穩定性。

圖4 不同方法在PC 數據上的分類效果Fig.4 Classification maps of PC dataset produced by different methods

4.2.4 消融實驗

為了驗證本文提出的基于部分最優傳輸的無監督領域自適應高光譜圖像分類模型中各個模塊的有效性，分別討論部分最優傳輸算法POT、類感知樣本采樣CS 以及質量分數因子自適應調整算法s-adapt 對模型分類的影響。在兩組域適應遷移任務UP→PC，H13→H18 上進行實驗，實驗結果如表4 所示。基線方法采用模型中的源域分類損失和雙分類器一致性損失進行訓練，即式（9）中的Lcls+Ladv。可以看出，相比于基線方法，在模型中加入原始最優傳輸方法OT作為度量函數計算域間差異損失，在兩組遷移任務上分別提升0.5%和0.74%。在此基礎上，添加類感知采樣法CS 對分類結果進一步提升了0.89%和1.03%，證明了類感知采樣方法通過建立特定類別間的傳輸可以更好地對齊特征。相比于傳統OT 算法，采用部分最優傳輸POT，即使在固定質量分數因子s=0.5 的情況下，模型分類精度仍有提升，證明POT 能夠避免由于原始強制傳輸導致的樣本錯誤遷移，建立更加適宜的傳輸方案，提升了模型的適配能力。當運用質量分數因子自適應調整策略s-adapt 后，質量分數因子隨當前批量傳輸樣本的熵可靠性自適應變化，相比于固定s=0.5，分類模型精度分別提升了0.62%和0.82%，反映出質量分數因子s的取值對POT 傳輸方案具有重要作用。

表4 不同遷移任務消融實驗分類結果OATab.4 Ablation study classification results of OA with different transfer tasks （%）

5 結論

本文提出基于部分最優傳輸的無監督領域自適應方法用于高光譜圖像分類，以緩解由于標注數據不足導致的模型訓練困難的問題。研究部分最優傳輸算法在批量采樣神經網絡訓練中的作用、類感知采樣方法以及質量分數因子自適應調整算法對建立傳輸方案的影響，并在兩組公開的高光譜遙感數據上進行實驗。實驗結果表明，相比于基線方法，本文方法建立的分類模型在兩組遷移任務上的地物分類結果分別提升2.21% 和2.75%，驗證了算法各個模塊的有效性。