使用深度對抗子空間聚類實現高光譜波段選擇

曾 夢，寧 彬，蔡之華，谷 瓊

（1.湖北文理學院計算機工程學院，湖北襄陽441053；2.中國地質大學（武漢）計算機學院，武漢430074）

0 引言

高光譜圖像（HyperSpectral Image，HSI）由上百個光譜波段組成，包含豐富的空間信息和光譜信息，通常利用分類技術實現具有細微光譜差異地物的區分。目前，高光譜圖像分類已經被廣泛用于軍事目標識別［1］、海洋環境監測［2］和城市管理［3］等多個方面。然而，由于高光譜圖像光譜波段之間相關性強且具有較高的冗余度，導致分類復雜性高、“維度災難”等［4］問題的發生。高光譜波段選擇旨在選取原始波段集中較為重要的波段子集來降低數據的維度，從而降低原始數據的計算量并保證分類具有較高精度［5］。

近些年，國內外學者提出了很多波段選擇方法，大致可以分為三類：基于排序策略、基于搜索策略和基于聚類策略。基于排序策略的方法通過評估每個波段的重要性來分配權重進行排序，例如最大方差主成分分析（Maximum Variance Principal Component Analysis，MVPCA）［6］、拉 普 拉 斯 評 分（Laplacian score，Lap-score）［7］以及基于稀疏表示的波段選擇（Sparsity-based Band Selection，SpaBS）［8］等。基于搜索策略的方法使用啟發式搜索算法優化給定的度量，如演化多目標優化（evolutionary multiobjective optimization）算法［9］等，但是基于搜索的方法通常耗時較多。基于聚類的方法假設波段根據它們的相關性可分離，通過聚類結果進行波段選擇，例如改進的稀疏子空間聚類算法（Improved Sparse Subspace Clustering，ISSC）［10］、稀 疏 非 負 矩 陣 分 解（Sparse Nonnegative Matrix Factorization，SNMF）［11］等。由于基于聚類的方法充分考慮了波段之間的相關性，能夠得到較好的波段選擇結果，因此得到了越來越多的關注。

上述基于聚類的算法雖然能得到較好的結果，但是很多基于聚類的方法忽略了光譜波段之間的相關性。子空間聚類算法是廣泛應用的聚類算法，但很多子空間聚類算法僅對于線性子空間進行聚類，這不適用于具有非線性關系的高光譜圖像的波段選擇。最近提出的一種深度子空間聚類（Deep Subspace Clustering，DSC）［12］網絡將深度卷積自編碼器和子空間聚類相結合，使用該算法進行波段選擇［13］很好地解決了上述問題并取得了較好的效果；然而，DSC算法仍然將自表達作為監督，對于某些內在子空間不獨立或具有明顯交集的樣本可能表現不佳。

本文利用深度對抗子空間聚類（Deep Adversarial Subspace Clustering，DASC）［14］網絡進行高光譜波段選擇。DASC網絡是一種新的無監督深度子空間聚類模型，該網絡在DSC 網絡的基礎上加以改進，將DSC 和生成對抗網絡（Generative Adversarial Network，GAN）［15］相結合，引入對抗學習來監督自編碼器的樣本表示和子空間聚類，使得子空間聚類具有更好的自表達性能。此外，引入拉普拉斯正則化來考慮反映圖像幾何信息的局部流形結構，使網絡性能更優。

1 相關工作

1.1 子空間聚類

對于一個原始數據集X=[x1，x2，…，xN]∈?d×N，假設該數據集屬于n 個線性子空間S=S1，S2，…，Sn，線性子空間的維度分別為d1，d2，…，dn，有如下公式：

s.t.X=XC，diag(C)=0

其中：C ∈?N×N表示自表達系數矩陣，diag(C)=0 為了避免平凡解，‖ ? ‖p可以表示為l1或l2正則化。對于稀疏子空間聚類（Sparse Subspace Clustering，SSC）［16］，通常有如下公式：

s.t.di ag( C )=0

其中，λ 表示平衡系數。使用系數矩陣C 構造相似矩陣M=|C|+|C|T，通常情況下，相似矩陣M 為塊對角矩陣。將矩陣M用于譜聚類進行聚類，得到最終的聚類結果。

1.2 卷積自編碼器

卷積自編碼器（Convolutional AutoEncoder，CAE）［17］由一個對稱的編碼器和解碼器組成，編碼器和解碼器都由卷積神經網絡構成，用φ=E(X；αe)表示編碼器，其中：X 表示輸入，αe表示參數，φ 表示編碼器的輸出。對于解碼器，采用和編碼器相同的結構，不同的是解碼器操作用于重建輸入的X 表示為最后，使用均方誤差作為損失函數進行訓練，損失函數如下：

1.3 深度子空間聚類

深度子空間聚類（Deep Subspace Clustering，DSC）網絡將自表達層嵌入在卷積自編碼器中，輸入數據X 經過編碼器得到特征表示，U然后經過自表達使用UC進行全連接，再將UC經過解碼器得到重構的DSC的損失函數L如下：

s.t.diag(C)=0

2 深度對抗子空間聚類實現波段選擇

2.1 深度對抗子空間聚類

深度對抗子空間聚類（DASC）網絡由子空間生成器和判別器兩部分組成：在生成器中，使用一個卷積自編碼器來學習樣本表示，自表達層嵌入在編碼器和解碼器中用來得到樣本的相似矩陣并使用Ncut 方法進行聚類，然后以聚類生成的簇為條件生成“真樣本”和“假樣本”；對于判別器，接收生成的真假樣本，并且區分出真樣本和假樣本。通過DASC 網絡訓練，最終得到系數矩陣C，通過譜聚類得到聚類結果。

2.1.1 生成器

對于真樣本的獲取，通過自表達層學習的相似矩陣運用Ncut 算 法 得 到k 個 簇A={A1，A2，…，Ak}及 特 征 表 示Z=[Z1，Z2，…，Zk]，然后計算每一類Ai中每個樣本到相對應的子空間Si的投影殘差，投影殘差的求解在判別器中執行，然后選擇具有較小殘差的mi個數據作為真樣本。投影殘差的公式如下：

其中，Vi表示投影矩陣。由此生成器的對抗性損失為：

對于假樣本的獲取，在每個簇Ai中，采樣層從估計的子空間Si中進行隨機采樣，假設簇Ai具有mi個樣本，采樣層從(0，1]均勻分布中隨機采樣mi個隨機向量，然后將αt的每一項和簇Ai中對應樣本相乘并求和，生成mi個假數Zˉt=，其中θtj表示θt的第j項。

為了使生成的假數據更接近判別器學習的子空間，使聚類具有更好的效果，將對抗損失加入到生成器的損失函數中，公式如下：

s.t.diag(C)=0

其中，λ 表示平衡系數。式（7）右邊的四項分別表示對抗性損失、重構損失、自表達損失和自表達系數損失。

2.1.2 判別器

在判別器中，通過投影殘差Lr來區分真樣本和假樣本，通常來說，若簇不準確則真樣本將比假樣本更接近子空間。對于簇Ai的訓練，使用映射殘差定義一個樣本屬于子空間的概率，損失函數如下：

其中：[?]+=max(0，?)為附加的邊緣損失，ε 為正邊緣參數。對于k個簇來說，判別器的損失函數為：

2.2 拉普拉斯正則化DASC

為了更好地利用圖像的局部流形結構信息，在生成器的損失函數中加入拉普拉斯正則項［18］。將n 個樣本作為n 個頂點X=[x1，x2，…，xN]用邊連接起來構成圖，其中xi∈?d。定義W ∈?n×n作為權重矩陣來記錄每條邊的權重，則頂點i 和j之間的權重可以表示為：

其中：Nk表示具有n 個頂點的K 最近鄰（K Nearest Neighbors，KNN）的構造，σ是熱核參數。

對于非線性流形結構，可以通過線性子空間局部近似，因此定義二次能量函數Q來計算兩點之間的相似性：

其中q(x)=xTw+b為線性表示。

綜上所述，最終得到生成器的損失函數為：

s.t.diag(C)=0

其中：tr(?)表示矩陣的跡，γ是平衡系數。

2.3 拉普拉斯正則化DASC實現波段選擇的流程

利用深度對抗子空間聚類得到最終聚類結果，根據聚類結果求出每一類中波段的平均值作為聚類中心，然后計算每個波段到該類聚類中心的距離，選出每個類中最接近聚類中心的波段得到波段子集，即為波段選擇的結果，具體流程如下：

1）輸入三維高光譜數據集X，設置波段選擇數量k。

2）構建DASC網絡，初始化網絡參數。

3）使用深度子空間聚類（DSC）網絡對數據進行訓練得到自表達系數矩陣和特征表示。

4）使用自表達層得到的數據，采用Ncut 方法進行聚類，得到“真樣本”，并根據聚類個數生成m個假樣本；并判斷生成器訓練是否大于5 次，如果是則進行下一步，否則返回到步驟3）。

5）根據生成器生成的真假樣本，對判別器進行訓練。判斷如果總迭代次數大于300，則進行下一步，否則返回到步驟3）。

6）將DASC 網絡訓練得到的系數矩陣C 用于譜聚類得到聚類結果，計算得到每個類的聚類中心，并計算每個類中離聚類中心最近的波段作為代表波段，得到波段子集，即為波段選擇結果。

3 實驗結果與分析

3.1 實驗數據和預處理

Indian Pines 數據集使用AVRIS 傳感器在美國印第安納州西北部的一塊小區域收集，包含145 像素×145 像素，預處理后波段數為200，主要地物為16類。為方便實驗，選取像素區間在[50 ～120，50 ～120]的數據子集進行實驗，共包含8類，如圖1所示。

圖1 Indian Pines 數據集Fig.1 Indian Pines dataset

Pavia Center數據集使用ROSIS傳感器在意大利北部帕維亞大學收集，包含1 096 像素×715 像素，預處理后波段數為102 個，主要地物為9 類。為方便實驗，選取像素區間在[100 ～200，200 ～400]的數據子集進行實驗，共包含6 類，如圖2所示。

圖2 Pavia Center 數據集Fig.2 Pavia Center dataset

詳細的數據總結在表1 中給出。所有方法均使用python 3.5進行實驗評價，DASC算法采用tensorflow框架。

表1 Indian Pines和Pavia Center數據集參數設置Tab.1 Parameters setting of Indian Pines and Pavia Center datasets

3.2 實驗結果對比

使用Indian Pines 數據集和Pavia Center 數據集設計實驗驗證DASC 算法進行波段選擇的效果。實驗使用支持向量機（Support Vector Machine，SVM）［19］分類器進行波段選擇后的數據分類，采用總體精度（Overall Accuracy，OA）、卡帕系數（Kappa Coefficient）以及平均精度（Average Accuracy，AA）來評價分類效果。在實驗中，設置波段數為5～40，間隔為5個波段。對于Indian Pines 數據集，設置式（14）中的λ=0.4，α=15，β=1，γ=10；對于Pavia Center 數據集，設置式（14）中的λ=0.2，α=20，β=1，γ=15。對于自編碼器的通道數設置為10-50-100-C-100-50-10，卷積核大小為3×3×3。將DASC 和Lap-score、SpaBS、ISSC、SNMF、MVPCA、DSC 等6種方法進行比較，得到的實驗結果如圖3、圖4 所示。從圖中可以看出，采用DASC方法進行波段選擇的效果明顯比其他方法更優。DSC和ISSC方法的效果比SpaBS、SNMF、MVPCA方法好，特別是DSC 方法表現出較好的實驗效果，這表明將深度學習和子空間聚類算法相結合，對高光譜圖像波段選擇具有很好的應用價值，而使用DASC 方法，解決了DSC 方法的不足，在OA、AA和Kappa系數的比較中都得到了比DSC更好的結果。

圖3 Indian Pines數據集實驗結果比較Fig.3 Experimental result comparison on Indian Pines dataset

圖4 Pavia Center數據集實驗結果比較Fig.4 Experimental result comparison on Pavia Center dataset

3.3 波段選擇分析

為了更好地分析波段選擇的結果，使用Indian Pines 數據集，對波段選擇數為20 時的波段號進行分析，分別得到不同方法選擇20 個波段時的波段號。為了直觀表示波段選擇的結果，畫出Indian Pines數據集200個波段的信息熵，信息熵越大表明該波段的信息量越多，波段更具有代表性。將選擇的波段號在圖中畫出，如圖5、圖6所示。

圖5 選擇波段數為20時不同方法的波段分布比較Fig.5 Comparison of band distribution of different methods when the number of bands is 20

圖6 選擇波段數為20時光譜波段信息熵Fig.6 Spectral band information entropy when the number of bands is 20

從圖6 中可以看出，信息熵的值比較平均，僅在某些地方呈下降趨勢，因此選擇波段分布較為均勻的方法更好。對應到圖5 中，對于不同方法得到的波段選擇結果有很大的差別，其中Lap-score 和MVPCA 方法得到的波段號較為集中，而且僅出現在某一區間內，波段之間具有很強的相關性；SpaBS、ISSC 和SNMF 方法選擇的波段在前面較為集中，而后面比較分散，分布不均勻；DSC 和DASC 方法得到的波段號分布均勻，且選出的相鄰波段較少，具有很好的代表性，因此能得到更好的分類效果。通過3.2 節的實驗結果比較，可以證實DASC方法選出的波段比其他方法更優。

3.4 計算時間對比

該實驗將DASC 方法和其他6 種方法在波段選擇數量均為20 時的計算效率進行比較。不同方法在Indian Pines 和Pavia Center 數據集上的運行時間如表2所示。實驗方法在配置為Inter Xeon E5-2620 CPU 2.10 GHz 和32 GB 內存的服務器上進行。

表2 波段數為20時不同方法的運行時間對比 單位：sTab.2 Running time comparison of different methods when the number of bands is 20 unit：s

由表2 可以看出，ISSC 和MVPCA 方法所用時間較少，SpaBS 和SNMF 方法計算效率較低，DSC 和DASC 的計算效率適中。同時結合分類精度和實驗效果來看，DASC的綜合表現最好，具有很好的應用價值。

4 結語

本文提出使用DASC 方法來實現高光譜波段選擇。通過在編碼器和解碼器中引入自表達層來模仿傳統子空間聚類的“自表達”屬性，充分運用光譜信息和非線性特征轉換得到波段之間的相互關系，并且將深度子空間聚類和生成對抗網絡相結合，引入對抗學習來監督自編碼器的樣本表示和子空間聚類，使得子空間聚類具有更好的自表達性能。同時，加入拉普拉斯正則化來考慮反映圖像幾何信息的局部流形結構，使模型更加魯棒。實驗結果表明，DASC方法在波段選擇上具有更好的效果，綜合來看具有較高的應用價值。但是，由于該方法無法使用批梯度下降方法進行訓練，因此在計算效率方面存在不足，這將是后續研究和改進的重要方向。