基于子空間劃分和自我表示學(xué)習(xí)的高光譜波段選擇

王 鑫, 汪國強

(黑龍江大學(xué) 電子工程學(xué)院, 哈爾濱 150080)

0 引 言

高光譜圖像(Hyperspectral image, HSI)通過大而窄的電磁波波段獲取感興趣目標的信息。與-RGB圖像相比，這些波段能夠提供更加豐富的光譜和圖像信息，可以更好地描述目標的光譜特征，提高檢測和識別能力。因此，它被廣泛應(yīng)用于各種研究領(lǐng)域，如海洋勘探、軍事目標探測、林業(yè)、醫(yī)學(xué)影像處理和生產(chǎn)質(zhì)量檢驗等[1]。這些波段為相關(guān)圖像處理提供了更多的信息，但也帶來了一些障礙，根據(jù)高光譜成像特征，相鄰光譜波段之間存在較高的相關(guān)性。高維HSI數(shù)據(jù)處理不僅增加了時間復(fù)雜度和空間復(fù)雜度，而且會出現(xiàn)維數(shù)休斯現(xiàn)象，導(dǎo)致分類性能的惡化[2]。同時，高光譜數(shù)據(jù)的高維性使得數(shù)據(jù)的傳輸、存儲和處理面臨著一系列困難。因此，降維技術(shù)成為HSI分析中一個備受關(guān)注的問題。

降維技術(shù)通?？梢苑譃樘卣魈崛『吞卣鬟x擇(波段選擇)兩類。特征提取是根據(jù)一定的準則將高維空間數(shù)據(jù)映射到低維空間，提取新的特征子集來表示原始的高光譜數(shù)據(jù)。典型的方法有主成分分析(Principal component analysis, PCA)[3]、線性判別分析(Linear discriminant analysis, LDA)和獨立成分分析(Independent component analysis, ICA)。但通過空間變換，會改變原始高光譜數(shù)據(jù)的物理意義，丟失一些關(guān)鍵信息。而特征選擇也稱為波段選擇，是從原始光譜波段集合中選擇波段子集，可以最大化數(shù)據(jù)分析的性能。波段選擇方法可能只需要一個選定的光譜波段子集來進行后續(xù)數(shù)據(jù)分析。與特征提取方法相比，波段選擇能夠更好地保存物理信息，對原始數(shù)據(jù)具有更好的解釋和表達能力。

根據(jù)標記樣本是否被利用，波段選擇可以分為監(jiān)督、半監(jiān)督和無監(jiān)督方法。監(jiān)督和半監(jiān)督方法在很大程度上依賴于監(jiān)督信息來識別相關(guān)波段。這些方法由于標簽信息允許評估類的可分離性，最終只選擇具有強識別性信息的波段。顯然，這些方法更加以分類為導(dǎo)向，有利于取得更好的分類性能。然而，由于HSI數(shù)據(jù)總是難以標記，這兩種方法在應(yīng)用中并不十分實用。無監(jiān)督方法只需要通過一些評價準則函數(shù)從高光譜波段中選擇一個子集，不需要使用標記樣本。常用的判定標準有方差、信噪比、熵、k階統(tǒng)計量和歐氏距離等[4]?；谠摬呗?，現(xiàn)有的無監(jiān)督波段選擇方法主要可以分為基于排序、搜索、聚類、稀疏、嵌入學(xué)習(xí)和混合模式的方法。這些波段選擇方法雖然都能取得令人滿意的分類結(jié)果，但在分類過程中存在兩個固有的缺點。一方面，大部分只考慮波段之間的相關(guān)性，忽略了所選取波段的信息量，并不符合波段選擇的原則[5]。另一方面，對于某一波段，在一定范圍內(nèi)與相鄰波段的相關(guān)性較強，與更遠波段的相關(guān)性較低。因此，可以得出不同波長范圍的不連續(xù)波段不能分組成簇進行波段選擇的結(jié)論。

大數(shù)據(jù)分析的一個可行方案是將大數(shù)據(jù)集拆分為多個較小的數(shù)據(jù)集，使用合適的算法或模型依次對每個小數(shù)據(jù)集進行處理。這些場景要求波段選擇模型能夠處理來自不同時間的不完整波段的動態(tài)數(shù)據(jù)，捕捉這些數(shù)據(jù)之間的某種一致性[6]。針對以上問題，可將高光譜圖像立方體劃分為若干子立方體，并在子立方體中選擇信息波段。本文采用了一種自適應(yīng)子空間劃分策略來劃分立方體，通過自表示學(xué)習(xí)逐一處理子立方體，采用記憶向量來處理缺失波段，可指導(dǎo)后續(xù)的波段選擇。

1 算法描述

首先,采用自適應(yīng)子空間策略對高光譜圖像立方體進行劃分，基本思想是有序地處理高光譜波段，然后自適應(yīng)地將具有相似光譜特征的波段劃分為一個子立方體。再采用自表示學(xué)習(xí)算法去處理子立方體，在處理完所有子立方體以后，采用記憶向量q進行波段選擇。

1.1 自適應(yīng)子空間劃分策略

考慮到相鄰波段的相關(guān)性高于非相鄰波段，采用自適應(yīng)子空間劃分策略對高光譜圖像進行立方體分割,可以使用聚類算法來實現(xiàn)空間劃分。但是，如果直接采用聚類算法，會導(dǎo)致更大的時間復(fù)雜度。為了更快地分割高光譜圖像立方體，該方法采用了粗精細策略，主要有兩個步驟:

(1) 粗子空間劃分

設(shè)X∈RW×H×L表示高光譜像立方體，其中L為總的波段數(shù)，W和H分別為每個波段的寬度和高度。波段選擇的目的之一是減少計算時間。因此，為了更快地實現(xiàn)聚類算法，將高光譜圖像立方體按照選擇的波段數(shù)等寬分成有限的子立方體，每個子立方Pi的帶數(shù)定義為：

(1)

式中K為所波段的數(shù)目。這種方法是一個初始劃分，可以得到子立方體Pi∈RW×H×X。

(2) 細子空間劃分

為了準確表示每個子立方體Pi的光譜波段，提出了一種細子空間劃分方法來獲得新的子立方體。其中，每個空間波段的矩陣被拉伸成一維向量：

X=[x1,x2,…,xL]

(2)

式中xi∈RW×H×1,xi是第i個波段的拉伸向量。

根據(jù)拉伸的波段向量，利用歐幾里得距離構(gòu)造第i個波段和第j個波段之間的相似矩陣為：

(3)

在聚類算法中，常利用類內(nèi)和類間距離來分析問題。具體來說，通過最大化類間距離與類內(nèi)距離之比來獲得最終的聚類結(jié)果。對于已分割的高光譜圖像立方體，利用這一思想對該立方體進行了精確的分割。由于兩個相距很遠的子立方體之間的相關(guān)性很小，故只考慮兩個相鄰子立方體Pi和Pi+1之間的關(guān)系。因此，給出目標函數(shù)的一般形式為：

(4)

式中:Dinter和Dintra分別為類間距離和類內(nèi)距離;t為劃分點。

在類間距離的計算中，選擇最大距離作為衡量兩個類間關(guān)系的標準，它被定義為：

Dinter=max|Dij|

(5)

式中1≤i

Dintra=U1+U2

(6)

式中：

(7)

(8)

由上述方程得到第一個精確劃分點，而不是原來的劃分點。因此，利用之前的劃分點，以同樣的方式更新初始點t，得到最終的分割點,如圖1所示。示例將高光譜圖像立方體(8個波段)劃分為4個子立方體。在虛線內(nèi)，深色區(qū)域表示僅考慮這些相鄰的波段來更新當(dāng)前的分割點。這種劃分方法可以使得到的子立方體之間的相關(guān)性降低，有效地避免選擇冗余波段,符合波段選擇原則。

圖1 自適應(yīng)子空間劃分原理示意圖

1.2 自我表示學(xué)習(xí)

由于冗余波段的自表示性質(zhì)，對于給定的樣本矩陣X，SRL將每個波段表示為其他波段(包括自己)的線性組合，建模如下：

XT=XTW+E

(9)

式中:變量W∈Rb×b和E∈Rn×b分別表示系數(shù)矩陣和殘差矩陣;b表示樣本總的波段數(shù);n表示總的樣本數(shù)。矩陣E的第i行表示訓(xùn)練樣本Xi的重構(gòu)誤差。為了避免在模型(9)中獲得平凡解(即W=I和E=0)，必須對W進行正則化。因此，SRL的正式定義為：

(10)

在式(10)中，第一項是一個損失函數(shù)，如最小二乘或平方損失函數(shù)，以最小化重構(gòu)誤差。第二項是一個正則化項，是為了避免平凡解和指導(dǎo)波段的選擇，低秩約束和行稀疏約束是兩種常見的正則化項。通過交叉驗證確定的正參數(shù)τ用于實現(xiàn)第一項和第二項之間的平衡。

波段選擇可以使用損失函數(shù)和正則項的各種組合來實現(xiàn)。與平方損失函數(shù)相比，最小平方損失函數(shù)對異常值具有魯棒性。此外，當(dāng)增加主要波段之間關(guān)系的低秩約束時，有必要進行額外的聚類，這增加了計算復(fù)雜性，并使相應(yīng)的波段選擇模型陷入困境。因此，具有由最小二乘損失函數(shù)和行稀疏約束組成的自動波段選擇的魯棒自表示模型為：

(11)

‖W‖2,1理論上可以使矩陣W的某些行的值變?yōu)榱恪！琖i‖2=0表示在重建過程中第i個波段被舍棄了。相反，‖Wi‖2的值越大，意味著選擇第i個波段的可能性就越大。因此，‖Wi‖2可以被認為是第i波段的分數(shù)。在求解變量W之后，自表示模型選擇得分較高的波段。式(11)可以用收斂的迭代加權(quán)算法來求解[7]。

1.2.1 記憶向量

基于這樣的一個假設(shè)，即波段的重要性是連續(xù)的，如果一個波段是重要的，那么它在不同時間的樣本矩陣中也是同等重要的。為了方便起見，假設(shè)記憶向量q在一次處理樣本之前記錄了大量的歷史波段。因此，使用一個記憶向量q∈Rb來記錄所有波段的分數(shù)。元素的值越大，選擇相應(yīng)波段的概率越大。當(dāng)一個樣本矩陣Xt∈Rbt×nt在t時刻具有不完全波段時，首先,從對應(yīng)于Xt的可用波段的記憶向量q中得到子向量qt∈Rbt。然后，利用行稀疏約束的SRL來獲得Xt對應(yīng)的系數(shù)矩陣Wt。隨后，使用矩陣Wt來更新記憶向量q中Xt的可用波段的分數(shù)。當(dāng)在時間t+1的樣本矩陣Xt+1可用時，重復(fù)以上過程。最后，所有可用的樣本矩陣掃描一次后，用q向量進行波段選擇。

基于上述波段重要性連續(xù)的假設(shè)，使用一種正則化項來利用歷史信息優(yōu)化矩陣Wt為：

(12)

(13)

式中:τ1和τ2是正參數(shù)，用來保持第一項和第二項之間的平衡;Vt是取決于重構(gòu)誤差的權(quán)重向量;r是用于調(diào)整權(quán)重分布的參數(shù)。

采用矩陣Wt行的l2范數(shù)來更新向量q中對應(yīng)于Xt可用波段的元素的值。這樣，在記憶向量中記錄了樣本矩陣Xt所反映的波段的分數(shù)。當(dāng)t+1時刻的樣本矩陣Xt+1可用時，重用更新后的記憶向量的式(13)。根據(jù)q的元素以降序?qū)λ胁ǘ芜M行排序，選擇排名靠前的波段。

2 實驗與分析

為驗證本文方法的可行性與有效性，與基于可擴展單程自表示學(xué)習(xí)高光譜波段選擇(SOP-SRL)[8]、基于自適應(yīng)子空間劃分策略的高光譜波段選擇(ASPS)[9]和基于多字典稀疏表示的高光譜圖像無監(jiān)督波段選擇(Multi-dictionary sparse representation,MDSR)[10]進行了對比。

2.1 實驗環(huán)境和數(shù)據(jù)

實驗環(huán)境為第十代智能英特爾六核處理器，主頻2.60 Hz，內(nèi)存16 GB，開發(fā)環(huán)境為Matlab R 2016 a。實驗數(shù)據(jù)為薩利納斯山谷(Salinas valley)、帕維亞大學(xué)(Pavia university)和印第安農(nóng)場(Indian pines)三個公開的高光譜遙感影像數(shù)據(jù)集。三組數(shù)據(jù)所對應(yīng)的地物類型及數(shù)目如表1所示。

(1) 薩利納斯山谷數(shù)據(jù)。該數(shù)據(jù)共有512×217個像素，以3.7 m的空間分辨率拍攝于美國加利福尼亞的薩利納斯山谷。顯示了不同種類的植被，對應(yīng)于16類地物。原始數(shù)據(jù)包含224個波段，但是由于大氣吸收或噪聲污染，刪除了20個波段，剩余204個波段。

(2) 帕維亞大學(xué)數(shù)據(jù)。該數(shù)據(jù)的波長范圍為0.43～0.86 μm，空間分辨率為1.3 m，共有610×340個像素點，共包含9類地物。該數(shù)據(jù)集共包含115個波段，刪除了12個噪聲波段，最后剩余103個波段。

(3) 印第安農(nóng)場數(shù)據(jù)。此高光譜數(shù)據(jù)是在1992年，采用AVIRIS傳感器拍攝的印第安納州西北部農(nóng)業(yè)區(qū)影像，像素大小為145×145，共220個波段，包括16類地物類別。去除吸水嚴重和低信噪比的20個波段，最后剩余200個波段。

表1 三個數(shù)據(jù)集地物類別及數(shù)目表

2.2 實驗設(shè)置

采用K近鄰(K-nearest neighbor,KNN)、(Support vector machine)SVM分類進行實驗。KNN是機器學(xué)習(xí)中最簡單的分類器，它根據(jù)K個相似訓(xùn)練數(shù)據(jù)的類別確定樣本類別。通過交叉驗證來選取最優(yōu)的K值，因此，最終選定K值為5。SVM分類器采用RBF核。另外，考慮到分類器是被監(jiān)督的，因此，從每個類別中隨機抽取10%的樣本作為訓(xùn)練集,其余90%的樣品用于測試集。為了減少隨機選取10%樣本的影響，算法運行10次以獲得平均結(jié)果。因為所選取波段的數(shù)目未知，所以本次實驗在5～30個波段內(nèi)進行試驗，以此驗證波段數(shù)對分類精度的影響。對于分類的結(jié)果采用總體準確率(Overall accuracy, OA)、平均準確率(Average accuracy, AA)和Kappa系數(shù)作為高光譜圖像分類評價指標。OA和Kappa值越大，說明圖像分類效果越好，AA是評價小類別分類結(jié)果好壞的常用指標。

2.3 實驗結(jié)果分析

首先，對薩利納斯山谷數(shù)據(jù)和帕維亞大學(xué)數(shù)據(jù)進行了子空間劃分，于每個子空間內(nèi)各選擇一個波段，獲得相關(guān)性較低的波段組合，假如選擇5個子空間，那么他們分別為(1～38)、(39～62)、(63～104)、(105～202)和(203～204)。從這5個子空間中按照前面方法各取出一個相關(guān)性低且信息量大的波段進行組合，然后送入到分類器中進行分類。不同波段數(shù)在三個數(shù)據(jù)集上的分類性能指標如圖2所示，為了更好地對數(shù)據(jù)進行分類，對比了KNN和SVM分類性能。在每個數(shù)據(jù)集上選擇波段的編號如表2～表4所示,可以看出，不同波段數(shù)對分類結(jié)果性能的影響，本文提出的方法在OA、AA和Kappa上面取得了比較滿意的結(jié)果。當(dāng)選擇的波段數(shù)較小時，算法的精度不穩(wěn)定，當(dāng)超過20個波段時，算法的精度已趨于穩(wěn)定。由圖可知，SVM分類器的性能是遠遠優(yōu)于KNN分類器的。相同條件下，SVM分類器的OA、AA和Kappa三個評價指標比KNN分類器更好。在Salinas valley數(shù)據(jù)上，最大相差的數(shù)值分別為2.81、2.24和3.45。在Pavia University數(shù)據(jù)集上，三個指標最大相差數(shù)值分別為5.89、6.51和8.18。在Indian pines數(shù)據(jù)集上，三個數(shù)值為12.19、18.05和14.2。由此可知，用SVM進行高光譜圖像分類會比KNN具有更好的準確率。

表2 Salinas valley數(shù)據(jù)集選擇的波段編號

表3 Pavia University數(shù)據(jù)集選擇的波段編號

表4 Indian pines數(shù)據(jù)集選擇的波段編號

為了更好地驗證本方法的有效性與優(yōu)越性，采用KNN和SVM作為分類器，并與MDSR、SOP-SRL和ASPS三種最新的算法進行實驗對比,實驗結(jié)果如圖3、圖4和圖5所示。由圖3可知，對于Salinas valley數(shù)據(jù)集，本算法在KNN分類器上OA系數(shù)一直高于其他算法。通過選擇的不同的波段數(shù)，本算法在波段數(shù)很少的情況下就表現(xiàn)出了優(yōu)秀的分類性能。本算法在選擇5個波段的情況下，在Salinas valley和Pavia University數(shù)據(jù)集上的OA分別為88.02%和83.96%，此時的指標已經(jīng)超過了MDSR、SOP-SRL和ASPS。但是隨著波段數(shù)的不斷增加，當(dāng)波段增加到15個時性能不再出現(xiàn)明顯的增長，這可能和子立方體包含的波段數(shù)越來越少導(dǎo)致當(dāng)前波段無法得到更有利的信息進行判斷和更新,說明了本方法在低維情況下更有效。在SVM分類器上，本算法在15個波段以前一直處于優(yōu)勢，隨著波段數(shù)的不斷增加,準確率也在持續(xù)上升。雖然后期的準確率不如SOP-SRL算法，但是此曲線相對平緩，并未出現(xiàn)較大的波段，此時本算法趨于穩(wěn)定。由圖4可知，對于Pavia University數(shù)據(jù)集，無論是在KNN分類器還是SVM分類器上，本算法的OA表現(xiàn)一直是高于其他算法的，這一點更加說明了本算法的優(yōu)越性。與SOP-SRL和MDSR算法相比，本算法穩(wěn)定性更好。對于Indian pines數(shù)據(jù)集，當(dāng)波段數(shù)較少時，本算法在KNN分類器上的表現(xiàn)比其他算法好。而在SVM分類器上，ASPS和SOP-SRL具有更好的分類性能。MDSR算法分類的準確率明顯不如其他幾種算法，且該算法的穩(wěn)定性也不如其他幾種算法好。綜上所述，本算法的綜合表現(xiàn)是優(yōu)于其他算法的，具有更好的穩(wěn)健性，即使是在小樣本的情況下也能有很好的表現(xiàn)。

圖3 Salinas valley分類結(jié)果圖：(a) KNN;(b) SVM

圖4 Pavia University分類結(jié)果圖：(a) KNN;(b) SVM

圖5 Indian pines分類結(jié)果圖：(a) KNN;(b) SVM

為了驗證本算法的有效性與優(yōu)越性，以15波段為例，分別對三個數(shù)據(jù)集的地物進行分類，分類結(jié)果如表5、表6、圖6和圖7所示。由表5可以看到，本算法的OA指數(shù)在Salinas valley和Pavia University數(shù)據(jù)集上都高于其他算法，相比于MDSR算法，分別提高了4.05%和5.09%。在Indian pines數(shù)據(jù)集上，本算法Kappa指標比MDSR高出9.29%。對于Salinas valley和Pavia University數(shù)據(jù)集，與SOP-SRL和ASPS算法相比，本文的AA和Kappa兩個指標都存在一定優(yōu)勢。而對于SVM分類器的分類結(jié)果，如表6所示,在Salinas valley和Pavia University數(shù)據(jù)集上，本文算法相比于其他幾種算法的OA 、AA和Kappa三個評價指標都是明顯處于優(yōu)勢的，盡管在Indian pines數(shù)據(jù)集上的表現(xiàn)不是那么樂觀，但是它相比于MDSR算法，優(yōu)勢依然很明顯，這也充分說明了本算法的優(yōu)越性。由圖6和圖7可以看出，本算法在Salinas valley和Pavia University數(shù)據(jù)集上分類的效果也明顯好于其他算法，很少出現(xiàn)錯分和漏分的現(xiàn)象，這與表格中的數(shù)據(jù)正好吻合。但是在Indian pines數(shù)據(jù)集上，本算法與其他對比分類的結(jié)果都不太理想，原因可能在于Indian pines數(shù)據(jù)所包含的地物種類繁多，且提供的樣本數(shù)少。

表5 三個數(shù)據(jù)集上不同方法的分類結(jié)果(KNN)

表6 三個數(shù)據(jù)集上不同方法的分類結(jié)果(SVM)

3 結(jié) 論

提出了一種基于子空間劃分和自我表示學(xué)習(xí)的高光譜波段選擇方法,最大限度地利用類間距離與類內(nèi)距離之比，將高光譜圖像立方體分割為多個子立方體。采用自表示學(xué)習(xí)算法處理子立方體，采用記憶向量q進行波段選擇，具有記憶功能的向量可以反映歷史數(shù)據(jù)中的波段質(zhì)量，以保持不同時間的數(shù)據(jù)之間的一致性，并指導(dǎo)后續(xù)的波段選擇。通過在三個公開數(shù)據(jù)集上進行實驗室對比分析，所提方法在OA、AA和Kappa三個指標上都具有很好的表現(xiàn)，從而驗證了所提出的波段選擇方法的可行性與有效性。