基于深度主動學習的高光譜遙感圖像分類方法

范迎迎，張姍姍

(新疆財經大學信息管理學院，新疆 烏魯木齊 830008)

0 引言

高光譜圖像具有豐富的空間信息和光譜信息，被廣泛應用于生態科學、農業信息學、地質學等領域[1].高光譜圖像分類是將高光譜圖像應用于各領域的基礎，其目標是為每一個像素分配一個唯一的語義標簽.

對于高光譜圖像分類，傳統的基于光譜特征的方法[2-5]，由于忽略了空間特征之間的相互依賴關系，往往不能獲得良好的性能.而基于光譜空間特征的分類方法，如小波變換法[6]、低秩表示法[7]等，充分考慮了高光譜圖像中的光譜信息和空間信息，取得了相對較好的效果.然而，上述方法依賴于手工提取的特征，分類過程相對煩瑣，通用性不高，且傳統的淺層機器學習算法，在處理高維遙感數據時，容易陷入“維數災難”.

近年來，深度學習技術使得高光譜圖像分類性能得到了較大改善[8-10].盡管基于深度學習的方法在純數據驅動的方式下表現良好，但它們通常依賴于大量標記樣本.然而，由于高光譜遙感圖像特殊的成像機理，高光譜圖像的獲取及標注成本較高，很難獲得大量的標注數據.訓練樣本的缺乏在很大程度上制約著高光譜圖像分類性能的進一步提升.因此，如何在降低標注成本的同時提高高光譜圖像的分類精度，成為亟待解決的問題.

本文從提高高光譜圖像分類精度和降低樣本標注成本兩方面入手，提出一種結合殘差連接和注意力機制的分類網絡，充分利用高光譜圖像中的光譜空間信息進行分類.將深度學習和主動學習技術相結合，降低樣本標注成本.

1 相關研究

近年來，深度學習被廣泛應用于高光譜圖像分類任務.如文獻[9]提出基于深度信念網絡的高光譜數據特征提取和分類框架，文獻[10]提出使用棧式自編碼對高光譜圖像進行分類，而這兩種方法在處理高光譜數據時，不能充分利用其空間信息，分類精度有待進一步提高.卷積神經網絡(CNN)引入了局部感受野的概念，通過卷積核捕獲圖像上的空間信息，在圖像分類領域取得了可觀的成就.目前，有不少研究者使用CNN實現高光譜圖像分類.Yu等[11]通過構建高效的端到端CNN模型，提高了高光譜圖像分類的精度；Kang等[12]提出了一種基于雙路徑網絡的分類方法，結合了殘差網絡和密集卷積網絡的優點，取得了較好的分類效果；文獻[13]利用遷移學習和CNN模型對高光譜圖像分類，提高了分類性能，并且從一定程度上緩解了高光譜圖像樣本不足的問題.CNN方法使得高光譜圖像分類效果得到了一定程度的提升，但不難發現現有的基于CNN的分類方法通常對樣本量需求過大，而現有算法不能從根本上解決高光譜圖像數據缺乏以及標注困難問題.

主動學習(Active Learning，AL)[14]主要用來最大限度地減少訓練集規模并降低標注成本，其主要思想：通過機器學習算法篩選出那些比較難分類的樣本并進行專家標注，然后將得到的標注數據再次放入機器學習模型中進行學習，進而提高模型的準確度.目前，已有學者將主動學習算法運用在高光譜圖像分類中，如王立國等[15]采用支持向量機作為分類器的AL算法進行高光譜圖像分類，但SVM在面對高光譜圖像的復雜空間光譜特征時，分類性能并不如人意；程圓娥等[16]將棧式自編碼和AL結合實現高光譜圖像分類，而棧式自編碼網絡要求輸入為一維向量，破壞了高光譜圖像的空間鄰域信息.針對上述問題，本文擬采用CNN作為主動學習的分類器，通過殘差連接和注意力機制提升CNN網絡對高光譜圖像的空間-光譜信息的利用能力.

2 網絡結構設計

本文提出的基于深度主動學習的高光譜圖像分類網絡，充分利用深度學習的判別能力和主動學習的標記效率，進一步提高了高光譜圖像分類的性能.其網絡框架圖如圖1所示.首先，為了充分利用高光譜圖像豐富的光譜空間信息，選取以待分類像素點為中心的三維圖像子塊作為網絡的輸入，其中有標記樣本作為訓練集訓練分類器，而未標記樣本則作為主動學習的候選池；然后，使用訓練集訓練分類器，并基于訓練好的分類器計算候選池中每個樣本的類別概率；最后，使用主動學習策略選擇信息量最大的樣本進行專家標注，并將新標記的樣本加入到訓練集中，對網絡進行新一輪的迭代訓練；重復上述步驟，直至達到最大迭代次數為止.

圖1 網絡整體框架圖

2.1 分類器

由于本文所提算法的樣本選擇過程依賴于分類器的分類結果，所以分類器的設計在主動學習過程中至關重要.鑒于CNN網絡在圖像分類領域取得的巨大成就，本文選取CNN網絡作為高光譜圖像分類的骨干網絡.

2.1.1 基于殘差連接的CNN網絡

在深度學習算法中，隨著網絡深度的加深，網絡性能常常會出現退化，實踐證明，殘差連接通過將網絡低層信號以跳躍傳播的方式傳入網絡高層，能夠解決這種退化問題.此外，高光譜圖像存在不可避免的高維、小樣本問題，過深的網絡容易造成過擬合，因此本文借鑒ResNet網絡[17]的殘差連接思想，構建了一個6層卷積神經網絡模型，每層均采用3×3大小的卷積核，其中，前5層卷積核個數為256，第6層卷積核個數為1 024，兩個全連接層的神經元個數分別為500和K，其中K為類別數.該模型引入殘差連接方式，既能緩解使用小樣本訓練過程中的梯度消失問題，同時有助于梯度的反向傳播.

2.1.2 融合注意力機制的CNN網絡

高光譜圖像的高維特性增加了對高光譜數據進行分類的難度，如果能讓模型快速聚焦于高光譜圖像中的重要波段和關鍵區域，將會在很大程度上簡化分類過程.深度學習中的注意力機制是仿照人類大腦處理視覺信息的思維方式而設計的一種機器視覺注意力機制，該機制可以將注意焦點迅速聚焦于圖像中的重要區域，而忽略其他無關背景區域，從而能夠更加高效地處理視覺信息.目前常用的空間注意力機制[18]能夠凸顯關鍵區域的特征表示，但忽略了圖像中各通道之間的相關性；而通道注意力機制[19]能夠為每個通道賦予不同的權值，提升重要通道信息抑制無關通道特征，但忽略了圖像空間內的信息交互.為了同時兼顧空間內、通道間的信息交互，CBAM[20]混合注意力機制被提出，該機制結合了通道域和空間域的注意力方法，形成一種較為綜合的注意力機制.如圖2所示，CBAM在原通道注意力的基礎上，連接了一個空間注意力模塊.為了充分利用高光譜圖像不同光譜之間的相關性以及提升高光譜圖像關鍵空間區域的特征表達，本文在CNN網絡中加入了CBAM注意力機制.

圖2 CBAM結構圖

本文提出的分類網絡結構圖如圖3所示.為了更好地描述分類器的工作過程，給出如下定義：對于高光譜數據I∈RH×W×D，H和W分別為高光譜圖像的高和寬，D為波段數，假設xi∈Rm×m×D是以像素pi為中心像素、空間大小為m×m、波段數為D的3維圖像塊，yi為像素pi的類別標簽，N為校本總數，則訓練樣本集DL={(x1，y1)，…，(xn，yn)}，候選樣本集(未標記樣本)DU={pn+1，…，pN}，高光譜圖像分類的目的是為每個像素pi分配一個類別標簽yi.

圖3 分類器結構圖

則卷積操作計算公式為

(1)

在網絡的輸出層采用Softmax函數計算類別概率，對于一個多分類問題，如C(C>2)類，給定輸入x，假設P=(y(i)=1|x(i)；θ)為每一個類別j的概率值，則其公式為

(2)

使用交叉熵損失函數優化網絡參數，公式為

(3)

2.2 主動學習查詢策略

主動學習查詢策略是主動學習算法的核心組件通過查詢策略可以挑選出最有價值的一組樣本，提高模型分類的精度.目前，使用最多的是基于不確定性采樣的方法.本文擬采用基于最小置信度(Minimum Confidence，MC)和基于最優標號和次優標號(Best vs second-best，BvSB)的采樣方法.

2.2.1 基于MC的采樣

該方法選擇最大概率最小的樣本進行標注，最大概率越小說明樣本的不確定性越大.本文將所有未標記數據輸入到CNN網絡，網絡的Softmax函數輸出值為屬于某類地物的類別概率，假設最后一層全連接層的輸出向量為v，vi表示v中的第i個元素，則經過Softmax函數后的輸出為

(4)

所有基于MC的采樣可以表示為

MC=min{Pmax}.

(5)

其中Pmax=max(Pi).

2.2.2 基于BvSB的采樣

該方法選擇極易被判定為兩類的數據，即選擇模型預測最大和次大的概率差值最小的樣本.樣本的最大和次大的概率差值小就說明該樣本很容易被錯誤分類，對這樣的樣本進行標注，有更大的標注價值.由(5)式基于BvSB的采樣可以表示為

BvSB=min{Pmax-Psecond-max}.

(6)

其中Psecond-max表示次大概率值.

訓練集和未標注樣本集在每次主動選擇后動態更新，即被主動選擇策略選中的樣本將從未標記樣本池DU中刪除，新標注的樣本會被添加到訓練集DL中，假設每次主動選擇b個樣本進行標記，則：

DL=DL∪{(x1，y1)，…，(xb，yb)}；

(7)

DU=DU-{(x1)，…，(xb)}.

(8)

整個算法流程可以歸納如下：

算法1 本文算法

輸入：訓練樣本集DL，未標注樣本集DU，主動選擇次數S，首次隨機選取樣本數a，每次主動選取樣本數b；

初始化：s=0

(1)隨機選擇m個標記樣本構造初始訓練樣本集DL，

(2)Whiles

(3)使用DL訓練分類網絡，

(4)使用訓練好的分類網絡計算DU中的每個樣本的類別概率，

(5)根據(5)—(6)式主動選擇b個樣本進行標記，

(6)根據(7)—(8)式更新DL，DU，

(7)EndWhile；

輸出：類別.

3 實驗結果與分析

3.1 實驗數據集

為了評估本文所提算法的性能，在兩個廣泛使用的高光譜圖像分類數據集上進行實驗.

(1)IndianPines(IP)數據集：該數據集是最早用于高光譜圖像分類的公開數據集，由機載可見光紅外光譜儀(AVIRIS)采集得到，影像范圍為美國西北部印第安納州的印第安納松樹試驗田，大小為145×145像素，空間分辨率大小為20 m，包含220個波段，剔除了20個噪聲和水吸收波段，保留了200個波段用于實驗，包含了16種地物類別.該數據集的偽彩圖和標簽圖見圖4(a).

(2)Pavia University(PU)數據集：該數據集由反射光學成像光譜儀(ROSIS)采集獲得影像范圍為意大利帕維亞城，大小為610×340像素，空間分辨率大小為1.3 m，包含103個可用波段，共9種地物類別.該數據集的偽彩圖和標簽圖見圖4(b).

圖4 IP(a)和PU(b)的偽彩色和真彩色圖

3.2 實驗環境與設置

本文實驗在深度學習框架Pytorch中進行，硬件環境為IntelCore i7-9700CPU處理器，內存大小為16 GB，顯卡為 NVIDIAGeForce RTX 2080.分類網絡選取遙感圖像塊作為網絡的輸入，若圖像塊尺寸過大，則會包含較多的其他地物信息，對實驗結果影響較大；若選取的圖像塊尺寸過小，則從圖像中學習到的特征有限，也不利于分類，因此，本文根據經驗選取輸入圖像塊大小為7×7像素，設置分類器的batch大小設為32，epoch大小為200，學習率大小為0.01.實驗設置5輪CNN訓練，第一輪從未標記樣本池中隨機選取250個樣本標注后進行訓練，主動學習迭代次數為5，每次從未標記樣本中選擇60個進行標注，所以總訓練樣本數為550.

3.3 實驗結果與分析

實驗選用3個評價指標評估分類性能，即總體分類精度(Overall accuracy，OA)、平均分類精度(Average accuracy，AA)、Kappa系數作為評價指標.

3.3.1 不同查詢策略對分類精度的影響

為了探索不同查詢策略對模型結果的影響，通過實驗比較了MC、BvSB、RS(Randomselection，RS)3種查詢策略在5次主動學習迭代后的分類結果，如表1所示.

表1 不同查詢策略的實驗結果 %

由表1可以看出，采用BvBS的主動學習策略在兩個數據集上都取得了較好的分類效果，這是因為在3種策略中，只有BvBS是基于邊緣的查詢方法，能夠更準確地篩選出難分類樣本；基于RS的分類策略毫無懸念地取得了最差的分類結果，因為這種選擇方法漫無目的地從未標記樣本中選擇樣本進行標記，無法為模型提供貢獻率較大的樣本.因此在實驗中采用BvBS查詢策略.

3.3.2 注意力機制和AL策略對分類精度的影響

通過對比實驗驗證注意力機制和主動學習策略對實驗結果的影響.將本文提出的未加注意力機制的CNN網絡設置為基線網絡，記為CNN，則CNN-CBAM為在基線網絡中加入CBAM，CNN-AL為使用基線CNN網絡作為分類器的主動學習模型，CNN-CBAM-AL為使用CNN-CBAM作為分類器的主動學習模型.非主動學習方法(CNN、CNN-CBAM)采用隨機選擇樣本的方式進行迭代訓練，所有模型經過5次迭代后的實驗結果如表2所示.由表2中CNN和CNN-CBAM方法的對比結果可知，加入注意力機制后的網絡分類結果在兩個數據集上均有提升，說明CBAM可以使網絡更加關注關鍵空間-光譜特征，能夠提高特征表達能力，提升網絡分類效果；由CNN和CNN-AL方法的對比結果可知，采用主動學習策略的模型能夠大幅度提升網絡性能，在IP、PU數據集上OA分別提升了7.9%，9.54%；4種方法對比可知，加入注意力機制和主動學習策略的網絡取得了最優的分類結果，而且，發現在PU數據集上的分類結果高于IP數據集，這主要是因為IP數據集地物類別更加復雜.

表2 實驗結果 %

3.3.3 不同分類器對AL方法實驗結果的影響

為了驗證本文所提分類網絡的性能，將本文方法與使用K近鄰(KNN)、支持向量機(SVM)、棧式自編碼(SAE)、深度置信網絡(DBN)作為分類器的主動學習方法進行了對比.對于KNN算法，設置近鄰數K=10；對于SVM算法，將高光譜圖像的光譜特征作為模型輸入，使用徑向基核函數將輸入映射到高維空間，正則化參數c和核參數g由交叉驗證的網格搜索確定；對于SAE算法，設置3個隱藏層，隱層神經元個數分別為80，50，30，學習率為0.05，epoch為200；對于DBN算法，設置DBN網絡為3層，各層節點數為64，學習率為0.05，epoch為200.圖像的選取見3.2節的實驗設置，使用不同分類器主動學習算法在IP數據集上分類效果如圖5所示、PU數據集上的分類結果見圖6.

圖5 不同分類器在IP數據集上的分類結果

圖6 不同分類器在PU數據集上的分類結果

由圖5和6可知，(1)隨著訓練樣本的增加，所有方法的OA值均呈現上升趨勢，說明主動學習算法在分類過程中能夠提升分類準確度；(2)深度神經網絡方法高于傳統淺層機器學習算法，說明深度學習方法在處理高維數據時具有明顯優勢；(3)本文提出的加入CBAM的CNN方法取得了最高的分類方法，且明顯高出其余兩種深度學習算法，這是因為使用SAE和DBN方法時需要將輸入數據轉成一維向量，破壞了高光譜圖像的空間結構信息，而基于CNN的方法以圖像塊作為輸入，能夠同時利用高光譜圖像的空間光譜信息進行分類.

4 結束語

本文將深度學習和主動學習技術結合使用，提出基于深度主動學習的高光譜圖像分類技術，設計了適用于高光譜圖像分類問題的6層卷積神經網絡，并加入CBAM注意力機制，充分挖掘圖像中關鍵的空間光譜信息；應用不同的主動學習策略，探索主動學習技術在解決高光譜圖像標注問題中的應用潛力.通過在IP和PU兩個高光譜數據集上進行實驗，結果表明本文提出的CNN-CBAM分類器結合BvSB查詢策略能夠取得較好的分類性能.