基于SMOTE和深度遷移卷積神經網絡的多類不平衡遙感圖像分類算法研究

馮 偉, 龍以君, 全英匯, 邢孟道

(1. 西安電子科技大學電子工程學院, 陜西 西安 710071;2. 西安電子科技大學前沿交叉研究院, 陜西 西安 710071)

0 引 言

土地覆蓋是地球表層系統最突出的景觀標志之一,并直接影響著生態環境與氣候的變化[1]。遙感作為全球動態監測的重要手段,在環境變化監測、土地資源合理利用評估等研究中發揮著巨大的作用。近些年,隨著計算機技術的進步,機器學習在地物覆蓋分類中獲得了廣泛的應用[2],這極大地滿足了遙感信息提取對數量和速度的需求。然而,盡管以深度卷積神經網絡(convolutional neural network, CNR)為代表的智能算法在圖像分類領域獲得過成功的應用[3-4],但這些算法對標注數據的質量和數量具有極強的依賴性[5]。Pan等[6]指出,盡管數據挖掘和機器學習在分類、回歸、集合等知識工程領域取得了重大成果,但是許多機器學習方法是在訓練樣本和測試樣本滿足相同概率分布的條件下實現的。遙感圖像數據,尤其是高光譜圖像數據,具有的完備標注數據較少、數據類不平衡特點顯著。另外,在實際應用中,遙感圖像中的地物或目標會隨著時間推移產生位置改變,使得數據分布會隨時間、空間改變而產生動態變化(盡管這些數據表示的是同一地物)。這些數據的特點與訓練出優秀的分類模型原則相悖。換言之,一個基于固定時相和地理位置訓練出的分類器難以處理其他時相或位置的遙感數據。此外,Rajan等[7]指出對遙感圖像進行人工標注是相當昂貴且耗時的,重新進行大量的數據標注也是不現實的。因此,在遙感圖像分類問題中,深度學習模型的分類性能被極大地限制,分類器訓練面臨著相當嚴峻的挑戰[8-9]。此外,當前遙感圖像分類算法主要關注同一時相與同一空間的數據集分類問題[10-11],對前述問題的思考與研究較少。由此觀之,現有樣本的選擇和處理是當前遙感圖像自動解譯的瓶頸問題[12]。

針對該問題,遷移學習可以發揮重要作用,為遙感分類中的樣本完備標簽信息不夠充分提供有效的解決辦法。例如,吳田軍等[1]認為前期的土地覆蓋專題圖或歷史土地利用矢量圖是有意義的,因為它們涵蓋了大量先驗信息與知識,這些信息能夠為當前目標影像分類任務服務。由此觀之,遷移學習可以實現已有信息與知識的再利用,減少目視采集中重復且冗雜的工作[12]。

目前,研究人員嘗試提出一些有效的將深度學習與遷移學習進行結合的方法,用以解決上述的學習難題。具體方法包括3種:基于實例的深度遷移學習;基于網絡的深度遷移學習;基于特征遷移的深度遷移學習。

(1) 基于實例的深度遷移學習。該方法通過調整權重的方式,將源域中與目標域相似的樣本遷移至目標域,將源域數據與目標域的數據共同作為目標任務的訓練數據。例如,林聰等[12]利用圖像變化檢測技術與光譜形狀編碼的方法,從源域中遷移適用的地物類別知識并標記在目標影像中。Dai等[13]基于遷移學習框架,利用大量輔助標簽數據對一部分未標簽目標數據進行無監督聚類。此外,Liu等[14]在前者的基礎上,增加了重采樣算法。在每次迭代中只挑選出權重值最大的樣本遷移至目標域,同時與目標域中的有標注樣本共同構成訓練集。但是該方法建立在源域存在并可以直接被用于目標域數據的假設上,在高光譜數據分類應用中具有一定的局限性。

(2) 基于網絡的深度遷移學習。Yosinski[15]指出網絡的前幾層是相對普遍的特征,隨著網絡層數的增加,提取出的特征將會更加專有化。對于新的數據,可以對已有的神經網絡模型進行微調后,再將其應用在新數據上,從而減少重新訓練網絡模型的工作。

(3) 基于特征遷移的深度遷移學習。Pan等[6]認為該方法旨在尋找合適的特征空間,在新空間中處理數據,從而減少源域與目標域的差異性以及任務模型的錯誤。Ruckert等[16]提出一種基于核函數的有監督的歸納遷移方法,為目標數據尋找出合適的核函數。Raina等[17]則提出一種無監督遷移學習,即通過應用稀疏編碼學習高層次的特征。該方法存在基于聯域映射的深度遷移學習[18]的子類,它是指同時利用源域和目標域的樣本并行訓練網絡模型,從而使得網絡能夠學習到使得兩域分布相近的表示。在文獻[19]中,Tzeng等提出一個新的CNR遷移學習框架,該框架引入了自適應度量準則和域距離損失,通過最小化分類損失和域距離損失,盡可能對齊兩域間的數據。此外,在前者的基礎上,Long等[20]采用多核自適應度量,并利用3個全連接層代替一個自適應層來計算域距離損失。但是,該方法不能在類別不平衡的數據集上進行有效的遷移,而高光譜數據類不平衡現象較為普遍也亟待解決[21-23],而且類不平衡現象極大地影響了模型的分類性能[24]。

本文所提算法創新性地采用基于領域自適應的深度遷移學習和基于人工少數類過采樣(synthefic minority oversampling fechnique, SMOTE)方法,為解決前述問題提供了一個新的解決思路。本文算法應用遷移學習,放寬了傳統機器學習中的兩個基本假設[6]條件:① 用于學習的訓練樣本與新的測試樣本滿足獨立同分布的條件;② 必須用足夠的訓練樣本才能學習到一個好的分類模型。因此,即便遙感圖像的標注數據并不充分,數據分布隨時空動態變化,分類器仍然能夠獲得優秀的分類性能[25-26]。此外,針對高光譜數據集常見的類不平衡現象,本文算法引入SMOTE方法,均衡數據集類別數量,實現數據間的有效遷移。

1 SMOTE方法和深度遷移網絡設計

本文實驗采用了3種殘差網絡(residual network, ResNet)結構:ResNet34、ResNet50和ResNet101[27]。引言中指出,當前遙感圖像類不平衡的情況比較突出,如果直接對不平衡數據進行訓練,得到的分類器魯棒性較差,因此需要對數據進行SMOTE處理以實現類別平衡。

本文算法在實現遙感圖像數據類平衡后,旨在把具有不同概率分布的源域數據和目標域數據映射到新的特征空間,使兩域分布在該空間中盡可能相似,因而在新特征空間中對源域數據進行訓練得到的模型也可以遷移至目標域數據,從而使得模型對目標域數據的處理更加準確。此外,為提高模型優化的速率,模型的初始參數是經過預訓練后由網絡遷移所得。

1.1 SMOTE方法

SMOTE方法合成新少數類樣本的過程可描述如下:

(1) 以歐氏距離為度量準則,計算Smin中每一個樣本xi到Smin除其本身所有樣本的距離,并得到該樣本xi的K個最近鄰點;

(2) 依據樣本類別不平衡的情況,具體分析并設置采樣倍率N;

(1)

1.2 CNR的ResNet

網絡越深,獲得的信息更多,信息的特征更豐富。但同時伴隨著網絡深度的加深,其表達能力卻變得更差,這是因為層數深的網絡會導致梯度爆炸和梯度消失問題。

ResNet殘差結構如圖1所示[23],它能較好地解決網絡退化的問題:當僅用f(x)來擬合期望的潛在映射時,隨著網絡的加深,對該映射f(x)求偏導得到的結果可能極小甚至趨近于0,但是網絡利用f(x)+x作為輸入,則可以始終獲得大于1的結果。

圖1 ResNet的殘差結構Fig.1 Residual structure of ResNet

1.3 深度遷移學習的網絡結構

在實際應用中,研究者通常不會針對一個新任務從頭開始訓練一個神經網絡,因為這樣的操作是相當昂貴且耗時的。此外,新任務的訓練數據通常規模較小,訓練出來的網絡泛化能力較弱[31]。基于網絡的遷移學習將已經訓練好的模型參數遷移至自身的任務上,能夠提高網絡的泛化能力,以及減少網絡訓練的代價。

本文所提算法中的領域自適應學習采用雙流結構,其基于CNR模型的結構如圖2所示[19]。

該結構由兩個網絡分支組成,兩個網絡分支之間共享權重參數,分別輸入源域數據和目標域數據中同一批次的樣本。此后,數據流經CNR的特征提取層,到達高級特征層,在該層中計算遷移正則項,最后數據張量到達輸出層,完成一次前向傳播。兩個網絡分支都在全連接層前設置自適應層,該層可以計算源域數據Ds和目標域數據DT的分布差異(domain loss, DL)。此外,源域所在的分支需要流經全連接層,獲得分類損失(classification loss, CL),設為Lct(Ds),目標域所在分支僅需流至自適應層即可,最后網絡的參數更新受CL和DL所構成的聯合損失約束。聯合損失可表示為

Lloss=λ·LDL(Ds,DT)+LCL(Ds)

(2)

式中:LDL(Ds,DT)表示源域與目標域數據在特征層的DL;Lct(Ds)則是源域數據的CL;λ∈(0,∞)是可調節的權重系數。

1.4 深度遷移學習的領域自適應度量準則

由前述工作可知,源域與目標域間的DL需要被度量。利用度量準則,深度遷移網絡可以定量地給出目標域與源域的DL程度。因此,深度網絡可以有根據地增大兩域分布的相似性,從而實現對來自不同源但屬于同一地物的高光譜數據的特征學習。

1.4.1 最大均值差異準則

基于最大均值差異(maximum mean discrepancy, MMD)準則的特征遷移學習的本質上是要找到一個映射函數,使得經此映射,源域與目標域的分布距離最小[32]。MMD的數學定義如下:

MMD[F,p,q]=

(3)

f(x)=〈f,φ(x)〉H

(4)

利用式(3)和再生希爾伯特空間的性質,即式(4),MMD距離可進行如下推導:

MMD[F,p,q]=

(5)

式(5)利用了再生希爾伯特空間的再生性,可變向量經由函數φ(·)映射到希爾伯特空間,再與該空間中的給定向量f作點積,實現變量到高維的映射變換:

(6)

(7)

在實際計算中,μp和μq采用均值表示,因此MMD距離可表示為

(8)

至此,MMD的理論推導過程已介紹完畢。值得一提的是,在實際應用MMD距離時,將采用核技巧,核技巧可使得兩個向量的內積并不需要顯式表示映射函數。對式(8)進行平方處理,并用核函數表達,如下所示:

(9)

式中:xi與yj在希爾伯特空間內積的結果為原始樣本經由k(·,·)計算的結果。式(9)可表示為如下所示:

(10)

結合遷移學習,當xi∈Ds,yj∈DT代表源域,DT代表目標域時,為方便運算,MMD距離最后可寫成如下矩陣形式:

MMD=tr(KL)

(11)

結合式(2),基于MMD準則的深度遷移學習的損失函數可寫為:

Lloss=λ·LMMD(Ds,DT)+LCL(Ds)

(12)

1.4.2 相互關系對齊準則

從數學意義來講,相互關系對齊(corelation alignment, CORAL)準則可減少源域Ds和目標域DT協方差矩陣的差異過程,可展開如下。

假定源域的數據為Ds={xi}(x∈Rd),LS={yi}(i∈{1,2,…,L}),目標域的數據(未標記)為DT={ui}(u∈Rd)。其中,源域和目標域數據量分別為nS和nT;d代表數據維數。此外,由圖2網絡結構可知,此時,x和u是經過網絡深層激活φ(·)的輸入;函數φ(·)則是網絡參數更新時所學習的內容[33]。

(13)

源域與目標域的特征協方差矩陣的計算分別如下:

(14)

(15)

式(14)與式(15)中的1表示全為1的列向量。

利用鏈式法則,計算出源域輸入特征的梯度如下:

(16)

目標域輸入特征的梯度如下:

(17)

結合式(2),基于CORAL準則的深度遷移學習的損失函數為

LL=λ·LCORAL(Ds,DT)+LCL(Ds)

2 SMOTE-深度遷移學習實驗設計

本文算法SMOTE-深度遷移神經網絡(SMOTE-deep transfer ResNet, STR)的流程包括以下4個步驟:① 數據預處理;② SMOTE處理;③ 深度網絡設計;④ 遷移神經網絡設計。

2.1 數據預處理

首先,基于自適應度量準則的特征遷移學習要求源域數據與目標域數據的學習任務相同以及特征空間相同,兩域僅數據分布不完全相同。因此,源域數據與目標域數據應該滿足以下要求:① 來自同一傳感器,這可以保證兩域的數據特征空間是相同的;② 高維度的某域數據應降維至低維度的另一域數據;③ 兩域的數據地物類別的數量以及類型應該保持一致或相似,這可以使兩域的學習任務是相同的;④ 在兩域數據中,相同類別的數據標簽應是一致的。

隨后,為驗證模型的分類性能,實驗從原數據集中無放回地選取部分數據,構成訓練模型的訓練集,剩余數據自動歸為模型的測試集。

數據預處理算法設計可以總結為對數據進行學習任務的匹配和特征維的對齊,具體流程如算法1所示。

算法1 匹配學習任務和對齊特征維輸入:S=[XS,YS]∈{xi,yi}NSi=1:源域的訓練數據;DT=[XDT,YDT]∈{xi,yi}NTi=1:目標域的訓練數據;LS:源域的維度大小;LD:目標域的維度大小; NS:源域樣本數量;NT:目標域樣本數量1: 設置空集SN和DTN2: for i=1:NS(NT) do3: if yi!=0, then4: 將(xi,yi)填入SN或DTN5: end if6: end for7: 計算SN的樣本數量為NSN和DTN的地物類型8: for i=1:NSNdo9: if SN中的yi不屬于DTN的地物類別, then10: 從SN中剔除(xi,yi)11: end if12: end for13: 比較LS和LD大小,若相同,則直接跳到輸出14: 重新計算SN的樣本數量為NSN,DTN的樣本數量為NTN15: for i=1:NSN(or NTN) do16: 對SN(or DTN)中樣本的特征進行降維17: end for輸出:匹配學習任務以及特征降維后的SN和DTN

2.2 SMOTE流程設計

針對遙感圖像數據集中出現的類不平衡現象,實驗采用的SMOTE方法如算法2所示[34]。

算法2 SMOTE處理輸入:SN:特征與標簽對齊后的源域數據;DTN:特征與標簽對齊后的目標域訓練數據;β1%:SN整體降采樣率;β2%:DTN整體降采樣率;α%:SMOTE再采樣率;Ni:第i個類別的訓練數據;L:類別數目1: 對SN和DTN分別以β1%和β2%進行降采樣2: 對SN和DTN中的樣本按類別進行分類,并根據每個類別的數量由高到低進行排序,N1是恒為樣本數量最多的類別3: for c=2:L do4: 對c類別進行有放回的隨機采樣α%·N1個數據,獲得數據集Sct(c=2,3,…,L)5: 對c類別進行SMOTE采樣(1-α)%·N1個數據,結合Sct,獲得數據集S' ct6: end for7: 拼接N1和S'ct,獲得新數據集GSN和GDTN輸出:類別平衡的源域數據集GSN和目標域訓練數據集GDTN

2.3 深度網絡設計

本文利用標準數據集ImageNet對網絡進行預訓練(除第1層),由于本文的第1層網絡的通道數為1,而ImageNet是3通道圖片,所以第1層的權重采用隨機值。該部分流程如算法3所示。

算法 3 深度網絡設計 輸入:arch:網絡名稱;block:網絡的殘差塊堆疊參數;pretrained:預訓練布爾值;model_ω:原ResNet網絡的預訓練參數;model.state_dict:實驗模型的參數字典;new_state:更新后的預訓練參數1: def ResNet(arch, block, pretrained):2: 根據block值設計殘差網絡結構3: if pretrained,then 根據arch加載預訓練參數model_ω4: for k,v in model.state_dict do if k in model_ω and k !=‘conv1.weight’,then 加載網絡參數進new_state5: 為模型加載新的預訓練參數new_state6: def ResNet34(block,pretrained):7: ResNet(ResNet34,block,pretrained)8: 同理可得ResNet50和ResNet101輸出:網絡函數ResNet34、ResNet50和ResNet101

2.4 遷移神經網絡設計

遷移神經網絡通過對神經網絡增添自適應層來實現知識遷移的功能。自適應層,如前所述,就是計算源域與目標域之間DL的環節。本文實驗采用單核自適應層,該自適應層設置在網絡全連接層前,計算兩域數據經過網絡特征降維與采樣后的特征DL,并聯合該差異與網絡的CL,最后再通過梯度下降法,將該聯合損失反饋至網絡,使得網絡能夠向減少兩域DL的方向優化。該部分的算法分為兩個階段:① 遷移神經網絡前向傳播;② 遷移神經網絡后向傳播。具體流程如算法4所示。

算法 4 遷移神經網絡設計階段1:遷移神經網絡前向傳播輸入:source(target):源域(目標域)數據;kernel_p:核函數參數;numclass:分類類別數目;BaseNet:采用的深度網絡結構;name_loss:度量準則的名稱;lossdomain:兩域特征分布損失;prediction:網絡預測值1: def class MMD_loss(source, target, kernel_p):2: 根據kernel_p提供的參數,計算source與target的MMD的DL3: def class CORAL_loss(source,target)4: 分別計算source和target的協方差矩陣,計算出兩者的CORAL的DL5: def class Transfer Net(numclass, BaseNet, name_loss):6: 根據BaseNet加載算法2中對應的網絡,保留除全連接層的所有神經網絡層7: 將source和target輸入進上述網絡,獲得更新后的source和target8: 根據nameloss,計算source和target的度量損失lossdomain9: 加載分類層,輸入source,獲得預測值prediction輸出:lossdomain和prediction階段2:遷移神經網絡后向傳播輸入:lossdomain:領域間分布損失;prediction:網絡的預測值;source(target):源域(目標域)數據;lossclf:源域的CL;TransferNet:遷移學習網絡1: 計算預測值prediction和源域數據source間的交叉熵損失lossclf2: 計算lossclf和lossdomain的聯合損失3: 反向傳播計算梯度4: 更新網絡參數輸出:參數更新后的網絡TransferResNet

3 實驗結果與分析

3.1 實驗數據

實驗數據采用兩組標準高光譜數據,分別是Center of Pavia 反射式光學系統成像光譜儀(reflective optics system imaging spectnmeter,ROSIS)和University of Pavia ROSIS(簡稱Pavia組)以及Salinas和SalinaA(簡稱Salinas組)。

(1) Center of Pavia ROSIS是第一組數據的源域數據,University of Pavia ROSIS則是第一組數據的目標域數據。Center of Pavia ROSIS的圖片大小為1 096×1 096,光譜頻帶有102個,幾何分辨率為1.3 m,一共有9個地物類別。University of Pavia ROSIS的圖片大小為610×610,光譜頻帶有103個,幾何分辨率也為1.3 m,與前者相同,它也有9個地物類別。

(2) Salinas數據集和SalinasA數據集都由機載可見光/紅外成像光譜儀(airborne visible infrared imaging spectrometer,AVIRIS)傳感器收集而得。前者為第二組數據的源域數據,后者則為第二組數據的目標域數據。它們的空間分辨率都為3.7 m,光譜頻帶有224個,前者的圖片大小為512×512,地物類別為16個,后者的圖片大小為86×83,地物類別則為6個。

為了更符合實際應用情況,模型的源域數據量多于目標域,同時目標域訓練數據與測試數據并不重疊,且目標域的訓練數據無標簽。具體數據集信息如表1所示。

表1 數據集信息

3.2 評價方法與參數設置

為評價模型的分類性能,本文計算模型在兩組數據上的總體精度(overall accuracy, OA)、平均精度(average accuracy, AA)和Kappa系數。本文采用的優化器為隨機梯度下降器,需要設置網絡的學習率(learning rate, LR)。由圖3可知,相比其他學習率設置(如1e-4和1e-2),當網絡的學習率為1e-3時,網絡在Pavia組數據和Salinas組數據訓練的過程中都保持著較好的總體精度,且精度更快地趨向平穩值,因此網絡的學習率設置為1e-3。此外,根據式(2)可知,網絡的聯合損失需要設置超參數λ。由圖4(a)和圖5(a)可知,對于不同的λ設置,網絡訓練中的總體精度差距不明顯,尤其是在訓練后期,3種λ的總體精度相近。因此,需考慮網絡訓練的OA、AA以及Kappa系數的均值。由圖4(b)和圖5(b)可知,當λ為1e3時,網絡對Pavia組數據和Salinas組數據的分類都具有更好的評價分數,尤其是AA分數顯著突出,Kappa分數次之。基于此,本文兩組數據在實驗中的λ都設置為1e3。與此同時,為了更客觀地考量分類算法的表現,Pavia組中的數據每迭代5次進行一次總體精度計算,共迭代45次。Salinas組的數據每迭代10次進行一次總體精度計算,共迭代100次。訓練結束后,統計平均OA、AA和Kappa系數。

圖4 不同λ下網絡分類Pavia組的評價分數Fig.4 Network’s classification evaluation indicator on Pavia group with different λ

圖5 不同λ下網絡分類Salinas組的評價分數Fig.5 Network’s classification evaluation indicator on Salinas group with different λ

3.3 實驗結果分析

本文設置實驗組和對照組,實驗組以3種不同深度和兩種度量準則來討論STR的分類性能;對照組則是ResNet對實驗數據進行分類的結果以及實驗數據在多表示適應網絡(multi-representation adaptation network, MRAN)[35]中的結果。通過設置對照組,實驗結果能夠更好地體現本文所提算法在高光譜數據分類問題上的優異表現。其中,ResNet的超參數設置與本文實驗保持一致;MRAN的超參數(除迭代次數與本文實驗一致)與原文設置保持一致。將實驗組與對照組的結果進行比較,本文發現基于CORAL準則的STR(CORAL-STR)的分類表現要比ResNet以及MRAN優異,如表2所示,其中粗體為CORAL-STR的分類結果。

表2 Salinas組和Pavia組在STR、ResNet和MRAN的分類評價

根據前述內容,實驗已完成所有準備工作,結果展示如表3～表6所示。其中,表3、表4分別展示了Salinas組數據和Pavia組數據基于SMOTE的過采樣處理,在3種ResNet網絡結構和兩種度量準則下的分類結果,即OA、AA和Kappa系數。表5則展示了Pavia組數據和Salinas組數據未經SMOTE過采樣和遷移學習處理的ResNet的分類結果。表6展示了數據在MRAN的分類結果。其中,結果的最優值均以粗體示意,“-”表示數據未進行該輪次迭代。

表3 Salinas組經SMOTE處理后的數據集在ResNet34、ResNet50和ResNet101分別以MMD和CORAL為度量準則的深度遷移學習分類結果

表4 Pavia組經SMOTE處理后的數據集在ResNet34、ResNet50和ResNet101分別以MMD和CORAL為度量準則的深度遷移學習分類結果

表5 數據集在ResNet34、ResNet50和ResNet101分類結果

續表5

表6 數據集在MRAN(r1+r2)和MRAN的分類結果

實驗結果的分析將分為兩部分:① 對不同深度和采用不同度量準則的SMOTE-TransferResNet的分類表現進行比較;② 分別比較CORAL-STR與ResNet[23]以及MRAN者的分類表現。

首先,對于兩組數據,在相同深度下,采用MMD準則的STR整體上與采用CORAL-STR的精度相近。在Salinas組數據中,當網絡深度為50層和101層時,前者的OA要比后者平均高出1%～1.3%,前者的AA比后者平均高出0.5%～1%,Kappa系數則高出1%～1.5%。值得一提的是,隨著網絡深度的上升,網絡的精度并不與其成正相關。實驗結果表明,網絡深度為50層的評價分數要比101層高,而且最好的評價分數出現在第34層,此時網絡的OA、AA和Kappa系數分別比高層網絡高出2%～6%、3%～5%和2.4%～6.5%。從Pavia組數據的分類結果來看,相同深度下,基于MMD準則的STR的OA和Kappa系數比基于CORAL-STR的OA和Kappa系數分別高出0.5%～0.8%和0.5%～1.2%。與Salinas組數據類似,Pavia組數據最好的分類評價分數也是發生在第34層網絡,此時網絡的OA、AA和Kappa系數比高層網絡平均高出5%～10%,3%～10%和5%～13%。由此觀之,SMOTE-TransferResNet在較低的網絡深度也有更好的表現。因此,表2中選取基于CORAL準則的SMOTE-TransferResNet34作為對比實驗數據。

其次,由表3和表5可知,當網絡為CORAL-STR時,實驗組的OA比3種深度的ResNet高出0.8%～7%,Kappa系數有2.5%～10%的提升,AA有0.5%～8%的提升。由表4和表5可知,針對Pavia組數據,當網絡為CORAL-STR時,實驗組的OA比ResNet高出6.5%～11.2%,Kappa系數有6%～8%的提升, AA則有8%左右的提升。此外,由表3、表4和表6可知,在兩組數據中,CORAL-STR的評價分數都比MRAN高,其中前者的OA、AA和Kappa系數比后者平均高出2.8%、0.35%和3.75%

綜上所述,對比ResNet和MRAN,STR能夠在高光譜數據標簽較少的情況下,在較低的網絡深度實現對不平衡高光譜數據更高精度的分類,這能夠節省遙感圖像分類的計算資源(不需要過于復雜的網絡)和減少人力成本(不需要海量的標注數據)。在當前遙感圖像分類問題中,數據類不平衡和完備標注數據較少的問題比較顯著,本文所提算法對解決這兩個問題具有一定的實際意義。

4 結 論

本文所提算法的意義在于為解決高光譜數據樣本標注少、數據隨時空動態變化和類不平衡等復雜問題提供一種新的研究方法。該算法利用SMOTE改善數據不平衡現象,同時實現對數據的增量,充分利用了深度學習強大的數據處理能力。此外,該算法應用遷移學習減少了深度學習對數據集的限制。首先,通過數據預處理實現匹配源域數據與目標域數據的分類任務;隨后,設計深度遷移神經網絡結構,本文設置3種不同深度的網絡,探討深度對模型分類性能的影響;最后,算法基于網絡遷移對本文網絡進行預訓練。此外,本文算法基于特征遷移對網絡進行自適應層的設計,設置MMD和CORAL為兩種自適應度量準則。針對數據集中出現的類不平衡現象,本文所提方法通過SMOTE方法平衡數據。實驗結果表明,在高光譜數據標簽較少且類不平衡的問題下,本文算法在高光譜遙感圖像土地覆蓋分類問題中有更優異的表現。在未來的研究中,可以探討在SMOTE處理中如何避免引入噪聲數據,同時對網絡引入多核自適應度量,增強對不同時空下高光譜數據的特征遷移。