面向遙感圖像的小樣本目標檢測改進算法研究

李成范 趙俊娟

( 1. 東華理工大學江西省數字國土重點實驗室, 江西南昌 330013;2. 上海大學計算機工程與科學學院, 上海 200444)

隨著星載傳感器和小衛星技術的不斷發展, 遙感技術已成為地球資源調查和生態環境監測的重要手段, 應用領域也越來越廣泛[1-2]. 遙感圖像中目標數量眾多, 種類繁雜, 普遍存在小樣本顯著以及部分目標樣本采集困難等現象. 如對于偏遠地區或一些人類不易到達的地區, 不同類型的目標樣本數量稀少、分布不均衡且目標尺度大小變化不一, 導致目標的可提取特征弱化. 早期的遙感圖像目標檢測主要是通過基于目視和像元解譯實現, 目前已成為有效的遙感圖像分析輔助手段[3]. 隨后出現的面向對象的方法能夠充分利用像元光譜和地物的空間與形狀、紋理等特征, 盡管目標檢測效果較好, 但是在對象分割過程中如何設定合理的分割窗口和分類特征則成為制約高精度應用的難點[4].

隨著遙感數據量的激增, 傳統的遙感圖像分析方法已不能適應高精度遙感應用的需要,而新出現的一些遙感目標檢測方法, 如神經網絡、專家系統、支持向量機(support vector machine, SVM)等, 行業應用明顯, 通常僅在某一領域中取得較好的效果, 普適性較差[5]. 深度神經網絡是一種基于人工智能的分類算法, 該算法通過計算機來模擬人類學習過程, 使目標檢測結果更趨于合理化和自動化, 具有較好的容錯能力和強大的自適應性, 有效克服了傳統遙感目標檢測方法造成的模糊性和不確定性.K近鄰(K-nearest neighbor, KNN)回歸算法是一種基于統計的非參數模式識別分類算法, 其應用領域已由最初的時間序列預測逐漸擴展到多個領域的預測, 如文本分類預測、災害監測、年平均降雨量預報等[6-8]. 然而, KNN 在學習過程中需要不斷地存儲已知的訓練數據, 占用內存較大. VGG-16 模型包含卷積層、全連接層、池化層, 網絡結構參數較少, 能夠更加有效地學習到復雜的圖像級特征[9-10]. 得益于強大的特征表示能力, 目前深度神經網絡已經得到了深入關注和廣泛應用[11-13].

小樣本學習是從每類單個或少量樣本中學習特定任務的信息. 早期嘗試小樣本問題的算法是基于稀疏表示的方法[14]. 隨著基于貝葉斯理論的表示方法的提出, 先驗知識被更好地引入和利用[15-16]. 但是, 這些早期的傳統方法往往是針對具體問題設計的, 其模型通用性較差.隨著深度學習的興起, 小樣本學習有了更廣闊的研究空間, 吸引了越來越多研究人員的關注,且所提出的模型具有更好的通用性. 例如, 早期出現的孿生網絡、匹配網絡、原型網絡、圖神經網絡、協方差度量網絡等度量學習方法[17-20]能夠有效地提升小樣本學習的性能. 目前, 基于度量學習的小樣本分類方法大多為上述網絡的改進, 通過考慮樣本局部信息, 盡可能地捕捉類內相似、差異和類間差異, 從而提高分類的準確性; 基于長短時記憶神經網絡(long short-term memory network, LSTM)的元學習器模型、模型無關元學習、Reptile 元學習優化算法、基于元學習的訓練網絡、meta-transfer 算法等的深度學習模型, 通過梯度的反向傳播解決了在訓練樣本不足的情況下梯度學習收斂問題[21-23]. 盡管基于深度學習的小樣本分類算法取得了一些進展, 但是仍然存在一些問題, 如非常依賴于源域且很難應用到與源域差別較大的情形中[24], 小樣本目標檢測中源域有大量樣本而目標域僅有少量標注的樣本[25], 采用少量卷積層作為特征提取大多不能有效提取圖像的特征[26], 算法通用性較弱, 難以適用于存在少量樣本且缺少大量無標注樣本問題等.

傳統的小樣本目標檢測方法普遍存在目標類型判別不穩定、特征提取能力較弱, 而部分新興算法網絡復雜度較高, 遷移學習能力較弱等問題. 縱觀眾多基于遙感圖像的小樣本分類算法, 目前以深度學習算法最為有效. 其中, 深度神經網絡具有強大的復雜網絡模型學習能力, 可以滿足高精度的遙感圖像小樣本分類需求. 本工作提出了通過利用KNN回歸構建局部鄰域, 同時分別利用卷積神經網絡(convolutional neural network, CNN)卷積層和最大池化層進行特征提取與特征聚合, 提高局部特征的魯棒性; 最后, 利用全連接層與縮放指數型線性單元(scaled expected linear unit, SELU)激活函數計算不同類別小樣本目標的概率并進行分類. 實驗結果表明, 基于改進的CNN 算法能夠更有效地融合局部特征, 提高遙感圖像小樣本目標識別與檢測精度, 保持信息的非局部擴散.

1 算法原理

1.1 VGG16 模型和KNN 回歸模型

VGG16 網絡通過堆疊多個小尺度的卷積核和引入多個非線性層操作, 一定程度上提高了網絡學習復雜特征的能力, 減小了模型的優化參數, 模型泛化能力更強.

假定n維空間中任一個樣本的最近鄰均可用歐氏距離定義, 則對于任一樣本x的特征向量x=(x1,x2,··· ,xi), 那么2 個樣本xm和xn在2 維空間中的距離可以定義為

式中:xi為樣本x的第i個特征值. 對于待分類樣本xm而言,x1,x2,··· ,xk為訓練集中與xm距離最近的k個最近鄰樣本.

1.2 改進CNN 算法

假設深度網絡表示的函數為fθ, 每個樣本及其對應標簽記為(xi,yi),Sj表示為支撐集中類別為j的樣本集合, 則每個類的原型為

給定一個距離度量d, 原型網絡基于查詢樣本到其他原型之間距離和SELU 激活函數歸一化而產生的類別的分布為

對于每幅圖像, 經過CNN 提取特征后, 利用卷積層、池化層和激活函數層進一步進行特征嵌入, 生成一個局部特征, 進而得到融合局部特征的圖像嵌入表示. 對每類支撐集中的樣本的特征嵌入進行平均, 得到每類的原型. 此時查詢樣本取每類原型概率值的最大值作為查詢樣本屬于該類別的概率. 但是在考慮局部特征時增加了網絡復雜度, 在小樣本條件下, 引入Triplet Loss 代價函數來增強特征的表達能力:

圖1 為本工作提出的改進CNN 算法模型示意圖, 圖中卷積核大小為3×3, 池化層的步長為2. 該模型包含一個VGG16 結構、13 個卷積層、5 個池化層和3 個全連接層以及嵌入CNN中的KNN 結構.

圖1 改進的CNN 模型結構Fig.1 Improved CNN model structure

在該模型中, 首先輸入原始數據, 經過VGG-16 處理形成n×3 維的張量; 構建每個點的局部鄰域得到3 個n×k維的特征圖; 經過卷積操作形成64 個n×k維的特征圖; 對于第3 次池化操作后生成一個1 024×1 維的特征向量, 通過全連接層進行分類; 最后采用SELU 激活函數將全連接層的輸出轉化為相對應的概率. SELU 能使CNN 每一層的輸出自動歸一化到均值接近0. 方差接近1 的高斯分布, 訓練效果更佳, CNN 模型魯棒性更強. 這里, 各類別對應的概率表達式為

式中:λ為縮放因子,λ=1.05;α為常數,α=1.67.

2 實 驗

2.1 數據集和預處理

本工作將采用超光譜成像(hyperspectral imager, HSI)儀高光譜遙感數據集驗證所提算法的準確性. HSI 傳感器搭載在中國首顆環境與減災衛星(HJ-1A)上, 回歸周期為4 d, 譜段范圍為0.45～0.95 μm, 擁有115 個譜段數, 平均光譜分辨率為5 nm, 系統信噪比為50～100 dB. 本工作中獲取的數據為HSI 的2 級產品. 本實驗室擁有自建的HSI 高光譜數據集, 該數據集共包含6 類場景, 每類場景中都有300 幅500×500 像素的圖像. 該數據集的選取標準之一就是同一地物類型內部之間差異大、不同地物類型之間相似度高, 更有利于測試算法的準有效性. 其中, 隨機選取各類型地物目標的60%作為訓練, 20%進行驗證, 余下20%進行測試(下文中的全部試驗結果都是基于ImageNet 數據集遷移學習而得到的).

在深度網絡學習語義特征時, 由于缺少足夠多的標注樣本, 故往往會導致網絡參數訓練效果不理想. 在實驗中, 首先在ImageNet 上預訓練VGG16 的網絡參數, 將圖像級分類網絡轉換為像素級特征預測網絡; 隨后在KNN 回歸構建局部鄰域的基礎上, 分別利用CNN 卷積層和最大池化層進行特征提取與特征聚合; 最后將通過訓練好的網絡參數遷移提取HSI 數據集中潛在的深層結構信息, 得到表征HSI 數據集空間分布的21 個特征結果(見圖2).

圖2 HSI 圖像空間分布Fig.2 Spatial distribution in HSI image

圖2 為HSI 圖像空間分布圖. 在圖2 中, 不同的特征圖分別對應神經網絡預測層的若干神經元, 不同的目標在每個神經元能夠產生相應的反應. 通過融合局部特征的深度神經網絡能夠更好地識別和檢測出HSI 數據集中局部細節信息.

本實驗采用自適應矩估計(adaptive moment estimation, Adam)優化器優化CNN 模型. 設置初始學習率為0.001 5, 動量設置為0.9, 批量規模(batch size)設置為32, 丟棄率(dropout)設置為0.5, 網絡訓練初始權重w初始化為高斯分布的隨機數, 初始偏差b設置為0. 訓練中通過對圖像的曝光量、色調和飽和度等不斷進行調整, 以此提高模型的泛化能力.

本實驗是在Anaconda 平臺上通過Python 3.7 實現,編程環境為Cuda-toolkit 8.0,深度學習框架為Tensorflow2.0, 所有的實驗均在Intel Xeon E5-2620 v4 CPU,Nvidia Quadro M4000 GPU(內存為8 GB)的Linux Ubuntu 系統上完成的.

2.2 目標檢測評價指標

在實驗中, 本工作主要采用總體精度(overall accuracy, OA)和Kappa 系數等指標對提出的測算法進行性能評估. 此外, 為了得到較準確的評估結果, 本實驗均采用50 次實驗的平均分類結果進行統計.

本實驗總精度的計算公式為

式中:N為所有真實參考的像元總數;xii為混淆矩陣對角線;r為不同的目標類型.

Kappa 系數的計算公式為

式中:i+為矩陣行元素; +i為矩陣列元素.

通常來說, Kappa 系數的計算結果范圍為[-1, 1], 一致性程度按照Kappa 系數范圍均勻地劃分為輕微、一般、中度、大量和近似完全這5 個等級. Kappa 系數數值分布和一致性之間的關系如表1 所示.

表1 Kappa 數值分布與一致性的關系Table 1 Relationship between the Kappa numerical distribution and consistency

3 結果分析

3.1 不同K 值和樣本數量變化

在利用KNN 回歸構建局部鄰域的過程中, 不同近鄰點K值條件下的局部結構信息并不完全相同. 表2 展示了K值與改進算法精度的關系.

表2 K 值與改進CNN 算法精度的關系Table 2 Relationship between the K value and accuracy of the improved CNN approach

從表2 中可以看出, 隨著鄰近點K值的增大, 本算法的總體分類精度不斷提高, 且增大的幅度隨著K值的增大逐漸減小, 表明在構建局部鄰域時局部鄰域內必須包含一定數量的特征,避免局部特征數量較少對識別分類結果產生的影響. 但是,K值的增大在一定程度上會引起構建的局部鄰域增大, 訓練耗時增加.

圖3 展示了本算法與CNN、CRNN、LSTM 等常用算法之間分類精度與訓練樣本數量的關系.

圖3 不同算法分類精度與訓練樣本數量的關系Fig.3 Relationship between different approaches and training samples

從圖3 中可以看出, 在小樣本條件下, 尤其是在訓練樣本數量為0～200 時, 本算法的分類精度要明顯的優于其他3 種方法, 且隨著訓練樣本數量的增加, 不同算法的分類精度也呈現逐漸增高的趨勢. 本算法在訓練樣本數量為200 時達到了最優的分類精度(約為97%); LSTM 算法變化趨勢與本算法一致, 但是其總體分類精度要低于本算法; CNN 和CRNN 算法達到最高分類精度所需要的訓練樣本數量要多于LSTM 算法和本算法. 當樣本數量達到500 時, 不同算法的分類精度逐漸趨于穩定. 此后, 隨著樣本量的持續增加, 不同方法的分類精度并未出現明顯增高, 這在一定程度上體現出本算法在小樣本條件下的適用性和準確性.

3.2 算法精度和時間復雜度

表3 分別展示了CNN、CRNN、LSTM 和本算法的訓練情況與測試精度.

表3 訓練情況和測試精度Table 3 Training and testing accuracy

從表3 中看出, 本算法在訓練集上的精度達到90.5%, 損失為0.33, 都要優于傳統的CNN、CRNN 和LSTM 方法. 相應地, 在測試集上, 本算法的精度達到83.2%, 也優于上述3種方法的測試精度, 表明本算法能夠有效地從HSI 圖像中檢測出小樣本目標.

圖4 和表4 分別展示了本算法和CNN、CRNN、LSTM 算法在相同HSI 數據集中的小樣本目標檢測結果.

表4 不同方法分類對比結果Table 4 Comparison results of different methods

從圖4 中看出, 由于本算法能夠通過融合局部特征更有效地獲取圖像的全局特征, 故在一定程度上加強了小樣本目標的邊界定位特征, 使其在分辨率較低的遙感圖像應用中的表現更為突出.

圖4 HSI 遙感圖像檢測結果Fig.4 Detection results of HSI remote sensing images

從表4 可以發現, 在整體檢測類型方面, 本算法在HSI 數據集上的分類精度達到90.32%,Kappa 系數達到0.879 2. 與其他3 種算法相比, 本算法的檢測精度優勢明顯, 這也在圖4 中得到了驗證, 本算法的檢測圖像目視效果最好. 另外, 在單一檢測類型方面, 本算法獲取的單類別目標信息的精度普遍優于其他算法的效果. 其中, 縱觀不同類型檢測信息, class4 和class5的檢測結果混淆程度最大, 而其他類別混淆程度相對較小. 據分析, 這主要是由于class4 和class5 的地物目標光譜特征較為接近, 在檢測過程中極易引起錯誤識別, 這也與圖4(b)和(c)的檢測結果相一致. 盡管class4 和class5 的混淆較為嚴重, 但是本算法得益于局部特征融合, 在完成高檢測精度的同時仍能確保較好的空間一致性.

表5 展示了不同算法在相同HSI 數據集上的平均運行時間對比. 為了獲得公平穩定的時間對比, 實驗中將在不同樣本數量情況下分別統計50 次運行的時間均值作為該算法的運算時間.

表5 不同算法平均運行時間對比Table 5 Comparison of operation time of different approaches

在表5 中, 與傳統的CNN、CRNN 和LSTM 算法相比, 本算法需要較多的運行時間. 據分析, 這主要是由于本算法中的最優鄰域窗口半徑較小, 在小樣本條件下大量重復計算的劣勢逐漸凸顯出來, 計算復雜度急劇增大. 尤其是當各類樣本數量低于400 時, 這種現象更加明顯.盡管本算法具有較高的時間復雜度, 但是隨著樣本量的增加, 運行時間并未出現急劇性增加,在通常情況下這些差距被認為在可接受范圍內.

4 結束語

針對遙感圖像目標檢測研究中面臨的小樣本以及每類地物目標樣本隨機分布等問題, 本工作提出了一種面向遙感圖像的小樣本目標檢測改進算法. 通過KNN 回歸和CNN 網絡卷積層提取了特征構建局部鄰域, 進而聚合所有局部特征來表示全局特征, 從而提高小樣本目標檢測精度. 本算法在HSI 高光譜遙感數據集上得到驗證. 實驗結果表明, 與傳統的CNN、CRNN、LSTM 算法相比, 本算法在小樣本條件下構建局部鄰域時通過包含一定數量的局部特征, 顯著提高了目標的檢測精度, 同時又保持整體信息的非局部擴散. 盡管如此, 本算法在處理極少樣本情況下的數據時, 目標檢測耗時較長, 后續的改進可從如下2 個方面著手:①對模型參數和K值的選擇進行優化, 構建合理的參數選擇機制; ②基于本算法模型層數相對較淺難以提取更深層次的特征, 制定與模型計算量和計算復雜度相適應的模型層數.