融合全卷積網絡與條件隨機場的高光譜語義分割

雒萌,張圣微,2,3,霍雨,劉志強,韓永婷

(1.內蒙古農業大學 水利與土木建筑工程學院,呼和浩特 010018;(2.內蒙古自治區水資源保護與利用重點實驗室,呼和浩特 010018;(3.內蒙古自治區農牧業大數據研究與應用重點實驗室,呼和浩特 010018;(4.內蒙古自治區水利事業發展中心,呼和浩特 010018)

0 引言

近些年來,深度學習逐漸成為數據密集型遙感科學的核心,并為遙感影像中地物的識別分類提供了巨大的支持。傳統的遙感圖像分類普遍依靠人工特征選擇,工作量大,特征提取不明顯且不具有典型性[1]。卷積神經網絡(convolution neural networks,CNN)在一定程度上克服了傳統分類方法的一些局限性,但經典CNN模型由于全連接層的存在,模型參數量巨增,訓練過程難度增加。為了解決這些問題,Long等[2]于2015年提出了全卷積神經網絡語義分割,以1×1卷積替代全連接層,實現了像素級分類,即影像分割。后續發展出了基于全卷積網絡(full convolutional networks,FCN)結構的多種圖像分割結構。例如,對稱編碼U-Net網絡[3]使用對稱鏡像折疊方式來推理缺失的上下文信息,能夠將上下文信息向更高層分辨率傳播,但其性能沒有得到充分的開發。在高光譜遙感中,很多網絡無法克服同物異譜的問題。最近出現的語義分割算法如交叉偽監督的語義分割[4]、多重弱監督約束下的語義分割[5]、無源域自適應的語義分割[6]、增強對象上下文的OCNet網絡[7]等,僅考慮了像元的空間領域特征,無法關注到光譜維度的信息。Szegedy等[8]提出了一種基于連通性和稀疏性因子的聚類技術來改善聚類并減少噪聲的影像,但其沒有考慮光譜之間的相關性。這些方法普遍采用單一信息流進行地物分割,割裂相鄰像元之間的光譜相關性,且上采樣過程單一,主要應用于全色和多光譜中,無法有效地推廣到高光譜領域。為此,本文提出了融合全卷積神經網絡與條件隨機場的(full convolutional networks-conditional random field,FCN-CRF)雙流框架高光譜影像分割算法,將全卷積分割網絡與馬爾科夫隨機場進行結合,來解決遙感影像中單一信息流缺乏驗證性問題和空譜一致性提取問題,并將其應用于高光譜影像中語義分割中。

1 FCN-CRF算法

1.1 算法介紹

圖1為本文提出的FCN-CRF算法,最左側為數據輸入端,高光譜影像先進行主成分降維(principal components analysis,PCA)[9],光譜信息保留量為99.99%,信息流按照FCN、CRF雙流框架進行傳遞。在FCN部分,骨干網絡選擇VGG19,剔除模型的后5層,保留了特征提取結構和下采樣操作。上采樣過程中使用混合上采樣模塊(mix up-sampling,MUS)、擴張路徑與壓縮路徑進行對稱分布,配合跳層連接方式對每個像素進行預測。在分割網絡輸出端,使用1×1卷積核進行影像分割。另一方向為CRF條件隨機場,融合一元勢能和二元勢能,結合無向圖模型最終確定每個像元歸屬類別。兩條路徑結合后最終生成分割結果。

圖1 FCN-CRF結構示意圖

1.2 FCN部分介紹

在FCN部分中,共有9個block,其中block1～block4最后一層為跳躍連接層。block1和block2包含兩個卷積層,block3～block4包含4個卷積層,block5包含3個卷積層,block6～block7包含4個卷積層,dropout為0.3。block8包含2個卷積層,dropout為0.2。block9包含2個卷積層,1個全連接層,dropout為0.1。每層block均采用3×3卷積核,進行padding圖像填充,池化層為2×2,網絡結構中的激活函數均使用ReLU。

1.3 MUS模塊介紹

在實際應用中,擴張卷積存在一個理論問題,針對具體像素(x,y),對其有貢獻的信息來自于上一層以該像素為中心的附近區域。對于一個標準卷積核k×k,其擴張卷積的大小為kd×kd。由于擴張卷積在卷積核中引入了零,所以在kd×kd區域中參與計算的實際像素只是k×k。它們之間有r-1的間隔。如果k=3,r=2,則該區域中只有9個像元被用于計算。像素(x,y)以棋盤方式查看信息,失去了很大一部分的信息(當r=2時,損失占比74%)。這會導致輸入的樣本變得非常稀疏,局部信息完全缺失[10]。為此,本文提出了MUS模塊來解決這個問題,結構如圖2所示。MUS在擴張卷積中采用了兩種不同的膨脹系數,膨脹率r為1和2,分別應用在x方向和y方向,共4種模式。圖2中綠色部分顯示為膨脹卷積點,4種模式分別為dx=1、dy=1,dx=2、dy=1,dx=1、dy=2,dx=2、dy=1。通過MUS遍歷每個通道的所有膨脹模式,能夠得到5×5×4的影像立方體,經過特征融合后形成一個單一5×5卷積陣列。

圖2 MUS結構示意圖

1.4 CRF部分介紹

高光譜影像經過PCA降維后,通過雙流框架中的另一路徑輸入到CRF條件隨機場中。它能夠結合影像的空間分布距離,構成CRF的二元勢能函數。CRF的一元勢能量是通過FCN部分預測出的熱圖構成的。一元勢和二元勢能量輸入條件隨機場進行迭代訓練,并將其分別定義為觀測值和狀態值,通過最大化后驗概率計算,得到符合吉布斯分布的概率圖,能夠對分割結果構造勢能函數進行高效建模[11]。本研究采用了八鄰域策略。

1.5 損失函數

研究使用了交叉熵損失函數來評估模型,如式(1)所示。其中M為類別的數量,N為樣本數量。yic是符號函數(0或1),如果樣本i的真實類別等于c,則取1,否則取0,其目的是判斷像元類別。pic為i屬于類別c的預測概率。

(1)

2 實驗與結果

2.1 評價指標

本研究采用的分割精度指標為OA、AA和Kappa。OA代表了分類正確的像元占所有樣本數量的比例,AA代表了查全率的和的平均值,Kappa系數是基于混淆矩陣計算得的分割精度。

2.2 數據集

本文選擇了Pavia University和Indian Pines兩種高光譜數據集進行實驗與評價(表1)。Pavia University包含asphalt、meadows、gravel、trees、painted metal sheets、bare soil、bitumen、self-blocking bricks、shadows共9類地物。Indian Pines包含alfalfa、corn-notill、corn-mintill、corn、grass-pasture、grass-trees、grass-pasture-mowed、hay-windrowed、oats、soybean-nottill、soybean-mintill、soybean-clean、wheat、woods、buildings-grass-trees-drives、stone-steel-towers共16類地物。數據集劃分為3個部分,其中訓練集占70%,測試集占15%,驗證集占15%。

表1 高光譜圖像數據集

2.3 實驗環境配置

本實驗使用Python 3.6.0和Keras 2.2.4框架,程序接口為TensorFlow 1.11.0。訓練批次epoch為40,學習率為0.000 1。以空間隔離方式選取樣本,確保每類地物的樣本在圖像上分布均勻,避免在影像中集中,降低模型的泛化性。本文與一些新穎的算法進行了對比,如UwU-Net[12]、SKNet[13]、LSTM[14]、DANN[15]和DeeplabV3+[16]算法。其中訓練樣本631個,驗證樣本106個,測試樣本105個。

2.4 Pavia University實驗結果

Pavia University數據結果如表2所示,FCN-CRF分類精度最高,AA比DANN算法高6.61%,OA比DANN算法高6.86%。3D-CNN算法精度在5種方法中與FCN-CRF相接近。相比于主流算法DeeplabV3+的精度,FCN-CRF算法AA增加了4.56%,OA增加了3.38%。

表2 Pavia University數據集分類精度

6種算法中精度較高的為FCN-CRF與3D-CNN,為此單獨對比兩種算法的訓練過程,如圖3所示。在模型訓練過程中,FCN-CRF在20 epoch時訓練精度與驗證精度達到了穩定,最終保持在0.99附近,損失率最終在0.02～0.03之間。而3D-CNN結構,在經過40 epoch的訓練后,精度只有0.80左右,且損失率較大,為0.4左右。

圖3 FCN-CRF與3D-CNN的精度對比

在PU數據集中,FCN-CRF算法對地物的分割較為準確,在6種分割算法中精度最高(圖4)。以gravel為例,FCN-CRF分割算法對其存在的位置做出了較為完整的劃分,符合遙感影像中地物的實際分布情況,而UwU-Net、LSTM、DANN分割算法無法區分出圖中左下角的gravel。DeeplabV3+對于brick的識別較弱,其外形輪廓分割較差。從整體上看,PU數據集中的人工建筑物和自然地表能夠被FCN-CRF較好地分割。

2.5 Indian Pines實驗結果

為了進一步測試FCN-CRF算法的高光譜影像分割效果,本文對Indian Pines高光譜數據集做了測試(圖5),6種算法分割精度如表3所示。結果顯示,FCN-CRF方法的精度最高,AA為98.54%,OA為98.60%,比3D-CNN分別高1.8%、1.1%,比UwU-Net分別高7.23%、6.89%,比LSTM分別高3.26%、4.16%,比DANN分別高6.41%、6.45%,比DeeplabV3+分別高2.53%、2.83%。

表3 Indian Pines數據集分類精度

圖5 Indian Pines分類結果

2.6 消融實驗

為了驗證FCN-CRF模型的有效性,本文設計了消融實驗來進行測試。消融實驗的部分設計策略如圖6所示,策略A為去除CRF的FCN算法,策略B至E為逐層剔除跳層連接策略的全卷機神經網絡結構,策略F為單獨CRF算法。CRF作為一個獨立的后處理過程,本文也設計了3種不同的前處理模型與其進行對比,與FCN-CRF算法的精度對比如表4所示。

圖6 消融實驗

從表4中可以看到,在兩幅高光譜影像中,本文提出的FCN-CRF算法均為最高精度,超過了單獨FCN的和CRF算法。與FCN相比,本新型分割算法在PU數據集上將AA、OA、Kappa分別提高了10.64%、8.72%、0.09,在IP數據集上分別提高了9.85%、11.47%、0.09。在搭配CRF的幾種模型中,FCN-CRF的精度也最高,與ResNet50-CRF相比,在PU數據集上,AA、OA、Kappa分別提高了9.7%、7.59%、0.07,在IP數據集上分別提高了9.81%、9.41%、0.1。

3 討論

3.1 模型參數量對比

除了從精度方面對比幾種算法外,本研究還從模型參數數量方面對比了不同分割方法。如圖7所示。雖然FCN-CRF有177萬參數量,但其模型精度最高,方法最好。UwU-Net參數量最少,為130萬,但其精度最低,實驗效果最差。DeeplabV3+的參數量較多,為278萬,其精度低于3D-CNN。其中,FCN-CRF的速度為3.5 fps/s,3D-CNN的速度為0.09 fps/s,UwU-Net的速度為3.2 fps/s,LSTM的速度為2.7 fps/s,DANN的速度為2.4 fps/s,DeeplabV3的速度為3 fps/s,表明了FCN-CRF算法的運行效率最高。

圖7 不同實驗方法和模型大小比較

3.2 樣本數量與精度

本研究對比了6種算法在不同訓練樣本數量下的精度曲線,其中訓練集占比70%、測試集占比15%、驗證集占比15%。從圖8中可以看到,6種分割算法整體上隨著樣本數量的增加,精度呈現增加趨勢。本研究提出的FCN-CRF精度在6種方法中最高。

圖8 6種算法訓練樣本與訓練精度曲線

3.3 FCN-CRF算法分析

FCN-CRF將全卷積結構與鑒別式幾率模型條件隨機場進行了結合,使得其在高光譜影像分割過程中表現出了優異的效果。從實驗結果可以看到,在PU和IP這兩景高光譜影像中,豐富的光譜信息經過PCA降維后能夠提取信息熵最大的波段,FCN-CRF比單獨的全卷積結構和單獨的條件隨機場有著更加出色的泛化性,其模型性能有較大的提升。新增的MUS模塊能夠擴展不同尺度的上采樣信息,在跳躍式傳遞中能夠使特征圖更好地結合強語義層不同方向的擴展信息。CRF具有靈活的空-譜信息采集能力,能夠考慮相鄰像元的交互信息,進而提升整個影像的分割精度。在本研究中,還單獨測試了CRF的3種常見連接方式,4連接精度為64.12%,8連接精度為79.36%,全連接精度為75.14%。不同于DeeplabV1中的全連接條件隨機場,雙流框架FCN-CRF雖然僅僅考慮了光譜相關性及空間相關性,但效果較全連接更好,可能由于高光譜影像二元勢全連接中由于不同地物光譜趨勢差異化導致了隨機場訓練精度也較低,而8連接則較好地考慮了同類地物光譜的相似性,對分割邊界的定位也較為準確。在二元勢中,模型不再局限于單個像元的光譜特征,能夠充分學習地物的領域特征和光譜特征,發揮馬哈拉諾比斯矩陣的優勢。DeeplabV3+中放棄了CRF,用深度可分離卷積替代普通卷積核,但其解碼器預測的目標邊界較為粗糙,也缺乏特征切分,導致多尺度聚合影像語義信息在建筑物分割場景中效果較差。在復雜遙感場景中,空間金字塔池化結構雖然采用了不同膨脹率的擴張卷積,但其在各支路之間缺乏相關性,而這正是FCN-CRF模型中MUS模塊的優勢。從結構上對比,FCN-CRF比多注意力U-Net網絡具有更少的上采樣層,整體模型結構更為輕捷[17]。

從PU和IP兩景影像上看,雙流高光譜影像分割框架FCN-CRF對城市建筑用地的分割效果比較好,主要由于人工建筑物的光譜反射率較為穩定,受自身性質與外界光照等環境因素的干擾程度反映較弱。在PU影像的右上地物類型較多的區域中,bare soil、meadows和tree 3種地物的分割范圍也較為細致,整體上看,分割結果與真實地表情況較為符合,邊界分割明確,地物輪廓完整。在IP影像部分區域中,分割后的農作物范圍與標簽圖有一定的差距,比如grass-trees、soybean-mintill和woods,主要原因在于植被物候會隨著生長季節的變化而產生一定的變異性,同時,光譜反射率與水分含量、色素水平、及冠層結構的有關。整體上看,健康植被富含葉綠素,能夠反射更多綠光,吸收紅色和藍色光[18]。不同于人工建筑物,其不同的生長階段所呈現的光譜反射率并不完全一致,同一地物由于外界因素的影響或自身生長情況的差異性也會存在反射率不一致現象,這將導致CRF在計算鄰域像元光譜相關性時會產生不穩定性,導致分割時會對邊界產生一定的模糊,但分割主體并不會受到影響,在圖5(c)中表現為大塊地物分割準確。以IP中corn-mintill和corn-notill為例,其色素池的吸收反射波段雖然存在一定的相似性,但FCN-CRF仍能夠較好地區別二者,不受兩種地物CAM與二元勢能的相似性影響。

4 結束語

本研究設計了新型的高光譜分割算法FCN-CRF,可以有效地增強高光譜遙感影像底層特征和抽象特征。具體來說,在數據輸入端進行PCA降噪處里,上采樣中開發了MUS模塊,全卷積輸出的CAM會結合高光譜遙感二元勢共同輸入CRF進行迭代運算,能夠得到優化的概率圖進行分割。經過測試,FCN-CRF在PU高光譜影像中精度達到了99.01%,在IP高光譜遙感影像中達到了98.60%,其精度超過了3D-CNN、UwU-Net、LSTM、DANN和DeeplabV3+。在參數量和運行效率方面,5種算法中FCN-CRF性能最優,計算機運行空間較少,性能最佳。在不同的地物類型中,FCN-CRF分割城市高光譜遙感影像具有較大的優勢,能準確分割各類人工建筑物。在地表綠色植被密集的高光譜遙感中,植物主體部分分割準確,但會在不同農作物類型交界處產生一定程度的像元混同。