基于改進DeepLabV3+的石漠化地區(qū)裸巖信息提取

吳永俊 汪泓 楊晨

（1 黔西南州自然資源管理服務中心，興義 562400）

（2 貴州大學礦業(yè)學院，貴陽 550025）

0 引言

石漠化是我國西南地區(qū)最嚴重的生態(tài)環(huán)境問題之一，與沙漠化、水土流失并稱為我國的三大生態(tài)災害[1-2]。石漠化是指在喀斯特地區(qū)，不合理的人類活動，自然植被遭到破壞，造成土壤流失、基巖裸露等類似荒漠景觀的土地退化過程。喀斯特石漠化嚴重的影響著區(qū)域生態(tài)環(huán)境，會導致水土流失、自然災害頻發(fā)、生物多樣性下降等生態(tài)危害[3]；其帶來的危害已成為制約我國西南地區(qū)可持續(xù)發(fā)展的重要因素。因此，石漠化的治理對我國西南地區(qū)改善生態(tài)環(huán)境、保障經(jīng)濟社會可持續(xù)發(fā)展具有重要戰(zhàn)略意義。而石漠化調(diào)查又是石漠化治理過程中必不可少的工作環(huán)節(jié)[4]；在我國現(xiàn)行巖溶地區(qū)水土流失綜合治理技術標準[5]中，將基巖裸露率作為石漠化等級劃分的直接指標。因此，準確地提取喀斯特地區(qū)的巖石裸露信息對石漠化調(diào)查、治理工作具有重要意義。

傳統(tǒng)的巖石裸露信息主要通過目測和人工機械布點來獲取，對人力、物力造成了較大的損耗，且當區(qū)域地物細碎化程度較高時，測量誤差較大[6]。隨著遙感技術的發(fā)展，學者們通過遙感影像開展了諸多石漠化地區(qū)裸巖信息的提取工作。常用的方法有指數(shù)法、人機交互解譯法、面向?qū)ο蠓ǖ萚7]。文獻[8]分析Landsat8 裸巖和其他土地覆蓋類型的光譜特征，通過藍光、近紅外波段差和比，構建歸一化裸巖指數(shù)（Carbonate Rock Indice，CRI）對裸巖信息的提取，但遙感影像易受氣候等因素的影響，且受影像空間分辨率的制約，提取精度往往較低；文獻[9]通過人工勾繪獲取無人機影像裸巖率，并用其矯正相同研究區(qū)Landsat8 影像，通過指數(shù)法獲取的裸巖率，使Landsat8 影像提取裸巖的精度得到提高，但該方法工作量大，效率低；文獻[10]基于無人機影像，通過面向?qū)ο蟮姆椒▽β銕r信息進行提取，提取精度進一步提高，但喀斯特地區(qū)地表覆蓋極其不規(guī)律，地物通常呈斑塊狀，破碎度較高，空間分布不均勻，巖石之間大小形狀不盡相同，分割的尺度和參數(shù)較難確定，需要反復調(diào)整相關閾值參數(shù)，人為劃定的主觀性強。

近年來，深度學習在圖像分割、目標檢測等領域得到了廣泛的應用。文獻[11]基于“簡譯”軟件與無人機影像實現(xiàn)全卷積神經(jīng)網(wǎng)絡對石漠化地區(qū)裸巖信息的提取，提取精度優(yōu)于傳統(tǒng)提取方法，但其方法封裝于軟件中，提取精度仍有提升空間；文獻[12]將改進的殘差塊作為SegNet 網(wǎng)絡[13]的編碼器，解決了網(wǎng)絡退化問題，并引入深度可分離卷積來減少網(wǎng)絡參數(shù)量，用膨脹卷積來擴大感受野、提高網(wǎng)絡特征提取能力，提高了水體提取精度；文獻[14]在U-Net 網(wǎng)絡[15]跳躍連接層中嵌入密集連接塊和空間注意力，使得邊界塊引入底層空間信息，解決了提取建筑物模糊邊界的問題；文獻[16]將自導向注意整合到特征金字塔（Feature Pyramid Networks，F(xiàn)PN）[17]結構中，利用FPN 獲取不同網(wǎng)絡層的多尺度特征，并將其集成到DeepLabV3+[18]、U-Net、PANet[19]中來提取地表裂縫信息，結果表明該模塊的引入增強了紋理的細節(jié)并抑制了噪聲；文獻[20]將垂直和空間注意力機制分別嵌入DeepLabV3+骨干特征提取網(wǎng)絡和空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）模塊[21]中，加強了網(wǎng)絡獲取上下文信息的能力，結果表明改進的DeepLabV3+算法有效細化了特征細節(jié)，分割效果得到提升。上述研究中，學者們針對不同提取任務，在不同模型的基礎上進行改進，使得提取精度得以提高，但是針對喀斯特石漠化地區(qū)裸巖信息進行提取的研究，卻鮮有報道。

目前，DeepLabV3+在語義分割領域得到越來越多的關注，并在多個公開數(shù)據(jù)集上取得較好的成績，DeepLabV3+的ASPP 模塊能獲取更多的上下文信息和邊緣信息；但其骨干網(wǎng)絡結構復雜且參數(shù)量龐大，帶來了龐大的計算量，甚至可能降低模型的泛化能力。針對該缺點，同時為進一步探索深度學習在石漠化方面的應用，突破傳統(tǒng)方法在復雜地物條件下裸巖提取精度低的問題，本文構建了一種基于改進DeepLabV3+的裸巖信息提取方法。首先使用改進的輕量化網(wǎng)絡替換DeepLabV3+特征提取網(wǎng)絡；其次在特征提取網(wǎng)絡中結合FPN、坐標注意力機制（Coordinate Attention，CA）模塊[22]提高模型對裸巖特征上下文的聯(lián)系能力，使模型更關注細碎裸巖區(qū)域并獲取淺層網(wǎng)絡中更多的細節(jié)信息；最后在ASPP 模塊中添加異感受野特征融合特征層。

1 模型構建

1.1 DeepLabV3+模型

喀斯特地區(qū)地物破碎化嚴重，石漠化區(qū)域裸巖通常以斑塊的形態(tài)分散在植被、裸土中，部分成片分布，因此其邊界輪廓、形態(tài)大小極其不規(guī)律。為了盡可能地提取不同大小形態(tài)的裸巖目標，采用DeepLabV3+模型進行裸巖提取。DeepLabV3+引入了編碼-解碼結構，編碼部分包括骨干網(wǎng)絡深度卷積神經(jīng)網(wǎng)絡（Deep Convolutional Neural Networks, DCNN）和ASPP 兩個部分。其中骨干網(wǎng)絡為Xception，ASPP 模塊由1×1 卷積，空洞率為6、12、18 的空洞卷積以及全局平均池化并行而成，該結構在保證空間分辨率的情況下，擴大了網(wǎng)絡的感受野，能獲取不同尺度的石漠化裸巖特征信息，從而更好地對不同形態(tài)大小的裸巖目標進行特征提取。

輸入的影像經(jīng)骨干網(wǎng)絡得到兩個特征層，淺層特征直接傳入解碼器中，深層特征經(jīng)ASPP 獲取多尺度特征后進行堆疊，再經(jīng)1×1 卷積調(diào)整通道數(shù)傳入解碼器中。解碼器對傳入的深層特征進行4 倍上采樣，并對淺層特征進行1×1 卷積通道數(shù)調(diào)整，將調(diào)整后的兩個特征堆疊，最后經(jīng)3×3 卷積細化特征與4 倍上采樣得到最終預測結果。整體網(wǎng)絡結構如圖1 所示。

圖1 DeepLabV3+模型結構Fig.1 DeepLabV3+ model structure

1.2 坐標注意力機制

注意力機制通過增強網(wǎng)絡對目標特征的關注和忽略無關信息來改善網(wǎng)絡性能，可以有效地提升網(wǎng)絡特征提取的能力，被廣泛應用于各種深度學習的任務中。將其引入本文的網(wǎng)絡，使得模型提升對裸巖目標的關注度，忽略地物背景的干擾。CA 將位置信息嵌入通道注意力中，使網(wǎng)絡獲取更大區(qū)域的信息。坐標注意力機制的實現(xiàn)主要有兩個步驟：坐標信息的嵌入和坐標注意力生成。其模塊結構如圖2 所示。

圖2 坐標注意力機制Fig.2 Coordinate attention mechanism

首先是坐標信息的嵌入。全局池化通常用于通道注意力機制中對空間信息進行編碼，但其將全局信息壓縮至一個通道內(nèi)進行描述，會使位置信息難以保留。因此，該部分將全局池化層分解成兩個一維特征編碼操作，對于輸入的特征圖X∈RC×H×W，C為特征圖的通道數(shù)，H為特征圖的高，W為特征圖的寬，使用大小為 (H,1) 和 (1,W)的池化核沿水平方向和垂直方向坐標進行通道編碼，使模塊能獲取長范圍依賴的信息，其表達式如式（1）、（2）所示

式中c、h、w分別表示當前注意力模塊所對應特征圖的通道、高度和寬度；xc∈RH×W表示輸入的特征；Zhc∈RH×1表示第c通道在高h處的輸出；Zwc∈R1×W表示第c通道在寬度w處的輸出。

其次是坐標注意力生成。該部分將具有編碼信息的特征進行拼接，并使用卷積變換和非線性激活獲得特征映射f，其表達式如（3）所示

式中 δ為非線性激活函數(shù)；F1×1為1×1 卷積。

在得到特征圖f后沿空間方向?qū)⑵浞纸鉃閮蓚€張量，并分別對兩個張量進行卷積變換和Sigmoid 激活，將通道數(shù)調(diào)整至與輸入特征一致，得到張量gh、gw。

式中Fh、Fw為1×1 卷積；fh、fw為f沿著空間維度分解的兩個張量； σ為Sigmoid 激活函數(shù)。

最后對gh、gw進行拓展，作為注意力權重，最終得到坐標注意力機制輸出yc(i,j)，其表達式如式（6）

1.3 CA-DC-MobileNetV3 模型

考慮到石漠化區(qū)域裸巖提取僅涉及裸巖和背景兩個標簽，語義信息相對簡單，原始DeepLabV3+主干網(wǎng)絡Xception 結構復雜且參數(shù)量大，對算力要求高，且當數(shù)據(jù)集的量級與參數(shù)量不匹配時，網(wǎng)絡的泛化效果較差[23]，因此選擇輕量化網(wǎng)絡MobileNetV3 作為骨干網(wǎng)絡。MobileNetV3 于2019 年提出，其在MobileNetV2 的基礎上在線性瓶頸的逆殘差結構塊（The Inverted Residual with Linear Bottleneck Block，Bneck）引入基于壓縮獎懲（Squeeze and Excitation，SE）的輕量級注意力機制結構和Hard-Swish 激活函數(shù)。MobileNetV3 的基本單元Bneck 如圖3 所示，輸入特征經(jīng)1×1 卷積進行通道數(shù)調(diào)整，再使用3×3 的深度可分離卷積進行特征提取，對提取的結果進行全局平均池化并施加SE 注意力機制，經(jīng)Relu 激活函數(shù)和Hard-σ 激活函數(shù)加入非線性因素后與特征圖相乘，最后經(jīng)1×1 卷積進行通道數(shù)調(diào)整并與輸入特征相加完成殘差邊模塊[24]。

圖3 MobileNetV3 基本單元Fig.3 MobileNetV3 block

其整體結構如表1 所示，表中3×5122表示輸入特征為3 通道，大小為512 像素×512 像素；pool，7×7 表示池化及對應的池化核大小；Con2d，1×1， NBN 表示卷積操作、對應的卷積核大小、不使用批歸一化層（Batch Normalization，BN）結構；YES 表示施加相應的注意力機制；HS、RE 分別表示使用的激活函數(shù)為Hard-Swish、Relu 激活函數(shù)；步距為1 表示卷積過程中的步長為1。原始MobileNetV3 共進行5 次下采樣；為深層特征進入ASPP 時保留更多的像素點特征，本文對原始輸入特征進行3 次下采樣，選用MobileNetV3 的前7 層，同時將第4 層之后的卷積修改為空洞率為2 的深度可分離空洞卷積（Dilated Convolutions，DC），以擴大感受野；原始網(wǎng)絡中的SE 注意力只考慮內(nèi)部通道信息，忽略了位置信息的重要性，而視覺中目標的空間結構是很重要的，因此使用CA 代替。改進后的MobileNetV3 網(wǎng)絡結構如表2 所示。

表1 MobileNetV3 網(wǎng)絡結構Tab.1 MobileNetV3 network structure

表2 CA-DC-MobileNetV3 網(wǎng)絡結構Tab.2 CA-DC-MobileNetV3 network structure

1.4 特征金字塔

考慮到喀斯特地區(qū)地物分布較為細碎，石漠化區(qū)域裸巖目標尺度不盡相同，為進一步加強網(wǎng)絡對不同尺度目標提取的能力，獲取淺層特征所包含的局部精細特征，將FPN 引入本文網(wǎng)絡。FPN 通過自深而淺、自淺而深、橫向連接網(wǎng)絡將深層高語義特征與淺層特征融合，以獲取不同尺度語義信息，得到更豐富的空間細節(jié)，達到提高分割精度的目的。本文涉及FPN 結構如圖4 所示，其中特征層3、特征層4、特征層5 分別為CA-DC-MobileNetV3 的特征層3、特征層4、特征層5 輸出的結果。FPN 通過上采樣及通道數(shù)調(diào)整將不同尺度特征進行融合，最后經(jīng)3×3 卷積以消除上采樣的混疊效應，作為淺層特征傳入解碼器中。

圖4 特征金字塔Fig.4 Feature pyramid network structure

1.5 改進的DeepLabV3+模型

圖5 為改進的DeepLabV3+模型，使用CA-DC-MobileNetV3 作為骨干網(wǎng)絡，以減少模型參數(shù)；引入FPN 模塊進行加強特征提取，將深層高語義特征與淺層特征融合，獲取更多細節(jié)特征，并通過CA 對特征進行加強提取獲取關鍵信息；為增加不同空洞卷積層之間的聯(lián)系，提高信息利用率，在ASPP 結構的基礎上，將空洞率為6、12、18 的空洞卷積層通過Add 操作進行異感受野特征融合，并作為新的特征層與其余特征進行堆疊。

圖5 改進的DeepLabV3+模型Fig.5 Improved DeepLabV3+ model

2 實驗與分析

2.1 實驗數(shù)據(jù)與環(huán)境

實驗數(shù)據(jù)來源于羅賓遜R44 直升機搭載的哈蘇A6D-100C 航攝儀采集得到的影像，區(qū)域位于盤江流域，流域內(nèi)巖溶發(fā)育廣泛，水土流失嚴重，喀斯特集中分布。所獲取影像有紅、綠、藍三個波段，空間分辨率為0.1 m。選取其中一景經(jīng)預處理的影像，通過ArcGIS 進行人工標注制作標簽。將制作好的標簽與原始影像進行同步處理，通過滑動窗口裁剪為512 像素×512 像素的影像，使用水平翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像操作進行數(shù)據(jù)增廣，最后得到2 000 張影像，按照9∶1 的比例隨機劃分訓練集和驗證集。

實驗采用的操作系統(tǒng)為Ubuntu18.04，深度學習框架為PyTorch，使用的GPU 為NVIDIA RTX 2080 Ti。訓練超參數(shù)設置如下：迭代輪次（Epoch）為80，批大小（Batch Size）為4，動量為0.9，使用Adam（Adaptive Moment Estimation）優(yōu)化器，初始學習率為0.000 5，并通過余弦退火下降調(diào)整策略自適應調(diào)整學習率。

2.2 評價指標

選擇交并比IOU（Intersection Over Union）、F1分數(shù)（F1-Score）、模型參數(shù)量作為本文的評價指標。IOU 表示真實值和預測值兩個集合交集和并集之比，表示預測結果與標簽像素的交疊率，是衡量圖像分割精度的重要指標，具體見公式（7）。F1是精確率P（Percision）和召回率R（Recall）的調(diào)和平均值，F(xiàn)1同時考慮了正類別和負類別的性能，避免了精確率和召回率可能出現(xiàn)犧牲其中一個而提升另一個的情況，F(xiàn)1綜合考慮二者，達到平衡。具體見公式（8）~（10）

式中 TP 為被正確預測為裸巖的像素數(shù)； FP 為非裸巖被錯誤預測為裸巖的像素數(shù)； FN 為被錯誤預測為非裸巖的像素數(shù)。

模型參數(shù)量指模型中需要進行訓練的可學習參數(shù)的數(shù)量。在不考慮偏置的情況下，對于輸入特征圖X∈RC×H×W；卷積核k×k×n，其中k為卷積核的高和寬，n為卷積核的個數(shù)。標準卷積層參數(shù)量為C×k×k×n；深度可分離卷積可分為深度卷積和逐點卷積，其參數(shù)量為這兩個步驟中的參數(shù)數(shù)量之和，參數(shù)量為C×k×k+C×1×1×n；由此可知，深度可分離卷積與標準卷積的參數(shù)量之比為計算語義分割模型的參數(shù)量則是模型中的各個層的參數(shù)數(shù)量之和。

2.3 消融實驗

為驗證CA-DC-MobileNetV3、FPN、CA、ASPP 模塊異感受野特征融合方案的有效性，在相同數(shù)據(jù)集和實驗環(huán)境上進行逐層的消融實驗，以IOU、F1、模型參數(shù)量作為評價指標，實驗結果如表3 所示，實驗1~6 為調(diào)整性能指標的不同改進方案。為直觀表達注意力機制作用效果，同時獲取網(wǎng)絡關注區(qū)域，使用Grad-CAM[25]對施加注意力機制作用效果進行可視化，如圖6 所示。

圖6 可視化的注意力圖Fig.6 Visual attention maps

對比實驗1、2 可知，改進的CA-DC-MobileNetV3 網(wǎng)絡相較于原始MobileNetV3 網(wǎng)絡IOU 提高了0.92 個百分點，F(xiàn)1提高了0.64 個百分點，同時參數(shù)量得到減少，該方法減少了下采樣的次數(shù)，為傳入解碼器的特征保留并獲取了更豐富的特征，并使用CA 使模型更準確地定位和識別感興趣的對象，模型預測精度得到提高。對比實驗2、3 可知，F(xiàn)PN 融合了深層與淺層特征，獲取了更豐富的細節(jié)，提高了網(wǎng)絡的預測精度，IOU 與F1分別提高了1.5、1.03 個百分點，與此同時也增加了參數(shù)量。對比實驗3、4 可知，CA 與FPN 的搭配使用使得模型的預測精度進一步提高，IOU 與F1分別提高了0.36、0.35 個百分點，參數(shù)量保持平衡，再次證明注意力機制的引入對網(wǎng)絡預測起到正向作用。根據(jù)圖6 中高亮區(qū)域表示模型關注顯著區(qū)域，注意力機制的引入使得模型對特征不明顯目標對象和陰影處的目標給予了更多的關注。對比實驗3、5 可知，異感受野特征融合通過提高信息的利用率，提升了模型的預測精度，IOU 與F1分別提高0.53、0.34 個百分點，但同時也增加了模型的參數(shù)量。綜合表3，實驗6 通過FPN、CA、Add 操作進行特征融合，相較于實驗1 模型IOU、F1分別提高了3.39、2.32 個百分點，同時參數(shù)量減少了1.12×106，較好地平衡了參數(shù)量以及模型精度。

2.4 不同模型對比

為驗證本文提出模型的有效性，選擇基于面向?qū)ο蟮姆椒āSPNet[26]、SegNet、DeepLabV3+、SegFormer MiT-b0[27]語義分割模型與本文模型進行對比試驗，結果如表4；幾種提取方法在四種不同的場景下的提取結果如表5 所示。

表4 不同算法性能對比Tab.4 Performance comparison of different algorithms

表5 實驗結果對比Tab.5 Comparison of experimental results

由表4 可知，本文提出的模型在裸巖信息提取任務中表現(xiàn)最佳，提取精度最高，IOU 與F1分別達到了72.46%、84.03%。比基于面向?qū)ο蟮姆椒āSPNet、SegNet、DeepLabV3+、SegFormer MiT-b0 的IOU 分別提高了38.91、19.92、5.23、4.62 和4.01 個百分點，F(xiàn)1分別提高了33.78、15.15、3.63、3.19 和2.76 個百分點。從模型參數(shù)規(guī)模上來看，SegFormer MiT-b0、本文模型參數(shù)量遠低于其余模型，其中本文改進模型參數(shù)量約為原始模型的1/13，略高于SegFormer MiT-b0，但在精度上得到了提升，綜合來看，本文模型優(yōu)于 SegFormer MiT-b0。

表5 更直觀地展示了不同語義分割模型在不同場景的預測結果，表5 中紅色線圈為部分漏提區(qū)域、黃色為部分誤提區(qū)域。表5 中場景1 為無裸巖區(qū)域，其中基于面向?qū)ο蟮姆椒ㄕ`提現(xiàn)象最為嚴重，顏色上與裸巖相近的瓦塊屋頂建筑物被誤提為裸巖；除本文提出模型外，其余模型均出現(xiàn)了不同程度誤提現(xiàn)象，存在噪聲，其中SegFormer MiT-b0 在場景1 誤提現(xiàn)象最為輕微。場景2 中裸巖分布細碎，存在裸土背景及陰影區(qū)域，除本文模型外，其余模型均出現(xiàn)了較大區(qū)域的漏提現(xiàn)象，對于陰影目標敏感度較低，本文模型對細碎裸巖目標、陰影區(qū)域裸巖目標提取效果最佳，結果更為精確。場景3 中存在大量分布破碎目標，幾種模型均出現(xiàn)了漏提的現(xiàn)象，其中本文模型提取輪廓邊界更加清晰。場景4 中裸巖目標范圍較大、邊界輪廓清晰，除PSPNet 模型提取結果外，幾種模型在該場景表現(xiàn)較好，但仍然存在部分細節(jié)信息提取錯誤的現(xiàn)象。

總體來看，基于面向?qū)ο蟮奶崛》椒āSPNet 在裸巖提取任務中表現(xiàn)較差，提取結果較為粗糙，誤提、漏提、邊界信息丟失現(xiàn)象嚴重；SegNet、DeepLabV3+、SegFormer MiT-b0 相較于面向?qū)ο蠓āSPNet 提取效果有明顯的提高，但仍存在大量誤提、漏提現(xiàn)象；本文提出模型的泛化性、細節(jié)表現(xiàn)力相較于其他模型具有更好的表現(xiàn)。

3 結束語

本文構建了一種結合FPN、CA、添加異感受野特征融合改進的DeepLabV3+喀斯特地區(qū)裸巖信息提取模型。該模型首先將DeepLabV3+骨干提取網(wǎng)絡替換為CA-DC-MobileNetV3，在很大程度上降低了模型的參數(shù)量，同時提升了特征提取效果。其次，引入FPN 模塊獲取影像更豐富的細節(jié)，并通過CA 模塊強化特征，進一步加強特征提取能力。最后在ASPP 模塊新增異感受野特征融合特征層，提高了特征信息的利用率。結果表明，改進的DeepLabV3+網(wǎng)絡提升了模型預測精度，較好地改善了裸巖提取任務中誤提、漏提的問題。在后續(xù)的工作中，將繼續(xù)增加裸巖提取任務數(shù)據(jù)集，進一步提高模型的泛化能力；并繼續(xù)優(yōu)化模型的性能，提高模型在更復雜區(qū)域的提取精度，為石漠化調(diào)查工作提供更高效的方案。