基于改進DeeplabV3+模型的云檢測

鐘旭輝,譚海,梁雪瑩,潘明,石一劍

(1.遼寧工程技術大學 測繪與地理科學學院,遼寧 阜新 123000;2.自然資源部國土衛星遙感應用中心,北京 100048)

0 引言

隨著遙感技術的不斷進步,遙感圖像被廣泛應用于科學研究、社會服務等多個領域。目前我國的國產衛星以高分一號、高分二號和資源三號為代表,其各項指標都已經接近國際先進水平。國產衛星影像的數量和質量也在不斷增長,在社會各個領域發揮著越來越重要的作用[1]。然而,并不是所有的遙感圖像都可以直接被用于工程項目和科學研究。其中一個重要的原因就是云層,星載衛星獲取的圖像通常都包含云層,并且云層的比例相對較大,一般超過50%[2]。在各種大氣成分中,云幾乎覆蓋了地球的三分之二,云的存在會影響遙感設備的使用率和成像質量,并且占用了系統大量的存儲空間以及傳輸帶寬,造成了信道和地面設備資源的極大浪費。為了提高衛星遙感圖像的利用效率,研制一套能夠自動、準確地檢測分割遙感圖像中云區域的云檢測算法,具有非常重要的意義。

大多數的云檢測方法主要基于云的光譜特性或紋理特性進行分類[3],目前比較常用的云檢測大致可以歸為兩類,一類為傳統算法,另一類為利用神經網絡進行檢測。傳統的云檢測算法大多數是依據物理特征,算法比較簡單,操作性強,一般是通過人工來劃定閾值從而構造一個簡單的分類器,以此來進行云檢測。其主要是根據云在遙感影像上具有高反射率和低溫的特性,當下墊面地物具有跟云相似的反射率和溫度值時,將無法對其進行分離。此外,其物理閾值的設定也很大程度上取決于人的經驗值,并且傳統算法對傳感器的光譜通道具有一定的要求,因此具有一定的局限性。王偉等[4]提出了一種結合Kmeans聚類均值和多光譜閾值方法的改進云檢測方法。在地物光譜分析的基礎上,利用Kmeans聚類均值方法將MODIS數據初步分為兩大類。第一類包括云、煙和雪,第二類包括植被、水和土地。然后采用多光譜閾值檢測,對第一類干擾進行消除,如煙霧和雪。Li等[5]提出了一種新的光譜空間分類策略,通過集成閾值指數光譜角圖、自適應馬爾科夫隨機場和動態隨機共振來提高高光譜圖像上軌道云屏的性能。集成閾值指數光譜角圖被用于基于光譜信息對云像素進行粗略分類。然后利用自適應馬爾科夫隨機場對空間信息進行優化處理,顯著提高了分類性能。然而,由于機載環境中的噪聲數據,出現了錯誤分類,動態隨機共振被用于消除自適應馬爾科夫隨機場在二值標記圖像中產生的噪聲數據。由于光學遙感圖像中云特征有多樣性的特點,且不同的云特征在特征組合中的分布并不具備典型特點,因此利用紋理差異進行云檢測仍然存在難題。一些基于改進紋理特征的云檢測算法在一定程度上提高了云檢測的精度,卻存在耗時長、訓練難度大、難以自動提取等缺陷。另一種方法是利用深度學習神經網絡算法進行云檢測。經過訓練的卷積神經網絡能夠充分挖掘圖像中的特征,有效地完成遙感圖像的云檢測。Xie等[6]改進了簡單線性迭代聚類(simple linear iterative clustering SLIC)方法,將圖像分割成高質量的超像素。然后,設計了一個具有兩個分支的深度卷積神經網絡,從每個超像素中提取多尺度特征,并將超像素預測為包括厚云、薄云和非云在內的3個類別之一。最后,對圖像中所有超像素的預測產生云檢測結果。Guo等[7]提出了一種具有編碼器-解碼器結構的新型云檢測神經網絡,命名為 CDnetV2,作為云檢測的系列工作。CDnetV2 包含兩個新穎的模塊,即自適應特征融合模型和高級語義信息引導流。通過配備這兩個提議的關鍵模塊,CDnetV2 能夠充分利用從編碼器層提取的特征并產生準確的云檢測結果。Liu等[8]設計了一種基于卷積神經網絡(convolutional neural networks,CNN)和deep forest的超像素級云檢測方法。首先,將SLIC和SEED相結合,將遙感圖像分割成超像素;之后,利用結構化森林計算每個像素的邊緣概率,在此基礎上更精確地分割超級像素。分割后的超像素構成了一個超像素級的遙感數據庫。

綜上所述,許多國內外的專家學者對云檢測進行了大量深入的研究,提出了許多云檢測的算法,但是傳統方法由于受光學遙感影像中云的特征較為復雜,且受水、雪等具有相似紋理特征地物的影響,許多算法都存在對云的漏判誤判等問題。另外,使用深度學習算法進行檢測存在訓練周期長等問題。因此,本文提出了一種基于改進DeeplabV3+的云檢測模型,通過加入遷移學習模塊來減少耗時,降低訓練難度,并且通過改進Xception網絡框架以及空間金字塔(atrous spatial pyramid pooling,ASPP)模塊的空洞卷積來提高檢測精度。

1 研究方法

1.1 DeeplabV3+基礎模型

DeeplabV3+模型是在DeeplabV3的基礎上進行改進而來,主要包括編碼器和解碼器這兩部分。該模型以DeeplabV3為編碼器,其主要作用為提取輸入影像的特征,然后通過解碼器對提取的特征進行一個解碼工作最終獲得預測結果。

該網絡的主要工作原理為:在編碼器里對輸入的圖像進行一個特征提取,先經過深度卷積神經網絡(deep convolutional neural networks,DCNN)獲取兩個有效特征層(分別為一個低級特征圖和一個高級特征圖,低級特征層會直接傳入解碼器,而高級特征層會經過ASPP模塊得到多尺度語義特征),然后再對ASPP模塊獲取的多個特征圖進行一個融合,接著經過一次1×1的卷積,然后再輸入到解碼器。在編碼器里先對DCNN里輸出的低級特征層進行一個1×1的卷積,對ASPP模塊輸出的高級特征層進行一個4倍上采樣,然后再對上述兩個特征層經過一次融合、一次3×3卷積和一次4倍上采樣,最終輸出對圖像的預測結果。其完整網絡結構如圖1所示。

圖1 DeeplabV3+網絡結構

1.2 Xception網絡

Xception網絡結構[9]表示的意思是extreme inception,是在InceptionV3[10]的基礎上,結合ResNet思想加以改進得來的。Xception主要是將原來Inceptionv3中的多尺寸卷積核特征響應操作替換為深度可分離卷積。對于Xception網絡而言,其分為3層,分別是輸入層、中間層、輸出層;分為14個block,其中輸入層中有4個,中間層中有8個,輸出層中有2個。

Dai等[11]對Xception進行了進一步的改進,其在entry flow過程中將所有stride=2的max pooling結構替換為stride=2的Sep Conv。這種結構替換并不影響網絡的性能,但是由于深度特征圖的尺寸較小,不利于語義分割網絡的訓練,所以,DeeplabV3+在使用Xception網絡時,將最后一個stride=2的Sep Conv的stride設定為1。并且,其在每個3×3的depthwise separable convolution的后面都加上了BN(batch normalization)和Relu,重復8次改為16次,目的是為了在訓練時增加訓練次數,以此來提高訓練模型的精確度。

1.3 ASPP模塊

ASPP模塊是在DeeplabV2時被提出來的,其主要作用是用于提取圖像的多尺度語義特征,因為其優秀的結果表現,被廣泛地用于圖像語義分割的多尺度特征提取部分。

ASPP模塊由1個1×1的卷積、3個3×3的空洞卷積和1個全局平均池化組成,其中3個3×3的空洞卷積分別有不同的膨脹率,膨脹率較小的卷積核適合分割較小的目標,膨脹率較大的卷積核適合分割較大的目標。當膨脹率增大時,其卷積核的作用也會逐漸減少,當膨脹卷積尺寸與特征圖尺寸一樣時,3×3卷積作用效果就變成了1×1卷積,只有卷積和中心起作用。圖2紫色立方體是經過Xception網絡得到的1/16大小的特征圖,將其在ASPP模塊中分別進行了1次1×1卷積、3次膨脹率分別為6、12、18的3×3空洞卷積和1次全局平均池化,得到了5個為1/16大小的不同的特征圖,然后對這5個特征圖進行融合,獲得高級特征圖,再經過1次1×1的卷積恢復其通道數,輸入解碼器。

圖2 空洞空間金字塔池化模塊

2 本文方法

DeeplabV3+是目前較為優秀的語義分割模型之一,但其仍然存在一些不足之處。首先,其目標語義分割存在空洞、誤判以及對細小目標的漏判問題。其次,在編碼器的Xception骨干網絡和ASPP模塊進行了多次卷積,參數量龐大,訓練時長過長,網絡收斂速度慢。最后,在使用原始DeeplabV3+網絡進行訓練后,發現對于尺寸小的目標分割效果較差。針對原始網絡以上的不足之處,本文進行了以下改進:首先對Xception骨干網絡和ASPP模塊進行了一定的改進,其次在模型訓練過程中融入了遷移學習的思路。

改進后的DeeplabV3+模型仍然分為編碼器和解碼器兩部分。改進后的網絡結構如圖3所示。

圖3 本文改進的DeeplabV3+模型結構

2.1 Xception網絡改進

本文改進的Xception網絡是在Dai改進的Xception網絡的基礎上再對輸入層進行改進,其結構如圖4所示。在輸入流的每個小模塊的最前面增加了一個1×1的卷積來降低維度,然后再通過3×3卷積提取特征,再通過一個1×1卷積恢復維度[12]。通過以上改進,既可以使得各個通道的特征都得到充分的學習,提高模型精度,也可以減少參數量,減少模型訓練時間。

圖4 本文改進的Xception輸入層結構

2.2 ASPP模塊改進

ASPP模塊的主要原理是利用不同膨脹率的空洞卷積,進而獲取到多尺度的語義特征信息。ASPP模塊中進行了3次不同膨脹率的空洞卷積,不同的膨脹率,對于不同尺度的目標分割效果不同。基于原始DeeplabV3+網絡對小尺度目標分割效果不理想的問題,本文改進后的ASPP共有4個不同膨脹率的空洞卷積,膨脹率分別為2、4、8、16,增加小膨脹率的空洞卷積以增強對小尺度目標的分割能力。其次,由于3×3的空洞卷積容易學習一些冗余信息,參數量較大,訓練時長較長,針對這一問題,在保證不降低原始網絡的語義信息提取效果的前提下,本文將3×3的空洞卷積進行了分解,將其分解為3×1和1×3的卷積,使得參數量較原3×3卷積降低了三分之一,參數計算量得到有效的減少,在速度上也得到一定的提升。

2.3 遷移學習

遷移學習是機器學習技術其中的一種,其原理是在一個特定的數據集上,訓練過的卷積神經網絡被重新改造或遷移到另一個不同的數據集中。重復使用訓練過的卷積神經網絡,主要原因是訓練數據通常需要花費很長的時間[13]。通常來說,遷移學習包含兩種策略。第一,微調,包括在基礎數據集上使用預訓練網絡,并在目標數據集上訓練所有層。第二,凍結和訓練,包括僅凍結并訓練最后一層,其他層不變,也可以凍結前幾層,微調其他層,這是因為有些證據表明CNN的前幾層有紋理濾鏡和彩色斑點[14]。

本文使用的遷移學習策略為凍結和訓練策略。在凍結階段,將模型的主干凍結,特征提取網絡不發生改變,僅對網絡進行微調,訓練速度快,花費時間較少;在訓練階段,解凍模型主干網絡,特征提取網絡和網絡所有的參數都會發生改變,訓練變緩,花費時間較多。通過融入遷移學習,提高訓練效率、縮短訓練時間。

3 數據預處理

3.1 樣本制作

本文使用的數據集來自于資源三號01、02星,選取多光譜和全色影像共計1 500張,利用Photoshop進行人工勾畫,標注云矢量樣本,然后使用MATLAB算法對樣本進行填充,生成二值圖標簽。云檢測數據標簽示例如圖5所示。

圖5 云檢測數據標簽樣例

3.2 數據增廣

由于深度學習需要大量的標簽做為樣本,標簽的數量以及標簽對目標地物勾畫的精確度都對所訓練出的模型分割的準確度產生明顯的影響,所以為了提高模型的精度,需要大量的標簽來提高神經網絡對目標地物特征的學習。由于深度學習標簽的制作耗時耗力,針對這一問題,本文在保證標簽類型和質量的前提下,對原標簽進行數據增廣,增廣效果如圖6所示,以此來減少人工制作標簽的成本,并且可以提高模型的泛化能力。本文采取的數據增廣的方法主要有以下幾種。

圖6 云數據增廣方法與樣例

1)對比度調節。對比度調節其實是對畫面亮度信息做處理,其主要目的是提高畫面明暗對比度和增強畫面的整體均衡度。

2)增加噪聲。通過增加噪聲來模擬影像的成像過程,適當增加噪聲可以增強學習能力。

3)通過旋轉、翻轉擴充數據。通過對圖像進行旋轉和翻轉來改變特征的位置,對于模型來說就是不同的數據。旋轉或翻轉操作是擴充圖像數據集的一個簡單有效的方法。

4)部分置黑。

5)縮放。實現圖片放大或者縮小功能。通過在原始中稍微改動一些截取的區域,增加或者減少背景,最終將這些數據調整到規定的訓練數據大小。

4 實驗結果與分析

4.1 實驗環境

基于Windows10操作系統,顯卡型號為NVIDIA Quadro P6000,顯卡容量為24 GB,采用的深度學習框架為Pytorch,Pytorch-gpu版本為1.12.0,用于加速深度學習網絡的CUDA和CUDNN版本分別為10.0和v7.4.1.5。

4.2 實驗數據集

本文所選原始影像為資源01和02星影像,影像原始大小為1 107像素×1 122像素,由于受計算機硬件條件的限制,將影像裁剪為513像素×513像素大小進行訓練,將經過數據增廣的原始影像裁剪后挑選出了16 619張影像。由于云與某些雪、水體、冰面、高亮地物等的地物特征具有較高的相似性,本文數據集中增加一定數量的負樣本,正負樣本比例為5∶1,訓練集和驗證集的比例為9∶1。

4.3 評價指標

為了定量評價本文所改進的云檢測的模型效果,使用語義分割中常用的評價指標準確率(accuracy)、精確率(precision)、召回率(recall)、平均交并比(MIoU)4項指標定量評價云識別結果[15]。

4.4 不同網絡實驗對比

本文所有實驗參數設置均相同,具體參數設置為:學習率為5E-6,批量大小為8,迭代次數為200。共設計了4組實驗,第1組為傳統的DeeplabV3+模型,第2組為PSPnet模型,第3組為Unet模型,第4組為本文方法。對4種模型進行訓練,各模型通過測試集的精度評價指標如表1所示。可以看出,在本文數據集上,本文模型相比于傳統DeeplabV3+模型準確率提高了3.34%,平均交并比提高了5.39%,相比于PSPnet模型召回率提高了6.84%,相比于UNet模型精確率提高了4.83%。通過對4個精度評價指標對比,本文模型最優。實驗結果對比如圖7所示。由圖7可知,本文所采用4組實驗中對紋理特征明顯的云檢測精度基本相當,但是在有雪、水體以及高亮地物等干擾因素的復雜背景的影像上檢測精度存在差異,傳統DeeplabV3+模型與UNet模型都對雪存在一定的誤判,PSPnet模型分割邊緣比較平滑,但是對目標較小的云存在漏判。與前3種方法相比,本文方法對雪、水體和高亮地物的誤判比較少,對于檢測結果影響不大,對薄云和目標較小的云識別較好,整體提取完整,相比與其他3種方法,云檢測精度有所提高。

表1 實驗結果對比

圖7 實驗結果對比圖

4.5 消融實驗

為了驗證本文對Xception骨干網絡、ASPP模塊的改進以及融入遷移學習的必要性,設計了7組方案進行消融實驗。

方案1:使用傳統的DeeplabV3+網絡,在保持其他地方不做改進的基礎上針對Xception網絡進行改進。

方案2:使用傳統的DeeplabV3+網絡,在保持其他地方不做改進的基礎上針對ASPP模塊進行改進。

方案3:使用傳統的DeeplabV3+網絡,在保持其他地方不做改進的基礎上只融入遷移學習。

方案4:在方案一的基礎上對ASPP模塊進行改進。

方案5:在方案一的基礎上融入遷移學習。

方案6:在方案二的基礎上融入遷移學習。

方案7:本文實驗方法。

為了定量評價模型效果,消融實驗除了使用準確率、精確率、召回率、平均交并比這4項語義分割模型常用的標準評價指標外,還增加了兩個時間指標,分別為訓練時長和單張影像預測時長。

由表2消融實驗結果可得,方案1相比于傳統DeeplabV3+,精確率提升了2.05%,MIoU提高了2.6%,訓練時間有一定縮減,說明改進Xception網絡可以提高模型的精確率,并且可以提高訓練效率。方案2相比于傳統DeeplabV3+,召回率提高了2.84%,說明改進ASPP模塊可以提高模型的召回率。方案3相對于傳統DeeplabV3+模型4項精度評價指標相當,但訓練時長明顯縮短,說明加入ASPP模塊可以在不影響精度的前提下大量縮短訓練時間。方案7相比于前6個方案,在準確率、精確率、召回率、平均交并比提升更為明顯,相比于傳統DeeplabV3+模型,準確率提高了3.34%,精確率提高了3.78%,召回率提高了4.47%,平均交并比提高了5.39%,且訓練時長和預測時長也有明顯的減少,說明在改進Xception網絡和ASPP模塊并且融入遷移學習模塊的情況下,模型精度和訓練速度得到了明顯提升。消融實驗對比結果如圖8所示。由圖8可知,本文設計的7組消融實驗中方案7的精度最高。

表2 消融實驗結果對比

圖8 消融實驗結果對比圖

5 結束語

針對現有的云檢測時存在誤判漏判的問題,本文提出了一種基于改進傳統的DeeplabV3+網絡的云檢測模型,旨在更準確、快速、高效地檢測遙感影像中的云。本文通過對Xception網絡的每個輸入流前增加1×1卷積來降維,然后通過3×3卷積,之后在輸出前通過1×1卷積恢復維度,以及對ASPP模塊的3×3的膨脹卷積進行2D拆解,以此來達到降低冗余、縮減參數的目的,最后通過融入遷移學習的方法,來提高本文模型的效率與速度;通過改變ASPP模塊膨脹卷積的膨脹率,來提高本文模型對不同尺寸的云的檢測。通過與其他網絡模型進行對比,本文模型準確率和精確率更高,訓練速度更快。