聯(lián)合JPU與HRNet V2的遙感影像云檢測(cè)算法

王敏 周曉春

關(guān)鍵詞：云檢測(cè)；HRNet V2 ；JPU

遙感是獲取地面信息的重要手段，對(duì)地理國(guó)情普查、污染防治、抗震救災(zāi)、農(nóng)作物長(zhǎng)勢(shì)分析等方面都起到了重要作用[1]。然而，根據(jù)國(guó)際衛(wèi)星云氣候?qū)W項(xiàng)目通量數(shù)據(jù)（ISCCP-FD） 顯示，全球云的覆蓋面積超過(guò)地面面積的一半，尤其是熱帶雨林地區(qū)云的覆蓋更為嚴(yán)重，基本很難獲取無(wú)云的影像[2]。

云檢測(cè)是遙感影像處理首要且關(guān)鍵的一步，只有將云檢測(cè)出來(lái)后，替換為無(wú)云的影像，才可以開(kāi)展下一步的工作，后續(xù)的分析解譯具有重要意義。最初且最原始的云檢測(cè)手段是人工勾取云矢量，直至現(xiàn)在還有很多公司采取這種方式進(jìn)行云檢測(cè)，其缺點(diǎn)如下，首先人工勾取云矢量效率太低；第二，人工對(duì)于薄云邊界的判斷不清晰，很難勾繪出準(zhǔn)確的薄云邊界；第三，對(duì)于大幅影像很容易漏掉小塊且單獨(dú)的云朵。從而對(duì)后續(xù)影像分析解譯帶來(lái)影響。云檢測(cè)的第二類(lèi)方法為基于波段閾值及紋理信息的云檢測(cè)。Zhu等人提出的FMask 算法，其是基于波段閾值的云檢測(cè)方法，可以很好地檢測(cè)Landsat系列遙感影像[3-4]。2015 年，Zhu對(duì)原始的FMask算法進(jìn)行改進(jìn)，改進(jìn)的FMask 算法對(duì)于卷云及薄云的檢測(cè)效果更好[5]。這些方法基本都是依賴光譜的反射特性進(jìn)行區(qū)分出云及非云的物體，但是地面上有很多云的光譜反射特性相類(lèi)似的物體不可避免，如海邊的沙地、荒野中的裸地以及雪等，它們會(huì)極大干擾檢測(cè)的結(jié)果，從而被誤判為云。2020年，Xiong等基于NDVI、白度及 HOT三個(gè)指標(biāo)設(shè)計(jì)了動(dòng)態(tài)光譜閾值算法，將原云檢測(cè)的精度提高到90%以上[6]。第三類(lèi)方法為基于機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的方法[7-10]。SVM的出現(xiàn)開(kāi)始了機(jī)器學(xué)習(xí)在云檢測(cè)領(lǐng)域的應(yīng)用，Li等基于灰度共現(xiàn)矩陣的亮像素比、平均梯度和角二階矩作為分類(lèi)特征設(shè)計(jì)了SVM，從而進(jìn)行云檢測(cè)，結(jié)果來(lái)看，可以用于工程應(yīng)用[11]。Ji S等通過(guò)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)集成了云檢測(cè)及云去除的框架，從而實(shí)現(xiàn)高精度云檢測(cè)及云去除[12]。并且很多學(xué)者對(duì)其精度進(jìn)行了精進(jìn)，如ZiqiangYao提出的MCNet，模型類(lèi)似于U型，加入金字塔卷積聚合多尺度特征，注入注意力機(jī)制提取到更多的特征，可以較好地檢測(cè)云[13]。Yao J結(jié)合Unet與SegNet模型進(jìn)行訓(xùn)練，測(cè)試時(shí)使用TTA（test time augmentation） 提高云檢測(cè)的準(zhǔn)確性，對(duì)高分7衛(wèi)星的快視圖影像有較好的檢測(cè)結(jié)果[14]。云檢測(cè)屬于深度學(xué)習(xí)領(lǐng)域中的語(yǔ)義分割任務(wù)，Zhi?yong Xu基于HRNet分析了HRNet的缺點(diǎn)，并向其中加入輕量級(jí)雙注意力機(jī)制，并設(shè)計(jì)BA模塊，提高了邊界信息的檢測(cè)精度[15]。

本文的主要貢獻(xiàn)：

1） 目前的深度學(xué)習(xí)算法大多數(shù)是輸出分辨率的特征圖，然而HRNet V2可以盡可能保留原始影像的信息的特點(diǎn)。比如，原始為云的地方，不一定會(huì)被還原出來(lái)，所以這里使用HRNet V2作為骨干網(wǎng)絡(luò)，使用級(jí)聯(lián)的上采樣方式，層層遞進(jìn)還原原始影像的像素類(lèi)別。

2） 由于原始的HRNet V2的訓(xùn)練效率較低，這里基于貢獻(xiàn)1的HRNet V2的后面加入JPU結(jié)構(gòu)，即將基于貢獻(xiàn)1的HRNet V2輸出的4個(gè)大小一致的特征圖進(jìn)行拼接，再將其分別進(jìn)入空洞率不同的可分離卷積中，最后再進(jìn)行特征圖相加。其中可分離卷積可以明顯減少訓(xùn)練時(shí)間，并且進(jìn)行并聯(lián)的空洞卷積。

1 改進(jìn)HRNet V2 的云檢測(cè)算法

本文在原始的HRNet V2結(jié)構(gòu)的基礎(chǔ)上，加入JPU 結(jié)構(gòu)以提高網(wǎng)絡(luò)模型的精度。

1.1 HRNet V2結(jié)構(gòu)

HRNet V2 結(jié)構(gòu)如圖1所示。首先，經(jīng)過(guò)原始的HRNet v2 結(jié)構(gòu)[16]，HRNet v2 結(jié)構(gòu)首先經(jīng)過(guò)一個(gè)stem 結(jié)構(gòu)，然后再進(jìn)入到4個(gè)下采樣的階段。

其中，stem 結(jié)構(gòu)為首先將原始的3 通道特征圖經(jīng)過(guò)一個(gè)卷積核大小為3，步長(zhǎng)為2的卷積，Stem 結(jié)構(gòu)將3 通道特征圖升高為64 后，增加了感受野。

第1階段：先將經(jīng)過(guò)stem block 后的特征圖，進(jìn)入一個(gè)bottleneck 結(jié)構(gòu)，bottleneck 結(jié)構(gòu)如圖2 所示，先經(jīng)過(guò)一個(gè)1×1的卷積，但是通道數(shù)不變，然后經(jīng)過(guò)3×3的卷積結(jié)構(gòu)，最后經(jīng)過(guò)1×1 的卷積結(jié)構(gòu)將特征圖的通道數(shù)變?yōu)?56，另一部分，經(jīng)過(guò)一個(gè)1×1卷積直接將原始的特征圖的通道數(shù)變?yōu)?56，將兩個(gè)分支的特征圖進(jìn)行相加操作，得到通道數(shù)為256 的特征圖。然后將通道數(shù)為256的特征圖經(jīng)過(guò)一個(gè)1×1的卷積，將通道數(shù)減小為64，然后經(jīng)過(guò)卷積核大小為3的卷積，提高非線性，之后再經(jīng)過(guò)1×1的卷積結(jié)構(gòu)還原原始256 大小的通道數(shù)，最后將得到的特征圖與原始的256大小的特征圖進(jìn)行相加操作，然后輸出最終結(jié)果。

第2階段：上一階段得到了一個(gè)通道數(shù)為32，大小為64的特征圖和一個(gè)大小為32通道數(shù)為64的特征圖，分別經(jīng)過(guò)Basic Block 結(jié)構(gòu)，Basic Block 結(jié)構(gòu)為經(jīng)過(guò)兩個(gè)卷積核大小為3的卷積，通道數(shù)大小不變。如圖3所示。

第3階段：同第2階段相類(lèi)似，只不過(guò)其特征圖的分支更多了，可以用到的多尺度特征更多了。

第4階段：同第3階段相類(lèi)似，只不過(guò)最后輸出4 個(gè)特征圖而不是進(jìn)行上采樣或下采樣，其中4個(gè)特征圖的大小分別為64×64、32×32、16×16、8×8，特征圖的通道數(shù)依次為32、64、128、256。

1.2 JPU 結(jié)構(gòu)

JPU（Joint Pyramid Upsampling） 模塊最早是由Hui?kai Wu在FastFCN中提出，為了將給定的低分辨率目標(biāo)圖像生成帶有高分辨率的引導(dǎo)圖像，通過(guò)從高分辨率引導(dǎo)圖像中傳遞細(xì)節(jié)與結(jié)構(gòu)信息，從而生成一個(gè)高分辨率的特征圖像[17]。同時(shí)減小網(wǎng)絡(luò)的計(jì)算量，提升網(wǎng)絡(luò)模型性能。

JPU是將多尺度特征進(jìn)行變換成統(tǒng)一尺度，首先進(jìn)行卷積操作，將其4層特征圖中后面3層的特征圖都統(tǒng)一將其通道數(shù)變?yōu)榕c第1層的特征圖通道數(shù)一致，第1層的特征圖不變，這樣4層的特征圖的通道數(shù)都一樣，然后進(jìn)行上采樣操作，同樣，第1層的特征圖尺寸不變，后面三層的特征圖都進(jìn)行上采樣將其特征圖的尺寸變?yōu)楹偷谝粚拥奶卣鲌D一致。然后將其四層的特征圖拼接起來(lái)，形成了1個(gè)4倍第一層特征圖通道數(shù)的融合后特征圖，將拼接起來(lái)的特征圖分別進(jìn)入空洞率為1、2、4、8 的可分離空洞卷積中，將4個(gè)輸出結(jié)果進(jìn)行拼接操作，形成了一個(gè)新的128 通道的特征圖，最后進(jìn)行卷積操作，將128通道的特征圖減少通道數(shù)為64。JPU 可以聯(lián)合多尺度特征并且增加感受野的大小。具體結(jié)構(gòu)見(jiàn)圖4所示。

JPU 模塊中最重要的部分就是并聯(lián)的4個(gè)空洞率分別為1、2、4、8 的可分離卷積，如圖5 所示。

其中，空洞率為1的卷積主要針對(duì)ym0和ym的其余部分，空洞率為2的卷積主要針對(duì)ym0和ys在圖5中，紅色虛線框中的空洞率為1的卷積核的作用為獲取ym0與ym中其余部分的關(guān)聯(lián)信息。從圖5 中的綠色實(shí)線框中表示的是空洞率為2 的卷積核通過(guò)映射關(guān)系h（·）將ym0生成ys的過(guò)程，從而提高了分辨率。空洞率為4、8 的卷積核作用與空洞率為2 的卷積核作用類(lèi)似。由于ASPP 只從最后一個(gè)特征圖提取特征，而JPU結(jié)合了多尺度的上下文信息，所以JPU 與ASPP 結(jié)構(gòu)具有顯著的不同。ym0可以通過(guò)映射關(guān)系變換到y(tǒng)s，而ym0與ym中除ym0外的其余部分通過(guò)空洞率為1 的空洞卷積進(jìn)行關(guān)聯(lián)。因此，在將4個(gè)并聯(lián)的可分離空洞卷積[18]提取出特征之后，還要連接一個(gè)常規(guī)的卷積用來(lái)將特征轉(zhuǎn)換到最后的預(yù)測(cè)。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本次實(shí)驗(yàn)所用的數(shù)據(jù)來(lái)自公開(kāi)數(shù)據(jù)集，其中用于云檢測(cè)的優(yōu)秀數(shù)據(jù)集為38cloud數(shù)據(jù)集，該數(shù)據(jù)集中，18景用于訓(xùn)練，20景用于測(cè)試使用，影像來(lái)源于Land?Sat8的影像數(shù)據(jù)。

2.2 損失函數(shù)與評(píng)價(jià)指標(biāo)

本文使用的損失函數(shù)為BCE損失使用以下3個(gè)評(píng)價(jià)指標(biāo)：交并比（Iou） 、召回率（recall） 以及精確率（precision） 。其計(jì)算方式如下：

在公式（1） （2） （3） 中，TP（True Positive） 為真陽(yáng)性，表示原本為云預(yù)測(cè)為云的數(shù)量，TN（True Negative） 為真陰性，表示原本為非云預(yù)測(cè)為非云的數(shù)量，F(xiàn)P（FalsePositive） 為假陽(yáng)性，表示原本為非云錯(cuò)誤預(yù)測(cè)為云的數(shù)量，F(xiàn)N（FalseNegative） 為假陰性，表示原本為云錯(cuò)誤預(yù)測(cè)為非云的數(shù)量，其中3個(gè)指標(biāo)越高表示精度越高。

2.3 云檢測(cè)結(jié)果分析

首先通過(guò)定量指標(biāo)評(píng)價(jià)該方法與常用的深度學(xué)習(xí)算法進(jìn)行對(duì)比，可以發(fā)現(xiàn)，該方法的精度要高于常用的方法（見(jiàn)表1） 。

如圖6所示，圖中（c） 和（d） 表示SegNet及UNet算法的預(yù)測(cè)結(jié)果，兩個(gè)算法的預(yù)測(cè)效果較差；圖中（e） 表示DLinkNet算法的預(yù)測(cè)結(jié)果，其中紅框中未正確預(yù)測(cè)出來(lái)；圖中（g） 表示HRNet V2算法的預(yù)測(cè)結(jié)果，其中黃色框中云的范圍被正確預(yù)測(cè)，綠色框中云的范圍未被預(yù)測(cè)出來(lái)，紅色框中的同樣角點(diǎn)處未被正確預(yù)測(cè)；最后圖中（g） 表示I-HRNet v2算法的預(yù)測(cè)結(jié)果，其中框中均被正確預(yù)測(cè)。

3 結(jié)論

本文針對(duì)現(xiàn)有的云檢測(cè)算法精度差的問(wèn)題，在原始的HRNet V2的基礎(chǔ)上加入了JPU結(jié)構(gòu)，保留了更多的云細(xì)節(jié)，提高了云檢測(cè)精度。

1） 使用HRNet V2結(jié)構(gòu)提高了原始特征圖的信息利用率。

2） 在原始的HRNet V2結(jié)構(gòu)后加入JPU結(jié)構(gòu)，提高了模型的訓(xùn)練速度，另外，保留了原始的高分辨率信息，增加了感受野。