基于深度可分離卷積的衛(wèi)星影像檢測(cè)技術(shù)研究

張 曼，葉 曦，李 杰，沈 霽

(上海航天電子技術(shù)研究所，上海 201109)

1 引言

衛(wèi)星影像中目標(biāo)自動(dòng)檢測(cè)是遙感圖像智能分析領(lǐng)域的重要研究方向[1]，它要求對(duì)包含多目標(biāo)衛(wèi)星影像自動(dòng)定位標(biāo)記，并判別該目標(biāo)所屬類別，對(duì)船只、飛機(jī)、油罐等軍事目標(biāo)信息采集具有重要作用[2]。

傳統(tǒng)衛(wèi)星影像目標(biāo)檢測(cè)算法主要利用滑動(dòng)窗口搜索策略切割整幅遙感圖像，然后依據(jù)目標(biāo)固有特征(如幾何、紋理、顏色等)定位標(biāo)記[3-5]。這種方法無法同時(shí)對(duì)多種類別目標(biāo)同時(shí)定位區(qū)分，且易受光照、拍攝角度等外界環(huán)境變化，魯棒性差。自2012年AlexNet[6]在ImageNet競(jìng)賽[7]上大獲成功，卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在目標(biāo)檢測(cè)領(lǐng)域獲得廣泛應(yīng)用。2014年Ross B.Girshick提出RCNN[8]算法，檢測(cè)圖像通過選擇性搜索法(selective search)[9]進(jìn)行圖像分塊，分割后的候選區(qū)域通過多層卷積網(wǎng)絡(luò)提取特征，最后進(jìn)行分類與位置回歸。該算法中候選區(qū)域的大量重合導(dǎo)致運(yùn)算速度低，檢測(cè)過程中需保存大量特征信息，內(nèi)存消耗大。針對(duì)這一情況，Ross B.Girshick一年后提出了Fast-RCNN[10]算法，算法通過對(duì)整張圖像卷積得到特征圖像，利用分類與邊框回歸結(jié)合的多任務(wù)損失函數(shù)迭代優(yōu)化，由于候選區(qū)域提取同樣依賴selective search方法，檢測(cè)速度較慢。2015年提出的Faster-RCNN[11]算法舍棄以往候選區(qū)域提取策略，候選區(qū)域由可訓(xùn)練優(yōu)化的RPN網(wǎng)絡(luò)提取，有效減少候選區(qū)域數(shù)量，提高了檢測(cè)效率。由此可見，基于區(qū)域建議框的R-CNN系列算法檢測(cè)過程主要分為兩步：第一步提取候選區(qū)域，第二步檢測(cè)分類，具有網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、檢測(cè)效率低、工程實(shí)現(xiàn)困難等缺陷。2016年，端對(duì)端檢測(cè)策略的YOLO[12]被提出，該算法將目標(biāo)定位檢測(cè)問題轉(zhuǎn)化為回歸問題處理，通過一個(gè)卷積神經(jīng)網(wǎng)絡(luò)直接所有候選區(qū)域進(jìn)行回歸，對(duì)其預(yù)測(cè)相應(yīng)的類別的概率，解決候選區(qū)域重疊問題，實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)。2017年提出YOLO-V2[13]算法，在YOLO的基礎(chǔ)上進(jìn)行多方面改進(jìn)，進(jìn)一步提高定位精度。Tiny-Yolo-V2為YOLO-V2算法的簡(jiǎn)化版本，通過減少卷積層數(shù)，提高檢測(cè)效率，便于工程實(shí)現(xiàn)。

在航天對(duì)地觀測(cè)領(lǐng)域，衛(wèi)星影像分辨率隨技術(shù)的發(fā)展不斷提升，地物目標(biāo)信息的也逐漸豐富，采用深度學(xué)習(xí)技術(shù)進(jìn)行目標(biāo)檢測(cè)成為研究趨勢(shì)。端對(duì)端類型的Tiny-Yolo-V2算法通在保證一定檢測(cè)精度的情況下，具有模型規(guī)模小、檢測(cè)效率高的優(yōu)勢(shì)，節(jié)約了計(jì)算資源，便于硬件部署。本文提出的基于深度可分離卷積神經(jīng)網(wǎng)絡(luò)衛(wèi)星影像檢測(cè)算法基于Tiny-Yolo-V2算法進(jìn)行優(yōu)化，利用深度可分離卷積方法優(yōu)化Tiny-Yolo-V2卷積層，減小算法計(jì)算量，提高檢測(cè)效率，同時(shí)針對(duì)衛(wèi)星影像地物目標(biāo)大小差異較大問題，結(jié)合特征金字塔(FPN)[14]思想，利用多種尺度特征圖融合技術(shù)，提高目標(biāo)檢測(cè)精度。

2 深度可分離卷積

卷積層的主要作用是特征提取。標(biāo)準(zhǔn)卷積將輸入特征圖通過卷積核卷積過程中，需要同時(shí)學(xué)習(xí)空間特征與通道特征，而于2017年Andrew G.Howard提出的深度可分離卷積[15]通過將卷積層空間相關(guān)性與通道相關(guān)性解藕，在標(biāo)準(zhǔn)卷積過程中添加一層過渡層，將其分解為深度卷積(depthwise convolution)與逐點(diǎn)卷積(pointwise convolution)，分別考慮空間相關(guān)性與通道相關(guān)性。相對(duì)標(biāo)準(zhǔn)卷積，深度可分離卷積可以在保證精度損失不多情況下，大幅降低參數(shù)量與計(jì)算量[16]。

假設(shè)輸入為DF×DF×M的特征圖，與DK×DK×M×N大小的卷積核卷積，標(biāo)準(zhǔn)卷積操作過程如圖1所示，每張輸入特征圖分別與N類中M個(gè)DK×DK卷積核卷積后求和加上偏置得到一個(gè)輸出，最后輸出為DF×DF×N大小。深度可分離操作過程如圖2所示，圖2(a)為深度卷積過程，圖2(b)為逐點(diǎn)卷積過程。深度卷積時(shí)，每張輸入特征圖只與對(duì)應(yīng)卷積核卷積加偏置，輸出大小為DF×DF×M。逐點(diǎn)卷積時(shí)，DF×DF×M的特征圖與N個(gè)1×1的卷積核做標(biāo)準(zhǔn)卷積，改變通道個(gè)數(shù)，最后輸出特征圖大小為DF×DF×N。

圖1 標(biāo)準(zhǔn)卷積操作示意圖

圖2 深度可分離卷積操作示意圖

標(biāo)準(zhǔn)卷積卷積過程計(jì)算量如下式所示

DF×DF×M×N×DK×DK

(1)

深度可分離卷積中，深度卷積過程計(jì)算量如下式所示

DF×DF×M×DK×DK

(2)

逐點(diǎn)卷積過程計(jì)算量如下式所示

DF×DF×M×N

(3)

深度可分離卷積相當(dāng)于標(biāo)準(zhǔn)卷積的n倍，n的表達(dá)式如下所示

(4)

3 基于深度可分離卷積的衛(wèi)星影像檢測(cè)算法

3.1 基于特征金字塔的目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

深度學(xué)習(xí)算法Tiny-Yolo-V2是一種端到端的目標(biāo)檢測(cè)算法，算法的網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，參數(shù)量少，工程化實(shí)現(xiàn)相對(duì)容易，本論文選擇此算法為基礎(chǔ)算法進(jìn)行優(yōu)化。Tiny-Yolo-V2算法具體網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示，包括9個(gè)卷積層和6個(gè)池化層。卷積層使用3×3大小的卷積核操作，最后1層卷積層卷積核大小為1×1，池化層為最大池化方式，池化大小為2×2，步長(zhǎng)為2。每次池化操作相當(dāng)于做一次下采樣，特征圖縮小1倍。前12層，卷積層后做池化操作，池化后，卷積層卷積核個(gè)數(shù)擴(kuò)增1倍，卷積層提取特征，池化層做特征壓縮。除最后1層卷積層外，每層卷積層引入BatchNormal算法穩(wěn)定訓(xùn)練過程，加快收斂。

表1 Tiny-Yolo-V2算法網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

衛(wèi)星影像中地物信息豐富，能同時(shí)存在車輛、飛機(jī)、港口等差異較大的地物目標(biāo)，單一尺度的目標(biāo)檢測(cè)算法無法很好地對(duì)不同類別不同大小的目標(biāo)進(jìn)行預(yù)測(cè)，本文希望通過添加一個(gè)維度的尺度特征圖預(yù)測(cè)，改善這一問題。在深度學(xué)習(xí)領(lǐng)域，增加預(yù)測(cè)尺度方式有多種，本論文結(jié)合特征金字塔(FPN)結(jié)構(gòu)進(jìn)行優(yōu)化。

在目標(biāo)檢測(cè)算法中，由于池化層進(jìn)行了特征壓縮，網(wǎng)絡(luò)中不同卷積層輸出特征圖尺寸不同。淺層輸出的特征圖尺寸更大，保留更多的細(xì)節(jié)信息，更有利于目標(biāo)位置信息的預(yù)測(cè)，同時(shí)由于經(jīng)過的卷積層數(shù)少，提取的信息不夠精煉，不利于進(jìn)行目標(biāo)類別的預(yù)測(cè)。深層的特征圖尺寸小，在多次卷積后，特征圖提取的信息更加抽象，進(jìn)行目標(biāo)分類準(zhǔn)確度更高，相對(duì)地，多次卷積池化信息提煉過程中丟失了很多細(xì)節(jié)信息，易出現(xiàn)目標(biāo)位置信息預(yù)測(cè)不精準(zhǔn)現(xiàn)象。特征金字塔結(jié)構(gòu)將深層特征與淺層特征結(jié)合，提高目標(biāo)檢測(cè)算法預(yù)測(cè)的類別正確率和定位準(zhǔn)確度。

改進(jìn)算法是基于Tiny-Yolo-V2算法進(jìn)行優(yōu)化實(shí)現(xiàn)的，記為FD-Tiny-Yolo-V2算法，在原有13×13大小的預(yù)測(cè)尺度上，增加26×26大小的預(yù)測(cè)尺度，提高小目標(biāo)、多目標(biāo)的檢測(cè)精度。FD-Tiny-Yolo-V2算法網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，包括7個(gè)卷積層、5個(gè)深度可分離卷積層、6個(gè)池化層、1個(gè)上采樣層和1個(gè)特征融合層。輸入圖像尺寸為3通道416×416的衛(wèi)星影像，經(jīng)過4個(gè)卷積層與4個(gè)池化層特征提取與壓縮后，得到128維26×26大小特診圖。得到的特征度經(jīng)歷兩種操作最后得到不同尺度的預(yù)測(cè)信息。26×26大小特診圖通過圖中上通道一系列卷積層、深度卷積層和池化層作用，最后得到的特征圖大小為13×13，是第一種預(yù)測(cè)尺度。輸入圖像經(jīng)過5個(gè)卷積層、5個(gè)池化層與2個(gè)深度可分離卷積層操作后，得到256維13×13大小特征圖，這256維13×13大小特征圖包含高維特征信息，上采樣后與上述128維26×26大小特征圖相融合，得到的384維26×26大小特征圖，經(jīng)過卷積層操作后得到特征圖大小為26×26，是第二種預(yù)測(cè)尺度。FD-Tiny-Yolo-V2將高語義信息的深層特征與高細(xì)節(jié)信息的淺層特征相互融合的方式，課得到多種尺度的信息，提高目標(biāo)檢測(cè)的定位精度于類別預(yù)測(cè)正確率。卷積層操作如圖3中模塊1所示，包括標(biāo)準(zhǔn)卷積、批量歸一化(BN)和非線性變換三種操作，深度可分離卷積層包括3×3深度卷積、BN、非線性變換、1×1標(biāo)準(zhǔn)卷積、BN和非線性變換六種操作。

圖3 FD-Tiny-Yolo-V2算的的多尺度網(wǎng)絡(luò)結(jié)構(gòu)

FD-Tiny-Yolo-V2算法最后做兩種尺度預(yù)測(cè)，分別為13×13和26×26。假設(shè)每個(gè)珊格預(yù)測(cè)B個(gè)框，訓(xùn)練圖像包含C個(gè)類別，最后特征圖輸出結(jié)果為

S×S×B×(5+C)

(5)

此處，5表示每個(gè)預(yù)測(cè)邊框的坐標(biāo)信息(邊框中心點(diǎn)坐標(biāo)與邊框長(zhǎng)寬共4個(gè)值)加預(yù)測(cè)表框置信度信息。這里選擇的數(shù)據(jù)集包括15個(gè)類別，根據(jù)K-means[17]聚類算法可知，當(dāng)一個(gè)珊格預(yù)測(cè)5個(gè)邊框時(shí)。因此，最后兩種特診圖輸出為13×13×100與26×26×100大小。

3.2 算法訓(xùn)練框架

衛(wèi)星影像開源數(shù)據(jù)量少，寬幅影像無法直接用于深度學(xué)習(xí)目標(biāo)檢測(cè)算法處理，因此，訓(xùn)練前需進(jìn)行數(shù)據(jù)集増廣與切塊操作。如圖4所示為FD-Tiny-Yolo-V2算法訓(xùn)練框架，具體分為三步，第一步増廣數(shù)據(jù)集，第二步進(jìn)行數(shù)據(jù)集切塊，第三步開展模型訓(xùn)練工作。數(shù)據(jù)集増廣時(shí)，采用旋轉(zhuǎn)、顏色抖動(dòng)、模糊處理及縮放操作擴(kuò)充衛(wèi)星影像與對(duì)應(yīng)標(biāo)簽。數(shù)據(jù)集切塊時(shí)，利用滑動(dòng)窗口將大小不一的衛(wèi)星影像切塊處理，對(duì)應(yīng)標(biāo)簽隨之變化，切塊后剔除不包含目標(biāo)信息的圖像切塊與標(biāo)簽。網(wǎng)絡(luò)模型訓(xùn)練過程中，將訓(xùn)練圖像分批次輸入FD-Tiny-Yolo-V2網(wǎng)絡(luò)模型中，將模型輸出的預(yù)測(cè)值與實(shí)際標(biāo)簽比較，利用二值的誤差值優(yōu)化模型參數(shù)，多次迭代后，保存網(wǎng)絡(luò)模型。訓(xùn)練過程中，誤差為預(yù)測(cè)坐標(biāo)誤差、預(yù)測(cè)類別誤差與預(yù)測(cè)置信度誤差之和，具體計(jì)算公式如下式所示

圖4 算法訓(xùn)練框架

(6)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)采用DOTA[18]作為實(shí)驗(yàn)的數(shù)據(jù)集。衛(wèi)星影像數(shù)據(jù)集DOTA是由武漢大學(xué)和華中科技大學(xué)聯(lián)合團(tuán)隊(duì)標(biāo)注完成的，共標(biāo)注了包含飛機(jī)、船只、小轎車、油罐等在內(nèi)的15種目標(biāo)類別，圖像大部分來自谷歌地球。DOTA數(shù)據(jù)集中尺寸不一的寬幅衛(wèi)星影像數(shù)據(jù)集經(jīng)過滑動(dòng)窗口切塊與數(shù)據(jù)集増廣操作后，得到160000張圖像切塊，做訓(xùn)練測(cè)試使用的數(shù)據(jù)集，具體數(shù)據(jù)集示例如圖5所示。

圖5 數(shù)據(jù)集示例

本文選擇精準(zhǔn)率、召回率和平均精準(zhǔn)率(Average Precision，AP)為目標(biāo)檢測(cè)算法評(píng)價(jià)指標(biāo)。精準(zhǔn)率為預(yù)測(cè)正確邊框數(shù)量與所有預(yù)測(cè)邊框數(shù)量之比，召回率為預(yù)測(cè)正確邊框數(shù)量與標(biāo)注為該類別邊框數(shù)量之比，AP值為精確率隨召回率變化曲線在從0到1上的積分。精準(zhǔn)率、召回率與AP值越大，代表檢測(cè)效果越好。

4.2 實(shí)驗(yàn)平臺(tái)與參數(shù)設(shè)置

實(shí)驗(yàn)由CPU為i8、內(nèi)存為32G、GPU為2片NVIDIA的1080Ti 的臺(tái)式計(jì)算機(jī)完成。程序設(shè)計(jì)平臺(tái)為Visual Studio2015，操作系統(tǒng)為ubuntu16.0.4。

訓(xùn)練時(shí)，最大迭代次數(shù)為50020次，每次訓(xùn)練8個(gè)批次，每個(gè)批次訓(xùn)練32張圖片，初始學(xué)習(xí)率為0.0001。訓(xùn)練時(shí)IOU閾值為0.3，測(cè)試時(shí)IOU閾值為0.5。

4.3 實(shí)驗(yàn)結(jié)果分析

本文算法是基于Tiny-Yolo-V2進(jìn)行優(yōu)化改進(jìn)的，表2為兩種算法性能評(píng)估結(jié)果表。可以發(fā)現(xiàn)，大體來說，F(xiàn)D-Tiny-Yolo-V2算法在精準(zhǔn)率、召回率與AP值上優(yōu)于Tiny-Yolo-V2算法。對(duì)于籃球場(chǎng)、田徑場(chǎng)、足球場(chǎng)、游泳池等中型、大型目標(biāo)，兩種算法精準(zhǔn)率、召回率與AP值差別不大；對(duì)于小汽車、橋梁等小型目標(biāo)來說，本文提出的FD-Tiny-Yolo-V2算法目標(biāo)檢測(cè)評(píng)估結(jié)果更好。說明FD-Tiny-Yolo-V2算法通過增加預(yù)測(cè)尺度，達(dá)到了提高小目標(biāo)檢測(cè)的精準(zhǔn)率效果，驗(yàn)證了結(jié)合特征金字塔優(yōu)化Tiny-Yolo-V2方案的有效性。

表2 目標(biāo)檢測(cè)算法性能評(píng)估結(jié)果

表3為YOLO-V1、YOLO-V2、Tiny-Yolo-V2與本文提出的FD-Tiny-Yolo-V2四種不同目標(biāo)檢測(cè)算法性能對(duì)比表，mAP為AP的平均值。可以發(fā)現(xiàn)，本文提出的FD-Tiny-Yolo-V2算法mAP值為0.427，比Tiny-Yolo-V2算法高了0.084，排四種算法的第三位置。FD-Tiny-Yolo-V2算法在檢測(cè)時(shí)間與參數(shù)量方面表現(xiàn)更好，一張圖像切塊僅需1.44ms，參數(shù)量為21.5M，排四種算法中第一位置。驗(yàn)證了結(jié)合深度可分離卷積優(yōu)化檢測(cè)算法方案的有效性。本文提出算法工程化實(shí)現(xiàn)更容易。

表3 目標(biāo)檢測(cè)算法檢測(cè)性能對(duì)比

圖6為FD-Tiny-Yolo-V2算法在寬幅衛(wèi)星影像上的檢測(cè)結(jié)果。圖6(a)圖像主要為飛機(jī)目標(biāo)，圖6(b)圖像主要為車輛目標(biāo)。可以發(fā)現(xiàn)FD-Tiny-Yolo-V2算法在不同衛(wèi)星影像種，目標(biāo)基本檢出，檢測(cè)效果良好。

圖6 寬幅衛(wèi)星影像檢測(cè)結(jié)果

圖7為Tiny-Yolo-V2和FD-Tiny-Yolo-V2兩種算法在同一張寬幅衛(wèi)星影像上的檢測(cè)結(jié)果。上幅為Tiny-Yolo-V2算法目標(biāo)檢測(cè)結(jié)果，下幅為FD-Tiny-Yolo-V2檢測(cè)結(jié)果，右邊圖像為圖中邊框內(nèi)細(xì)節(jié)放大圖。可以發(fā)現(xiàn)，Tiny-Yolo-V2算法小型目標(biāo)更容易漏檢，F(xiàn)D-Tiny-Yolo-V2算法目標(biāo)基本檢出。如圖中所示車輛目標(biāo)中FD-Tiny-Yolo-V2算法檢測(cè)效果更好。

圖7 圖像切塊檢測(cè)結(jié)果

5 結(jié)束語

本文提出一種基于Tiny-Yolo-V2的優(yōu)化算法用于衛(wèi)星影像目標(biāo)的自動(dòng)定位與檢測(cè)。針對(duì)Tiny-Yolo-V2算法目標(biāo)檢測(cè)精準(zhǔn)度低問題，本文提出的FD-Tiny-Yolo-V2算法結(jié)合特征金字塔概念，在單一13×13預(yù)測(cè)尺度基礎(chǔ)上增加了26×26尺度進(jìn)行預(yù)測(cè)，融合深層語義特征與淺層細(xì)節(jié)特征，提高目標(biāo)檢測(cè)精度。同時(shí)，利用深度可分離卷積思想，優(yōu)化標(biāo)準(zhǔn)卷積層，減小模型參數(shù)量，提升算法檢測(cè)效率。在衛(wèi)星影像數(shù)據(jù)集DOTA上驗(yàn)證了兩種優(yōu)化策略的有效性。相對(duì)Tiny-Yolo-V2算法，mAP值提高了0.084，模型參數(shù)量減小了49%，檢測(cè)效率提高了48%。下一步將探究深度學(xué)習(xí)模型量化、剪紙等優(yōu)化方法，進(jìn)一步提升算法檢測(cè)效率，為工程化部署做鋪墊。