深度學(xué)習(xí)遙感圖像目標(biāo)檢測(cè)算法性能分析

中國(guó)科學(xué)院空天信息創(chuàng)新研究院 中國(guó)科學(xué)院大學(xué)光電學(xué)院 尚義卓 潘 澤

中國(guó)科學(xué)院空天信息創(chuàng)新研究院 譚 政 呂群波

從20世紀(jì)50年代開始，人類社會(huì)逐漸從農(nóng)業(yè)時(shí)代和工業(yè)時(shí)代向信息化時(shí)代進(jìn)行蛻變。信息化具有信息交換、移動(dòng)通信等表現(xiàn)力，它的產(chǎn)生帶動(dòng)了新型產(chǎn)業(yè)、新型技術(shù)的出現(xiàn)，同時(shí)也對(duì)舊行業(yè)帶來(lái)沖擊和活力。遙感技術(shù)作為信息化的重要產(chǎn)物之一，它利用電磁波反射和輻射特征來(lái)獲取地物目標(biāo)信息，進(jìn)而實(shí)現(xiàn)信息判別、歸類、存儲(chǔ)、處理等功能。它的快速發(fā)展在國(guó)家民用和軍用領(lǐng)域發(fā)揮著至關(guān)重要的作用。地圖測(cè)繪、災(zāi)害監(jiān)測(cè)、軍事監(jiān)測(cè)與軍事打擊、資源考察等領(lǐng)域的信息化都離不開遙感技術(shù)的支持。

隨著計(jì)算數(shù)學(xué)和信號(hào)處理技術(shù)的發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法獲得了比傳統(tǒng)模板匹配算法更優(yōu)的結(jié)果。深度學(xué)習(xí)目標(biāo)檢測(cè)算法分為一階段目標(biāo)檢測(cè)（one-stage）和兩階段目標(biāo)檢測(cè)（two-stage）兩類。常見(jiàn)的一階段目標(biāo)檢測(cè)算法有YOLO算法、SSD算法。一階段目標(biāo)檢測(cè)算法的優(yōu)勢(shì)在于利用回歸的思想直接通過(guò)圖像得到預(yù)測(cè)目標(biāo)框信息，速度快。二階段目標(biāo)檢測(cè)算法在精度方面要優(yōu)于前者，例如R-CNN、Fast-CNN等，其策略是先利用網(wǎng)絡(luò)產(chǎn)生一系列的候選框，然后進(jìn)行分類和回歸，雖然其精度相較一階段算法準(zhǔn)確度更高，但是速度方面相差甚遠(yuǎn)。對(duì)于遙感圖像的目標(biāo)檢測(cè)，以速度為首要原則，并使得精度有所保障是最為關(guān)鍵的一環(huán)。

綜上所述，遙感圖像處理在社會(huì)發(fā)展中發(fā)揮的作用日益廣泛。然而，基于目前的遙感圖像目標(biāo)檢測(cè)算法仍存在準(zhǔn)確性低、檢測(cè)速度慢的問(wèn)題，并且硬件負(fù)荷也越來(lái)越高。為顯著降低對(duì)硬件算力的需求，提高處理時(shí)效性，本論文根據(jù)深度學(xué)習(xí)目標(biāo)檢測(cè)算法遙感圖像飛機(jī)艦船目標(biāo)檢測(cè)進(jìn)行探究，探究對(duì)遙感圖像飛機(jī)艦船的快速檢測(cè)，為未來(lái)實(shí)現(xiàn)星上遙感圖像目標(biāo)檢測(cè)提供技術(shù)支撐。

1 一階段目標(biāo)檢測(cè)算法

一階段目標(biāo)檢測(cè)算法不需要候選框提取階段，算法直接產(chǎn)生物體的類別概率和位置坐標(biāo)信息以及置信度，僅單次檢測(cè)即可完成最終的檢測(cè)任務(wù)。常見(jiàn)的一階段目標(biāo)檢測(cè)算法有YOLO、YOLOv2、SSD、YOLOv3、Retina-Net等。基于其一階段的性質(zhì)，它就具備了更快的檢測(cè)速度。YOLO系列目標(biāo)檢測(cè)算法的核心思想是將目標(biāo)檢測(cè)任務(wù)作為回歸問(wèn)題，利用目標(biāo)框預(yù)測(cè)、置信度預(yù)測(cè)、類別預(yù)測(cè)三個(gè)損失函數(shù)來(lái)實(shí)現(xiàn)目標(biāo)的定位與檢測(cè)。YOLOv3由于其速度快、精度高的優(yōu)點(diǎn)，在過(guò)去幾年成為學(xué)術(shù)界和工業(yè)界廣泛使用的目標(biāo)檢測(cè)模型之一。隨著YOLO之父退出計(jì)算機(jī)視覺(jué)領(lǐng)域，2020年，新的YOLO系列算法（YOLOv4、YOLOv5）再度出爐。因此本實(shí)驗(yàn)對(duì)最新的一階段目標(biāo)檢測(cè)算法進(jìn)行了復(fù)現(xiàn)和性能對(duì)比，以探求更好的算法作為遙感圖像目標(biāo)檢測(cè)輕量化網(wǎng)絡(luò)的雛形。

1.1 YOLOv3目標(biāo)檢測(cè)算法

YOLOv3的網(wǎng)絡(luò)主干是darknet-53，盡管darkenet-53分類精度與ResNet-152和ResNet-101差不多，但是它的網(wǎng)絡(luò)深度比兩者淺，因此在計(jì)算速度上，它相較于兩者快很多。

在多次卷積的過(guò)程中，采用的卷積核大多是3×3，1×1的規(guī)模，對(duì)于卷積網(wǎng)絡(luò)的計(jì)算量和復(fù)雜度通常采用浮點(diǎn)運(yùn)算（float point operations，F(xiàn)LOPs)來(lái)衡量，那么單個(gè)卷積層的網(wǎng)絡(luò)計(jì)算量公式為：

其中Cin為輸入通道數(shù)、Cout為輸出通道數(shù)、K為卷積核大小、H和W為輸出特征面寬高。在圖像尺寸固定的條件下，決定網(wǎng)絡(luò)計(jì)算量的就是輸入輸出通道數(shù)和卷積核大小。因此采用較小卷積核的目的既可以提高非線性程度，增加網(wǎng)絡(luò)的泛化性，進(jìn)一步的提高網(wǎng)絡(luò)精度，同時(shí)又能減少參數(shù)提高實(shí)時(shí)性。

YOLOv3目標(biāo)檢測(cè)網(wǎng)絡(luò)中，加入了三個(gè)不同尺度的特征，形成了金字塔網(wǎng)絡(luò)，使得多個(gè)尺度的網(wǎng)絡(luò)可以通過(guò)級(jí)聯(lián)和上采樣進(jìn)行連接。這樣做能夠使得我們找到早期特征映射的上采樣和細(xì)粒度特征，特征信息融合更加充分，并獲得更為重要的語(yǔ)義信息。

在對(duì)YOLOv3目標(biāo)檢測(cè)算法的復(fù)現(xiàn)的性能分析中，本論文也對(duì)YOLOv3-Tiny版本進(jìn)行了比較。隨著YOLOv3在工業(yè)化上的普遍使用，根據(jù)不同的應(yīng)用需求和應(yīng)用場(chǎng)景，對(duì)目標(biāo)檢測(cè)算法的要求各不相同。在不考慮小目標(biāo)的檢測(cè)方面，YOLOv3-tiny的速度能夠更快，同時(shí)由于其針對(duì)的目標(biāo)偏向于中大型目標(biāo)，因此對(duì)小目標(biāo)的檢測(cè)存在一定的缺陷。YOLOv3-tiny相較于YOLOv3而言，整體的網(wǎng)絡(luò)結(jié)構(gòu)沒(méi)有明顯差距，僅僅少了預(yù)測(cè)小目標(biāo)的特征面特征層（80×80×21的特征面），因此預(yù)測(cè)特征面的減少，帶來(lái)的效果就是網(wǎng)絡(luò)計(jì)算量減小、網(wǎng)絡(luò)速度提升，但同時(shí)也會(huì)帶來(lái)小目標(biāo)的缺失、精度的下降。

表1為YOLOv3阿與YOLOv3-tiny的各項(xiàng)指標(biāo)，均在windows7、Pytorch1.6、GTX1080Ti的環(huán)境下進(jìn)行訓(xùn)練，為確保比較的公平，所采取的權(quán)重均為網(wǎng)絡(luò)結(jié)構(gòu)初始權(quán)重。

表1 YOLOv3與YOLOv3tiny的各項(xiàng)指標(biāo)對(duì)比

檢測(cè)圖像尺寸為1024×1024。

從上述指標(biāo)可以看出YOLOv3的Precision值為94.1%，相較于YOLOv3-tiny要高出4.7%，召回率Recall高出1.2%。mAP作為衡量目標(biāo)檢測(cè)算法的重要姓名能指標(biāo)，YOLOv3要高出2.1%。盡管在性能上YOLOv3從各方面均比YOLOv30tiny要好些，但是在速度對(duì)比上，YOLOv3遠(yuǎn)遠(yuǎn)落后于YOLOv3-tiny。

圖1為YOLOv3和YOLOv3-tiny的遙感圖像目標(biāo)檢測(cè)效果圖。

圖1 YOLOv3與YOLOv3tiny目標(biāo)檢測(cè)效果圖對(duì)比（左YOLOv3、右YOLOv3-tiny）

從兩者的遙感圖像目標(biāo)檢測(cè)效果圖中可以看出，整體上YOLOv3檢測(cè)到的目標(biāo)要更多，更準(zhǔn)確，但是它們兩者同時(shí)存在漏檢和誤檢的情況發(fā)生。將性能指標(biāo)和效果圖進(jìn)行分析，YOLOv3的精度雖然更高一些，但是其mAP也僅有73.2%。速度上更不符合遙感圖像目標(biāo)快速檢測(cè)的需求。YOLOv3-tiny速度較快，但是精度表現(xiàn)不好，作為遙感圖像目標(biāo)快速檢測(cè)的初始模型精度上限較低，無(wú)法滿足遙感衛(wèi)星目標(biāo)檢測(cè)的精度需求。

1.2 YOLOv4 目標(biāo)檢測(cè)算法

2020年4 月份，Alexey等人提出了“YOLOv4：Optimal Speed and Accuracy of Object Detection”。論文中提到，現(xiàn)如今存在大量的特征可以提高卷積神經(jīng)網(wǎng)絡(luò)的精度，因此該論文對(duì)現(xiàn)有新穎、有效的模塊進(jìn)行組合和實(shí)際的測(cè)試，并對(duì)各模塊組合所帶來(lái)的性能效果進(jìn)行理論驗(yàn)證和分析。其中的模塊包括加權(quán)-殘差-連接（Weighted Residual Connections，簡(jiǎn)稱WRC）、跨階段交叉部分連接（Cross Stage Partial connections，簡(jiǎn)稱CSP）、跨小階段歸一化（Cross mini-Batch Normalization，簡(jiǎn)稱CmBN）、自對(duì)抗訓(xùn)練（Self-adversarial training，簡(jiǎn)稱SAT）和新的激活函數(shù)（Mish-activation）。

同樣，YOLOv4的實(shí)驗(yàn)在GTX1080Ti上進(jìn)行，所采用的環(huán)境為Pytorch1.6、windows7。所采用的圖像大小為1024×1024。各精度指標(biāo)如表2所示。

表2 YOLOv4遙感圖像目標(biāo)檢測(cè)精度指標(biāo)

對(duì)于本研究的遙感圖像數(shù)據(jù)集，YOLOv4的mAP能夠達(dá)到84%，比YOLOv3要高10%，精度提升較高，然而對(duì)于一幅1024×1024的圖像，YOLOv4的檢測(cè)速度為0.081s，幀率能達(dá)到12幀。這相比于YOLOv3和YOLOv3-tiny要慢很多，如果檢測(cè)一幅10000×10000的遙感圖像，速度會(huì)大幅下降，不滿足本研究探求的快速目標(biāo)檢測(cè)指標(biāo)。圖2為YOLOv4目標(biāo)檢測(cè)效果圖。

圖2 YOLOv4遙感圖像目標(biāo)檢測(cè)效果圖

從圖2中可以看出，相較于YOLOv3和YOLOv3-tiny，YOLOv4的效果更好，對(duì)于飛機(jī)的目標(biāo)檢測(cè)精準(zhǔn)度高，且漏檢和誤檢在者兩張圖的表現(xiàn)上幾乎沒(méi)有。

對(duì)于YOLOv4目標(biāo)檢測(cè)算法而言，通過(guò)對(duì)比、各種模塊進(jìn)行組合，堆積探索最優(yōu)性能使得它的精度能夠大幅度提高，但是在速度方面卻略遜一籌。本研究希望能夠找到高精度、高速度的模型來(lái)探究為倆實(shí)現(xiàn)遙感圖像目標(biāo)快速檢測(cè)這一目的，顯然YOLOv4的速度方面還是有所欠缺。

2 結(jié)束語(yǔ)

對(duì)于遙感圖像目標(biāo)檢測(cè)，本研究對(duì)現(xiàn)有一階段目標(biāo)檢測(cè)算法YOLOv3、YOLOv4進(jìn)行性能分析和對(duì)比，前者速度相比較快但精度偏低，后者精度較高但速度較慢，因此在精度能夠達(dá)到要求的前提下，如何設(shè)計(jì)輕量化遙感圖像目標(biāo)檢測(cè)是未來(lái)星上處理的發(fā)展方向之一。