基于改進(jìn)YOLOv4的遙感影像飛機(jī)目標(biāo)檢測

張?zhí)祢E， 劉玉懷， 李蘇晨

(鄭州大學(xué),a.計算機(jī)與人工智能學(xué)院； b.信息工程學(xué)院; c.電氣工程學(xué)院，鄭州 450000)

0 引言

遙感影像中飛機(jī)目標(biāo)的檢測是遙感影像智能化信息提取的核心，在海情監(jiān)控和應(yīng)急救災(zāi)等軍事與民用方面均有重要且廣泛的應(yīng)用。國內(nèi)外學(xué)者針對遙感圖像的目標(biāo)檢測做了大量研究，YI等[1]提出了一種基于隨機(jī)區(qū)域提出的概率快速R-CNN遙感圖像目標(biāo)檢測算法，將概率區(qū)域提出網(wǎng)絡(luò)、圖像分類網(wǎng)絡(luò)和目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行融合來檢測目標(biāo)；VHARKATE等[2]集成了降維(DR)、特征提取(FE)、損失函數(shù)優(yōu)化、匹配過程和相關(guān)反饋(RF)機(jī)制，提出了一種利用混合VGGNet與紅鹿RDA的遙感圖像檢索算法；董永峰等[3]針對不同類型飛機(jī)的尺寸比例不固定等特點,提出以Mask R-CNN為基礎(chǔ)框架的目標(biāo)檢測方法。以上方法均采用基于候選區(qū)的兩階段卷積神經(jīng)網(wǎng)絡(luò)算法，雖然具有較高的精度，但檢測效率低且不適用于移動端。

基于回歸的單階段目標(biāo)檢測算法通過縮減人工預(yù)處理增加模型契合度，在檢測精度、速度及魯棒性方面均有良好表現(xiàn)。WU等[4]以YOLOv3作為檢測框架，采用多粒度網(wǎng)絡(luò)(MGN)提取豐富的目標(biāo)外觀信息；張欣等[5]對YOLOv4-tiny進(jìn)行改進(jìn),引入Mish激活函數(shù)與空間金字塔池化模塊,緩解網(wǎng)絡(luò)對飛機(jī)目標(biāo)尺度的敏感程度，使模型具有更好的泛化能力。受以上模型啟發(fā)，本文提出了一種改進(jìn)YOLOv4算法對遙感圖像飛機(jī)目標(biāo)進(jìn)行識別，采用K-means++獲取與目標(biāo)擬合度更高的先驗框參數(shù)；改進(jìn)損失函數(shù)，解決正負(fù)樣本的非平衡性；使用雙向剪枝對模型進(jìn)行輕量化處理。實驗表明，改進(jìn)后的算法能夠在保證識別精度的同時提高檢測效率，有效解決了模型不易部署在衛(wèi)星和嵌入式設(shè)備等硬件資源受限平臺的問題。

1 YOLOv4算法

YOLOv4算法[6]的網(wǎng)絡(luò)架構(gòu)由Input，Backbone，Neck(SPP+PANet)和Head組成。Input通過自對抗訓(xùn)練策略使神經(jīng)網(wǎng)絡(luò)反向更新圖像，在添加擾動后的圖像上訓(xùn)練，實現(xiàn)數(shù)據(jù)擴(kuò)充。Backbone以CSPDarknet-53作為網(wǎng)絡(luò)框架，其中，CSP-ResNet 殘差連接結(jié)構(gòu)消除網(wǎng)絡(luò)反向優(yōu)化時梯度信息冗余現(xiàn)象；以Mish激活函數(shù)代替Leaky ReLU函數(shù),保證函數(shù)在負(fù)值的情況下允許較小的負(fù)梯度流入。Neck通過空間池化結(jié)構(gòu)SPP對特征層進(jìn)行4種尺度的最大池化提取上下文特征。為避免在傳遞過程中出現(xiàn)淺層信息丟失的問題，采用實例分割框架下的路徑聚合網(wǎng)絡(luò)結(jié)構(gòu)PANet融合深層與淺層的特征信息，使得Neck能夠生成3個更有效的目標(biāo)檢測特征圖。Head的功能是回歸與分類，沿用YOLOv3的多尺度預(yù)測方式，將生成的3個特征圖分別用于小、中、大目標(biāo)的檢測和預(yù)測解碼，圖1分別是52像素×52像素，26像素×26像素，13像素×13像素飛機(jī)目標(biāo)特征圖。

圖1 多尺度特征圖Fig.1 Multi-scale feature map

2 改進(jìn)YOLOv4的遙感飛機(jī)檢測

YOLOv4在檢測精度與速度之間取得了較好的平衡，是目標(biāo)檢測的首選模型，但由于原始算法的先驗框不符合遙感飛機(jī)數(shù)據(jù)集中檢測目標(biāo)的尺寸，且高額的計算成本使模型的部署變得困難，因此需要重新擬合先驗框參數(shù)、簡化網(wǎng)絡(luò)結(jié)構(gòu)并降低參數(shù)量，在不影響精度的前提下提高模型檢測速度。

2.1 先驗框計算的改進(jìn)

YOLOv4在劃分網(wǎng)格后的圖像上設(shè)置先驗框，通過預(yù)測先驗框與真實框之間的距離，確定最終的邊界框回歸。由于遙感影像背景復(fù)雜造成算法原始先驗框數(shù)據(jù)與飛機(jī)目標(biāo)的尺寸無法較好地耦合，因此，本文采用K-means++算法穩(wěn)定初始化聚類中心選擇，使模型獲得最優(yōu)的先驗框參數(shù)，提高檢測精度。

K-means++算法[7]先隨機(jī)選取數(shù)據(jù)集中某一個樣本的目標(biāo)框區(qū)域作為初始聚類中心，再計算各個樣本到已有的聚類中心的距離D(x)以及每個樣本成為下一個聚類中心的概率P(x)，即

(1)

選取概率最大的樣本目標(biāo)框區(qū)域作為新的聚類中心，重復(fù)上述步驟直至選出K個聚類中心；重新計算每個樣本到各個聚類中心的距離，把樣本點劃分到與之距離最近的簇中，更新各個簇中所有類的聚類中心，最后迭代至聚類中心不再變化時結(jié)束。按照上述步驟對數(shù)據(jù)集聚類分析，結(jié)果如圖2所示。

圖2 K-means++聚類算法結(jié)果Fig.2 Results of K-means++ clustering algorithm

由圖2可知，平均交并比IoU與候選框的數(shù)量呈正相關(guān)，為同時兼顧計算精度與耗時，以9作為聚類中心數(shù)，聚類效果如圖3所示，其尺寸如表1所示。

圖3 K-means++聚類效果圖Fig.3 K-means++ clustering diagram

表1 優(yōu)化聚類后先驗框尺寸Table 1 Priori frame sizes after optimization

2.2 損失函數(shù)的改進(jìn)

在進(jìn)行遙感圖像的目標(biāo)檢測時，由于背景復(fù)雜，一張圖像中真實目標(biāo)包圍框的數(shù)量往往會遠(yuǎn)小于預(yù)測包圍框，造成正負(fù)樣本比例失衡的問題。因此，本文在標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)的基礎(chǔ)上增加調(diào)節(jié)因子，以focal loss[8]作為改進(jìn)的YOLOv4的損失函數(shù)，該函數(shù)表示為

(2)

圖4 不同模型的PR曲線Fig.4 PR curves of different models

由圖4可以看出，focal loss的引入有效降低了簡單負(fù)樣本在訓(xùn)練過程中所占的權(quán)重，解決了標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)中存在的正樣本輸出概率越大損失越小、負(fù)樣本輸出概率越小損失越小的問題，從而提升模型的檢測精度。

2.3 剪枝壓縮

由于YOLOv4高額的計算成本使模型部署變得困難，本文在保證檢測精度的前提下，采用融合卷積核剪枝與層間剪枝的剪枝方法[9]對YOLOv4進(jìn)行壓縮。模型需要通過基礎(chǔ)訓(xùn)練、稀疏訓(xùn)練、雙向剪枝以及微調(diào)得到合適的壓縮尺度。基礎(chǔ)訓(xùn)練以改進(jìn)的損失函數(shù)Lft作為優(yōu)化目標(biāo)，對數(shù)據(jù)集進(jìn)行迭代訓(xùn)練，直至0

(3)

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)及環(huán)境

為了對本文提出的聯(lián)合聚類優(yōu)化、focal loss與融合剪枝的YOLOv4-nl算法進(jìn)行評估，采用UCAS-AOD和RSOD數(shù)據(jù)集共計1886張飛機(jī)遙感圖像進(jìn)行實驗，其中包含飛機(jī)8203架，按照8∶2的比例將圖像分配至訓(xùn)練集和測試集，樣本標(biāo)簽示例見圖5。為了提高模型的泛化能力與魯棒性，算法采用Mosaic數(shù)據(jù)增強(qiáng)方式提高數(shù)據(jù)集目標(biāo)豐富度，隨機(jī)選取數(shù)據(jù)集中的4張圖片，通過隨機(jī)縮放、隨機(jī)裁減、隨機(jī)排布的方式將其拼接成一張完整的圖像送入檢測模型。

本模型在PC端上完成網(wǎng)絡(luò)訓(xùn)練和剪枝模型壓縮實驗，采用以Tensorflow框架為后端的Keras構(gòu)建遙感影像的飛機(jī)檢測模型，詳細(xì)實驗平臺配置如表2所示。

3.2 模型訓(xùn)練

本文對遙感影像飛機(jī)目標(biāo)的檢測網(wǎng)絡(luò)如圖6所示，將人工標(biāo)注的飛機(jī)數(shù)據(jù)輸入模型中進(jìn)行訓(xùn)練和微調(diào)實現(xiàn)模型對目標(biāo)的快速識別。

權(quán)值按照大小排序，通過控制縮放因子的大小對冗余通道進(jìn)行篩選，將貢獻(xiàn)率較低的通道剪掉，如圖6中紅線所示，將貢獻(xiàn)率高的通道進(jìn)行保留，如圖6中藍(lán)線所示，修剪后的模型結(jié)構(gòu)更加緊湊。

圖6 飛機(jī)目標(biāo)的檢測網(wǎng)絡(luò)Fig.6 Aircraft target detection network

為加速訓(xùn)練，將輸入圖像的分辨率大小統(tǒng)一調(diào)整為608像素×608像素，batch大小設(shè)為64，動量設(shè)為0.000 5，迭代次數(shù)設(shè)為9000，初始學(xué)習(xí)率設(shè)為0.001，在迭代至6000次時，將學(xué)習(xí)率降低1/10，權(quán)值衰減率設(shè)為0.000 6，稀疏訓(xùn)練的迭代次數(shù)設(shè)為1000，λ設(shè)為0.005，α取0.5，γ取1，τn設(shè)為0.1，τl設(shè)為0.5。訓(xùn)練完成后繪制模型的損失函數(shù)變化曲線，如圖7所示。

圖7 模型的損失函數(shù)變化曲線Fig.7 Loss function curve of model

模型在經(jīng)過1000次迭代后損失值大幅下降，5000次迭代后穩(wěn)定收斂在0.16左右，改進(jìn)后模型的損失值明顯低于原模型，因此所提的YOLOv4-nl模型超參數(shù)設(shè)置合理，學(xué)習(xí)效果較為理想。

3.3 算法對比

為了評估YOLOv4-nl算法的性能，從測試集中選取3張具有代表性的遙感飛機(jī)圖片，分別是沙塵天氣圖像、部分目標(biāo)重疊圖像以及小尺度密集分布圖像。通過兩階段Faster R-CNN[10],YOLOv3,YOLOv4,卷積核剪枝模型YOLOv4-n，層間剪枝模型YOLOv4-l與本文算法YOLOv4-nl進(jìn)行對比分析，實驗結(jié)果如圖8所示。圖8中，第1行圖像是受沙塵天氣影響的成像質(zhì)量較差、目標(biāo)較為模糊的圖像，各個算法均有一定程度上的漏檢，YOLOv4與YOLOv4-nl算法漏檢數(shù)量最少。第2行圖像中目標(biāo)飛機(jī)有重疊部分且方向各異，與背景環(huán)境的顏色較為相近，由于YOLOv4-nl算法引入了focal loss，更加關(guān)注難分類的目標(biāo)，因此其目標(biāo)框更接近于飛機(jī)真實輪廓大小。第3行圖像中，YOLOv3，YOLOv4-n與YOLOv4-l對于小尺度密集分布圖像的語義丟失嚴(yán)重，YOLOv4-nl算法幾乎檢測到了所有目標(biāo)，優(yōu)勢更為明顯。

圖8 算法對比結(jié)果Fig.8 Algorithm comparison results

為了進(jìn)一步評估YOLOv4-nl算法的性能，以準(zhǔn)確率P、召回率R、平均準(zhǔn)確率(mAP)、模型存儲空間V與檢測速度作為性能評價依據(jù)對模型優(yōu)劣進(jìn)行客觀對比分析，結(jié)果如表3所示。

表3 模型性能對比Table 3 Model performance comparison

其中，

(4)

式中:PT為將正類預(yù)測為正類的數(shù)量；PF為將負(fù)類預(yù)測為正類的數(shù)量；NF為將正類預(yù)測為負(fù)類的數(shù)量；NT為將負(fù)類預(yù)測為負(fù)類的數(shù)量。準(zhǔn)確率P是指對于預(yù)測結(jié)果中確實為正類的樣本占被預(yù)測為正類的樣本的比例。召回率R是指被正確預(yù)測的正類樣本占原樣本的比例。

由表3可知，F(xiàn)aster R-CNN以RPN代替窮舉法Selective Search生成候選框，精度相對較高，但檢測速度仍遠(yuǎn)低于單階段檢測算法。對YOLOv4模型進(jìn)行多種剪枝壓縮處理后，存儲空間得到明顯壓縮，運算速度均有所提升，并且微調(diào)后的精度與剪枝前模型差距不大，YOLOv4-nl算法的mAP僅比YOLOv4原始模型下降了0.11%，而較Faster R-CNN，YOLOv3，YOLOv4-n和YOLOv4-l分別高出2.19%,5.84%，4.62%和3.81%；存儲空間壓縮至14.3 MiB，運算速度也有所提升。實驗證明，該模型識別準(zhǔn)確率高、檢測速度快，能夠為遙感影像中的飛機(jī)目標(biāo)檢測任務(wù)提供技術(shù)支持。

4 結(jié)論

針對遙感影像中飛機(jī)目標(biāo)尺寸偏小、檢測精度較低且無法實現(xiàn)輕量化應(yīng)用的問題，本文提出了一種改進(jìn)的YOLOv4-nl檢測模型。采用K-means++聚類算法優(yōu)化錨框數(shù)據(jù)以適應(yīng)數(shù)據(jù)集中目標(biāo)尺寸，使模型預(yù)測性能與網(wǎng)絡(luò)訓(xùn)練收斂速度得到有效提升。以focal loss作為本文算法的損失函數(shù)，緩解由于數(shù)據(jù)樣本失衡造成的交叉熵?fù)p失函數(shù)向多樣本類別傾斜的問題。為了在保證檢測精度的同時節(jié)省存儲空間并加快運算速度，提出一種融合卷積核剪枝與層間剪枝的壓縮算法對模型剪枝壓縮，以簡化模型結(jié)構(gòu)，節(jié)省計算成本。實驗結(jié)果表明，相較于原始YOLOv4模型，本文算法在保證平均準(zhǔn)確率的同時，模型存儲空間減少了94.4%，運算速度提高了15.76 幀/s，基本滿足遙感影像目標(biāo)檢測的實時處理需求，為后續(xù)的移動平臺部署提供依據(jù)。