基于Focal Loss 的多特征融合地物小目標(biāo)檢測*

宋建輝，饒 威，于 洋，劉硯菊

（沈陽理工大學(xué)自動化與電氣工程學(xué)院，沈陽 110159）

0 引言

無人機(jī)具有機(jī)動性強(qiáng)、制造成本低、拍攝圖像分辨率高［1］等優(yōu)勢，使無人機(jī)航拍在農(nóng)作物面積估算、遇險(xiǎn)搜救、故障設(shè)備檢測等領(lǐng)域得到廣泛應(yīng)用［2-4］。但在搜救過程中，由于無人機(jī)飛行高度高，無人機(jī)對地檢測目標(biāo)是所占整體像素比例不超過0.4%的小目標(biāo)［5］，并且目標(biāo)特征不明顯、目標(biāo)成像有噪點(diǎn)、目標(biāo)有遮擋，使得一般的檢測算法不適用于無人機(jī)影像。同時(shí)無人機(jī)在飛行過程中的機(jī)械抖動，讓航拍影像中的小目標(biāo)檢測更是難上加難。

目前，以R-CNN［6］、Fast R-CNN［7］、Faster R-CNN［8］為代表的基于分類的目標(biāo)檢測算法在識別準(zhǔn)確率上遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)算法［9-12］。R-CNN 算法通過選擇性搜索［13］得到了多個(gè)候選區(qū)域框，然后對每個(gè)候選區(qū)域框進(jìn)行卷積，最后采用支持向量機(jī)（Support Vector Machine，SVM）算法得到每個(gè)區(qū)域的分類結(jié)果。但R-CNN 對每一個(gè)候選區(qū)域分別進(jìn)行一次卷積，導(dǎo)致運(yùn)行量巨大，限制了算法的性能。Fast R-CNN 直接對整個(gè)圖像進(jìn)行卷積，讓運(yùn)算速度大大提高，但Fast R-CNN 依舊采用選擇性搜索（Selective Search）算法產(chǎn)生候選區(qū)域框，這使得網(wǎng)絡(luò)產(chǎn)生大量冗余的候選框，同時(shí)也增加了網(wǎng)絡(luò)的負(fù)擔(dān)。

Faster R-CNN 用RPN （Region Proposal Network）模塊替代Selective Search 算法，加快候選區(qū)域框產(chǎn)生速度。同時(shí)RPN 可在GPU 上運(yùn)行并與檢測模塊共享參數(shù)，使網(wǎng)絡(luò)速度進(jìn)一步提升。三者在VOC2007 數(shù)據(jù)測試集上檢測速度、精度對比如表1。mAP 是多類樣本的AP 均值。

表1 檢測速度、精度對比表

Faster R-CNN 維持同等精度的同時(shí)速度提升了10 倍。但Faster-RCNN 對小目標(biāo)檢測效果不夠理想，其原因在于對淺層特征的利用不夠充分。對此，Lin［14］提出了FPN 模型（特征金字塔模型），F(xiàn)PN 模型提出自頂向下的路徑與橫向連接，使網(wǎng)絡(luò)實(shí)現(xiàn)多尺度預(yù)測與對淺層特征的有效利用，經(jīng)過實(shí)驗(yàn)測試，在COCO 數(shù)據(jù)集小目標(biāo)檢測APs 值上提升了5.9 %。

目前，不少學(xué)者已利用FPN 模型與其他模型相結(jié)合的方式，實(shí)現(xiàn)了更高精度的目標(biāo)檢測。劉云［15］等通過將FPN 與Faster R-CNN 模型相結(jié)合，同時(shí)通過平衡RPN 錨點(diǎn)實(shí)現(xiàn)了對街景行人的有效檢測。劉恩佑［16］將FPN 與SSD［17］相結(jié)合，使網(wǎng)絡(luò)對行人與車輛的檢測精度提升了4%。

針對航拍圖像中的車輛小目標(biāo)，在融合FPN 思想的Faster R-CNN 模型（FFRCNN）基礎(chǔ)上，本文提出一種基于特征金字塔的地物車輛小目標(biāo)檢測方法——FM-FFRCNN 模型。該模型結(jié)合多特征融合與Focal Loss 損失函數(shù)，實(shí)現(xiàn)對無人機(jī)地物車輛小目標(biāo)的有效檢測。

1 FFRCNN 模型及改進(jìn)

1.1 FFRCNN 模型

FFRCNN 模型是在Faster R-CNN 的網(wǎng)絡(luò)提取特征階段融合了FPN 結(jié)構(gòu)的模型。首先將VGG-16模型替換為Resnet-50 模型；然后在Resnet-50 的基礎(chǔ)上分別提取C2、C3、C4、C5 層后，利用橫向連接構(gòu)建特征金字塔，得到P2、P3、P4、P5、P6 特征層，使底層網(wǎng)絡(luò)具有高度抽象的語義信息；再次，將特征金字塔送入RPN 網(wǎng)絡(luò)中，進(jìn)行初步篩選得到較好的候選框；最終，將篩選出的候選框在Fast R-CNN 模型中進(jìn)行進(jìn)一步分類與回歸，得到檢測模型。

1.2 改進(jìn)的FFRCNN 網(wǎng)絡(luò)模型

針對實(shí)際無人機(jī)對地場景中車輛目標(biāo)較小、尺度不一、分布不均勻的情況，在網(wǎng)絡(luò)結(jié)構(gòu)方面采用多特征融合的方式，構(gòu)建M-FFRCNN 模型。該模型可有效增加網(wǎng)絡(luò)對目標(biāo)的敏感度和網(wǎng)絡(luò)魯棒性。

針對正負(fù)樣本不平衡導(dǎo)致無法有效訓(xùn)練正樣本問題，在損失函數(shù)方面采用Focal Loss 損失函數(shù)，構(gòu)建F-FFRCNN 模型。該損失函數(shù)提升了模型對目標(biāo)難例樣本關(guān)注度，有效抑制背景樣本損失并提高網(wǎng)絡(luò)精度。

最后，將原模型與多特征融合、損失函數(shù)三者結(jié)合，得到最終的改進(jìn)模型——FM-FFRCNN 模型。改進(jìn)模型對應(yīng)表如表2 所示。“√”表示在此模型上應(yīng)用了該改進(jìn)方法。

表2 改進(jìn)模型對應(yīng)表

1.2.1 結(jié)構(gòu)改進(jìn)——多特征融合

FFRCNN 模型利用頂層特征層與3×3 的卷積核進(jìn)行卷積后預(yù)測目標(biāo)位置信息。在真實(shí)場景中，目標(biāo)不僅尺寸多樣，而且還存在目標(biāo)角度多樣及目標(biāo)遮擋等情況，而單一尺度過濾器盡管通過多尺度預(yù)測方式緩解了小目標(biāo)特征像素特征少的情況，但依然不能很好地適應(yīng)所有尺寸特征。借鑒Inception［18］模型中多特征融合方式，即在RPN 模塊3×3 的卷積核處并聯(lián)一個(gè)1×1 和一個(gè)5×5 的卷積核，通過并聯(lián)不同尺度卷積核的方式對P2～P6 特征層進(jìn)行遍歷，使網(wǎng)絡(luò)擴(kuò)大感受野，得到更多的特征選取方式，最終達(dá)到提升對目標(biāo)尺度與目標(biāo)位置適應(yīng)性的目的。多尺度融合模型如圖1 所示。多尺度模型成為M-FFRCNN 模型。

1.2.2 損失函數(shù)改進(jìn)——Focal Loss

圖1 M-FFRCNN 模型結(jié)構(gòu)圖

FFRCNN 采用標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)［19］（Cross Entropy，CE），CE 具體公式如式（2）、式（3）。式中，pt表示樣本概率，y 為1 表示預(yù)測正確的樣本，otherwise 表示預(yù)測錯(cuò)誤的樣本。改進(jìn)了損失函數(shù)的FFRCNN 模型稱為F-FFRCNN 模型。

FFRCNN 粗篩出正負(fù)樣本各128 個(gè)，當(dāng)正樣本數(shù)量不足128 時(shí)，用負(fù)樣本填充。在這些樣本中存在大量的背景樣本和少量的特征豐富正樣本，它們被正確識別的準(zhǔn)確度較高，識別概率pt接近于1，這類樣本被稱為簡單樣本（easy example）。在計(jì)算損失函數(shù)時(shí)，easy example 中背景樣本占有比例較大，單個(gè)背景的交叉熵盡管不大，但背景樣本數(shù)量多，使背景樣本對loss 的累加貢獻(xiàn)超過其他概率稍小的目標(biāo)樣本，導(dǎo)致正樣本無法被有效學(xué)習(xí)，降低網(wǎng)絡(luò)準(zhǔn)確度。

針對正負(fù)樣本不均衡問題，本課題在FFRCNN模型基礎(chǔ)上采用Focal Loss［20］損失函數(shù)。Focal Loss具體公式如式（3）所示。式中，γ 為可調(diào)聚焦參數(shù)，1-pt為調(diào)制因子，α 為加權(quán)因子。

從表3 可以看出，采用Focal Loss 作為損失函數(shù)的樣本，pt值越高，損失值與損失貢獻(xiàn)度越低，即easy example 的損失值幾乎可以忽略不計(jì)，而當(dāng)pt較低或者偏低時(shí)，樣本往往存在錯(cuò)判且損失值較大。pt較低或偏低的這類樣本，被稱為難例樣本（hard example）。深度學(xué)習(xí)利用迭代損失函數(shù)與反向傳播進(jìn)行更新權(quán)值，并側(cè)重學(xué)習(xí)損失值較大的目標(biāo)。Focal Loss 通過加強(qiáng)hard example 的損失值，削減easy example 的損失值，使網(wǎng)絡(luò)側(cè)重對hard example的學(xué)習(xí)，實(shí)現(xiàn)了對hard example 的有效訓(xùn)練。

表3 CE/Focal Loss 對比圖

2 實(shí)驗(yàn)結(jié)果與分析

針對目前空對地車輛小目標(biāo)數(shù)據(jù)集不夠的情況，采用手工標(biāo)注的方式進(jìn)行擴(kuò)充數(shù)據(jù)集，數(shù)據(jù)集主要來源于2 處：1）對ISPRS_BENCHMAEX 遙感影像數(shù)據(jù)集裁剪不定大小的圖像；2）利用GTA5 游戲?qū)︿浧列畔⑦M(jìn)行逐幀篩選得到高清航拍車輛圖片。本數(shù)據(jù)共3 041 張圖像，遙感圖像每張平均15個(gè)目標(biāo)，仿真圖像每張平均4 個(gè)目標(biāo)，共約20 832個(gè)目標(biāo)，目標(biāo)像素大小約24×24～150×150，每個(gè)目標(biāo)都是占整體像素約0.08 %～0.4 %的小目標(biāo)，數(shù)據(jù)集中共1 類對象：car。

實(shí)驗(yàn)平臺：系統(tǒng)為Ubuntu16.04，運(yùn)行環(huán)境為Tensorflow1.10，GPU 為NVIDIA GeForce GTX1080，內(nèi)存16 GB。

通過對比無人機(jī)航拍圖像檢測結(jié)果來衡量改進(jìn)后的Faster R-CNN 網(wǎng)絡(luò)的小目標(biāo)檢測性能，并給出對應(yīng)的參數(shù)指標(biāo)。

2.1 網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練開始時(shí)學(xué)習(xí)率為0.001，在60 000 步、80 000 步時(shí)分別降為0.000 1、0.000 01，F(xiàn)M-FFRCNN 模型準(zhǔn)確度與損失變化如圖2 所示。

圖2 FM-FFRCNN 模型準(zhǔn)確率與損失變化圖

圖2（a）為FM-FFRCNN 模型訓(xùn)練準(zhǔn)確率曲線圖，圖2（b）為FM-FFRCNN 模型損失曲線。網(wǎng)絡(luò)經(jīng)過9 萬次迭代后，訓(xùn)練準(zhǔn)確率、損失曲線波動大致收斂，最終準(zhǔn)確率趨近于0.95，網(wǎng)絡(luò)損失下降至約0.63。從參數(shù)變化趨勢分析，生成的模型權(quán)重結(jié)果較為理想。

2.2 評價(jià)指標(biāo)

模型采用平均精度（Average Precision，AP）作為評價(jià)指標(biāo)。AP 值為P-R 曲線所圍面積，P 為準(zhǔn)確率（Precision），R 為召回率（Recall）。AP、P 和R 計(jì)算公式如式（4）～式（6）所示。其中TP 為被正確分類的正樣本個(gè)數(shù)，F(xiàn)P 為被錯(cuò)誤分類的正樣本個(gè)數(shù)，F(xiàn)N 為被錯(cuò)誤分類的負(fù)樣本個(gè)數(shù)。

2.3 實(shí)驗(yàn)結(jié)果

為測試真實(shí)場景中模型對小目標(biāo)的檢測效果，利用大疆無人機(jī)在距地100 m 的高空對地面車輛進(jìn)行隨機(jī)拍攝，采集共64 張圖像，將圖像輸入至FFRCNN 模型、F-FFRCNN 模型、M-FFRCNN 模型與FM-FFRCNN 模型中進(jìn)行檢測，計(jì)算對目標(biāo)的召回率與準(zhǔn)確率。各模型AP 曲線對比圖如圖3 所示。從圖3 看出，改進(jìn)的三模型較FFRCNN 模型AP 值提升明顯，其中FM-FFRCNN 模型最好，F(xiàn)-FFRCNN模型次之。

圖3 各模型AP 曲線對比圖

各模型在實(shí)際場景下檢測效果對比圖如圖4所示。圖4（a）圖像為待檢測圖像，紅色標(biāo)記框?yàn)檐囕v所在區(qū)域；圖4（b）圖像為FFRCNN 網(wǎng)絡(luò)檢測圖像的局部放大圖；圖4（c）圖像為M-FFRCNN 模型檢測圖像的局部放大圖。圖4（d）圖像為F-FFRCNN模型檢測圖像的局部放大圖。圖4（e） 圖像為FM-FFRCNN 模型檢測圖像的局部放大圖。圖中數(shù)字表示該類樣本的信心度，信心度越高，樣本正確識別概率越高。檢測過程將原圖進(jìn)行統(tǒng)一縮小為800*600，單個(gè)目標(biāo)像素約20*25。

圖4 各模型實(shí)際場景下檢測效果圖

從圖4 上看，F(xiàn)FRCNN 盡管采用了FPN 結(jié)構(gòu)，但漏檢情況較嚴(yán)重，而改進(jìn)后的FFRCNN 則對此有很大的改善，提升了小目標(biāo)檢測性能。通過對比圖4（b）～圖4（e）的4 張圖發(fā)現(xiàn)3 個(gè)現(xiàn)象：1）F-FFRCNN能夠降低漏檢率，但同時(shí)檢測信心度會有所降低；2）FFRCNN 檢測圖像中卡車未被檢測出來，但M-FFRCNN 能效檢測出圖中的卡車，證明多尺度融合能改善網(wǎng)絡(luò)對尺度的適應(yīng)性；3）FM-FFRCNN 在Focal Loss 的基礎(chǔ)上，融入了多尺度融合，使信心度有所改善，其檢測效果最好。

文中利用FFRCNN 與M-FFRCNN 模型、F-FFRCNN 模型、FM-FFRCNN 模型分別對無人機(jī)隨機(jī)采集的64 張圖像進(jìn)行檢測，并計(jì)算“car”類的AP 值。AP 越高則表示評價(jià)指標(biāo)越高，檢測綜合性能越好。評價(jià)指標(biāo)對比表如表4 所示。FM-FFRCNN 模型較FFRCNN 模型在召回率上由87.6 %提升為97.0 %，在準(zhǔn)確率上由15.5 % 提升為17.6 %，平均精度由73.7 % 提升為93.4 %。

表4 評價(jià)指標(biāo)對比表

從表中可看出，F(xiàn)M-FFRCNN 模型效果最好，與原先FFRCNN 模型相比，對小目標(biāo)的召回率提升了9.4 %，準(zhǔn)確率提升了2.1 %，對小目標(biāo)檢測的平均精度提高了19.7 %。

3 結(jié)論

本文提出一種基于改進(jìn)FPN 和Faster R-CNN的小目標(biāo)檢測模型，即FM-FFRCNN 模型，并針對真實(shí)情況進(jìn)行實(shí)地檢測。FM-FFRCNN 借鑒了Focal Loss 損失函數(shù)法與Inception 中多特征融合思想，針對車輛目標(biāo)較小、尺度不一、分布不均勻的問題，利用多特征融合方式有效改進(jìn)了尺度適應(yīng)性。針對原算法正負(fù)樣本不平衡的問題，將原先CE 損失函法替換為Focal Loss。FM-FFRCNN 模型與原先網(wǎng)絡(luò)相比，AP 值提升了19.7 %，效果顯著。