基于改進型YOLOv3的SAR圖像艦船目標檢測

陳 冬, 句彥偉

(南京電子技術研究所, 江蘇 南京 210013)

0 引 言

人工智能的興起引發了計算機視覺領域的快速發展,深度學習在光學圖像諸多任務(如分類、檢測、分割等)上取得了突破性的進展,而其在合成孔徑雷達(synthetic aperture radar,SAR)圖像上的運用遠未普及,在精度、速度等方面均存在著嚴重的限制。

SAR圖像艦船目標檢測具有極廣的應用,在民用領域上,有助于海運檢測與管理;在軍事領域上,有利于戰術部署,提高海防預警能力。傳統的SAR圖像艦船目標檢測方法多采用恒虛警率法[1]、模板匹配法[2]、尾跡檢測法[3]等。這些方法多依賴于人工手動設計提取復雜的特征,且取得的效果泛化能力較差。

神經網絡的優點在于自動提取特征而不需要手動設計,這對于未來的雷達智能感知來說具有重要的意義。基于深度學習的新興SAR圖像艦船檢測依賴于計算機視覺已取得的成果,然而SAR圖像與光學圖像特性存在諸多不同,因此研究基于神經網絡的SAR圖像艦船檢測仍有許多科學問題需要解決。

當前光學圖像中目標檢測方法主要有以下兩種:雙階段檢測、單階段檢測。以R-CNN系列[4-6]為代表的雙階段檢測方法具有非常高的檢測精度,主要思想是先對輸入的圖像進行區域劃分,獲取候選框,對每個候選框分類,相同類別的合并,回歸出最終每個目標的檢測框。其存在的主要問題是區域劃分耗時耗力,Faster R-CNN[6]通過卷積網絡實現區域劃分,第一次實現了R-CNN[4]系列的端到端訓練,降低了檢測時間。盡管如此,Faster R-CNN檢測速依舊較慢。

單階段的檢測方法具有非常高的檢測速度,典型代表有SSD系列[7-9]與YOLO系列[10-12]。其主要思想通過神經網絡直接回歸出目標的類別、可信度以及坐標框,由于未采用二階段候選框生成的概念,雖然檢測速度取得了很大的提升,但檢測精度卻有所下降。而YOLOv3[12]檢測方法的出現改變了這一狀況,其在取得快速檢測的同時保證了檢測精度。

以上提及的方法大部分基于錨框(anchor)的思想,即預先設定大小的框。這一anchor的設定亦成為了檢測速度再次提高的桎梏,當前,已有研究提出無錨框(anchor free)的概念。最先提及該概念并用于檢測中的是百度提出的人臉檢測方法DenseBox[13],現如今出現的方法有FCOS[14]、CornerNet[15]。雖然其是未來檢測的趨勢,但當前其發展運用遠不及基于anchor的方法。

深度學習在SAR圖像上的檢測目前已取得相當的成果,基于Faster R-CNN的思想,文獻[16]提出了改進模型,檢測精度達到了78.8%;基于SSD的思想,文獻[17]提出了一個改進型模型,適用于小艦船目標檢測,精度可達到88.1%;基于輕量化模型、注意力機制等思想,文獻[18]設計了一個新的艦船檢測模型,降低了參數量,可實現檢測的實時性。

相較于光學圖像,SAR圖像中不包含豐富的特征信息,艦船目標尺寸變化大、干擾源多,這些對檢測都會產生一定的影響。YOLOv3的方法在光學圖像中取得了很好的效果,但光學圖像和SAR圖像的成像原理存在著本質上的區別,直接將該方法運用到SAR圖像中存在識別不準確、召回率低、檢測框偏移較大等問題。基于常規卷積方案的原YOLOv3模型無法對艦船目標尺寸適應性地調整且網絡過深不適用于SAR圖像,同時可能會引起過擬合問題,因此很有必要對其特征提取部分進行改進。

本文的創新點主要如下:

(1)YOLOv3的方法本身對于小目標檢測有很好的效果,本文將該方法引入到SAR圖像艦船目標檢測中,重新設計了特征提取網絡,有效地提高了檢測精度,降低了虛警概率和漏檢概率。

(2)本文采用參數量較少的ResNet50來實現特征提取并防止過擬合,避免無用以及重復特征的提取。為進一步降低參數以及提高性能,在跳躍連接過程中使用了平均池化,具有計算量更少、檢測更快的優點。

(3)為在特征提取過程中引入更多的艦船形狀等信息,本文在特征提取網絡部分加入了可變形卷積,通過與檢測任務的共同學習,適應性地改變采樣點,使其獲得類艦船目標形狀的感受野范圍,能夠更好地幫助網絡實現檢測。

(4)使用ShuffleNetv2對YOLOv3特征提取網絡進行輕量化設計,在犧牲些許精度的情況下,擁有了更快的檢測速度,為輕量化研究提供參考。

1 基于改進YOLOv3的艦船檢測

本文的改進方案對于YOLOv3網絡效果很好的部分進行保留:其一,融合了特征金字塔結構[19]可以在多尺度進行預測,有助于識別不同尺度的艦船目標;其二,損失函數對小目標的偏重思想,可以防止小艦船目標預測錯誤對整體損失函數并沒有太大影響,使網絡注意到小艦船目標。本文的網絡結構如圖1所示,其可大體分為兩部分:特征自動提取網絡與目標檢測分類(特征解碼)網絡。

圖1 本文網絡結構

1.1 特征提取網絡

1.1.1 艦船ResNet50-d特征提取

對于光學圖像采用的神經網絡而言,一般情況下,網絡越深,提取特征的能力越強,感受視野范圍越大,獲取的高級語義信息越多。但由于網絡過深,梯度反向傳播過程中過小以致網絡難以迭代更新,因此不能簡單的對神經網絡進行堆疊。ResNet[20]網絡采用殘差連接的方式解決了神經網絡增加深度的同時梯度消失的問題,使得訓練數百層的神經網絡成為了可能。

ResNet按照網絡層數不同主要分為5類,其中最常用的是50層結構的ResNet50(見圖2)。由于ResNet50網絡具有比較好的特征提取能力,且網絡相對于Darknet53而言層數少,參數量更小,運用也更加靈活;同時考慮到SAR圖像不同于包含豐富特征信息的光學圖像,本文最終采用ResNet50網絡的基本結構作為特征提取網絡,相比較于原YOLOv3可以有效地降低參數量和重復特征數量。

圖2 ResNet50結構

另外,本文參照文獻[21]使用了ResNet50-d的思想,將在跳躍連接過程中使用的通過步長進行降維的方法更改為平均池化形式(對比見圖3)。平均池化即對鄰域內的特征點求平均值,往往能夠很好地保留背景信息,有助于網絡對特征的提取,另一方面也可以有效地降低參數量,節約算力。

圖3 ResNet50與ResNet50-d降維對比

1.1.2 適用于艦船檢測的可變形卷積

艦船目標尺度不統一,目標形狀多變,采用普通的卷積神經網絡對于大尺度和未知形狀的艦船目標檢測存在固有的缺陷,該缺陷來源于卷積神經網絡固有的幾何結構:卷積核對輸入特征圖的固定位置進行采樣;池化層以固定的比例進行池化。

本文采用的可變形卷積[22]對普通卷積進行修改,其基本思想對采樣點學習一個偏移,使卷積核專注于感興趣區域或者目標而不是固定位置的采樣。普通卷積采樣和可變形卷積采樣的對比如圖4所示。

圖4 普通卷積與可變形卷積對比

定義膨脹率為1的普通3×3卷積,R={(-1,-1),(-1,0),…,(0,1),(1,1)}。對于輸入特征圖x,對應的特征圖位置p0的輸出y有

(1)

式中,w為每個采樣值的權重。

而對于可變形卷積來說,額外增加了一個偏移值:

(2)

實際操作中,對得到的非規則抽樣位置進行限定,使其保持在特征圖內。由于偏移值Δpn通常是小數,可采用雙線性插值法進行實現。可變形卷積的實現依賴于不規則的抽樣位置,可通過平行的卷積網絡對特征圖進行偏移位置的學習,再通過雙線性插值實現端到端的訓練。

由于可變形卷積打破了常規的抽樣區域形狀,在模型運用過程中可能會將采樣點拓展至感興趣區域之外的部分,納入更多的無關信息與上下文信息,影響模型的性能。因此,可變形卷積v2[22]提出改進方案,平行網絡不僅僅學習每個位置的偏移值,還學習每個采樣點的權重,避免極端抽樣點對網絡特征提取的影響。通過權重的控制可以有效地降低過多上下文信息的影響,增加了更大的自由度,對于可能不需要的采樣點權重可以學習成為零。其計算公式變為

(3)

通過平行的卷積神經網絡可將采樣點偏移值和權重值納入網絡學習的過程中,由最終檢測的損失函數監督學習最佳的偏移值和權重值。假設平行網絡的輸入特征圖為N通道,采樣點偏移部分對應于兩個維度的偏移值,因此輸出通道數對應于2N;而權重網絡是每個采樣點的權重值,通道數對應于輸入通道數N,其實現的框圖見圖5。

圖5 可變形卷積實現

可變形卷積雖能適應性地提取特征信息,但引入一個平行網絡加入了很多額外的計算量。若全采用可變形卷積設計網絡,會導致參數量的巨大、網絡難以訓練等問題。

綜合考慮,本文對改進的ResNet50-d特征提取網絡最后一個降采樣階段(見圖1特征提取部分)使用可變形卷積(DCNv2),在特征提取與參數量之間取得一個比較好的平衡。

1.2 艦船檢測網絡解碼

在網絡實現過程中,目標檢測分類網絡可分為3部分:類別解碼、置信度解碼和坐標框解碼。SAR圖像艦船檢測僅為艦船一類可不考慮類別解碼;置信度解碼可在輸出維度中占據固定位置,使用sigmoid函數激活,限制在區間0～1。

檢測的關鍵點在于坐標框的解碼,本文采用YOLOv3方案的解碼結構,通過網絡得到的坐標值(tx,ty,tw,th)并不是最終的坐標框結果,而是經過網絡編碼的形式,因此需要對該形式進行解碼。解碼公式如下:

bx=σ(tx)+cx

(4)

by=σ(ty)+cy

(5)

bw=pwetw

(6)

bh=pheth

(7)

式中,cx和cy代表的是檢測中心點所處網格區域的左上角坐標;pw和ph代表的是anchor的寬和高,σ(tx)和σ(ty)代表的是檢測中心點和左上角的偏移值(使用sigmoid激活函數將范圍限定在當前網格區域內);etw和eth代表預測的寬高偏移量。

得到的bw和bh即為最終坐標框的寬和高,再將檢測的bx和by乘以所采用的采樣率(8、16、32)即得到坐標框的中心坐標。

1.3 損失函數

單階段目標檢測過程中的損失函數由3部分組成:框位置損失、目標性損失以及分類損失。對于SAR圖像艦船目標檢測不需要對其進行分類,因此損失函數應由前兩者組成。

框位置損失即檢測框位置帶來的損失,由檢測框相較于特征圖位置的損失和高寬損失組成,前者損失為

(8)

寬度和高度損失為

(9)

為了提升小目標所占比重,權衡大框和小框之間的框坐標損失,最終采用的框位置損失函數乘以一個系數,即

w=2.0-tw×th

(10)

式中,w為框位置損失函數的系數;tw和th分別代表網絡模型預測的編碼寬和高(見式(6)和式(7))。編碼寬和高越大對應檢測框越大,框損失函數系數越小;編碼寬和高越小,框損失函數系數越大,由此動態調整大框和小框的不同比重。

目標性損失即置信度帶來的誤差,損失函數形式為

(11)

最終的損失函數形式為

l=w×(lxy+lwh)+lobj

(12)

2 實驗驗證

本文基于百度AI Studio云端實驗室,采用百度paddlepaddle的深度學習框架,在jupyter notebook中完成實驗。實驗的云端硬件配置為8核CPU,內存為32 GB,顯卡為Nvidia Tesla V100,顯存為16 G。

2.1 實驗數據

本文方法主要采用的數據集是海軍航空大學李健偉教授等公開的SSDD[23-26]。該數據集包含1 160張圖像、2 358只艦船目標,單張圖像包含艦船數從1到29,平均每張圖像中有2.03只艦船,包含7像素×7像素的小目標艦船到211像素×298像素的大目標艦船。該數據集中的圖像具有多種極化模式、不同分辨率、遠近海場景等,能夠較好地驗證算法有效性。由于當前該數據集并沒有統一的劃分形式,諸多其他文獻提供的算法均依照其本身實驗需要對數據集進行劃分。本文所提算法均采用統一劃分方式,可提現算法效果的提升。

2.2 訓練策略

SSDD數據集按照7∶2∶1的比例隨機劃分為訓練集、驗證集和測試集,其中測試集包含267個艦船目標,相較于其他文獻提及的數據劃分,訓練目標更少且包含更多的測試目標。訓練過程中,采用RMSProp[27]優化器,設置的初始學習率為0.001。該優化器的特點是可以自適應地調整學習率,用于解決使用Adagrad[28]后,模型訓練中后期學習率急劇下降的問題。

所有模型訓練過程中均采用了遷移訓練中預訓練模型[29],訓練200個epoch,訓練的batch size取32。訓練過程中,epoch為4的倍數或者超過150時,對模型進行驗證,保存驗證結果最優的模型直至訓練完成。另外，保存最后一次訓練模型,可加載進行再訓練。

所有模型均使用了數據增廣方法,其主要增加訓練數據集,使得數據盡可能的多樣化,有助于訓練所得模型具有更強的泛化能力,主要采用了翻轉、旋轉、縮放、裁剪、平移、加噪聲、改變對比度等隨機方案。

2.3 實驗結果

圖6展示的是本文改進之后的方案ResNet50-d-DCN在SSDD數據集上的部分預測結果,圖中的綠色框是真實標注的目標框,紅色框是算法檢測的結果。圖6(a)展示了近海岸檢測情況,圖6(b)展示了遠海小目標檢測情況,圖6(c)展示了遠海大目標檢測情況。可以看出,本文的算法能夠很好地檢測出目標,在遠海小目標、近海小目標、陸地背景干擾下依舊取得很好的效果。

圖6 基于本文方案的SSDD數據集檢測結果

表1和表2中的模型即是本文逐步改進提升的驗證結果,其中Darket53指的是原YOLOv3模型,ShuffleNetv2即輕量化設計YOLOv3模型,ResNet50以及ResNet50-d是本文最終方法ResNet50-d-DCN的中間模型。表1展示了在數據測試集上檢測的基本情況,表2展示了評價指標結果。

表1 各模型檢測效果統計結果

表2 SSDD數據集檢測結果評價指標

表1中TP(true positives)為正確檢測數目,FN(false negatives)為漏檢數目,FP(false positives)為虛警數目,GT(ground truth)為真實數目。

表2中Pd為檢測概率,PMA為漏檢概率,PFA為虛警概率,Recall為召回率,Precision為精確度,MAP(mean average precision)為平均精度。

此處采用的MAP為積分形式:

(13)

式中,P(R)指的是精度-召回率曲線。由于此處只有艦船一種檢測目標,不需要對各類別AP求平均,因此MAP=AP。

2.4 實驗分析

從表1中可以看出,本文改進算法在SSDD測試集中,共有125張圖像,267個艦船目標,正確檢測出261個目標,漏檢6個目標,虛警29個目標;而原YOLOv3模型正確檢測出255個目標,漏檢12個目標,虛警32個目標。

從表2中可以清楚地看出,一方面,相較于采用Darknet53的原YOLOv3模型,本文使用的算法ResNet50-d-DCN在SSDD測試集上mAP提高至96.64%,模型大小降低至172 MB;另一方面,同樣可以清楚地看到,通過ShuffleNetv2輕量化設計的模型在檢測效果上稍微下降了些,但考慮到模型大小僅為27 MB,對比于大小為234 MB的原YOLOv3模型,其可實現移動端嵌入式的使用。

對比Darknet53與ResNet50的模型可以發現,參數量較多的Darknet53檢測效果反而比ResNet50的效果差,這與光學圖像中檢測的結果是截然相反的。一方面考慮到可能是數據集劃分以及訓練集目標過少的原因,使得參數量大的模型難以更好的訓練;另一方面,考慮到SAR圖像本身的特性以及圖像中所包含的有用信息,光學圖像檢測方法運用于SAR圖像中應該適當地降低參數,避免重復以及無用的特征提取,這也是本文接下來的主要研究內容。

為了進一步驗證算法的有效性,本文額外使用了中國科學院空天信息研究院王超研究員團隊公開的SAR圖像船舶檢測數據集[26](SAR-Ship-Dataset)進行檢測效果的驗證,部分檢測結果如圖7所示。

圖7(a)展示了近海岸多目標檢測情況,圖7(b)展示了遠海多目標檢測效果,圖7(c)展示了復雜背景下艦船目標檢測情況,而圖7(d)展示了多尺度目標檢測效果。從圖7(c)中可以看出,本文算法具有很好的抗干擾特性,在復雜背景情況下依舊能正確識別艦船目標;從圖7(d)中可以看出,本文方法即使在艦船目標與背景不成比例情況下,對于小目標檢測效果依舊非常好。

圖7 基于本文方案的SAR-Ship-Dataset檢測結果

圖8顯示了本文ResNet50-d-DCN算法在兩個測試集檢測中的漏檢與虛警情況，圖8(a)為SSDD數據集,圖8(b)為SAR-Ship-Dataset數據集,對于近海岸目標和島嶼等目標存在著識別問題。

圖8 虛警與漏檢情況

分析原因可知:一方面,近海岸目標背景過于復雜,且目標和遠海目標數據類型不均衡,對檢測訓練造成一定的影響;另一方面,部分島嶼與艦船目標具有相似的特征,神經網絡無法忽略部分相似島嶼是不是艦船目標,對置信度閾值的設置會導致識別的最終不同結果:過低的閾值導致虛警,而過高的閾值導致漏檢。

3 結束語

本文基于深度學習的方法提出用于SAR圖像艦船檢測的改進型YOLOv3模型,不同于常規卷積的方法,采用了可依據艦船形狀與尺寸自適應采樣的可變形卷積等方法。經SSDD數據集驗證,相比較于原YOLOv3模型,在檢測效果方面,有效地降低了虛警概率和漏檢概率,提高了檢測精度;在模型大小方面,基于ShuffleNetv2的思想,對原YOLOv3進行輕量化設計,該模型大小僅為27 MB,對于未來網絡的輕量化研究具有重要的意義。

本文的下一步工作,將考慮如何在非直接遷移光學圖像檢測方法的前提下,將輕量化與精度統一起來,在有效提取目標特征的同時保持模型的輕便結構。進一步探討小樣本學習情況下,如何基于有限的數據集提升SAR圖像艦船檢測的效果并使其具有良好的泛化能力。