基于特征對齊和融合的艦船小目標檢測方法

楊 程,林澤南,王麒風,陳舒敏,林 晨

(1.中國船舶集團有限公司第七二三研究所,江蘇 揚州 225101;2.海軍裝備部,北京 100084)

0 引 言

受益于探測器和遙感技術的不斷發展,遙感圖像的解釋精度也在不斷提高,基于深度學習的目標檢測算法得以滿足軍事偵察、城市規劃、戰略部署等實際場景的應用需求,極大地推動了地球觀測技術和相關目標檢測方法的發展。在這些目標檢測器中,特征金字塔網絡(FPN)[1]作為一種簡單有效的兩階段目標檢測框架,通過將經過通道數降維的語義強特征從高層級向低層級傳播,在卷積網絡固有的特征層級上構建一個特征金字塔,來提升檢測器對多尺度目標的檢測能力,從而被廣泛應用于光學遙感圖像的檢測任務中。

盡管當前學者們基于FPN提出了大量針對光學遙感艦船目標的檢測方法,如Gao等人[2]提出了一種有效的訓練策略,將大量僅包含陸地區域的圖像作為負樣本合并,使得艦船檢測任務無需預先進行海陸分割,避免了分割帶來的參數增加和虛警提升。Feng等人[3]在FPN中引入了一個新的序列級局部上下文模塊,從而在大規模遙感圖像中生成更精確的候選框,提升遙感艦船目標的檢測效率。Wu等人[4]提出了一種新的從粗到細的船舶檢測網絡,直接實現了從圖像像素到具有置信度邊界框的端到端映射。然而,受制于FPN中特征金字塔在特征融合前后存在的一些設計缺陷,以及其金字塔層級和候選框大小之間啟發式的映射機制,使得FPN淺層特征圖對小目標特征的學習能力弱且小,目標深層語義特征與淺層空間特征不匹配,導致基于FPN的檢測器在實際小目標檢測任務中仍然存在檢測性能不佳的問題。

本文提出了一種基于特征對齊和融合的光學遙感艦船小目標檢測方法。通過在相鄰層級特征圖間添加權重系數,并設計一種新的自上而下的躍層連接策略,來解決淺層特征層中對小目標特征學習能力不夠和小目標語義特征信息不足的問題。其次,針對相鄰層級特征圖中目標語義特征和空間特征不匹配的問題,將FPN原有的最近鄰上采樣替換為加入特征對齊模塊的特征對齊上采樣,進一步解決了因相鄰層級特征未匹配而產生的小目標特征丟失問題。最后,在基于DOTA[5]和NWPU VHR-10[6]遙感數據構建的小目標數據集上進行了消融實驗和對比實驗,實驗結果均驗證了所提方法的有效性。

1 基于特征對齊和融合的艦船小目標檢測方法

基于候選區域的兩階段目標檢測算法[7-8],通常將檢測任務分為分類和回歸2個任務,采取先提取足夠的候選框進行目標實例的分類,再對分類后候選框的位置進行預測的方法來完成檢測任務。因此,為了優化檢測器對小目標的識別和檢測能力,設計了一種基于候選區域的小目標檢測方法,其網絡結構示意圖如圖1所示,其中包括在FPN中加入的特征融合因子、躍層連接策略和特征對齊模塊。

1.1 特征融合因子

FPN特征融合前的主要缺陷在于淺層特征圖對小目標特征的學習能力不足,因此在相鄰層級特征圖融合時,為保證淺層特征圖小目標的特征信息,在深層特征圖上添加一個權重系數來控制語義特征信息的傳遞,從而使FPN的淺層特征圖更加適應小尺寸目標的檢測任務。FPN添加融合因子后,相鄰層級間的特征融合如下所示:

Pi=Qouti(Qini(Ci)+αi×fup(Pi+1))

(1)

式中:Pi,i∈(2,3,4)為FPN中不同層級的特征圖;Ci,i∈(2,3,4)為骨干網絡中不同層級的特征圖;Qout為用于處理特征圖的卷積運算;Qin為特征圖降維時的卷積運算;fup為用于深層特征圖2倍上采樣的運算;αi∈(0,1],i∈(2,3,4)為融合因子,α=1時特征融合方式與原始FPN相一致。

針對α參數設置的選擇,首先,按五等分點在0到1之間取值;其次,通過實驗得到該參數下小目標的檢測性能,以α=1時的檢測性能為基準進行對比。對比圖如圖2所示。

由圖2可以看出,小目標檢測性能隨著α的增大,呈現先提升后降低的趨勢,且在0.6附近取得最大值。因此,進一步采用隨機搜索的方法在區間[0.4,0.8]內進行α的調優,并在α=0.5時取得最優結果。

1.2 特征融合策略

密集連接是一種可以確保特征信息最大程度流動在網絡各層之間的連接方式[9],它利用前饋式的連接方法將每一層特征映射到后續層上。因此,為了緩解FPN在特征融合后淺層特征圖語義特征不足的問題,并在自上而下的金字塔路徑中更好地傳遞深層語義特征,本文借鑒密集連接的思路設計了3種躍層連接策略,在確保模型計算量增加較小的情況下,增強FPN淺層特征層的語義特征表示,提升檢測器的小目標分類性能。3種不同的躍層連接策略,其結構示意圖如圖3所示。

圖3 3種FPN躍層連接結構示意圖

躍層連接策略的設計思路延續了FPN上采樣的融合策略,但與FPN不同的是,將深層特征圖進行了更高倍數的上采樣來與更淺層的特征圖尺寸匹配,從而便于融合兩者的特征信息。并且為了節省參數和計算量,延續采用了FPN特征圖融合之間元素級相加,而舍棄了密集連接中合并數組的方法。

1.3 特征對齊模塊

FPN在恢復圖像分辨率的過程中均采用最鄰近上采樣法,通過在原始圖像中找到一個最接近的像素點,然后將其像素值插入到上采樣圖像中,從而完成對原始圖像的放縮。但這種方法在對特征圖上采樣后,特別是采用躍層連接策略后,很容易造成兩幅特征圖中小目標特征的不對齊,使小目標的語義或空間特征淹沒在背景噪聲中。如圖4所示,最近鄰上采樣融合后,標注框內小目標的特征丟失。

圖4 最近鄰上采樣示意圖

因此,引入一個特征對齊模塊,能建立特征映射之間明確的對應關系,解決特征之間的誤對齊,盡可能減少小目標的深層語義特征和淺層空間特征在傳遞過程中的損失,其結構示意圖如圖5所示。

圖5 特征對齊模塊結構示意圖

首先通過1×1卷積層將深層和淺層特征圖壓縮至相同的通道深度,然后將經過雙線性插值上采樣后的深層特征圖與淺層特征圖合并在一起,輸入到3×3的卷積層中預測特征的偏移量:

ΔRi-1=Qpi(concat(Qi(fup(Fi)),

Qi-1(Fi-1)))

(2)

式中:Fi,Fi-1,i∈(3,4,5)分別為深層和淺層特征圖;Qi,Qi-1為用于通道壓縮的卷積運算;fup為用于特征圖上采樣的運算;Qp為用于特征偏移量預測的卷積運算;ΔRi-1∈RHi-1×Wi-1×2為預測得到的偏移場。

然后根據得到的偏移場ΔRi-1,將淺層特征圖上的每一個像素點pi-1通過加法運算映射到深層特征圖的像素點pi上。但此時淺層特征圖和偏移場之間分辨率存在差距,因此需將偏移量縮減至一半:

(3)

式中:pi,pi-1,i∈(3,4,5)分別為特征圖上對應的像素點;ΔRi-1為預測得到的特征偏移量。

最后,利用偏移場預測的雙線性核權重線性內插深層特征圖中pi像素點的左上、右上、右下和左下位置的像素點像素值,完成特征對齊上采樣:

(4)

式中:N(pi)為深層特征圖中像素點的鄰接點;ωp為雙線性核權重。

特征對齊模塊的可視化流程圖如圖6所示。

由圖6可見,經過特征對齊模塊得到的特征圖,相較于原始的FPN上采樣特征圖,其目標的深層語義特征能更好地收斂至淺層特征圖中相對應的位置上,降低了后續小目標特征在融合過程中的丟失程度。與此同時,特征對齊也抑制了特征圖中部分背景噪聲,為后續小目標的識別任務提供了良好的特征基礎,因此采用特征對齊模塊能有效地提升小目標的檢測性能。

相較于其它基于GAN或超分辨的特征增強方法,特征對齊模塊的參數量和計算量都小得多,且訓練較為簡單穩定。其次,基于GAN的增強方法主要通過縮小艦船小目標與大目標之間的特征表示差異,來解決檢測器檢測艦船小目標困難的問題,從而達到增強艦船小目標特征的目的。而本文的方法側重于通過對齊深層和淺層的小目標特征來增強淺層小目標的特征表示能力,相較于信賴GAN生成的艦船小目標特征,充分利用現有的艦船小目標特征,具有一定的可靠性和穩定性。因此通過利用特征對齊模塊,將語義信息更加有效地從深層傳遞到淺層,能在豐富淺層艦船小目標特征語義表示的同時抑制背景噪聲,從而進一步提升檢測器對艦船小目標的區分能力。

2 實驗設置與結果分析

2.1 實驗環境及參數設定

本實驗配置如下:基于NVIDI單卡RTX 2080Ti和Intel(R) Core(TM) i7-9700K CPU @ 3.6 GHz搭建的硬件平臺,基于Ubuntu 16.04 LTS系統搭建的Pytorch軟件平臺。訓練中,采用ResNet50-D模型作為骨干網絡,總批量大小為4,學習率為0.002 5,學習策略為warm up[10],隨機梯度下降優化器[11-12]的權重衰減和動量分別為0.000 1和0.9,Anchor比例為[0.5,1.0,2.0],尺度為[4,8,16,32,64],正樣本閾值為0.7,負樣本閾值為0.3,每個圖像的候選框數量和最大預測數量均為2 000,分類和回歸損失函數為交叉損失和Smooth L1損失函數[13]。

2.2 實驗數據集

實驗所用驗證數據集選取DOTA和NWPU VHR-10遙感數據集作為基準,采用重新標注之前忽略的10及以下像素的DOTA v1.5和原始專家手動注釋的NWPU VHR-10標注結果,選取2個原始數據集中船舶和汽車這2個尺寸實例小且數量占比大的目標實例,經過標簽處理后,按3∶1∶2的比例將原始數據集劃分為訓練集、驗證集和測試集,完成小目標數據集的構建。由于顯卡內存的限制,大尺寸的遙感圖像無法直接送入檢測器進行訓練,因此,將原始圖像按步幅200裁剪成800×800的圖像[12]。

2.3 實驗結果與分析

2.3.1 評價指標

本文采用精準率、召回率和平均精度(AP)的檢測精度為度量標準。計算公式為:

(5)

式中:P表示精確度;R表示召回率;Pt表示正類中判為正類的數量;Pt表示正類中判為負類的數量;Nf表示負類中判為正類的數量。

為方便與主流檢測算法對比,采用PASCA VOC[14-15]的AP,計算方式并通過計算所有類別AP值的平均值得到mAP。

2.3.2 消融實驗結果

為驗證對FPN改進的有效性,在所構數據集上進行了2個消融實驗,分別為3種躍層連接策略的消融對比實驗和3種改進方法的消融實驗,其中躍層連接策略的實驗結果如表1所示。

表1 躍層連接策略的消融對比實驗結果(%)

從表中可以看到,圖3(a)和(c)2種躍層連接策略在FPN和FAM-FPN上均能有效提升檢測器的檢測精度。尤其采用FAM-FPN時,相較于原始的FPN,所提出的特征對齊模塊很好地提高了小目標的檢測精度,優于采用FPN的表現,其原因為躍層連接中高倍的上采樣操作,加劇了層級間特征的不匹配,導致融合后淺層特征圖中部分小目標的特征表示丟失。而3種躍層連接策略在FPN上的表現均遜色于在FAM-FPN中的表現,其原因是躍層連接中如果依舊采用插值算法進行深層特征圖的上采樣操作,會加劇層級間特征的不對齊,嚴重影響了淺層特征圖中小目標的空間特征表示,而特征對齊模塊在躍層連接中更能有效緩解這一問題。對比3種躍層連接策略的實驗結果可以發現,軟連接的跨層級融合策略(如圖3(c))相比于密集連接的跨層級策略(如圖3(a)和(b)),更適用于小目標的檢測任務。因此,采用軟連接的跨層級融合策略結合特征對齊模塊能更好地匹配小目標不同層級間的有關特征,確保網絡各層級之間小目標有關特征的流動性,且最大程度上減少了淺層特征中的小目標語義和空間特征的丟失,利于后續檢測器對小目標的檢測任務。為了更好地評價改進方法的小目標檢測性能,也進行了3種改進方法的消融實驗,實驗結果如表2所示。

表2 基于特征對齊和融合的檢測方法的消融實驗結果(%)

從表2中可以看到,自上而下的ResNet+FPN層級間特征融合結構,一定程度能增強小目標的特征表示能力,但也存在上文中所提到的3個問題。消融實驗結果表明,結構層級間融合因子、特征對齊模塊和躍層連接策略3種對FPN的改進方法均在一定程度上提升了檢測器的小目標檢測能力,深層特征圖融合權重和特征對齊模塊有效緩解了FPN在融合過程中出現的深層語義特征不足和淺層空間特征模糊的問題。首先深層特征圖融合權重優化了FPN層級和候選框大小之間的映射機制,使淺層特征圖能更好地學習小目標的特征;其次,特征對齊模塊利用特征偏移場很好地解決了FPN進行插值上采樣時出現的特征不對齊的情況,從而在后續特征融合時,能更加準確且有效地將深層語義信息傳遞到淺層特征圖中,并且躍層連接策略也能在小目標特征有限的情況下,最大程度上確保小目標語義特征能流動在網絡的各層級之間。結合表1躍層連接策略有關的消融實驗結果看,特征對齊模塊在多倍上采樣的過程中,能更好地匹配特征層級間小目標的有關特征,從而提升檢測器對小目標的識別精度。消融實驗結果表明,所提出的方法均有益于光學遙感小目標檢測任務,各方法mAP指標相較于原先的FPN分別提升了1.1,3.85和5.79,其中3種改進方法組合的提升效果最為明顯。

2.3.3 對比實驗結果

為準確衡量改進后檢測器的檢測性能,在相同的實驗條件下,將所提出的改進方法與3種主流算法進行對比,實驗結果如表3所示。從精度指標的直觀分析可以發現,所提出的改進方法在船舶和小型車輛實例以及mAP上均領先于其它主流檢測算法,其中與Faster R-CNN[1]相比mAP提升了9.63,與基于Faster R-CNN改進的Faster R-CNN with FPN[16]相比mAP提升了5.79,相較于更適用于較小目標的SCRDet[17]檢測方法mAP提升了1.69。實驗結果驗證了所提改進模型在小目標檢測任務中良好的檢測性能。

表3 性能對比實驗結果(%)

2.3.4 實驗結果可視化

改進的檢測器在驗證數據集上的部分檢測結果如圖7所示。從圖中可以看到,所提改進方法在光學遙感圖像上能夠比較全面且準確地識別出船舶和汽車實例,尤其是船舶實例,在其密集或者稀疏分布于港口或海面時,均能被改進的算法識別檢測到。

3 結束語

本文主要針對目前基于FPN改進的光學遙感艦船小目標檢測方法所存在的淺層特征層對小目標特征的學習能力不夠、淺層小目標語義特征信息不足和層級內小目標有關特征不匹配的問題,進行了深入分析,提出了基于特征對齊和融合的小目標檢測方法,采用層級間特征融合因子、特征對齊和躍層連接的改進方法,有效提升了檢測器的小目標檢測性能。在以DOTA和NWPU VHR-10數據集為基準構建的小目標檢測數據集上對所提改進方法的有效性進行了驗證,并與其它3種主流算法對比,實驗結果表明,本文所提出的方法在光學遙感圖像的檢測任務中能更好地檢測出艦船小目標實例。