基于感知延伸與錨框最適匹配的遙感圖像目標檢測算法

洪偉, 趙祥模, 王鵬, 李曉艷, 邸若海, 呂志剛, 王儲

1.西安工業(yè)大學(xué)兵器科學(xué)與技術(shù)學(xué)院， 陜西西安 710021；2.西安工業(yè)大學(xué)電子信息工程學(xué)院， 陜西西安 710021；3.西安工業(yè)大學(xué)發(fā)展規(guī)劃處， 陜西西安 710021

遙感(remote sensing),指一切非接觸的超視距探測,一般指運用傳感器對物體輻射及反射特性的探測。伴隨著遙感技術(shù)不斷更新迭代,遙感圖像分辨率不斷提升,遙感數(shù)據(jù)中常見的橋梁、飛機等目標也可在圖像中清晰可見。由此可見遙感圖像可以從宏觀的角度反饋信息。因此準確地對遙感圖像進行圖像分析在軍事、民生保障、氣象測繪等領(lǐng)域十分重要[1]。

在深度卷積網(wǎng)絡(luò)的框架下,遙感圖像檢測中大部分現(xiàn)有方法依賴于復(fù)雜的R-CNN框架,如SCRDet[2]、CAD-Net[3]、ReDet[4],該框架由兩部分組成:區(qū)域建議網(wǎng)絡(luò)(RPN)及R-CNN檢測頭[5]。RPN用于從水平錨框生成高質(zhì)量的感興趣區(qū)域(ROI),并利用ROI池化算子從ROI中提取準確的特征,最后利用R-CNN進行目標分類以及邊界框回歸。但水平ROI通常會導(dǎo)致定向邊界框和目標之間嚴重錯位[6],遙感圖像中目標分布較為密集,水平ROI通常會包含多個實例。因此,需要具有不同角度、長寬比的符合需求的錨框,但生成錨框的同時會導(dǎo)致計算開銷大幅增加。近期,ROI轉(zhuǎn)換器的提出[7],利用水平ROI替換旋轉(zhuǎn)ROI的方法,解決了錨框重復(fù)生成的問題,但仍需復(fù)雜的ROI操作。與基于R-CNN的檢測器相比,單階段檢測器,如YOLO-ACN[8]、S2ANet[9]、SSD[10]、RetinaNet[11],通過回歸邊界框,并使用規(guī)則且密集的采樣錨點直接對目標進行分類。這種體系結(jié)構(gòu)具有較高的計算效率,但在精度上往往低于雙階段檢測器。現(xiàn)階段,遙感圖像目標檢測算法大多由傳統(tǒng)雙階段目標檢測算法針對遙感圖像特點改進得到。傳統(tǒng)算法雖能在常規(guī)場景的數(shù)據(jù)集上表現(xiàn)出良好的檢測性能,但是由于遙感場景中存在目標成像小、變化方向任意、變化尺度大、分布密集、背景復(fù)雜等問題,改進后的傳統(tǒng)算法仍難以有效提取遙感場景中目標的細節(jié)位置特征及充足的語義信息,導(dǎo)致檢測效果無法達到預(yù)期[12]。

為提升遙感場景下目標識別能力,考慮到遙感圖像目標變化方向的不確定性,本文針對遙感圖像目標成像小、背景復(fù)雜、分布擁擠的問題提出基于感知延伸與錨框最適匹配的遙感圖像目標檢測算法,主要工作如下:①在特征融合前利用協(xié)同注意力模塊(SEA),捕獲特征像素間關(guān)系的同時擴展模型感知區(qū)域,實現(xiàn)目標與全局的關(guān)系建模;②通過分塊裁剪輸入圖像以擴大目標在圖像中所占比例,利用感知延伸特征金字塔(HQFPN)完成特征融合,HQFPN下采樣過程中將感知增強卷積模塊與常規(guī)卷積交替構(gòu)建感知延伸下采樣模塊(EN-DilatedConv),減少下采樣過程中低層細節(jié)位置特征的丟失,解決傳統(tǒng)特征融合金字塔模塊[13]在特征融合時信息丟失的問題;③在為真實邊界框分配錨框時,采用高質(zhì)量錨框匹配算法(MaxIoUAssigner-HQ),在保證召回率的同時,減少低質(zhì)量錨框匹配的產(chǎn)生。

1 S2ANet目標檢測算法

S2ANet模型的總體框架如圖1所示。該模型使用ResNet50[14]模塊從輸入圖像提取特征,并使用包含特征對齊模塊和定向檢測模塊組成的目標檢測頭網(wǎng)絡(luò)生成旋轉(zhuǎn)預(yù)測邊界框及類別置信度,最后使用非極大值抑制(NMS)篩選結(jié)果。FAM模塊由錨優(yōu)化網(wǎng)絡(luò)(ARN)及對齊卷積層(ACL)組成。ARN是一個輕型網(wǎng)絡(luò),由錨分類分支及錨框回歸分支組成。錨分類分支將錨細分為不同類別,錨回歸分支將水平錨細化為高質(zhì)量旋轉(zhuǎn)錨框。為了加快模型推理速度,推理階段不執(zhí)行錨分類分支,轉(zhuǎn)而通過錨框回歸調(diào)整對齊卷積(AlignConv)中采樣位置。

圖1 S2ANet結(jié)構(gòu)圖

首先通過規(guī)則網(wǎng)絡(luò)Rn={(rx,ry)}對輸入特征圖X采樣,然后將加權(quán)的采樣值相加。例如R={(-1,1),(-1,0),…,(0,1),(1,1)}表示核大小為3×3,膨脹為1,對于輸出特征圖Y上的每個p∈R,采樣加權(quán)計算公式為

(1)

相對于普通卷積,對齊卷積增加偏置項O。

(2)

(3)

式中:k表示為卷積核大小;S表示采樣步長,其中R(θ)=(cosθ,-sinθ;sinθ,cosθ)T為旋轉(zhuǎn)矩陣;p位置的偏置項O可表示為

(4)

通過該方式可以將給定位置p的軸對齊卷積特征X(p)轉(zhuǎn)換為基于對應(yīng)錨框的任意方向卷積特征。

圖2a)為普通2D卷積基于錨框生成的采樣點,圖2b)為經(jīng)過AlignConv生成的旋轉(zhuǎn)錨框,箭頭表示采樣點偏移。

圖2 普通卷積與對齊卷積采樣點

圖3 HQ-S2ANet結(jié)構(gòu)圖

ACL將ARN生成的旋轉(zhuǎn)錨解碼為絕對錨框(x,w,h,θ)后與計算所得偏移量及圖像提取特征輸入對齊卷積中,以提取對齊特征。ODM模塊利用主動旋轉(zhuǎn)濾波器(ARF)緩解分類置信度和位置回歸精度的不一致性,使得目標檢測更加精準。ARF是一個K×K×N大小的濾波器,利用ARF旋轉(zhuǎn)在卷積操作中生成的特征圖具有N個方向,以實現(xiàn)對方向信息的編碼。將ARF用于卷積層,可以獲得方向敏感特征。ODM通過選擇響應(yīng)最強的方向通道匯集方向敏感特征,達到提取方向不變特征的目的。最后將方向敏感特征和方向不變特征分成2個子網(wǎng)絡(luò),分別進行邊界框回歸及目標分類。FAM與ODM組成的目標檢測頭,可以對齊具有不同方向的對象特征,從而提升目標分類的魯棒性。

2 HQ-S2ANet目標檢測算法

為解決遙感場景中目標成像小、背景復(fù)雜、分布擁擠的問題,本文提出一種改進的S2ANet遙感圖像目標檢測算法HQ-S2Anet,使用感知延伸特征融合模塊對骨干網(wǎng)絡(luò)提取特征進行融合;為錨框匹配真實標注框時采用MaxIoUAssigner-HQ算法,在保證召回率的同時,抑制低質(zhì)量匹配的發(fā)生,以增強模型檢測能力。

2.1 感知延伸特征融合模塊

2.1.1 協(xié)同注意力模塊(SEA)

自注意力機制(self-attention)作為注意力機制的重要組成部分,依賴特征個體相關(guān)性,通過接受的輸入生成像素間關(guān)聯(lián)性權(quán)重,避免外部信息對其的影響。通道注意力ECA-Net[15]在不增加網(wǎng)絡(luò)計算量的同時使網(wǎng)絡(luò)增強有用信息去除冗余特征。

為緩解自注意力獲取通道間關(guān)系能力較弱以及ECA缺乏特征局部特征關(guān)系的問題,將自注意力對上下文信息的捕捉能力以及ECA能夠加強通道間依賴關(guān)系的效果進行結(jié)合。輸入特征經(jīng)過1×1卷積后得到3個維度的向量Q(query),K(key),V(value)。將Q與K向量的轉(zhuǎn)置矩陣相乘,經(jīng)過softmax后得到權(quán)重系數(shù)A。當(dāng)矩陣A與矩陣V相乘后得到經(jīng)過自注意力處理的輸入向量權(quán)重S后,利用ECA對其進行通道間關(guān)系處理。此時得到的矩陣較通過原始輸入特征得到的矩陣,加強通道間依賴關(guān)系的同時避免了傳統(tǒng)通道注意力因降維跨通道交互所帶來的影響,由此提出了協(xié)同注意力模塊SEA。如圖4所示,利用協(xié)同注意力模塊處理主干網(wǎng)絡(luò)輸出特征,以增強特征間相關(guān)性。

圖4 協(xié)同注意力結(jié)構(gòu)圖

(5)

將權(quán)重系數(shù)A乘以V向量,得到加權(quán)后的輸入特征評分S。

(6)

將S向量reshape為三維特征向量后,經(jīng)過ECA強化通道間關(guān)系,與輸入特征向量通過add操作得到SEA模塊的輸出特征Z。

(7)

2.1.2 感知延伸特征金字塔模塊(HQFPN)

為縮短信息路徑,利用低層存在的精確位置定位信息增強特征金字塔融合效果,構(gòu)建自底向上路徑。隨著特征傳遞層數(shù)的增加,特征信息丟失逐漸增多、局部化響應(yīng)能力不足。因此,在自底向上的路徑中建立從低層到高層的捷徑分支,以彌補信息丟失,同時通過傳播低層細節(jié)的強響應(yīng),進一步增強整個特征層次的局部化響應(yīng)能力。

式中:Conv表示通道為256,核為3×3的卷積操作;Downsample()表示下采樣操作;EN-DilatedConv表示感知延伸下采樣模塊。

傳統(tǒng)特征融合模塊中,低層特征圖細節(jié)定位信息較為豐富,高層特征圖語義信息較為豐富,語義信息經(jīng)過自上而下路徑傳遞,中間經(jīng)過卷積操作及信息交互過程較少,對語義信息影響較小;淺層特征需沿骨干網(wǎng)絡(luò)傳遞,細節(jié)特征傳遞至頂層需要經(jīng)過骨干網(wǎng)絡(luò)中多次卷積、池化等操作,導(dǎo)致特征細節(jié)定位信息丟失較為嚴重,不利于淺層特征中小目標的定位。因此在原有特征融合模塊基礎(chǔ)上構(gòu)建自下而上路徑,避免底層特征經(jīng)過骨干網(wǎng)絡(luò),使底層細節(jié)位置特征傳遞至深層時保留充足的有效信息。

圖5中紅色連接線為傳統(tǒng)特征金字塔低層特征傳遞路徑,藍色連接線為HQFPN傳遞路徑,構(gòu)建捷徑分支路徑后,低層特征傳遞所經(jīng)過的網(wǎng)絡(luò)層結(jié)構(gòu)大幅減少,有效地保留了低層特征中的細節(jié)位置信息,提升了小目標識別能力。

圖5 低層特征傳遞示意圖

遙感圖像存在一定隨機性,部分目標類別排列稀疏,數(shù)據(jù)量小。該類遙感圖像包含的實際信息十分有限,圖像中目標區(qū)域較為局限,其余區(qū)域多為無關(guān)背景,大尺寸卷積操作雖能較好地提取目標語義特征,但是對于遙感圖像,擴大卷積核不僅會增加算法計算開銷,也會影響算法對密集分布目標的識別能力?？斩淳矸e在普通卷積操作的基礎(chǔ)上通過膨脹系數(shù)d控制卷積核稀疏采樣尺度,并將卷積核稀疏采樣間隔區(qū)域填充[16]。

Sw,h=Kw,h+(Kw,h-1)·(d-1)

(11)

式中:Sw,h為空洞卷積核尺寸;Kw,h為原卷積核尺寸。

故在HQFPN自底向上的下采樣過程中使用空洞卷積,在不增加有效卷積單元數(shù)量的同時延伸感知范圍。

圖6為標準卷積與空洞卷積操作示意圖,空洞卷積根據(jù)空洞率將特征間隔部分填充0,導(dǎo)致特征圖出現(xiàn)網(wǎng)格隔影[17],一定程度弱化了特征,影響下采樣后特征的顯著性。為解決該問題,本文構(gòu)建EN-DilatedConv模塊,將空洞卷積與均值池化組合使用。對于低層特征,一部分采用空洞率為2的3×3空洞卷積與輸入特征卷積后的特征組成,另一部分則由3×3大小的全局均值池化作用于輸入特征圖后得到的特征組成,兩部分特征進行相加后,作為下采樣最終的輸出結(jié)果

圖6 標準與空洞卷積操作示意圖

O=F1+F2,O∈RH×W×C

(12)

F1=ConvD(X),F2=AvgPool(X)

(13)

式中:X為輸入特征圖;ConvD()表示核大小為3,步長為2,空洞系數(shù)為2,填充為2的空洞卷積;AvgPool表示全局平均池化操作。

在自下而上特征傳遞路徑中,自最底層開始,對特征圖采取下采樣操作,逐層傳遞特征信息,與對應(yīng)自上而下路徑上的特征圖相加融合。此外將C2的特征圖經(jīng)過8倍池化后,與自下而上傳遞路徑中最頂層特征圖融合,使最頂層輸出特征圖既包含自身豐富的高階語義信息,又融合原始低層特征圖池化得到的細節(jié)信息,達到增強特征圖信息表征的能力。

最終將H3,H4,H5,C6,C7作為預(yù)測特征圖,輸出特征圖既延伸了感知范圍,又包含了低層豐富的細節(jié)定位信息及高層充足的語義信息。

2.2 錨框最適匹配方法(MaxIoUAssigner-HQ)

經(jīng)過感知增強后的特征圖傳遞到檢測頭中,FAM及ODM會得到生成的高質(zhì)量旋轉(zhuǎn)錨框與真實標注框的交并比(IOU),根據(jù)設(shè)定好的正樣本及負樣本閾值為所有錨框分配屬性。在原網(wǎng)絡(luò)中,S2ANet將IOU值低于負樣本閾值的錨框判定為負樣本,不參與真實標注框的匹配。由于航空遙感圖像目標尺度小、分布擁擠,網(wǎng)絡(luò)訓(xùn)練前期產(chǎn)生較多的低質(zhì)量匹配均被忽略,導(dǎo)致召回率過低,不利于網(wǎng)絡(luò)的損失計算,進而導(dǎo)致精度過低。改進后的S2ANet實現(xiàn)過程中,令低質(zhì)量錨框也參與真實標注框的匹配,雖保證了召回率,但一定程度上導(dǎo)致低質(zhì)量匹配的發(fā)生。

B為生成錨框(Anchor)個數(shù),G為真實標注框個數(shù)。矩陣I記錄網(wǎng)絡(luò)生成錨框與對應(yīng)真實標注框的IOU值,GA記錄真實標注框與Anchor的最大IOU值,Gi記錄對應(yīng)Anchor的索引。A記錄Anchor與真實標注框的最大IOU值,Ai記錄對應(yīng)真實標注框的索引。網(wǎng)絡(luò)生成錨框與真實標注框?qū)Ρ葧r會對GA中的值做篩選,若小于負樣本閾值,則被劃分為背景,判定該標注框無符合要求錨框。該操作會使部分真實標注框未被分配錨框,導(dǎo)致召回率過低。為解決這一問題,MaxIoUAssigner設(shè)定正樣本閾值下限,若IOU小于負樣本閾值但是大于正樣本閾值下限,則不將其劃分為背景,并將該錨框與對應(yīng)真實標注框做匹配。

由于遙感圖像部分目標分布密集,單個錨框會與多個真實目標標注框發(fā)生重疊,且由于一個錨框只允許與一個真實標注框完成匹配,高質(zhì)量匹配可能會被低質(zhì)量錨框覆蓋。若當(dāng)前錨框已與最大IOU值對應(yīng)的真實標注框完成匹配。i,j為真實標注框索引,m為Anchor索引。

此時若另一真實標注框的最大IOU也為與該錨框交并得到的

此時

Ai[Gi[m]]=j

(23)

匹配IOU大于該樣本閾值,導(dǎo)致與該錨框IOU最大的真實標注框i被重寫為j,該錨框被分配了IOU值較低的真實標注框,甚至可能為負樣本,導(dǎo)致錨框匹配質(zhì)量過低,影響邊界框回歸以及分類損失,進而影響模型精度。針對以上問題,本文提出MaxIoUAssigner-HQ高質(zhì)量錨框匹配方法。

表1為MaxIoUAssigner-HQ算法偽代碼,在為真實標注框分配其IOU最大錨框時通過常數(shù)因子控制,若該IOU值為當(dāng)前錨框與真實標注框交并最大值,則允許匹配。若不為最大值,則與最大值做差值,當(dāng)差值小于常數(shù)因子時,允許匹配發(fā)生,當(dāng)大于常數(shù)因子時則拒絕匹配。通過常數(shù)因子限定匹配的發(fā)生,在保證召回率的同時,防止低質(zhì)量匹配發(fā)生,避免高質(zhì)量錨框被重寫。

表1 MaxIoUAssigner-HQ算法偽代碼

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集與評價指標

為驗證改進算法的有效性,設(shè)計實驗在DOTAV1.0數(shù)據(jù)集上進行驗證。DOTA數(shù)據(jù)集來源包含不同傳感器和平臺,包括 Google Earth、JL-1衛(wèi)星拍攝,以及中國資源衛(wèi)星數(shù)據(jù)和應(yīng)用中心的GF-2衛(wèi)星拍攝。數(shù)據(jù)集共計2 806幅航拍圖,每張圖像的像素尺寸在800×800到4 000×4 000的范圍內(nèi),包含不同尺度、方向和形狀的物體。類別包括:plane,baseball-diamond,bridge,ground-t-field,small-vehicle,large-vehicle,ship,tennis-court,basketball-court,storage-tank,soccer-ball-field,roundabout,harbor,swimming-pool,helicopter。由于DOTA測試集未公開相應(yīng)類別標簽文件,本次實驗采用官方給定訓(xùn)練集進行訓(xùn)練,不設(shè)置驗證集,劃分官方驗證集作為測試集,驗證集與測試集無相同圖片。采用mAP作為評價指標。

3.2 實驗環(huán)境及參數(shù)設(shè)置

實驗環(huán)境為Ubuntu18.04,Pytorch版本為1.8.1,服務(wù)器硬件配置為NVIDIA RTX3070(8GB顯存)顯卡,Inter core i5處理器。

本文采用的DOTA數(shù)據(jù)集中圖像分辨率集中在800×800到4 000×4 000的范圍內(nèi),若直接將大分辨率圖像輸入網(wǎng)絡(luò)或?qū)е聟?shù)量過大,圖形計算單元無法負荷。經(jīng)過實驗,將輸入分辨率改為2 048×2 048后,網(wǎng)絡(luò)無法在當(dāng)前硬件環(huán)境下運行。若分辨率過小,將導(dǎo)致可學(xué)習(xí)特征減少,網(wǎng)絡(luò)無法獲取足夠的空間定位信息及語義信息,進而導(dǎo)致網(wǎng)絡(luò)檢測性能下降。故本文對數(shù)據(jù)集中圖片進行裁剪操作,將大分辨圖片裁剪為若干尺寸為1 024×1 024的子圖。實驗時輸入圖像尺寸為1 024×1 024,由于硬件環(huán)境制約,設(shè)置batch-size為2,初始學(xué)習(xí)率設(shè)為0.002 5,動量設(shè)為0.9,使用隨機梯度下降(SGD)優(yōu)化器。考慮到數(shù)據(jù)集規(guī)模及模型復(fù)雜度,為防止模型出現(xiàn)過擬合現(xiàn)象,將訓(xùn)練Epochs設(shè)為20,訓(xùn)練過程中,第一個Epoch使用Warmup算法進行預(yù)熱;輸出預(yù)測結(jié)果后,使用NMS算法進行處理。

3.3 結(jié)果分析

圖7展示了S2ANet與HQ-S2ANet在DOTA遙感目標驗證集的部分檢測結(jié)果圖,圖中上半部分為原始圖片,下半部分為框選區(qū)域局部放大圖。圖中可看出目標排列密集、尺寸小,變化范圍大、變化方向任意的特點。S2ANet會出現(xiàn)漏檢或者誤檢的問題。S2ANet對圖7a)左側(cè)尺寸較小的卡車不夠敏感,在圖7c)中會忽略右側(cè)汽車目標且出現(xiàn)了誤檢及重復(fù)檢測的問題,而HQ-S2ANet避免了上述問題的發(fā)生。

圖7 DOTA數(shù)據(jù)集上部分檢測結(jié)果

為驗證所提算法的性能,在劃分測試集上進行實驗,并對比了文中模型以及其他先進模型。結(jié)果如表2所示。類別分別為PL:plane,BD:baseball-diamond,BR:bridge,GTF:ground-t-field,SV:small-vehicle,LV:large-vehicle,SH:ship,TC:tennis-court,BC:basketball-court,ST:storage-tank,SBF:soccer-ball-field,RA:roundabout,HA:harbor,SP:swimming-pool,HC:helicopter。

表2 HQ-S2ANet與其他先進模型在DOTA數(shù)據(jù)集上的性能比較 %

在DOTA數(shù)據(jù)集上,HQ-S2ANet的mAP為71.3%,與原算法S2ANet精度相比提高3.1%,與Rotated-atss算法相比提高3.3%。Rotated-retinanet精度為65.70%。Rotated-CFA精度為67.30%,該算法雖能較好地檢測PL,BR這類分布較為稀疏且目標大小適中的目標,但對于密集目標,如SV,其精度較低。改進算法對SV,HC這類分布密集小目標的AP明顯較高,表明其具備解決遙感圖像檢測難點的能力,能從復(fù)雜背景中提取特征信息較少且語義信息較弱的目標。

圖8為HQ-S2ANet與S2ANet特征融合后的熱力圖結(jié)果,圖8a)～8c)為S2ANet輸出結(jié)果, 圖8d～8f)為HQ-S2ANet輸出結(jié)果。圖8b),8e)為FPN與HQFPN最底層特征圖特征可視化,包含豐富細節(jié)定位信息。圖8e)中經(jīng)過SEA加權(quán)后的特征對小目標給予更高關(guān)注度,與圖8b)相比,HQ-S2ANet關(guān)注區(qū)域更廣、對目標關(guān)注程度更高。圖8f)為圖8e)經(jīng)過HQFPN下采樣模塊細化特征后的熱力圖。較圖8c)經(jīng)過傳統(tǒng)下采樣處理,圖8f)擴大感受野的同時捕獲鄰近目標間關(guān)系,目標邊緣特征更加明確。

圖8 S2ANet與HQ-S2ANet特征可視化

圖9 錨框閾值與mAP及部分類別召回率關(guān)系

3.4 消融實驗

將HQFPN,MaxIoUAssigner-HQ、協(xié)同注意力模塊依次嵌入到S2ANet模型,為驗證模塊有效性,結(jié)果如表3所示。

表3 DOTA數(shù)據(jù)集上的消融實驗研究

嵌入各個模塊后,均能獲得比原始網(wǎng)絡(luò)更高的精度。其中嵌入HQFPN模塊后,由于特征圖經(jīng)過增強,通過大感受野的方式融合了低層細節(jié)位置信息以及高層語義信息,mAP提升0.7%。再進一步優(yōu)化錨框匹配策略,為抑制錨框低質(zhì)量匹配的發(fā)生,嵌入MaxIoUAssigner-HQ模塊后,mAP提升0.8%,證明該模塊在保證召回率的同時提升了網(wǎng)絡(luò)識別精度。為捕獲特征中的上下文信息并獲取通道間依賴關(guān)系,將SEA模塊加入網(wǎng)絡(luò)。特征圖經(jīng)過注意力加權(quán)后,更加注重有效信息的提取,mAP提升1.6%,證明網(wǎng)絡(luò)完成局部間信息交互的同時捕獲了通道間信息依賴,能夠顯著提升目標檢測精度。

3.4.1 注意力模塊對比實驗

該實驗在DOTA數(shù)據(jù)集上對2種注意力融合的先后順序進行了測試,第一種方式為利用通道注意力對自注意力中Q,K,V向量進行加權(quán)后計算關(guān)聯(lián)度矩陣,第二種方式為利用通道注意力對自注意力機制得到的向量評分矩陣進行加權(quán)處理后與向量S相加。由于目標種類過多,表中只取尺寸較小及分布較為密集的2類目標,如表4所示。

表4 不同注意力融合方式的HQ-S2ANet性能比較 %

若過早地使用通道注意力對自注意力機制中Q,K,V矩陣進行加權(quán),由于通道間權(quán)重經(jīng)過softmax處理,值域為0～1之間,原始矩陣在與其相乘后,一定程度上弱化了特征。自注意力機制在后續(xù)處理過程中,多次運用到Q,K,V進行計算,導(dǎo)致特征的弱化影響被不同程度放大了。故使用Self-ECA構(gòu)造協(xié)同注意力結(jié)構(gòu),對網(wǎng)絡(luò)的預(yù)測精度影響較小。

3.4.2 下采樣方式對比實驗

表5對比了在DOTA數(shù)據(jù)集上3種下采樣方式,方式1在低層使用空洞系數(shù)為2的空洞卷積,高層使用普通卷積;方式2下采樣全過程使用空洞系數(shù)為2的空洞卷積;方式3在低層使用空洞系數(shù)為2的空洞卷積及均值池化對特征進行提取后將2種特征圖相加傳入下一層,高層則使用普通卷積。

表5 不同下采樣方式的HQ-S2ANet性能比較 %

根據(jù)結(jié)果分析,下采樣方式1與方式2均因空洞卷積的使用,導(dǎo)致了網(wǎng)格隔影的產(chǎn)生,在一定程度上弱化了特征,這對以小目標為主的遙感圖像檢測影響較大。方式3利用均值池化與空洞卷積相加的方式,在獲得大感受野的同時彌補了空洞卷積對特征的弱化,從而提升了網(wǎng)絡(luò)性能。

3.4.3 錨框閾值對比實驗

表6為HQ-S2ANet在控制變量的基礎(chǔ)上,在DOTA數(shù)據(jù)集中對比不同閾值下錨框匹配的檢測效果。實驗采用的模型為HQ-S2ANet,將閾值設(shè)定為0.4,0.6,0.8進行實驗。從實驗結(jié)果可以看出,當(dāng)閾值為0.8時,部分高質(zhì)量匹配仍會被負樣本匹配重寫,由于未能有效抑制錨框低質(zhì)量匹配發(fā)生,導(dǎo)致召回率雖優(yōu)于閾值為0.4的對照組,但模型精度仍不理想。閾值為0.4時,部分正樣本錨框被忽略,導(dǎo)致召回率過低影響網(wǎng)絡(luò)精度。根據(jù)結(jié)果判斷,最優(yōu)閾值處于0.4～0.8區(qū)間,故設(shè)定閾值為0.5,0.7,進一步實驗判斷。閾值設(shè)定為0.5,0.7時,模型精度高于0.4,0.8且低于0.6,故判斷最優(yōu)閾值為0.6?；谀Ｐ途鹊目紤],設(shè)定閾值為0.6。

表6 不同錨框閾值的HQ-S2ANet性能比較 %

3.4.4 算法復(fù)雜度分析

表7表明,基于S2ANet與改進的HQ-S2ANet算法相比,浮點型運算量僅增加6.08G,參數(shù)量增加2.61M,識別精度更高,較S2ANet提升3.1%。與當(dāng)前遙感圖像目標檢測領(lǐng)域主流算法Rotated-retinanet及Rotated-reppoints相比,雖參數(shù)量有所提升,但精度提升明顯。由此證明:本文所提改進算法HQ-S2ANet在計算開銷增加較少的前提下, 大幅提升了算法識別能力。

表7 模型算法復(fù)雜度與mAP統(tǒng)計

4 結(jié) 語

遙感圖像的目標檢測在多個領(lǐng)域具有重要研究意義,為解決遙感圖像目標成像小、分布擁擠、背景復(fù)雜的問題,提出一種基于感知延伸與錨框最適匹配的遙感圖像目標檢測算法HQ-S2ANet。在特征融合下采樣過程中將感知延伸卷積模塊與常規(guī)卷積交替堆疊構(gòu)建HQFPN模塊,減少下采樣過程中低層細節(jié)位置信息的丟失以增強網(wǎng)絡(luò)對小目標的識別能力;為解決遙感目標圖像分布擁擠的問題,在為真實邊界框分配錨框時,提出高質(zhì)量錨框匹配算法,在保證召回率的同時,減少低質(zhì)量錨框匹配的產(chǎn)生;同時設(shè)計了協(xié)同注意力模塊,以較低的計算開銷增強了模型對目標與全局特征的建模能力,進而提升模型識別能力。通過在DOTA數(shù)據(jù)集上的實驗,以及與先進模型的對比表明,所提算法可以提升在遙感圖像中的目標檢測能力,驗證了所提模型的有效性。錨框匹配算法中,限定閾值對不同數(shù)據(jù)可適應(yīng)性不足,下一步考慮網(wǎng)絡(luò)通過學(xué)習(xí)得到最適閾值,在不影響精度的情況下提升方法的魯棒性。