999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

融合特征增強和自注意力的SSD小目標檢測算法

2022-04-09 07:06:04張馨月降愛蓮
計算機工程與應用 2022年5期
關鍵詞:語義特征檢測

張馨月,降愛蓮

太原理工大學 信息與計算機學院,山西 晉中 030600

小目標檢測是指針對圖像中像素占比較少的目標,借助計算機視覺在圖像中找到并判斷該目標所屬類別的目標檢測技術,目前已被廣泛應用于國防軍事、交通運輸、工業等領域[1]。在復雜的現實場景中,由于拍攝角度不同、非目標物體遮擋、成像天氣和光照條件各異,導致小目標不易定位,難以辨別[2]。同時,小尺寸目標缺乏區分自身與背景或相似類別的外觀信息,且在深度卷積網絡中極易丟失特征信息,在檢測時容易出現漏檢和誤檢的情況[3],因此在復雜場景中準確定位和識別小目標是計算機視覺中一項具有挑戰性的任務。

隨著深度學習的快速發展,目標檢測取得了顯著的進展。基于卷積神經網絡的目標檢測算法分為兩類,分別是兩階段目標檢測算法和單階段目標檢測算法。單階段目標檢測算法可以通過圖像上規則和密集的采樣網格來定位對象,實現了端到端的目標檢測,相比于兩階段目標檢測算法,具有較高的檢測準確率和檢測速度,如YOLOv3[4]和SSD[5](single shot multibox detector)等。為了能夠檢測尺寸差距很大的目標,SSD首次將特征金字塔的思想應用于目標檢測,從多尺度特征圖中檢測具有不同尺度和縱橫比的目標。但自底向上提取特征的模型,淺層特征圖缺乏語義信息,深層特征圖缺乏位置信息,導致小目標的檢測準確率較低。因此,很多學者提出通過增強SSD模型的語義信息,達到進一步提高小目標檢測的效果。DSSD[6]利用跳躍連接和反卷積層融合上下文信息,豐富了淺層特征圖的語義信息,但由于模型參數量較大導致檢測速度較慢。MDSSD[7]通過融合深層語義信息生成信息豐富的特征圖,增強了特征圖中小目標的語義特征。梁延禹等[8]提出采用密集連接結構提高主干的特征提取能力,并使用特征圖空間和通道間的全局信息,增強淺層特征中小目標的上下文語義信息。Zhai等[9]提出了一種多尺度特征層次的融合機制,將網絡結構中的淺層位置特征與深層語義特征有機地相結合。Huang等[10]提出使用跨尺度特征融合的方法增強了上下文之間的關聯,但跨尺度特征圖存在語義差異,直接融合可能導致位置偏移和混疊效應[11]。FPN(feature pyramid network)[12]引入自深向淺的語義信息傳遞路徑,通過融合相鄰特征圖的方式增強淺層特征圖的語義信息。Tan等[13]提出的雙向特征金字塔網絡,通過引入可學習的權值來學習不同輸入特征的重要性,提高了小目標的檢測準確率。

本文提出了一種不僅能增強淺層特征圖語義信息,又能平衡特征圖間特征信息的算法:融合特征增強和自注意力的SSD小目標檢測算法FA-SSD,該算法具有以下4個特點:

(1)在SSD基礎上添加一條自深向淺的遞歸反向路徑,采用遞歸的方式融合上采樣深層特征圖與淺層特征圖,從深層向淺層傳遞語義信息,增強淺層特征圖的語義信息。

(2)提取并融合深層多尺度特征圖的全局上下文信息、局部上下文信息和語義信息,增強深層特征信息的可鑒別性。

(3)采用亞像素卷積和逐層并聯的膨脹卷積,擴大特征圖的分辨率并提取目標周圍的上下文信息,增強上采樣后特征圖的語義信息。

(4)利用自注意力機制自適應地調整融合了深層語義信息和淺層位置信息的特征圖,增強特征圖中關鍵信息的權重,緩解融合特征圖產生的混疊效應和位置偏移。

1 相關工作介紹

1.1 SSD目標檢測模型

SSD模型是一種基于卷積神經網絡的單階段目標檢測模型,該模型使用VGG16網絡作為骨干網絡,將VGG16網絡末端的全連接層轉換為卷積層,并在此基礎上新增額外的卷積層來獲得更多的特征圖,然后使用VGG16網絡和新添加的卷積層中分辨率不同的特征圖獨立地預測。SSD的網絡結構如圖1所示,其首先對原始輸入圖像進行規范化處理,將其縮放至固定大小,作為模型的輸入;其次,使用SSD網絡提取輸入圖像的特征,得到尺寸大小為38×38×512、19×19×1 024、10×10×512、5×5×256、3×3×256和1×1×256的6個多尺度特征層,每個特征層側重于提取特定尺度對象的特征信息,其中深層特征圖關注大目標的特征,淺層特征圖關注小目標的特征;最后,對不同尺寸的特征圖設置不同長寬比和數量的先驗框,通過兩個3×3卷積層預測默認邊界框的類分數和位置偏移量,使用最大值抑制分解(NMS)的后處理策略來獲得最終的定位邊界框[14]。

圖1 SSD網絡結構Fig.1 Network structure of SSD

SSD模型采用先驗框機制,在特征圖的每個單元格上設置不同長寬比的默認先驗框。淺層特征圖具有較小的感受野,包含了豐富的位置信息,能夠準確地定位目標的位置,且分辨率大,像素點多,在每個像素點設置4個尺寸較小的先驗框,適合檢測尺寸較小的目標,但其語義信息表達能力弱,不利于目標的分類。深層特征圖具有較大感受野,包含了豐富的語義信息,能夠準確地對目標進行分類,且分辨率小,像素點少,生成的先驗框尺寸較大,可以更好地對應尺寸較大的目標,適合檢測大目標。

1.2 注意力機制

深度學習中的注意力機制從本質上講和人類的選擇性視覺注意力機制類似,核心目標是從眾多信息中選擇出對當前任務目標更關鍵的信息,能夠有效提高感知信息處理的效率和準確性[15]。如今,將注意力機制應用在目標檢測上的模型都取得了良好的效果。SENet[16]是經典的通道注意力機制,其通過學習信道之間的依賴關系,動態增強或者抑制各通道的特征,增強網絡的表示能力。CBAM[17]結合空間和通道注意力機制,通過學習加強或抑制相關的特征信息,有效地幫助信息在網絡傳遞。

自注意力機制是注意力機制的一個分支,它基于內部的相關性,依靠自身的輸入生成注意力權重,減少了對外部信息的依賴。自注意力機制可以捕獲特征圖的全局信息,學習上下文間的相關性,獲得更關鍵的特征信息,從而使網絡能夠更加準確高效地識別目標。Vaswani等[18]首次提出使用自注意力機制刻畫輸入和輸出間的全局依賴關系,并將其應用于機器翻譯。DANet[19]通過自注意力機制從全局視野自適應地整合了任何尺度的相似特征,將局部特征和全局的依賴性自適應地整合到一起。AFF[20]提出了注意力特征融合模塊,將局部信道上下文添加到全局信道中,克服了輸入特征之間的語義差異和尺度不一致問題。

2 提出的方法

SSD模型利用多尺度特征圖進行多尺度預測,能夠同時檢測到不同大小的目標。但是,由于淺層特征圖提取到的特征缺乏語義信息,導致SSD在檢測小目標時會存在漏檢和誤檢。為了有效地檢測小目標,本文提出融入了特征增強和自適應特征融合策略的FA-SSD模型。該模型的整體網絡結構如圖2所示,其使用VGG-16作為主干網絡,在SSD的基礎上添加了一條自深向淺的遞歸反向路徑,該路徑將增強后的深層特征信息向前傳遞,采用遞歸的方式自適應地融合淺層特征圖和上采樣后的深層特征圖,將深層的語義信息傳遞到淺層,使得淺層特征圖能夠同時利用淺層的強位置信息和深層的強語義信息。反向路徑增加了模型對于小目標的感知能力,便于確定小目標的位置和類別,從而提升模型的小目標檢測效果。該路徑包含設計的三個模塊:深層特征增強模塊(deep layerfeature enhancement module,DEM)、上采樣特征增強模塊(up-sampling feature enhancement module,UEM)和自適應特征融合模塊(adaptive feature fusion module,AFFM)。AFFM由串聯的通道注意力模塊(channel attention module,CA)和位置注意力模塊(positional attention module,PA)組成。

圖2 FA-SSD整體網絡結構Fig.2 Overall network structure of FA-SSD

2.1 深層特征增強模塊

深度卷積網絡在提取特征圖信息時易丟失小目標的關鍵位置信息,使用目標的上下文信息可以指導定位區域的選擇,提高檢測準確率[21]。通常網絡的最深層特征圖僅包含單層的語義信息,導致淺層特征圖通過反向路徑獲得的語義信息較少,不利于小目標的檢測。為了增強深層特征的表達能力,本文設計了深層特征增強模塊。DEM使用并行路徑提取深層多尺度特征圖的全局上下文信息和局部上下文信息,并融合最深層特征圖的語義信息。全局上下文信息指整個場景的全局信息,有助于確定不同目標的準確位置,更好地解決局部模糊性問題;局部上下文信息指目標和周圍部分的相互關系,有助于提高各個目標的分類準確率。

DEM結構如圖3所示,Conv9-c包含使用3×3卷積在Conv9中提取的局部上下文信息;Conv9-g和Conv10-g分別包含使用全局平均池化(global average pooling,GAP)從Conv9和Conv10中提取的兩個不同的全局上下文信息,同時使用可以使模型獲得全面的全局信息;Conv11是SSD的最后一個預測層,包含了深層豐富的語義信息;Conv9_1是由Conv9-c和廣播后的Conv9-g、Conv10-g和Conv11融合生成的,包含了全局上下文信息、局部上下文信息和深層語義信息。廣播操作是對Conv9-g、Conv10-g和Conv11進行上采樣,將三個1×1大小的特征圖按照各個通道的值復制擴大為與Conv9-c維度相同的特征圖。DEM通過結合深層多尺度特征圖的上下文信息和最深層語義信息,增強了反向路徑深層特征信息的可鑒別性,有助于確定目標的準確位置和提高目標的分類準確率。

圖3 深層特征增強模塊結構Fig.3 Deep feature enhancement module structure

2.2 上采樣特征增強模塊

不同尺度特征圖的分辨率不同,在進行特征融合前需對小尺寸特征圖進行上采樣操作。常用的上采樣方法有最近鄰插值算法和反卷積。最近鄰插值法使用與填充位置最鄰近的數字對其填充,導致圖像出現明顯的鋸齒狀;反卷積通過填充數字0擴大圖像的尺寸,填充的是無效信息,導致特征圖丟失了有效的語義信息。與傳統的上采樣方法不同,亞像素卷積(subpixel convolution)[22]通過多通道間重組的方式擴大特征圖分辨率,能夠將特征圖不同通道中的特征重新排列組合為一個通道。在重組時使用的數字均來自特征圖本身,不會產生無效信息干擾目標的檢測,能夠在提高特征圖分辨率的同時保存更多的有效信息。亞像素卷積在數學上的定義為:

公式(1)中,PS表示將特征圖從H×W×C·r2轉換為r·H×r·W×C,H、W、C分別表示特征圖的高度、寬度和通道數,r表示上升因子,T表示輸入特征。

上采樣后的特征圖會丟失一部分特征信息,使用膨脹卷積(dilated convolution)擴大感受野,能夠提取目標的上下文信息。但膨脹卷積無法對空洞部分進行采樣,會導致提取到的信息不具有連續性。本模塊設計的逐層并聯的膨脹卷積,逐層并聯了不同膨脹率的膨脹卷積。不同大小的感受野能夠檢測不同尺度的目標,小感受野的膨脹卷積可以提取小目標的位置細節信息,大感受野的膨脹卷積可以提取小目標上下文信息和大目標的深層語義信息。使用逐層并聯的聯接方式可以逐次拼接膨脹率相近的膨脹卷積,避免了因膨脹率相差過大帶來的信息偏差,能夠更好地填補膨脹卷積的空洞部分,增強提取到信息的連續性,提升網絡對小目標特征的提取效果。

本文設計的上采樣特征增強模塊結合了亞像素卷積和逐層并聯的膨脹卷積,擴大了特征圖的分辨率和感受野,利用目標的上下文信息,增強了網絡對小目標的敏感度。UEM分為3個部分:亞像素卷積層、特征增強層和連接層。其中,亞像素卷積層使用亞像素卷積進行上采樣操作,調整特征圖的尺寸大小,減少特征圖通道數;特征增強層由三個逐層并聯的膨脹卷積組成,膨脹卷積的膨脹率分別為1、3、5,其中膨脹率為1、3的膨脹卷積適合檢測小目標的位置信息,膨脹率為5的膨脹卷積能夠提供小目標的上下文信息。逐層并聯不同感受野的膨脹卷積,能夠交互多尺度的特征信息,增強特征信息的連續性;連接層將特征增強層輸出的特征圖通過級聯(Concat)的方式連接起來,保留了不同感受野特征圖的特征信息。

UEM結構如圖4所示,首先將輸入層Di+1輸入到亞像素卷積層,使特征層分辨率擴大2倍的同時減少特征層4倍的通道數;然后將上采樣特征圖分為三路,通過逐層并聯的方式經過膨脹率為1、3、5的膨脹卷積,得到三個感受野大小不同的特征圖;最后通過拼接通道數的方式聚合三個特征圖,并使用1×1卷積改變特征層的通道數,將其完全合并,生成分辨率擴大兩倍通道數不變的特征圖Si,其中Di+1是指FA-SSD自淺向深第i+1個預測層,Si是指FA-SSD自淺向深第i個UEM的輸出層。

圖4 上采樣特征增強模塊結構Fig.4 Up-sampling feature enhancement module structure

2.3 自適應特征融合模塊

特征融合的常見方法是通過連接特征圖的通道或者逐元素相加的方法來合并特征。逐元素相加可以在維度不變的情況下使特征圖的信息量增多,且計算量小于級聯。但由于多尺度特征圖的感受野大小不同,導致特征信息存在差異,使用這些方式無法反映不同尺度下通道特征的相關性和空間特征的重要性,會導致混疊效應和位置偏移,從而混淆定位和識別任務。為了避免特征融合產生的冗余信息對檢測結果帶來的負面影響,本文提出了一個自適應特征融合模塊。該模塊利用自注意力機制學習特征圖通道間的相關性和目標間的空間依賴關系,優先將更多的注意力放置在對當前任務目標有意義的關鍵信息上,自適應地調整逐元素相加后的特征圖。

2.3.1 通道注意力模塊

通道注意力模塊若僅使用全局平均池化提取特征圖的上下文信息,對不同通道進行權值重標定,可能會導致同一通道內關鍵特征和背景特征均分權重,削弱了小目標的特征。本文提出的通道注意力模塊利用并行的全局平均池化和全局最大池化(global maximum pooling,GMP),提取不同的通道間全局信息。通過學習到的通道間依賴關系,能夠有選擇地更新通道的加權值。

CA結構如圖5所示,首先將Ci和Si逐元素相加得到生成特征圖Ni∈RH×W×C,其中,Ci為SSD模型自淺向深的第i個預測層,Si為FA-SSD模型自淺向深第i個UEM的輸出層;其次,并行使用全局平均池化和全局最大池化生成了兩個特征圖Ni1和Ni2,{Ni1,Ni2}∈R1×1×C,分別提取了特征圖各通道間的全局信息,可以分別表示為:

圖5 通道注意力模塊結構Fig.5 Channel attention module structure

公式(2)中的AvgPool()指全局平均池化函數,公式(3)中的MaxPool()指全局最大池化函數。

隨后分別將特征信息傳遞到全連接層和Relu激活層,兩個全連接層分別用來減少和增加通道的數量,Relu激活層則學習不同通道之間的非線性關系。然后,聚合兩個不同的通道信息,并利用激活函數(Sigmoid)為每個通道生成權值集合,權重反映了通道之間的相關性,該過程可表示為:

公式(4)中CA()指通道注意函數,?()指sigmoid函數,FR()指全連接層和激活層函數。

最后,將特征圖Ni與通道權重逐元素相乘,得到通道注意力特征圖Ei,該過程可表示為:

公式(5)中Ei指FA-SSD自淺向深第i個CA生成的通道注意力特征圖。使用通道注意力模塊,能夠增強網絡中有用的特征并抑制背景特征,減輕融合特征帶來的混疊效應,從通道特征的角度關注目標。

2.3.2 位置注意力模塊

通道注意力模塊關注的是特征圖中哪些通道更有意義,并沒有考慮特征圖上哪些部分更重要。本文提出的位置注意力模塊,利用淺層特征圖豐富的位置信息,提升了自注意力機制捕捉特征圖任意兩個位置間的空間依賴關系的能力。通過對重點位置特征的加權,有選擇地聚合每個位置的特征。

PA結構如圖6所示,首先將淺層特征圖Ci和通道注意力特征圖Ei級聯,合并特征圖的通道數,生成特征圖Mi∈RH×W×2C,并經過兩個并行帶有BN層和Relu層的1×1卷積NJ和NK,生成兩個特征圖J和K,{J,K}∈RH×W×C;隨后將J通過重塑(reshape,R)和轉置(transpose,T)操作轉為矩陣JT∈RC×N,將K通過Reshape操作轉為矩陣K′∈RC×N,其中N=H×M;然后,將JT與K′進行矩陣乘法,生成相關矩陣:

圖6 位置注意力模塊結構Fig.6 Positional attention module structure

公式(6)中,Q∈RN×N。隨后對Q進行reshape操作轉換為特征圖QR∈RH×W×N,之后使用激活函數和平均池化(average pooling,AP),得到注意力矩陣S∈RH×W×1。最后,將生成的注意力矩陣S與Ei逐像素相乘后再逐元素相加,得到富含目標位置信息的位置注意力特征圖:

公式(7)中,Di∈RH×W×C是空間注意力模塊的輸出,作為FA-SSD模型自淺向深的第i預測層。位置注意力模塊旨在學習任意兩個特征之間的關聯,突出目標空間區域的重要性,能夠增強深層特征圖關鍵位置信息的表達能力。

3 實驗與結果分析

3.1 數據集和評價指標

數據集:本文在目標檢測領域數據集PASCAL VOC和小目標交通標志數據集TT100K[23]上進行實驗。PASCAL VOC數據集,包含20個類別(加背景類21類),訓練集為包含16 000圖像的VOC2007和VOC2012,測試集為包含5 000圖像的VOC2007。TT100K是一個交通標志檢測和分類的數據集,該數據集包含10萬張高分辨率圖像和30 000個交通符號實例,其中物體大多數都是小物體,92%的實例的覆蓋面積在整個圖像中占比不超過0.2%,易被樹木遮擋,受光照、天氣條件影響嚴重,且場景復雜,是復雜場景小目標檢測的優秀數據集。本文選擇其中含有實例最多的20個類,訓練集包含31 107張圖片,測試集包含3 073張圖片。

評價指標:本文遵循兩個數據集定義的標準協議,在PASCAL VOC和TT100K兩個數據集上,采用平均精度均值(mean average precision,mAP)和每秒傳輸幀數(frames per second,FPS)作為評價指標。平均精度均值為所有類別平均精度(average precision,AP)的平均值,用來評估模型的檢測精度,如果預測框與真實框的交并比(IOU)大于0.5,則預測結果是正確的。每秒傳輸幀數評估模型的檢測速度。

3.2 實驗設置

本文實驗使用隨機梯度下降算法(stochastic gradient descent,SGD),初始學習率設置為0.000 35,前500次迭代學習率逐漸上升,促進模塊的快速收斂,權值衰減為0.000 5、動量為0.9。實驗中使用兩種分辨率不同的輸入。當輸入圖片分辨率的大小為300×300時,模型的批處理大小為設置為16,學習率在120 000和140 000次迭代時分別下降10倍,迭代180 000次得到最終的網絡模型。當輸入圖片分辨率的大小為512×512時,模型設置批處理大小為8,學習率在140 000和160 000次迭代時分別下降10倍,迭代200 000次得到最終的網絡模型。實驗均在型號為NVIDIA RTX 2080Ti的顯卡上進行。

3.3 算法性能分析與比較

3.3.1 PASCAL VOC數據集性能檢測對比

為驗證本文算法的有效性,將FA-SSD與目前先進的兩階段目標檢測算法和單階段目標檢測算法進行對比,所有比較的方法均在PASCAL VOC2007和PASCAL VOC2012訓練集上進行訓練,在VOC2007測試集上測試,實驗結果如表1所示。

表1 不同算法在PASCAL VOC數據集性能對比Table 1 Comparison of performance of different algorithms in PASCAL

由表1可知,當輸入圖像分辨率大小為300×300時,FA-SSD的mAP可以達到84.6%,檢測速度為34.5 frame/s。與兩階段的目標檢測算法Faster R-CNN和R-FCN相比,FA-SSD的mAP提升了11.4個百分點和5.1個百分點,FPS提升了27.5和28.7,說明本文算法在檢測準確率和檢測速度上均優于兩階段算法。與YOLOv3和當前性能和運行效率均最優的YOLOv5相比,FA-SSD增強了淺層特征圖的語義信息,mAP分別提升了5個百分點和1.9個百分點,說明本文算法的檢測準確率優于目前先進算法,但由于增加了模型參數量導致檢測速度有所下降。與SSD及其改進RSSD、DSSD、FSSD、MDSSD和RFB-Net相比較,FA-SSD的mAP提升了7.4個百分點、6.1個百分點、6個百分點、5.8個百分點、6個百分點和4.1個百分點,提升效果顯著,證明通過添加反向路徑增強淺層語義信息,能夠提升模型檢測小目標的效果。當輸入為512×512時,FA-SSD的mAP為92.5%,檢測速度為17.9 frame/s,與相同輸入大小的SSD及其改進RSSD、FSSD、MDSSD和RFB-Net相比較,FA-SSD的mAP提高了14個百分點、11.7個百分點、11.6個百分點、11.5個百分點和10.3個百分點,說明當輸入圖像分辨率越大時,FA-SSD的檢測效果提升得越明顯。分析結果可知,本文提出的算法通過增強特征圖的特征信息和自適應的融合特征,有效減少了小目標的漏檢和誤檢,明顯改善了小目標的檢測效果。

表2展示了不同算法在VOC2007測試集上單個小目標類別的測試結果。實驗證明,在輸入圖像分辨率大小為300×300時,FA-SSD檢測帆船、瓶子和盆栽等小目標的檢測效果明顯優于其他檢測算法。

表2 小目標類別不同算法測試結果Table 2 Test results of different algorithms for small target categories %

3.3.2 TT100K數據集性能檢測對比

本文在TT100K數據集上,設置輸入圖片的分辨率大小為512×512。表3展示了本文算法和其他主流的目標檢測算法在TT100K測試集的測試結果。由圖3可知,FA-SSD的mAP達到80.2%,檢測速度為13.6 frame/s,與YOLO系列的YOLOv3和YOLOv5相比分別提高了9.4個百分點和5.6個百分點;與相同輸入大小和主干的SSD、RFB-Net和MDSSD相比分別提高了11.5個百分點、5.8個百分點和2.6個百分點與相同輸入大小和主干的SSD、RFB-Net和MDSSD相比分別提高了11.5個百分點、5.8個百分點和2.6個百分點。,證明在SSD上添加自深向淺的遞歸反向路徑,能夠有效提高小目標的檢測準確率。同時,與輸入圖片分辨率的大小均大于512×512的目標檢測算法Faster R-CNN、Mask R-CNN和FPN相比,FA-SSD的mAP分別提高了27.3個百分點、9.4個百分點和10.3個百分點。實驗結果證明,通過擴大感受野結合小目標周圍的上下文信息,并自適應地融合特征圖來增強特征信息,有助于復雜場景中缺乏信息的小目標更好地定位和分類,能夠提升小目標檢測的準確率。

表3 不同算法在TT100K數據集性能對比表Table 3 Performance comparison of different algorithms in TT100K dataset

3.4 消融實驗

為了證明FA-SSD在小目標檢測上的有效性,本文選擇在TT100K數據集上進行消融實驗,在SSD模型上逐步添加深層特征增強模塊(DEM)、上采樣特征增強模塊(UEM)和自適應特征融合模塊(AFFM),并通過比較檢測精度的差異,分析FA-SSD每個模塊的性能。總體消融實驗報告見表4。

表4 消融實驗結果分析Table 4 Analysis of ablation test results

為了驗證DEM的有效性,本文設置實驗以傳統SSD為基線,在模型深層特征圖單獨添加DEM,增強了特征層的上下文特征信息,模型的mAP比SSD增加了4.5個百分點,FPS下降了0.6,證明了與單一特征圖相比,融合的多尺度特征圖包含了更多有用信息,對小目標檢測有益,同時提取多種特征信息增加了少量的網絡參數,降低了模型的檢測速度。

為了驗證UEM的有效性,設置實驗在傳統SSD上添加三個UEM,通過逐元素相加的方式將上采樣的特征圖和SSD預測層融合,生成新的預測層,單獨添加時模型mAP比SSD模型提高了5.4個百分點;同時添加DEM和UEM時,模型的mAP比SSD模型提高了7.5個百分點,證明UEM使用膨脹卷積獲得不同感受野的上下文信息,增強了淺層特征層的語義信息,提高了小目標的檢測準確率。

為了驗證AFFM的有效性,設置實驗在添加了前兩個模塊的SSD模型上,首先僅添加CA并使用輸出的通道注意力特征層作為預測層,模型的mAP比SSD模型提高了9.3個百分點,比添加前提高了1.8個百分點,證明了通道注意力模塊可以緩解特征融合產生的混疊效果;接著僅添加PA并使用輸出的位置注意力特征層作為預測層,模型的mAP比SSD模型提高了9.7個百分點,比添加前提高了2.2個百分點,證明位置注意力模塊可以學習到小目標精確的位置信息;最后添加AFFM,模型的mAP達到了80.2%,比SSD模型提高了11.5個百分點,比添加AFFM之前提高了4個百分點,證明AFFM能夠有效地進行特征融合,緩解特征圖之間的信息不平衡問題。

3.5 定性分析結果

為了更直觀地分析本文的檢測結果,圖7和圖8分別可視化了當輸入圖像分辨率為512×512時,SSD和FA-SSD在PASCAL VOC數據集和TT100K數據集上的測試結果,圖中第一行是SSD的檢測結果,第二行是FA-SSD的檢測結果。對比圖7展示中的檢測效果可知,SSD在分辨率低的目標上檢測效果差,大部分小目標都沒有檢測出來,而FA-SSD能夠檢測到更多數量的小尺寸的人(圖7中第二、四和五列)、船(圖7中第一列)和盆栽(圖7中第三列)。圖8中的交通標志圖像存在遮擋、光線變化和標志較模糊等情況,受此影響SSD在檢測小目標時出現嚴重漏檢現象,而FA-SSD則能夠檢測出更多的小尺寸交通標志且置信度較高,如圖8中第一、二、三、四列圖像中最右側的藍色交通標志,以及第五列圖像的綠色交通標志。綜上,FA-SSD可以檢測到更多數量的小目標,降低了小目標漏檢率,提高了小目標的平均準確率,具有更好的小目標檢測效果。

圖7 PASCAL VOC數據集可視化結果Fig.7 Visualized results of PASCAL VOC dataset

圖8 TT100K數據集可視化結果Fig.8 Visualized results of TT100K dataset

4 結束語

針對淺層特征圖缺乏語義信息帶來的SSD小目標檢測準確率低的問題,本文提出一種融合特征增強和自注意力的SSD小目標檢測算法FA-SSD。該算法的核心思想是在SSD的基礎構建一條自深向淺的遞歸反向路徑,在此路徑上利用深層特征增強模塊增強深層特征信息的可鑒別性;通過上采樣特征增強模塊增強反向傳遞過程中特征圖的語義信息;使用自適應特征融合模塊自適應地融合深層語義信息和淺層空間信息,增強淺層特征圖的語義信息,進而提高小目標的檢測準確率。實驗結果表明,該算法對于復雜場景下的有遮擋和不清晰的小目標,具有較好的檢測效果。

猜你喜歡
語義特征檢測
“不等式”檢測題
“一元一次不等式”檢測題
“一元一次不等式組”檢測題
語言與語義
如何表達“特征”
不忠誠的四個特征
當代陜西(2019年10期)2019-06-03 10:12:04
抓住特征巧觀察
“上”與“下”語義的不對稱性及其認知闡釋
現代語文(2016年21期)2016-05-25 13:13:44
小波變換在PCB缺陷檢測中的應用
認知范疇模糊與語義模糊
主站蜘蛛池模板: 91精品最新国内在线播放| 国产精品久久久久久久久kt| 女人一级毛片| 亚洲第一区在线| 国产拍揄自揄精品视频网站| 毛片免费在线视频| 免费A级毛片无码免费视频| 国产无码精品在线播放 | 久久久久免费看成人影片 | 伦精品一区二区三区视频| 国产自在线播放| 国产农村1级毛片| 日韩久草视频| 亚洲人精品亚洲人成在线| 国产一区免费在线观看| lhav亚洲精品| 国产后式a一视频| 五月天香蕉视频国产亚| 欧美日韩亚洲综合在线观看 | 女人一级毛片| 久精品色妇丰满人妻| 成人永久免费A∨一级在线播放| 国产玖玖视频| 午夜小视频在线| 日韩精品无码免费一区二区三区 | 美女一区二区在线观看| 欧美成人一区午夜福利在线| 中文字幕人成乱码熟女免费| 成年午夜精品久久精品| 青草视频久久| 激情爆乳一区二区| 国产精品永久免费嫩草研究院| 狠狠做深爱婷婷综合一区| 全部无卡免费的毛片在线看| 一本一道波多野结衣av黑人在线| 日韩成人午夜| 77777亚洲午夜久久多人| 亚洲无码电影| 国产精品偷伦视频免费观看国产| 色综合五月婷婷| www.99精品视频在线播放| 亚洲一区黄色| 国产成人一区免费观看| 亚洲日产2021三区在线| 伊人中文网| 青青国产成人免费精品视频| 免费在线不卡视频| 日本在线视频免费| 亚洲三级色| 国产精品分类视频分类一区| 中文字幕丝袜一区二区| 在线观看精品自拍视频| 亚洲人视频在线观看| 国产精品部在线观看| 天堂网亚洲系列亚洲系列| 日韩天堂在线观看| 国产av无码日韩av无码网站| 国禁国产you女视频网站| 国产欧美视频在线观看| 91综合色区亚洲熟妇p| 538国产视频| av免费在线观看美女叉开腿| 欧美成人精品在线| 亚洲人成网站在线播放2019| 88国产经典欧美一区二区三区| 久久久噜噜噜| 亚洲欧美日韩精品专区| 久久婷婷人人澡人人爱91| 波多野结衣爽到高潮漏水大喷| 自偷自拍三级全三级视频| 片在线无码观看| 欧美精品aⅴ在线视频| 无码精品一区二区久久久| 色综合综合网| 欧美综合区自拍亚洲综合天堂| 国产地址二永久伊甸园| 国产精品无码久久久久久| 国产91高跟丝袜| 白浆视频在线观看| 亚洲综合18p| 亚洲成人动漫在线| 亚洲第一区欧美国产综合|