融合雙重注意力機制的目標檢測模型研究

武德彬, 劉笑楠, 劉振宇, 洪 軍

(沈陽工業大學 信息科學與工程學院, 遼寧 沈陽 110870)

0 引言

近年來,隨著深度學習的快速發展,基于深度學習的目標檢測技術日益成熟并應用在實際場景中。主要可以分為以 Single Shot MultiBox Detector(SSD)[1],YOLO[2-3]系列為代表的一階段目標檢測和以Faster R-CNN[4]為代表的二階段目標檢測算法。 其中,SSD 算法盡管可以生成多尺度特征,但是整個單向卷積的過程造成每種尺度缺乏相應的語義特征信息,從而導致傳統SSD 算法對于普通的目標檢測以及小目標檢測效果都不理想,故許多研究者針對SSD 算法存在的問題提出了改進。

針對傳統SSD 算法未充分利用各特征層之間關系的問題,Li 等[5]提出了利用多尺度特征融合的手段增強了SSD 算法淺層特征層之間的聯系,從而提高SSD 算法對目標的檢測能力。 Fu 等[6]使用ResNet-101 網絡作為主干網絡并結合轉置卷積進行特征融合,以提高檢測目標的準確率。 通過利用特征金字塔網絡(Feature Pyramid Network,FPN)[7]進行多尺度特征融合,吳鵬飛等[8]提出了一種高準確率的改進SSD 算法。 為了不引入大量參數和過多計算量,葉召元等[9]提出了一種高效特征融合方式改進傳統SSD 算法。 此外,也有研究者使用注意力機制加強關鍵信息的權重,從而增強目標檢測能力。許光宇等[10]通過在深層網絡層引入空間通道注意力機制增強了深層特征層的語義信息,進一步提高獲取目標細節與空間位置信息的能力。 而李本高等[11]采取融合特征金字塔和殘差注意力機制的方式,提高特征圖的表征能力,充分利用上下文信息以提高對目標特征信息的提取能力。 李琳等[12]、李杰等[13]以及劉笑楠等[14]使用改進的特征融合方式,以提高算法檢測能力。

雖然上述方法在一定程度上解決了傳統SSD 算法目標檢測效果不夠好的問題,但是最深層特征層已經具備充足的語義信息,而將最深層特征層的語義信息進行上采樣與淺層特征層特征信息進行融合會造成特征信息模糊的問題,從而導致檢測效果提升不顯著的情況。 故根據上述問題,本文提出了一種Dual Attention Single Shot MultiBox Detector(DA-SSD)算法,引入一種新的融合策略——并行殘差特征金字塔網絡(Parallel Residual Feature Pyramid Network,PRFPN),通過使用這種融合策略對淺層特征層進行淺層語義信息增強。 此外,還提出了一種雙重注意力機制(Dual Attention Mechanism,DAM),將通道注意力機制與空間注意力機制混合使用,從而加強算法對目標關鍵特征信息及空間位置信息的獲取,進一步加強了改進算法對目標的檢測效果。

1 SSD 算法

傳統SSD 算法網絡結構如圖1 所示,以VGG16作為主干特征提取網絡,在將其Fc6 和Fc7 兩個特征層替換為卷積層之后,繼續添加4 個卷積層Conv8_2,Conv9_2,Conv10_2 和Conv11_2,加 上VGG16 中的Conv4_3 共7 個不同尺度的特征圖。然后將除Fc6 層外的6 個特征層進行多尺度特征檢測,在生成一定數量的先驗框之后通過使用非極大值抑制篩選符合要求的預測框,最終得到目標預測框和類別信息。

圖1 SSD 算法網絡結構Fig.1 SSD algorithm network structure

2 DA-SSD 算法

原始SSD 算法淺層特征層包含大量空間位置信息,但是缺乏特征語義信息,而深層特征層經過大量卷積后包含豐富的語義信息,但由于SSD 算法檢測過程是單向的,故淺層特征層對目標檢測效果不夠好。 而本文提出的DA-SSD 模型可以有效解決上述問題,其結構如圖2 所示。

圖2 DA-SSD 算法網絡結構Fig.2 DA-SSD algorithm network structure

在原始SSD 算法的基礎上,首先將特征圖輸入大小設為300 pixel×300 pixel,并分為38×38,19×19,10×10,5×5,3×3,1×1 共6 個尺度的特征層。 其次,為了避免深層特征信息在上采樣過程中造成信息損失,將Conv4_3,Fc7,Conv8_2 三個特征層輸入到PR-FPN 多尺度特征提取網絡中,通過建立中間層與淺層特征層不同尺度的特征信息關系,在保留深層與中間層語義信息的同時,增強了淺層特征層對目標的檢測能力。 然后,為了進一步增強淺層特征層對語義信息的獲取,以及深層特征層的語義信息和空間位置信息,在6 個特征層后使用DAM 注意力機制加強每個特征層對關鍵信息的學習。 最后,輸出多尺度特征圖到檢測器中,經過非極大值抑制獲得最終的預測框以及類別信息。

2.1 PR-FPN 多尺度特征融合網絡

對比原SSD 算法,添加了PR-FPN 多尺度特征融合網絡,結構如圖3 所示。 首先,將Conv4_3,Fc7,Conv8_2 三個特征層分別進行3×3 卷積進行多尺度特征提取。 其次,將卷積后的Conv8_2 特征圖進行2 次雙線性插值上采樣和3×3 卷積,并與卷積后的Conv4_3 和Fc7 特征圖進行Concat 特征通道拼接,構成多尺度特征融合。 然后,將融合后的特征圖構成一個自下向上的Concat 拼接路徑,旨在加強中間層的上下文信息。 通過將在Conv8_2 層融合的新特征圖直接再與Conv4_3 層構成Add 直連結構,進一步加強淺層特征層的語義信息,并生成3 個新特征圖。 接著,為了增強多尺度特征融合的語義信息,將最初經過3×3 卷積的Conv4_3,Fc7,Conv8_2 特征圖與3 個新特征圖構成Add 殘差直連結構。 最后,將3 個通過Add 后的新特征圖進行1×1 卷積平滑特征,生成最終的3 個新特征圖。

圖3 PR-FPN 結構Fig.3 PR-FPN structure

2.2 DAM 雙重注意力機制

為了進一步加強淺層特征層的特征語義信息、中間層的全局上下文語義信息以及深層特征層對細節信息的獲取,使用一種雙重注意力機制DAM 增強對上述信息的學習,具體結構如圖4 所示。

圖4 DAM 雙重注意力機制結構Fig.4 DAM Structure with dual attention mechanism

該結構分為3 條注意力分支,其中2 條為通道注意力,一條為空間注意力的分支。 在圖4 上方的通道注意力分支中,首先,將原特征圖x進行全局平均池化(AvgPool)提取全局語義信息并把通道中的特征大小壓縮為[1,1],得到Sa。 其次,通過使用2 個全連接層建立通道間的關系,生成一個權重值[1,1,c],得到Sf。 最后,將生成的權重值歸一化并加權到原始特征圖的每一個通道的特征上,即原始特征圖乘以權重值得到Sc,從而生成對關鍵語義信息加權的新特征圖。 表達式如下:

在中間的通道注意力分支中,首先,將原特征圖x分別進行全局最大池化(MaxPool)和AvgPool,目的是進行維度的壓縮并獲取全局語義信息。 然后,將特征輸入到多層感知機MLP 中,分別得到通道特征信息Mmax和Mavg。 接著,將2 種池化后的特征參數相加并經過Sigmoid 激活函數歸一化,得到一個特征信息權重M。 最后,將得到的權重與原特征圖進行加權相乘,提高關鍵語義信息的權重Mc。 整個過程可表達為:

而下方的空間注意力則是先將原特征圖x分別經過MaxPool 和AvgPool,并進行Concat 特征通道拼接,旨在從通道維度對特征圖進行空間上的處理,獲取空間位置信息,得到特征圖M。 然后,通過卷積融合特征信息并使用Sigmoid 激活函數對空間域的權重歸一化。 最后,將空間域權重與原特征圖相乘得到新特征圖Ms:

然后,將得到的2 個新特征圖Mc和Ms加權相加,再與上方的通道注意力分支得到的新特征圖Sc加權相加并使用LeakyReLU 激活函數加快訓練收斂速度,該函數相比ReLU 函數可以保存更多的特征信息。 最終得到經過DAM 雙重注意力機制的新特征圖。

3 實驗與分析

3.1 實驗環境、實驗數據集及評價指標

本文實驗所使用的實驗環境為:顯卡為NVIDIA GeForce RTX3060,顯存為12 GB,編譯環境為python3.8,所使用的框架為pytorch1.8.0。

算法使用的實驗數據集為官方發布的PASCAL VOC2007 和PASCAL VOC2012 數據集,共涵蓋飛機、自行車、鳥、船、瓶子、公交車、小轎車、貓、椅子、牛、餐桌、狗、馬、摩托車、人、植物、羊、沙發、火車和電視這20 個類別。 訓練所采用2 個數據集的trainval 部分,共16 551 張圖片,并在PASCAL VOC 2007test 數據集4 952 張圖片上進行測試。

實驗采用平均精度均值(mean Average Precision,mAP)評價檢測精度和單類別平均檢測精度(Aerage Precision,AP)作為評價指標:

式中,P為不同閾值下的檢測精度;r為閾值大小;N為類別總數量。

3.2 訓練過程及分析

實驗采用SGD 優化器進行訓練,batch size 設為16,訓練116 個周期共迭代120 000 次。 將初始學習率設為0.001,權重衰減參數設為0.000 5。 學習率在第80 000 次下降為0.000 1,在100 000 次下降為0.000 01。 DA-SSD 算法與SSD 算法訓練損失曲線如圖5 所示,可以發現DA-SSD 損失值不但低于原始SSD 算法,并且收斂速度快于原始SSD 算法。

圖5 損失函數曲線Fig.5 Loss function curve

3.3 實驗結果及分析

本文算法DA-SSD 與一些主流算法的性能比較如表1 所示,輸入為300 pixel×300 pixel。 可以發現DA-SSD 算法檢測精度達到了79. 0%,超過表中其余所示算法。 相較于兩階段目標檢測算法Faster R-CNN[4]在VGG16 和ResNet-101 兩種不同主干網絡下的檢測精度遠遠領先。 同時也遠超過單階段目標檢測算法YOLOv1[2]和YOLOv2[3]的檢測精度。對比原始SSD[1]算法,DA-SSD 算法檢測精度提高1.8%。 此外,DA-SSD 算法檢測也超過了大部分SSD 改進算法。 其中,雖然DSSD 算法[6]采用Res-Net-101 深層網絡作為主干網絡,但是網絡越深特征信息也會有一定損失。 而FSSD[5],RSSD[13]和文獻[9]以及文獻[15]盡管采用了不同的特征融合策略,但是根據實驗結果進一步證明了本文算法特征融合策略的有效性。 文獻[10]雖然采用了一種空間通道注意力機制,但是仍未考慮各特征層之間的上下文信息聯系,而DA-SSD 算法在引入DAM 雙重注意力機制的同時,使用PR-FPN 增強特征層之間的聯系,故本文算法檢測效果優于該文獻提出的算法。 文獻[11]雖然采用了殘差注意力和融合模塊,但是本文算法檢測能力更強。

表1 在PASCAL VOC2007 測試集本文方法與其他方法對比Tab.1 Comparison of this method with other methods on PASCAL VOC2007 test set

為驗證PR-FPN 多尺度特征融合網絡的有效性,本文將該方法與FPN,PANet 以及文獻[16-17]中的MFFM 多尺度融合策略進行實驗對比,如表2所示。 可以看出相較于表中算法,PR-FPN 多尺度特征融合網絡的檢測性能最好。

表2 不同特征融合網絡算法檢測性能對比Tab.2 Comparison of detection performance of different feature fusion network algorithms 單位:%

本文還進行了消融實驗,證明PR-FPN 多尺度特征提取網絡和DAM 雙重注意力機制的有效性,如表3 所示。 首先,在使用PR-FPN 多尺度特征提取網絡增強淺層語義信息特征提取能力后,檢測精度較原始SSD 算法提高了1. 8%。 然后,為了增強6 個特征層對通道語義信息和空間位置信息獲取的能力,在此基礎上添加DAM 雙重注意力機制,檢測精度提高到79.0%,進而證明了算法的有效性。

表3 消融實驗Tab.3 Ablation experiment單位:%

此外,實驗還將原始SSD 算法的計算量與參數量進行對比,如表4 所示。 雖然參數量與計算量都有所提高,但是根據性能對比實驗,本文算法有顯著的提高。 綜上考慮,本文算法具有良好的檢測性能。

表4 算法參數對比Tab.4 Comparison of algorithm parameters

為了進一步證明DA-SSD 算法的有效性,實驗還將Faster R-CNN,SSD,DSSD 以及文獻[9-11]與文獻[18]進行數據集單類別精度比較,如表5 所示。 可以發現,DA-SSD 相較于其他比較算法有船、公交車、椅子、牛以及沙發5 個類別檢測精度最優。而相較于原始SSD 算法,DA-SSD 算法共17 個類別相較于原算法有所提高,檢測性能明顯優于原始SSD 算法。

表5 單類別精度比較Tab.5 Single class accuracy comparison 單位:%

續表

3.4 定性結果分析

為了驗證DA-SSD 算法的檢測性能,將原始SSD 算法與DA-SSD 算法檢測進行定性結果分析,選取了4 張目標為不同種類的圖片進行可視化檢測,如圖6 所示。 可以發現,DA-SSD 算法較原始SSD 算法的檢測效果有顯著提升,原算法未檢測出來的盆栽、牛和公交車,以及誤檢為牛的羊,通過使用DA-SSD 算法不僅都可以檢測出,而且檢測的類別信息正確,檢測概率也有一定的提升。

圖6 定性結果分析Fig.6 Qualitative analysis of results

4 結束語

針對原始SSD 未充分利用特征層之間的關系且獲取特征信息能力不夠好的問題,提出了DASSD 改進算法。 通過將淺層與中間層特征層輸入到PR-FPN 多尺度特征提取網絡,增強淺層特征層的語義信息,以及中間層的上下文信息。 為了獲取更多通道語義信息和空間位置信息,使用DAM 雙重注意力機制加強上述信息的提取。 在PASCAL VOC 2007test 數據集上的實驗表明,DA-SSD 算法相較于原始SSD 算法檢測精度顯著提高。 下一步擬進一步提高算法的檢測能力,并更大程度避免漏檢、誤檢的問題。