999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于自適應聚焦CRIoU 損失的目標檢測算法

2023-11-18 12:12:46肖振久趙昊澤張莉莉郭杰龍李成龍王俐文
液晶與顯示 2023年11期
關鍵詞:懲罰實驗檢測

肖振久,趙昊澤,張莉莉,夏 羽,郭杰龍,俞 輝,李成龍,王俐文

(1.遼寧工程技術大學 軟件學院,遼寧 葫蘆島 125000;2.中國兵器工業集團 航空彈藥研究院有限公司,黑龍江 哈爾濱,150000;3.上海宇航系統工程研究所,上海 201100;4.中國科學院 海西研究院 泉州裝備制造研究中心,福建 泉州 362000)

1 引 言

幾年來深度學習在交通檢測、汽車自動駕駛技術[1-2]、目標跟蹤[3]、面部識別[4]、光學計量[5]、光學重建[6-7]等方面都有著十分廣泛的應用,深度學習在這些場景廣泛的應用都歸根于深度神經網絡的快速發展。

使用卷積神經網絡(Convolutional Neural Networks,CNN)檢測物體的想法在1998 年就產生了。Lecun[8]等人最先將CNN 分類方 法應用 在檢測圖像中的目標。后來,這種網絡變換方式被稱為全卷積網絡(Fully Convolutional Network,FCN)[9]。因為AlexNet[10]的提出,使得以圖像分類網絡為主干圖像特征提取網絡的下游任務如:3D目標檢測[11]、姿態檢測、圖像分割、面部識別等得到了快速發展。Girshick 等人將AlexNet 的目標識別功能應用到目標檢測中,提出了一個目標檢測算法(Regions with features,R-CNN[12])。R-CNN 基于卷積神經網絡(CNN)、線性回歸和支持向量機(Support Vector Machines,SVM[13])等 算法的目標檢測框架,通過大量的計算開銷實現了目標檢測技術。Girshick 等人在2015 年先后提出了Fast R-CNN[14]、Faster R-CNN[15],算法將 目標檢 測任務分為兩個階段,并且分類和檢測共同訓練,這種方式增加了檢測速度和檢測精度,但仍存在計算量較大的問題。Joseph 等人在2015 年提出了YOLOv1[16]算 法。但YOLOv1 算法缺 少對錨 框的預先設定,雖然檢測速度很快,但是檢測精度卻很低。Joseph 在YOLOv1 算法基礎上引入了不同尺度的預設錨框,提出了YOLOv2[17]算法和YOLOv3[18]算法。這些改進使得YOLO[19-20]系列算法在保障檢測速度的同時也在一定程度上提高了算法的精度。

在深度學習的目標檢測算法中,為了使預測框更快、更好、更準地回歸到目標的位置,對邊界框回歸損失函數的研究也經歷了一系列的發展。在Fast R-CNN 中邊界框的回歸使用了Smooth L1損失函數。而在早期YOLO 系列算法中使用的是誤差平方和函數作為損失函數。以上兩種損失函數存在回歸數值和評價指標不相關的問題,從而回歸效率不高。Yu[21]等人提出IoU 損失函數,直接對真實框和預測框相交的部分進行優化,實現了到了優化對象和評價指標的相關性,但IoU 作為損失優化存在無法梯度回傳的特殊情況。由此Rezatofig H[22]等人提出廣義交并比(Generalized Intersection over Union,GIoU)作為回歸損失部分的損失函數,GIoU 通過回歸縮小不相交區域來優化,但在兩框包含情況下會退化為IoU 損失。Zheng[23]等人認為一個優秀的IoU 損失應該考慮回歸3 個幾何度量,即重疊面積、中心點距離和寬高比,并且在IoU 損失后加入中心點距離懲罰項和寬高比懲罰項,提出了Distance-IoU(DIoU)和Complete IoU(CIoU)。但CIoU 中回歸的是寬高的比值,會出現回歸阻礙的問題。基于以上問題,本文提出了一種自適應聚集CRIoU(Adaptive focal Complete Relativity,AF-CRIoU),完善回歸屬性,解決IoU、GIoU、CIoU 在特殊情況下的回歸阻礙問題。本文主要貢獻總結如下:

(1)基于IoU系列損失函數范式,提出A-CRIoU(Around CRIoU)損失函數,完善了回歸任務和評價指標的相關性和邊界框中心點回歸屬性的完整性,提高了檢測精度和收斂速度,同時彌補了IoU 與GIoU 在特殊情況下的缺點。將A-CRIoU損失應用到傳統NMS 方法中,改善漏檢的情況。

(2)基于A-CRIoU 完善邊界框寬高屬性回歸屬性,不但考慮重疊面積和邊界框距離,進一步添加關于寬高回歸的懲罰項,而且懲罰項避免了CIoU回歸寬高比所造成的阻礙回歸問題,保證了回歸邊界框回歸屬性的完整性,提出了CRIoU 損失。結合Focal Loss 解決分類問題的樣本不均衡問題的方法,解決在回歸過程中高質量樣本和低質量樣本不均衡的問題,減少低質量樣本過多而影響模型的學習。選用自適應的加權因子,避免了Focal Loss 中對超參數調整的外開銷,由此定義AF-CRIoU 損失。

(3)將創新的A-CRIoU 損失應用到目標檢測網絡的非極大值抑制(Non-Maximum Suppression,NMS)處理中,通過調整不同得分閾值,提升了檢測精度。

(4)將最終創新的AF-CRIoU 損失函數分別在YOLOv3 和Faster R-CNN 網絡中進行實驗,將AF-CIoU 應用到安全帽檢測中并分析結果。

2 相關工作

2.1 基于CNN 的目標檢測

基于CNN 的目標檢測算法包括單階段檢測算法和雙階段目標檢測算法。相比于傳統目標檢測,基于分類的卷積神經網絡目標檢測有:通過滑動窗口提取感興趣區域、篩選感興趣區域、后處理的主要3 個步驟。滑動窗口和后處理部分都是常用的方法。所以這種方法通過對網絡中的特征提取模塊和分類模塊的改進,來提升網絡的特征提取能力和分類能力,從而獲得更為準確的感興趣區域。

單階段目標檢測算法沒有感興趣區域篩選部分,直接通過卷積神經網絡完成特征提取、邊界框定位以及目標分類等任務。最早被提出的單階段目標算法是OverFeat[24]。YOLO 系列算法和SSD[25]通過對網絡的錨框定位部分和特征提取結構的改進達到了更好的檢測效果,其中SSD 算法在多尺度目標檢測中取得了顯著效果。RetinaNet[26]中的Focal Loss 損失函數解決了數 據集中難易樣本和正負樣本的影響,其優秀的結構和檢測效果受到了廣泛關注。

2.2 IoU 損失函數

IoU 作為一個評價指標,真實反映了檢測任務中預測和真實物體兩個形狀的重疊程度。IoU通過面積比值的方式來表示兩個形狀之間的相交程度。IoU 具有包括尺度不變性在內的眾多特質,這些特質保證了IoU 的衡量效果。IoU 計算公式如式(1):

其中:Overlap 代表兩個形狀相交部分的面積,Union 代表兩個形狀面積的總和。由于IoU 特性和計算結果滿足了目標檢測任務中目標的定位,它也被應用于回歸損失函數中,并且IoU 損失在目標檢測任務中取得了較好的結果。但當兩個形狀沒有相交區域時,IoU 損失函數的計算值為1,因沒有梯度回傳而無法進行優化。

2.3 GIoU、DIoU、CIoU 問題分析

GIoU 損失通過在損失函數中引入懲罰項的方式來避免損失值為0,梯度無法回傳的情況。如公式(2),式中1-IoU 部分表示真實框和預測框之間不相交的面積,通過對這一部分進行回歸來縮小兩框不相交的面積,從而提高兩框的重疊程度,公式的后半部分表示兩框在最小外接矩形C中A 與B 不相交的空白區域,所以當兩框不相交時,依然可以通過最小化空白區域來進行邊界框回歸。圖1 仿真了GIoU 損失的回歸過程,紅色為目標框,綠色和黑色為預測框。當兩框關系為互相包含關系時,GIoU 會退化成IoU 損失,導致收斂速度變慢。

圖1 不同邊界框損失函數回歸過程的區別Fig.1 Difference of regression process of different boundary box loss functions

Zheng[20]等人表示一個優秀的邊界框回歸應該考慮重疊面積、中心點距離和寬高比這3 種幾何度量。DIoU 和CIoU 則包含這3 種幾何度量的回歸。DIoU 是在IoU 的基礎上引入了兩框中心點距離的懲罰項,CIoU 損失則是在DIoU 的基礎上添加寬高比懲罰項,因此CIoU 損失包含了重疊面積、中心點距離和寬高比3 種幾何度量的回歸。但是在CIoU 添加的寬高比懲罰項中回歸的具體數值是寬高比,CIoU 中的寬高比懲罰項和具體的寬高值沒有真實的對應關系。在回歸比值過程中,如果預測的寬和高的真實值增大如圖1 中的CIoU 回歸過程所示,在第二次采樣回歸狀態時,由于回歸比值,使得預測框的高誤差增大,因此CIoU 在回歸比值的情況下會造成真實值和預測值的誤差變大,這種情況下會對邊界框的回歸造成阻礙。

2.4 Focal Loss 函數

在目標檢測中單階段目標檢測運行速度較快,但是受數據集中難易樣本和正負樣本的影響較大,其精度低于兩階段目標檢測。為解決上述問題,Lin 等[26]提出了Focal Loss 函數。當數據集中存在大量簡單的樣本時,這些損失值可以淹沒稀有的困難類,使困難類別不能被學習影響目標檢測的精度。而Focal Loss 引入超參數的調制因子就是為了解決損失值被大量簡單樣本淹沒的情況,平衡難易樣本的數量,使困難樣本在訓練期間得以表現,避免了只有簡單樣本對模型的貢獻。Focal Loss 公式如圖2 中公式所示,γ是控制曲線形狀的超參數,γ的值越大,易分類的樣本的損失就越小,這樣就可以把模型的注意力投向那些難分類的樣本,一個大的γ讓獲得小損失的樣本范圍變大。同時,當γ=0 時,Focal Loss 會退化為交叉熵損失函數,不同參數值對應的損失狀態如圖2所示。同樣的問題不僅在分類損失上,對于邊界框回歸損失也存在著大量低質量樣本影響回歸收斂。

圖2 Focal Loss 不同γ 的損失變化情況Fig.2 Loss changes of different γ of Focal Loss

3 自適應聚焦CRIoU 損失

3.1 設計思想

IoU 具有尺度不變性的優點。根據IoU 損失函數進行改進通常是在IoU 損失函數后加入適當的懲罰項來對IoU 損失函數進行修正,本文也根據同樣的思想進行改進。使用相關性較強的IoU 損失作為損失函數的基礎范式,加入兩框中心點距離信息作為IoU 損失的懲罰項,提高了模型的收斂速度和回歸精度。改進設計的公式范式如公式(3)所示:

其中:L為損失函數,R(G,B)是改進的IoU 損失函數中加入的懲罰項,G表示預測框的參數,B表示目標框的參數。本文提出的改進IoU 損失函數根據公式(3),加入帶有特殊信息的懲罰項來提升檢測效果,并對GIoU 損失的缺點加以彌補。其中引入的懲罰項之中的特殊信息要包含合適的邊界框的誤差信息,如距離、重疊面積等,因此引入的懲罰項要滿足如下條件:

(a)損失函數的收斂梯度方向要與兩框重疊程度的評價指標相同。若優化的誤差信息和重疊評價指標的梯度方向不相同,會造成模型的收斂方向出現偏差,影響回歸的性能。

(b)懲罰項數值穩定性。原始IoU 損失在引入懲罰項后,收斂速度會加快。如果懲罰項的數值穩定性低,會造成懲罰項衰減速度過快,從而損失函數會退化成IoU 損失,造成后期回歸性能下降。

(c)尺度不變性。對于大數據集中的目標進行檢測時,需要考慮圖像中各個目標的尺度信息。當損失函數只對特定尺度敏感時,會降低模型的整體性能,降低了模型的泛化能力。

3.2 A-CRIoU 損失

根據2.1 節中的3 個設計思想,本文提出一種新型IoU 損失函數,在IoU 函數基礎上引入懲罰項,懲罰項中包含完整的回歸屬性,使得回歸公式滿足完整相關的條件。本文選取兩邊界框的中心點所圍成矩形的周長和包圍兩框的最小外包框的周長的比值作為懲罰項,這個周長比值中包含兩框中心點的距離信息,如圖3 中的黑色虛線框長度為P1,藍色虛線框長度為P2。設計以廣義周長比值為距離信息的損失函數A-CRIoU(Around-Complete Relativity IoU)如公式(4)所示:

圖3 A-CRIoU 懲罰項示意圖Fig.3 Schematic diagram of A-CRIoU penalty items

其中:P1是表示兩框中點所圍成矩形的周長,P2是最小外包框的周長。當預測框和回歸框完全重疊時GIoU=A-CRIoU=1,GIoU LOSS=A-CRIoU LOSS=0;當兩框距離無限遠時。GIoU=ACRIoU=-1,GIoU LOSS=A-CRIoU LOSS=2。但是在某些情況下,如圖4 所示,真實框的寬高都為1,預測框寬高的值為0.5。右側回歸狀態明顯優于左側回歸狀態。此時無論預測框與真實值的中心點距離如何變化,GIoU 與IoU 的損失值都不變,但是A-CRIoU 的損失卻可以在數值上很好地反映出兩框的重疊情況,證明了A-CRIoU的數值穩定性。

圖4 包含情況下,不同回歸狀態時損失值的區別。Fig.4 Difference of loss in different regression states under inclusion

3.3 A-CRIoU 在NMS 中的應用

本文將A-CRIoU 應用到非極大值抑制中,這是因為A-CRIoU 中的懲罰項中包含中心點距離信息,在NMS 過程中可以作為更好的信息引入到其中。在圖5 中,A 和B 分別對應兩個正確預測的邊界框,且A 的置信度大于B。但是在兩個不同物體距離很近時,由于IoU 值比較大,經過NMS 處理后,只剩下一個檢測框,這會導致漏檢的錯誤發生。所以引入中心點距離信息,即使兩框IoU 比較大,但是兩個框的中心點距離信息值比較大時,可能會認為這是兩個物體的檢測框,這種漏選情況時常出現在密集物體檢測場景中。使用A-IoU-NMS 在除IoU 信息外,引入兩框的中心點距離信息,防止了正確預測的框被剔除的情況,減小了漏檢概率。A-CRIoU-NMS 的公式如公式(5)所示:

圖5 密集目標檢測下NMS 和A-CRIoU-NMS 效果對比Fig.5 Comparison of NMS and a-criou-nms in dense target

其中:M為 最得分預 測框,Bi是其 他預測框,ε是得分的閾值,Si為分類得分。

3.4 基于回歸屬性完整性改進

參考文獻[20]中的CIoU 損失函數考慮3個幾何度量,即重疊面積、中心點距離和寬高比。對于給定的預測框b和真實框bgt,CIoU 損失定義如公式(6)~(8)所示:

其中:公式(6)中的第三項的分母是邊界框中心點距離的平方,分子則是最小外包框的對角線平方。最后一項是寬高比懲罰項,α是距離因子,可以根據兩框的包含程度來自適應調節ν的大小,對于公式(7)寬高比懲罰項的寬和高的梯度計算如式(9):

在公式(7)中,ν只回歸了寬高比值,并沒有對真實的寬高值做回歸,單純回歸寬高比值會造成真實誤差變大的情況,阻礙回歸。公式(9)中對于梯度方向可以得到公式(10)。在式(10)中兩個梯度方具有相反的符號,所以在任何情況下寬和高其中一個增加,另一個將會減少,這在回歸過程中是不合理的。如圖1 中的CIoU 回歸過程所示,在最后迭代的預測框的寬高按照比例回歸,受尺度不變性影響,寬高真實值在回歸中變大,這使得真實的誤差值也變大,造成了回歸的阻礙。由此本文將實際的寬高平方誤差與包圍兩框最小矩形寬高比值作為懲罰項引入A-CRIoU 中,公式(11)是公式(12)后兩項的計算方法,最后得到CRIoU 損失函數如公式(12)所示:

3.5 CRIoU 回歸仿真

為驗證CRIoU 的數值穩定性,本文在以(10,10)中心點、3 為半徑的圓中均勻選取5 000 個點。以(10,10)為目標框的中點,預測框為以5 000 個點為中點的錨框。目標框和預測框都具有7 個面積大小(0.5、0.67、0.75、1、1.33、1.5和2)和7個尺度(1∶4、1∶3、1∶2、1∶1、2∶1、3∶1 和4∶1),共有1 715 000=7×7×7×5 000 個回歸案例,其中回歸案例中包含重疊框和非重疊框。對于這些回歸點,本文使用梯度下降算法模擬均勻分布的預測框的回歸過程。當前預測框Bi的坐標通過公式(13)計算:

圖6 不同損失函數的回歸仿真收斂對比Fig.6 Comparison of regression simulation convergence for different loss function

圖7 是仿真實驗在最后一輪迭代次數時的誤差可視化。由圖(a)和(b)可知,對于每一個回歸案例(x,y),誤差越小對應越良好的回歸狀態,由此形成了凹陷部分。但在圖7(a)未形成明顯凹陷部分中可以看到IoU 在非重疊情況下有很大的誤差,在圖7(b)中可以看到GIoU 在水平和垂直位置下有很大誤差,而在(c)和(d)中CIoU 和CRIoU的誤差分布比較均勻,在任何地方都有很小的誤差,保持較好的回歸狀態,CRIoU 回歸誤差總體會略小于CIoU,但其誤差分布沒有CIoU 穩定。

圖7 不同損失函數最后一輪回歸誤差值分布情況Fig.7 Distribution of the last round regression error values of different loss function

3.6 自適應聚焦加權因子

目標檢測算法在進行回歸任務時,存在高質量回歸框和低質量回歸框不平衡的情況,存在大量的低質量回歸框。圖8 中的anchor 機制生成了大量的先驗框樣本,但是能夠檢測到目標的高質量樣本數量遠小于遠離目標的低質量預測框。在模型訓練過程中低質量回歸框會造成更大的損失值從而造成損失的波動,影響模型的收斂。本小節基于Focal Loss函數的思想,引入加權因子來平衡低質量樣本對損失造成的波動。本文定義加權因子為IoU,因為IoU 可以直觀反映出在回歸任務中樣本的質量。IoU 值越小證明樣本和真實框的重合度越小,證明該樣本是一個低質量樣本。通過IoU 加權來減少大量低質量樣本帶來的損失波動,使得損失更加穩定,有助于損失收斂。使用IoU 作為平衡樣本質量的加權因子巧妙地避免了Focal Loss 中的加權因子通過每次對比實驗的結果進行調制加權因子的弊端,賦予了加權因子自適應聚焦與高質量邊界框特性,沒有額外的調參開銷。最后將自適應加權因子定義為公式(14):

圖8 先驗框樣本分布情況Fig.8 Distribution of anchors

其中:Bbb為真實框,Bgt為預測框,它們的IoU 為自適應的加權因子μ。在訓練過程中預測框和真實框的相交部分越小,預測框的質量越低,μ值就越小,同時回歸損失的權重就越小,這樣就會降低大量低質量樣本對模型訓練的影響。這種加權方法借鑒了Focal Loss 的聚焦思想,在訓練中為高質量的預測框分配較大的權重,使得模型訓練聚焦于更有意義的高質量樣本,并且加權因子μ隨著樣本質量可以自適應調節,避免了大量的調參開銷。由此在CRIoU 損失的基礎上定義自適應聚焦CRIoU 損失函數(Adaptive Focal CRIoU Focal Loss,AF-CRIoU)如公式(15)所示:

4 實驗結果與分析

4.1 實驗平臺、數據集和評價指標

為了驗證AF-CRIoU損失函數的實際有效性,本文實驗分別使用單階段目標檢測框架YOLOv3和雙階段目標檢測模型Faster R-CNN,并且替換原回歸損失函數為IoU 系列損失函數與AF-CRIoU損失函數進行對比。實驗均為統一的實驗環境,實驗硬件環境如表1 所示,實驗軟件環境如表2 所示。實驗數據集使用PASCAL VOC 2012,數據集提供了包括分類、檢測和分割3 個任務的數據集。其中目標檢測任務數據集里包含20 類物體,共17 125 張圖片。

表1 實驗硬件環境Tab.1 Experimental hardware environment

表2 實驗軟件環境Tab.2 Experimental software environment

為了驗證AF-CRIoU損失函數的有效性,實驗使 用YOLOv3 和Faster R-CNN 分別在PASCALVOC2012 上進行訓練和測試。通過對比不同模型在不同數據集上的檢測精度和收斂速度來驗證AF-CRIoU的有效性。本文使用平均精度mAP、AP50 和AP75 作為評價指標,將IoU 的閾值設定為 {0.5,0.55,…,0.95},在此閾值范圍的結果下除以類別得到mAP。AP50 是IoU 閾值為0.5 時檢測各個類別的平均檢測精度(AP75 同理),并且沿用參考文獻[19]和參考文獻[20]的實驗評估標準,對比AF-CRIoU 和其他損失函數的相對提升精度(Relative improv.%,RI)。相對精度計算方法如公式(16)所示:

4.2 PASCAL VOC2012 實驗結果

使用PASCAL VOC 2012 數據集分別計算在YOLOV3、Faster RCNN下使用不同損失函數的AP50 和AP75,并且對比相對提升精度。如表3和表4 所示。將兩個目標檢測算法的原來計算邊界框回歸的損失分別更改為IoU、GIoU、CIoU、AF-CRIoU,加上模型原有的回歸損失函數(Sum of Square Erro,SSE),分別計算了PASCAL VOC 2012 數據集上的AP75 和AP50。由表3 中數據可知,CRIoU 對比原來模型中的損失函數SSE在AP75 和AP50 條件下精度分別提升8.52%和8.04%;在AP50 條件下,AF-CRIoU對比GIoU精度檢測相對提升2.46%,在AP75 條件下的精度相對提升3.18%;在AP50 條件下,AF-CRIoU對比CIoU 檢測精度相對提升1.67%,在AP75條件下的精度相對提升2.31%。表4 是在Faster RCNN 上的實驗數據。由表4 數據可知,在AP75和AP50 條件下,AF CRIoU 對比GIoU 精度分別提升3.06%和2.29%,AF-CRIoU 對比CIoU 精度分別提升2.53%和2.69%,避免了CIoU 的回歸阻礙,使模型達到一個更好的收斂狀態,同時也解決了IoU 和GIoU 的局限。實驗結果表明,AFCRIoU 很好地改善了傳統IoU 系列函數中的回歸退化和回歸阻礙,可以達到更好的檢測效果。

表3 不同閾值下YOLOv3 檢測精度對比實驗數據Tab.3 Comparison of YOLOv3 accuracy under different threshold

表4 不同閾值下Faster RCNN 檢測精度對比實驗數據Tab.4 Comparison of Faster RCNN accuracy under different threshold

圖9是IoU、GIoU、CIoU損失函數和AF-CRIoU損失函數在YOLO v3上使用PASCOL VOC 2012數據集的回歸損失曲線圖。從曲線中可以看出,AF-CRIoU 損失在前期收斂速度上優于GIoU 損失。這是因為AF-CRIoU 引入了包含距離信息的周長比值懲罰項,加快了收斂速度,可在訓練前期保持較為穩定的收斂趨勢。通過自適應加權因子可以加強對高質量邊界框的學習,穩定損失,可以使損失收斂到更小,體現了本文方法的有效性。

圖9 不同損失函數在PASCAL VOC2012 上使用YOLOv3 收斂情況Fig.9 YOLOv3 convergence of different loss functions on PASCAL VOC2012

4.3 AF-CRIoU 與A-CRIoU-NMS 消融實驗

在PASCAL VOC 2012 上使用YOLOv3 的實驗中,帶入了A-CRIoU 作為非極大值抑制處理。表5 和表6 是使用A-CRIoU-NMS 方法和AFCRIoU 損失函數對精度提升效果的消融實驗結果。表5表明,在AP75條件下不加入AF-CRIoU,原始的NMS 方法在選定的閾值范圍內的檢測精度達到65.09%,A-CRIoU-NMS 的檢測精度最高達到65.23%,對比NMS 提高了0.14%。使用AF-CRIoU 后,原始NMS 方法檢測精度達到65.45%,對比沒有使用AF-CRIoU 損失的原始NMS 方法檢測精度提高0.36%。同理對比只使用A-CRIoU-NMS 方法的檢測精度提高了0.24%。使用A-CRIoU-NMS 方法和AF-CRIoU損失的情況下,檢測精度達到了最高值。同理,表6 中在AP50 條件下對于不同損失函數和NMS方法的消融實驗結果中,也有明顯的提升效果。

表5 AP75 條件下采用不同非極大值抑制方法和損失函數的實驗結果對比Tab.5 Comparison of experimental results using different non maximum suppression methods and loss functions under AP75 conditions

圖10和圖11是在[0.42∶0.47]范圍內在PASCAL VOC 2012 的檢測精度變化趨勢。4 種線條分別對應原始NMS+AF-CRIoU、原始NMS+原損失、AF-CRIoU+A-CRIoU-NMS 和A-CRIoU-NMS+原損失。由圖中變化趨勢可知,在調參過程中,各個閾值下使用A-CRIoU-NMS 方法或者AF-CRIoU 損失乃至兩種方法都使用的情況下,對比原始NMS 和回歸損失函數,精度都有明顯提升。

圖11 AP50 條件下不同閾值的AF-CRIoU 和NMS 方法對比Fig.11 Comparison of AF-CRIoU and NMS methods with different thresholds under AP50 condition

4.4 基于AF-CRIoU 損失的安全帽檢測

除了使用大型公共數據集,本文還選取了具有應用背景的安全帽檢測數據集進行驗證。此數據集為實際應用項目中的私有自建數據集。場景包含工地、礦場,數據集包含9 802 張安全帽佩戴圖像,使用了開源工具Labelimg 進行標注。數據集包含兩個類別,佩戴安全帽樣本標簽為hat,未佩戴安全帽樣本標簽為nohat。數據集按照7∶2∶1 的比例劃分成訓練集、驗證集、測試集。實驗環境如表1 和表2 所示。

實驗網絡選取yolov3 為檢測網絡,分別替換IoU、GIoU、CIoU、AF-CRIoU 為網絡的回歸損失。訓練輸入圖像尺寸為618×618,使用預訓練模型,學習率設置為0.001,batch size 設置為64,學習率衰減設置為0.7,每50 輪衰減一次,共訓練200 輪。檢測結果如表7 所示。AF-CRIoU 在安全帽檢測中mAP 達到73.43%,比CIoU、GIoU 和IoU 分別提升1.28%、3.26%和6.42%。

表7 檢測精度對比Tab.7 Comparison of detection accuracy

圖12 為后100 輪訓練的損失收斂示意圖。可以看出,當訓練進行到第101 輪時,AF-CRIoU的收斂速度和收斂狀態最好,其次分別為IoU、GIoU、CIoU。但是隨著訓練輪數的迭代,CIoU和AF-CRIoU 的收斂狀況要優于IoU 和GIoU,這是因為二者都包含邊界框中心點距離信息,加快了回歸速度,并且AF-CRIoU 取消了對寬高比的回歸,直接回歸寬高的誤差值,避免了CIoU 回歸寬高比時出現回歸阻礙的情況,從而可以收斂到一個更好的狀態。自適應加權因子的引入,也使AF-CRIoU 在訓練中受到低質量樣本影響最小,從而收斂狀態達到最好。

圖12 后100 輪訓練損失收斂情況Fig.12 Convergence of loss in the last 100 rounds of training

在安全帽檢測數據集實驗中,本文同時保存了后100 輪訓練中的預測框與真實框的IoU 來評估AF-CRIoU 損失的性能。平均交并比(AVG_IoU)[27]是在語義分割中的評價指標,通過記錄每輪的平均交并比,即每個類別真實框和預測框的平均IoU,根據平均IoU 的變化趨勢來評估回歸質量。在圖13 中,經過200 輪回歸后,AF-CRIoU 損失的平均IoU 總體保持在0.9 以上,而其他方法的平均IoU 均在小于0.9 以下的范圍波動。這是因為AF-CRIoU 不但完善了中心點距離屬性和及寬高屬性,而且通過自適應加權的方式平衡了高低質量樣本,降低了大量低質量樣本對訓練的影響,提高了邊界框回歸質量,使得預測框和真實框重疊面積更大,貼合程度更好。

圖13 后100 輪平均交并比Fig.13 Average intersection ratio of the last 100 rounds

圖14~圖16 是隨機選取測試集圖片的檢測效果圖。其中紅色框為未佩戴安全帽,綠色框為佩戴安全帽,紫色橢圓標記為漏檢情況,粉色橢圓標記為誤檢情況。如圖14 所示IoU 和GIoU 雖然正確檢測到了目標,但是出現了誤檢情況,而且也并未完全將目標框選。而CIoU 和AF-CRIoU都精準地檢測到了目標。但是對于目標的框選,AF-CRIoU 要優于CIoU。圖15 中每個損失都檢測到了目標,但是AF-CRIoU 的框選依然要比其他方法精準。圖16 中目標較多,其中包含小目標和密集目標,IoU、GIoU、CIoU 均出現了一到兩個目標漏檢,而且對于目標的框選質量也很差。AF-CRIoU 雖然框選存在誤差,但對于小目標和密集目標都能檢測出來。綜上結果可知,CIoU 和AF-CRIoU 二者都完善了回歸屬性,但是AFCRIoU 修改寬高比回歸為誤差回歸,框選更為精準。AF-CRIoU 因為在訓練中有自適應加權因子,使得其受負樣本影響更小,可以收斂得更好,從而達到較好的檢測精度。

圖14 安全帽檢測效果圖1Fig.14 Effect diagram 1 of helmet detection

圖15 安全帽檢測效果圖2Fig.15 Effect diagram 2 of helmet detection

圖16 安全帽檢測效果圖3Fig.16 Effect diagram 3 of helmet detection

5 結 論

本文提出一種新型交并比的邊界框損失函數,通過對IoU 損失函數的改進,引入帶有距離信息和寬高比的懲罰項。以兩框中點圍成的矩形周長比值為距離懲罰項,避免了IoU 損失函數在兩框不相交情況下損失值無法優化的缺點,防止GIoU損失函數在兩框包圍的特殊情況下退化為IoU損失的情景,加快了函數的收斂速度。同時引入寬高誤差懲罰項,解決了CIoU 只回歸寬高比時出現的回歸阻礙情況,使損失值更加穩定,更加多樣地反映邊界框回歸中的回歸狀態。結合Focal Loss 的加權思想解決了歸回問題中樣本質量不均衡所帶來的函數收斂問題。本文將改進的ACRIoU 應用到非極大值抑制處理中,對比NMS提升了檢測精度。實驗結果表明,本文提出的AF-CRIoU 損失函數在單階段和雙階段的目標檢測算法中起到了提升精度和加快收斂的作用。在PASCAL VOC 2012 數據集和安全帽檢測數據集上均有明顯的精度提升,具有一定的實用價值。

猜你喜歡
懲罰實驗檢測
記一次有趣的實驗
“不等式”檢測題
“一元一次不等式”檢測題
“一元一次不等式組”檢測題
神的懲罰
小讀者(2020年2期)2020-03-12 10:34:06
做個怪怪長實驗
懲罰
趣味(語文)(2018年1期)2018-05-25 03:09:58
NO與NO2相互轉化實驗的改進
實踐十號上的19項實驗
太空探索(2016年5期)2016-07-12 15:17:55
小波變換在PCB缺陷檢測中的應用
主站蜘蛛池模板: 精品国产污污免费网站| 亚洲av无码人妻| 亚洲AV色香蕉一区二区| 2020国产免费久久精品99| 92精品国产自产在线观看| 91福利免费视频| 欧美激情成人网| 巨熟乳波霸若妻中文观看免费| 国产丝袜一区二区三区视频免下载| 日本不卡在线播放| 亚洲女同一区二区| 欧美日韩午夜| 国产成人精品一区二区免费看京| 99中文字幕亚洲一区二区| 日本午夜在线视频| www.99在线观看| www.精品视频| 国产午夜福利片在线观看| 欧美午夜视频在线| 精品国产成人a在线观看| 国产自视频| 67194成是人免费无码| 婷婷亚洲视频| 亚洲婷婷在线视频| 国产精品一区二区无码免费看片| 亚洲an第二区国产精品| 国产精品视屏| 欧美国产日产一区二区| 欧美亚洲激情| 国内精自视频品线一二区| 欧美视频免费一区二区三区| 国产精品久久久久久久伊一| 国产午夜人做人免费视频中文 | 老司国产精品视频| 91www在线观看| 国产精品亚洲一区二区三区在线观看| 丁香婷婷激情网| 欧美日韩精品一区二区在线线| 天天躁夜夜躁狠狠躁躁88| 人妻丰满熟妇αv无码| 免费在线看黄网址| 韩国v欧美v亚洲v日本v| 中文字幕久久波多野结衣| 亚洲Av激情网五月天| 伊人久久大香线蕉影院| 亚洲性影院| 美女裸体18禁网站| 日韩成人在线一区二区| 亚洲日韩精品欧美中文字幕| 亚洲国产成人无码AV在线影院L| 91久久偷偷做嫩草影院免费看| 日本在线国产| 久久美女精品| 大陆国产精品视频| 成人一区在线| 九九这里只有精品视频| 国产精品黄色片| 97国产在线观看| 欧美午夜视频| 亚洲乱码在线视频| 久久精品国产国语对白| 国产成人亚洲无码淙合青草| 免费jjzz在在线播放国产| аv天堂最新中文在线| a级毛片免费播放| 欧美成人精品高清在线下载| 日韩色图区| 亚洲日本www| 亚洲第一天堂无码专区| vvvv98国产成人综合青青| 国产高清在线观看| 九色91在线视频| 在线看片中文字幕| 中日韩一区二区三区中文免费视频| 一级一级特黄女人精品毛片| 亚洲精品男人天堂| www.99在线观看| 亚洲人网站| 亚洲精品国产首次亮相| 高清免费毛片| 伊人蕉久影院| 无码专区在线观看|