改進YOLO v3算法及其在安全帽檢測中的應用

王 兵，李文璟，唐 歡

西南石油大學 計算機科學學院，成都610500

1 引言

施工現場的安全帽佩戴檢測主要包括查看監控圖像、人工巡檢等方式。人工巡檢費時費力，實時監控圖像需要監督人員長時間緊盯屏幕，都會出現漏判情況。如果在施工現場沒有佩戴安全帽，將會造成嚴重的后果。使用深度學習方法實時檢測現場工人安全帽佩戴情況，具有重要的工程實用價值。

傳統的目標檢測需要通過手工設計特征，該種方法在實際檢測中存在準確率低、模型泛化性差等問題。深度學習中卷積神經網絡（CNN），在提取圖像特征時具有無需手工設計特征的優勢。國外學者提出了一系列基于深度學習的目標檢測算法。2015 年Girshick 等分別提出R-CNN[1]、Fast R-CNN[2]和Faster R-CNN[3]，在VOC2007數據集[4]上，從R-CNN 暴力檢測到RPN 網絡，不僅提高了準確率，幀速率也達到5 f/s，檢測效果遠遠優于手工設計特征。2015 年Redmon 等提出YOLO v1[5]，進一步提高檢測速率。2015年Liu等[6]提出SSD 多尺度方法，提高了準確率。2018 年Redmon 等提出YOLO v3[7]檢測算法，該算法為YOLO 系列最新檢測算法，在視頻檢測上達到了45 f/s。2017年國外學者提出在建筑安全應用中的自動安全帽檢測[8]。

在國內使用目標檢測算法對安全帽佩戴進行檢測已成未來研究趨勢。2014 年劉曉慧等[9]使用Hu 矩和膚色檢測來識別安全帽。2015 年周艷青等[10]提出將頭部區域相關特征輸入到人工神經網絡進行分類預測。2015 年姚群力等[11]分析R-CNN 系列和YOLO v1 算法。2019 年施輝等[12]采用圖像金字塔結構提取多種尺度的特征圖和YOLO v3相結合。

然而，YOLO v1 到v3 僅使用誤差平方和建立目標函數，導致了目標函數和評價函數不統一，出現目標局部最優不一定是IoU 局部最優的問題。如圖1 所示，使用誤差平方和計算，預測框1 與真實框的誤差和預測框2與真實框的誤差相同，但IoU值卻存在差異。

在圖1中出現平方誤差相同，但IoU不同，并且預測框2 對于真實框出現截取不完整現象，這個現象會影響安全帽佩戴檢測的證據可靠性或引起其他問題。2019年Rezatofighi 等[13]提出GIoU 指標，對解決該問題指出新的方案。如圖2 所示，在IoU 值為0.500 7 和0.502 8時，GIoU 值低的預測框就出現截取不完整現象，GIoU值高的才是目標檢測最優的預測框?？梢钥闯?，GIoU比IoU更能反應預測框的優劣。

GIoU-YOLO v3 為GIoU 算法在YOLO v3 中的實現。GIoU-YOLO v3還存在一定的缺陷。雖然GIoU 總體上比IoU 更優，但是兩框不相交的極端情況只是在模型訓練開始時會出現，并且YOLO v3 早已針對此情況作處理，隨著不斷訓練，極端情況會不斷地減少，GIoUYOLO v3未考慮此情況，直接替換目標函數，這樣會對模型有一定的影響。

本文提出了改進的YOLO v3 算法。首先，將兩框的相交面積除以包含兩框的最小框面積。然后，根據新的評價方案和YOLO v3的目標函數建立了新的目標函數，以獲得目標函數和評價函數統一。新目標函數是將包含兩框的最小框減去兩框的相交，最后除以包含兩框的最小框的計算方法添加到YOLO v3 原目標函數中。最后在訓練模型時將生成ignore_mask 的IoU 計算替換為兩框的相交面積除以包含兩框的最小框面積，進一步減少預測框中負樣本對模型訓練的影響。

圖1 誤差平方和相同時比較

圖2 GIoU與IoU值的結果比較

分別使用VOC2007 數據集和施工現場安全帽佩戴數據集對改進YOLO v3 算法訓練與評估。VOC2007數據集是目標檢測常用公共數據集，該數據集有20 類。施工現場監控安全帽佩戴數據集為自制數據集，從施工現場監控攝像頭獲取視頻數據，或從已保存的視頻數據中抽取視頻數據中的幀保存為圖片，抽取的圖像中有佩戴安全帽類和未佩戴安全帽類，并對安全帽佩戴情況打上標簽，最后形成安全帽佩戴檢測數據集。

訓練集輸入改進YOLO v3、GIoU-YOLO v3 和YOLO v3 算法中，并在統一實驗環境下訓練模型。輸入測試數據集到訓練完成的模型中，得到預測框和對應的類別，并對結果計算mAP-50。每個算法的模型保留4個較優模型，并在取其中最優模型作為評估模型。

實驗表明，改進YOLO v3 相比于YOLO v3 算法，在公共數據集VOC2007 中mAP-50 提高2.07%。改進YOLO v3 相比于YOLO v3 算法，在安全帽佩戴數據集中mAP-50提高2.05%。

2 相關工作

本章首先描述IoU 與GIoU 的計算方式，然后介紹YOLO v3網絡和目標函數，最后介紹GIoU-YOLO v3。

2.1 IoU與GIoU

圖3中有兩個矩形A、B，以及包含它們的最小框C。

交并比IoU 又被稱為Jaccard 系數（Jaccard index），用來衡量兩個集合的相似度。圖3 中A和B 為兩個矩形，也可以看作兩個集合。其Jaccard系數公式如下：

在2D、3D 目標檢測評價函數中IoU 被廣泛使用，IoU 可表示一個距離，并且具有尺度不變性，因此IoU 常用于評估[14]。這就意味著，在S空間中，A與B的關系在不同尺度具有不變的特性。但是IoU 也存在問題：當A與B相交為0或者A與B相距甚遠時，IoU(A,B)始終為0，IoU無法反應兩者之間的關系。

圖3 中，令包含A和B 的最小的封閉框為C。聯合廣義相交公式如下：

聯合廣義相交GIoU 同樣具有尺度不變性，在A與B相交的情況和目標函數有很強的相關性，在A與B不相交時，A與B的距離也能度量。

GIoU 計算是先計算兩框最小閉包區域面積C，再計算IoU，計算閉包區域中不屬于兩框的區域占閉包區域C 的比重，最后用IoU 減去這個比重得到GIoU。IoU為GIoU 的下界，當預測框與真實框重合時，GIoU 將等于IoU。GIoU 的值域為[-1，1]，而IoU 的值域為[0，1]。

此最小框包含兩框的交集、并集、d1和d2區域。當此d1和d2區域為零時，最小框與兩框并集相等。

IoU 只關注重疊區域：A、B和AB。GIoU 不僅關注重疊區域，還關注其他的非重疊區域：d1和d2，更好地反應出預測框與真實框之間的重合度。

當d1和d2區域越大時，目標截取越不完整。d1與d2區域是非重疊區域重要影響因素。不僅僅只有GIoU同時注重重疊區域與非重疊區域，也存在其他簡單計算方法同樣注重這兩個區域。

2.2 YOLO v3

YOLO v3是YOLO系列的最新檢測網絡，在YOLO v2[15]基礎上使用DarkNet-53 網絡，輸出借鑒Faster RCNN中FPN網絡，采用多尺度輸出feature map，YOLO v3的網絡結構如圖4所示。

YOLO v3 修改b-box 的預測方法，在對b-box 進行預測的時候采用邏輯回歸，使用邏輯回歸對anchor包圍的部分計算目標置信度，使得在對預測結果處理時，可以去除不必要的框。既減少了預測時的計算量，又提高了訓練效率，在性能上完全滿足實時檢測的要求。

YOLO v3 的目標函數在之前本版上進行修改，除框w 和h 的誤差計算依然使用平方誤差外，框的中心點誤差計算、框的置信度誤差計算和類別誤差計算都使用了二元交叉熵。YOLO v3 的LossYOLOv3目標函數公式如下：

2.3 GIoU-YOLO v3

GIoU-YOLO v3 算法為GIoU 在YOLO v3 中的實現。分別以IoU 和GIoU 提出兩種目標函數：LIoU=1-IoU、LGIoU=1-GIoU，Hamid等[13]證明LGIoU目標函數訓練的結果優于LIoU目標函數訓練的結果。

GIoU-YOLO v3卻未考慮YOLO v3在設計時模型結構與目標函數的關系。Rezatofighi 等[13]是直接把YOLO v3 中計算框的目標函數替換為LGIoU，mAP 確有提升，但未考慮YOLO v3 原有目標函數設計。LGIoU應為YOLO v3 原有目標函數的約束。

圖4 YOLO v3網絡結構圖

3 改進YOLO v3

3.1 IoU_GIoU

IoU只注重重疊區域，GIoU同時注重重疊區域與非重疊區域。IoU 值相同，GIoU 值不相同，主要是非重疊區域的影響。如圖5所示。

圖5 IoU、GIoU和IoU_GIoU對比

左側預測框與真實框IoU 值大于右側預測框與真實框的IoU 值，但左側預測框與真實框GIoU 值卻小于右側預測框與真實框的GIoU 值。若按照左側預測框截取，將會出現目標截取不完整，IoU 值越小，這種現象越明顯。因為重疊區域越小，非重疊區域的影響越大。

GIoU 優于IoU 在于同時關注重疊區域面積與非重疊區域面積，如圖3 所示，d1與d2區域也影響兩框的并集，若不對其約束，將會影響預測框與真實框的重合度。為得到“優質”的預測框，應同時關注重疊區域與非重疊區域。

本文提出一種簡單計算方法，同時注重重疊區域與非重疊區域，公式如下：

IoU_GIoU 的分子關注重疊區域的面積，分母C 的面積為A與B 并集的面積加d1與d2區域的面積，這樣也關注非重疊區域的面積。

GIoU 的思想是重疊區域面積與非重疊區域面積共同反應預測框和真實框的重合度。IoU_GIoU 的值會隨著重疊區域減小而減小，增大而增大。隨著非重疊區域減小而增大，增大而減小。IoU_GIoU 同時也關注這個兩個區域，并且比GIoU 計算簡單。

當d1和d2區域面積為0 時，IoU_GIoU 值與IoU 值相等。當d1和d2 區域面積不為0 時，IoU_GIoU 值與GIoU 值都能反應重疊區域與非重疊區域的情況。

IoU_GIoU 與GIoU 一樣可以評估出預測框的優劣，并且IoU_GIoU計算比GIoU 計算更簡潔。在改進YOLO v3 算法模型訓練時使用IoU_GIoU 替換IoU解決了相同IoU 值中的“優質框”問題。雖然IoU_GIoU缺少對兩框不相交時的度量，但是在YOLO v3 中存在錨框等方法，因此目標檢測更注重是兩框相交的這種情況。

3.2 新的目標函數

YOLO v3 算法中對w、h 計算誤差時，僅僅使用誤差平方和，在誤差平方和相等情況下IoU卻有高有低。

為解決評價指標與目標函數不統一對模型的影響。Rezatofighi 等[13]提出GIoU 算法，并使用LGIoU作為目標函數，實現了GIoU-YOLO v3，mAP 得到了提高。但GIoU-YOLO v3未考慮YOLO v3網絡結構與目標函數的關系。YOLO v3使用錨框、網格等方法，并設計對應的目標函數。因此本文提出：將GIoU 等思想應加入YOLO v3目標函數，成為原目標函數的約束。

本文目標函數借鑒YOLO v3 算法和IoU_GIoU。提出新目標函數Lossnew。Lossnew公式如下：

LossYOLOv3為YOLO v3 原目標函數。LossG考慮了IoU_GIoU 計算方法，并且設計了面積計算方法，LossG公式如下：

設計的計算方法保障了面積計算不會存在異常情況，避免兩負數相乘為正的錯誤計算。CArea為C 的面積。ABArea為A與B交集的面積。計算公式如下：

本文目標函數根據IoU_GIoU 設計。當d1和d2區域為0 時，LossG和LGIoU將退化為LIoU=1-IoU。當d1和d2 區域不為0，并且A 與B 交集的面積不為0 時，LossG比LGIoU更重視d1和d2區域與AB 區域對目標函數的影響，公式如下：

重疊區域最重要的是AB區域，非重疊區域最重要的是d1和d2區域，對于A與B 并集的面積則是次要影響非重疊區域。通過比較上述公式可以發現LossG更重視重疊區域與非重疊區域對目標函數的影響，很適合對原目標函數中誤差平方和計算修正。LossG也會隨著IoU_GIoU 值的增大而減小，從而使Lossnew達到真正的最優。

3.3 ignore_mask與相關參數

YOLO v3 計算框置信度的損失值時使用二元交叉熵，并計算負樣本框的損失值。由于YOLO v3 使用多尺度預測框，預測框中的負樣本數遠大于正樣本數。因此Redmon 等使用ignore_mask[7]，對于不滿足忽略閾值的負樣本直接忽略，從而減少正負樣本比例的嚴重傾斜。

YOLO v3生成ignore_mask是使用IoU計算預測框與真實框的值與忽略閾值比較。若大量的負樣本與真實框的IoU 值滿足忽略閾值，還是會導致模型難以訓練。因此ignore_mask與忽略閾值對模型訓練尤為重要。

將模型訓練生成ignore_mask 使用的IoU 計算替換為IoU_GIoU 計算。IoU_GIoU 值小于等于IoU 值，當d1和d2區域為0 時，IoU_GIoU 值與IoU 值相等。在相同忽略閾值下，IoU_GIoU生成的ignore_mask 將進一步減少負樣本對模型訓練的影響。

忽略閾值越大，忽略的框就可能越多，對模型訓練有很大影響。但IoU_GIoU 與GIoU 是區分同IoU 值下，預測框的質量，并非使忽略閾值增大。在訓練改進YOLO v3 算法模型時，忽略閾值設為0.5，mAP-50 將得到提升。

在訓練時更改忽略閾值得到的改進YOLO v3調整參數模型，在檢測時需設置IoU 值為0.5以上，score值為0.3。對于未調整參數的模型IoU 值一般設置為0.5，score 值0.3。在此設置的IoU 值與score 值都會與實際情況相結合。

根據實際情況設置IoU 值與score值均不需要再訓練模型，減少了訓練模型的時間成本，在實用性上也得到提升。

4 實驗結果與分析

改進YOLO v3 算法將使用新目標函數Lossnew和IoU_GIoU 計算方法訓練模型。模型初始權重使用YOLO v3 中的Darknet YOLO 預訓練模型權重。為了對比改進YOLO v3的優勢，分別使用GIoU-YOLO v3、YOLO v3和SSD 在統一實驗環境下訓練模型。

為了進一步說明改進YOLO v3 優勢不是特例情況。每個算法的模型訓練時保存較優的4 個模型，最后在4 個較優模型中使用mAP-50 進行模型評估，選出最優模型作為對比模型。

此次實驗設備信息為：CPU 4770K，顯卡1080ti，內存32 GB，操作系統為Windows 10，深度學習框架為Keras。為了進一步證明改進YOLO v3 效果。本文采用兩套數據集，分別為VOC2007 數據集和施工現場安全帽佩戴數據集。施工現場安全帽佩戴數據集為實驗1，VOC2007數據集為實驗2。

4.1 實驗1

4.1.1 實驗1數據預處理

建立施工現場安全帽佩戴數據集，首先使用OpenCV 開發庫從錄像視頻文件或者實時攝像頭中按時間段截取幀，獲取分辨率為1 280×720 以上的圖像數據，保存為圖像格式文件。再采用labelImg 工具對圖像格式文件進行標記，標記操作需要人工執行，將圖像中的未帶安全帽的人和正確佩戴安全帽的人標注出，如圖6所示，并形成相對應的xml配置文件。

4.1.2 實驗1網絡訓練

圖6 安全帽佩戴情況標注

在實驗過程中，將施工現場安全帽佩戴數據集，按7∶3 分為訓練集與測試集，從自制數據集中訓練集隨機抽出20%的圖片為驗證集，抽出的驗證集依舊屬于訓練集，并且將數據集xml中的框和類別信息讀取出來。

在整個自制數據集中，佩戴安全帽與不佩戴安全帽具體信息如表1 所示。訓練集數據輸入YOLO v3 模型并使用Lossnew訓練前，使用圖像增強技術不斷的將圖像數據的色調（H）、飽和度（S）、明度（V）等其他參數進行微調。訓練出的模型泛化性更高。

模型訓練分為兩次，第一次訓練學習率（learningrate）為0.000 1，輪次（epoch）為50次，每一輪次迭代次數為70次，一共迭代次數為3 500，每一次迭代訓練的樣本數為32。第二次訓練使用減少學習率和提前終止（early stopping），初始學習率（learning rate）為0.000 01，最大輪次（epoch）為50 次，每一輪次迭代次數為280 次，最大迭代次數為28 000次，每一次迭代訓練的樣本數為8，若連續3 輪次（epoch）驗證集的損失值未改善，學習率（learning rate）將乘以0.1，若連續10 輪次（epoch）驗證損失值未改善，則訓練終止。改進YOLO v3 算法使用安全帽佩戴數據集的訓練損失值如圖7 和圖8 所示。由于增加LossG，模型首個輪次（epoch）訓練時，改進YOLO v3 算法損失值較高。但經過第一次訓練和第二次訓練后，改進YOLO v3算法損失值都趨于穩定。

表1 數據集類別分配

圖7 本文算法在安全帽佩戴數據集中第一次訓練

圖8 本文算法在安全帽佩戴數據集中第二次訓練

在同樣的實驗環境和訓練方式下重新訓練了GIoUYOLO v3、YOLO v3、SSD，并得到相應的4組損失值較優模型。

4.1.3 實驗1結果

為保證預測框的精確性。安全帽佩戴數據集使用AP50 以及對應的mAP-50 作為評價指標。將較優模型進行評估，得到相應的最優模型，最后將各個模型的最優模型進行對比。

安全帽佩戴數據集中佩戴安全帽和未佩戴安全帽的AP50、mAP-50如表2所示。

在安全帽佩戴數據集的測試集中隨機抽取兩張圖片，并將圖片輸入已建立好的模型中，得到對應的框坐標和類別，此次結果IoU 值設置為0.75、score 值設置為0.3。檢測圖結果如圖9所示。

表2 安全帽佩戴數據集各類別AP50及mAP-50

4.2 實驗2

圖9 安全帽佩戴數據集隨機選取兩張圖片檢測圖

使用VOC2007 數據集在同一實驗環境下進行實驗。重新訓練改進YOLO v3算法和YOLO v3算法，得到相應的模型。使用VOC2007 數據集中測試集對模型進行評估。

改進YOLO v3算法和YOLO v3算法使用VOC2007數據的訓練損失值，如圖10 和圖11 所示。由于增加LossG，模型首個輪次（epoch）訓練時，改進YOLO v3 算法損失值較高。但經過第一次訓練和第二次訓練后，改進YOLO v3算法損失值都趨于穩定。

在同樣的實驗環境和訓練方式下重新訓練了GIoUYOLO v3 和YOLO v3，并得到相應的4 組損失值較優模型。

VOC2007 數據集使用AP50 以及對應的mAP-50 作為評價指標。對較優模型進行評估，得到相應的最優模型，最后將各個模型的最優模型進行對比。

在此展示VOC2007數據集中20類的AP50、mAP-50，如表3 和表4 所示。改進YOLO v3 算法在VOC2007 數據集中的mAP-50為82.29%。

4.3 實驗1、2結果分析

由表2 可見，改進YOLO v3 算法在安全帽佩戴數據集上mAP-50提高2.05%。如圖9所示，在保證高精度同時，能檢測出佩戴安全帽的人和未佩戴安全帽的人，并且在檢測出的目標中未出現檢測出的目標不完整現象，能較好地完成安全帽佩戴檢測任務。根據表3 和表4實驗結果，改進YOLO v3算法在公共數據集VOC2007上，mAP-50提高2.07%。

圖12中為改進YOLO v3、GIoU-YOLO v3和YOLO v3在VOC2007數據集訓練中損失值較優的4組模型。

改進YOLO v3的mAP-50值趨于穩定且精度高，最優mAP-50 為82.29%。雖然GIoU-YOLO v3 的mAP-50值穩定，相對于YOLO v3 有0.93%的提升，但提升弱于改進YOLO v3，且GIoU-YOLO v3 的mAP-50 小于改進YOLO v3的mAP-50。

對于YOLO v3 的mAP-50 值，則呈現出不穩定且精度低的現象，在此也反應出目標函數與評價指標不統一會導致模型精度降低。無論公共數據集VOC2007，還是自制的安全帽佩戴數據集，改進YOLO v3 算法都提高了mAP-50。

圖10 本文算法在VOC2007數據集中第一次訓練

圖11 本文算法在VOC2007數據集中第二次訓練

表3 VOC2007數據集各類別AP50

表4 VOC2007數據集各類別AP50及mAP-50

圖12 VOC2007數據集mAP-50

表5 為在VOC2007 數據集中不同目標函數與指標結果對比。目標函數分別為：Lossnew、LossYOLOv3。在ig‐nore_mask 中使用的指標分別為：IoU、IoU_GIoU。相比于YOLO v3，IoU_GIoU應用在目標函數中mAP-50提高了1.24%，IoU_GIoU應用在ignore_mask中mAP-50提高了1.03%，同時應用在目標函數和ignore_mask中mAP-50提高了2.07%。實驗結果均表明IoU_GIoU優于IoU。

由表6 可知，改進YOLO v3、GIoU-YOLO v3 和YOLO v3的幀速率相差無幾。雖然YOLO v3等模型的模型參數大于SSD，但在檢測速率上優于SSD[7]。改進YOLO v3 算法既保證了檢測速率，還提高了mAP-50，并且在安全帽佩戴檢測中mAP-50提升了2.05%。

表5 在VOC2007數據集中不同目標函數與指標結果對比

表6 模型參數和性能

5 結束語

本文根據YOLO v3和GIoU提出新目標函數，解決評價指標與目標函數不統一，會出現目標局部最優不一定是IoU 局部最優的問題。首先使用包含兩框的最小框減去兩框的相交，除以包含兩框的最小框添加到目標函數中，保證了新目標函數與評價指標相關。最后在訓練模型時將生成ignore_mask 的IoU 計算替換為IoUGIoU，進一步減少預測框中負樣本對模型訓練的影響。實驗結果表明，改進YOLO v3 算法相比GIoU-YOLO v3和YOLO v3算法獲得的模型，在VOC2007數據集和安全帽佩戴數據集中mAP-50 值都得到提升且較為穩定。該算法訓練出的模型在安全帽佩戴檢測上更具有使用價值。未來將繼續研究網絡結構的調整，使模型的精度進一步提高。