基于YOLOv3的安全帽佩戴檢測(cè)方法研究

王 珩

(上海工業(yè)自動(dòng)化儀表研究院有限公司，上海 200233)

0 引言

近年來(lái)，隨著工業(yè)4.0概念的提出和深度學(xué)習(xí)等高新技術(shù)的發(fā)展，場(chǎng)景目標(biāo)物體檢測(cè)逐漸成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)[1-2]。傳統(tǒng)視頻監(jiān)控系統(tǒng)對(duì)于工廠生產(chǎn)過(guò)程中設(shè)備或人為的異常情況，只能通過(guò)即時(shí)的人為監(jiān)視或人工巡檢，以及事后通過(guò)歷史數(shù)據(jù)，查找當(dāng)時(shí)事件發(fā)生狀況。而智能檢測(cè)系統(tǒng)能夠在無(wú)人值守監(jiān)控的情況下，隨時(shí)隨地使用一套固定的邏輯，及時(shí)記錄不遵循規(guī)范的現(xiàn)場(chǎng)人員并通知相關(guān)人員[3]。因此，研究如何從監(jiān)控中提取有用信息，并對(duì)感興趣的信息進(jìn)行處理，具有重要的實(shí)際意義。

對(duì)于安全帽識(shí)別任務(wù)，目前大多數(shù)學(xué)者是基于傳統(tǒng)方法。其中，劉曉慧等[4]利用膚色信息定位，再借助支持向量機(jī)(support vector machine,SVM)，通過(guò)交叉驗(yàn)證選定合適的核函數(shù)，最終實(shí)現(xiàn)安全帽佩戴狀態(tài)的識(shí)別；劉云波等[5]通過(guò)連續(xù)圖像檢測(cè)運(yùn)動(dòng)目標(biāo)，根據(jù)顏色特征判斷運(yùn)動(dòng)目標(biāo)是否佩戴安全帽。上述研究已經(jīng)取得了一些成果。但由于頭盔顏色形狀差異，以及相機(jī)角度、距離、光線等外界因素變化，這些安全帽識(shí)別算法的魯棒性較差，易受外界環(huán)境干擾。

綜上所述，對(duì)于安全帽識(shí)別任務(wù)，目前欠缺一種高魯棒性的分類算法。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展[6]，提出了多種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)[7-8]和目標(biāo)跟蹤算法[9]，為研究者提供嶄新的思路。本研究將基于深度學(xué)習(xí)地神經(jīng)網(wǎng)絡(luò)識(shí)別方案，通過(guò)對(duì)工廠區(qū)域的視頻圖像機(jī)型處理，進(jìn)而識(shí)別工人安全帽的佩戴狀態(tài)。

1 YOLO網(wǎng)絡(luò)結(jié)構(gòu)模型

YOLO網(wǎng)絡(luò)是一個(gè)以目標(biāo)檢測(cè)為目的而設(shè)計(jì)的網(wǎng)絡(luò)。由于YOLO本身端到端的特性，它的計(jì)算速度比大多數(shù)深度網(wǎng)絡(luò)快，具有良好的實(shí)時(shí)性；此外，該網(wǎng)絡(luò)可以在具有良好魯棒性的前提下保持較高的準(zhǔn)確率。基于以上兩大優(yōu)勢(shì)，它被認(rèn)為可以滿足大部分工業(yè)檢測(cè)場(chǎng)景準(zhǔn)確性和實(shí)時(shí)性需求，具有良好的工業(yè)應(yīng)用前景，因而在最近幾年被廣泛研究。YOLOv3網(wǎng)絡(luò)是YOLO網(wǎng)絡(luò)作者根據(jù)初代YOLO網(wǎng)絡(luò)，經(jīng)過(guò)數(shù)次改良的產(chǎn)物，具有更好的性能。這也是本文選用YOLOv3進(jìn)行一系列研究的原因。

Darknet 53結(jié)構(gòu)單元如圖1所示。

圖1 Darknet 53結(jié)構(gòu)單元 Fig.1 Darknet53 structure units

YOLO網(wǎng)絡(luò)僅使用卷積層，屬于全卷積網(wǎng)絡(luò)。這在減少了參數(shù)變量的同時(shí)，加快了網(wǎng)絡(luò)的運(yùn)行速度。相比于其他神經(jīng)網(wǎng)絡(luò)，YOLO系列神經(jīng)網(wǎng)絡(luò)通過(guò)合理的設(shè)計(jì)，成功地將目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化為回歸問(wèn)題，因而直接通過(guò)網(wǎng)絡(luò)產(chǎn)生物體的位置和所屬類別信息。而其他主流網(wǎng)絡(luò)[10]，大多數(shù)需要對(duì)已經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)處理輸出的圖像進(jìn)行再處理。

YOLOv3主體卷積網(wǎng)絡(luò)是以Darknet 53[11]結(jié)構(gòu)為基礎(chǔ)。由圖1可知，Darknet 53結(jié)構(gòu)由53層卷積層搭建而成。為了防止梯度消失以及梯度爆炸現(xiàn)象，Darknet-53網(wǎng)路之間由加入了殘差單元，這樣可以讓網(wǎng)絡(luò)進(jìn)行層數(shù)更深的訓(xùn)練。由于殘差單元過(guò)多會(huì)導(dǎo)致其他不良的結(jié)果，因此Darknet-53選擇加入五個(gè)殘差單元(Resnetunit)[12]。每個(gè)殘差單元的搭建如圖1(a)所示，上層原始輸入不僅僅會(huì)通過(guò)兩個(gè)DBL單元輸入到更下層，還會(huì)跳過(guò)DBL單元直接到下層。換而言之，下層會(huì)收到原始上層數(shù)據(jù)以及處理過(guò)的上層數(shù)據(jù)。通過(guò)這種方式，構(gòu)建了一個(gè)殘差單元。DBL 單元結(jié)構(gòu)包含卷積層、批歸一化(batch normalization)層和leaky-relu激活函數(shù)層，共計(jì)3層結(jié)構(gòu)。

YOLOv3相比Darknet 53架構(gòu)，作出了一些改進(jìn)。YOLOv3整體架構(gòu)如圖2所示。

圖2 YOLOv3 整體架構(gòu)示意圖 Fig.2 YOLOv3 overall structure

YOLOv3加入了更多的卷積層，用于提取物體的深層特征。YOLOv3共有75個(gè)卷積層，包括跳躍連接和上采樣層。此外，它以2步長(zhǎng)的卷積層替代了傳統(tǒng)的最大池化層。卷積與池化層相比，有了更多變化的可能。YOLOv3網(wǎng)絡(luò)對(duì)輸入圖片總共進(jìn)行了5 次降采樣，并分別在最后3次降采樣中對(duì)目標(biāo)進(jìn)行預(yù)測(cè)。最后3 次降采樣的輸出，可以理解為分別包含了3 個(gè)尺度目標(biāo)檢測(cè)的特征圖。當(dāng)尺度越大時(shí)，其提取的特征圖就越小。這些大小不同的特征圖也有各自的作用：小特征圖提供了深層次語(yǔ)義信息，大特征圖則提供了目標(biāo)位置信息。此外，YOLOv3網(wǎng)絡(luò)中事先準(zhǔn)備了通路，使得小特征圖可以經(jīng)過(guò)上采樣和大特征圖融合，從而使大特征圖中含有小特征圖中的特征信息。即使模型設(shè)定的檢測(cè)目標(biāo)較大，圖中小特征的丟失也較少。因此，YOLOv3網(wǎng)絡(luò)對(duì)于大小各異的目標(biāo)均有不錯(cuò)的定位效果。

不同尺度的特征圖通過(guò)YOLOv3最底層的探測(cè)層，輸出為一張包含多尺度信息的最終特征圖。最終特征圖中，每一個(gè)尺寸下網(wǎng)格單元中包含了[B×(5+C)]的數(shù)據(jù)。其中，B為每個(gè)單元中預(yù)測(cè)框的個(gè)數(shù)，用于預(yù)測(cè)某一類特定物體，每個(gè)預(yù)測(cè)框有5個(gè)數(shù)據(jù)(即x、y、w、h、S+C)。其中：(x,y)為預(yù)測(cè)框的中心相對(duì)于單元格的偏移，(w,h)為預(yù)測(cè)框相對(duì)與對(duì)應(yīng)錨點(diǎn)的寬高偏移，S為置信值。

S=Pobject×U

(1)

式中:Pobject為預(yù)測(cè)框中物體的概率，1為存在，0為不存在；U為預(yù)測(cè)框與真實(shí)框的交并比(intersection over union,IOU)；C為C個(gè)類別的條件概率Pclass|object。

一般每個(gè)YOLO網(wǎng)絡(luò)單元中預(yù)測(cè)框個(gè)數(shù)B=3。最后，對(duì)這些預(yù)測(cè)框使用回歸算法，并通過(guò)非極大值抑制(non-maximum suppression,NMS)合理化輸出判斷結(jié)果，完成目標(biāo)檢測(cè)任務(wù)。

此外，YOLOv3算法使用了錨點(diǎn)框，以提高檢測(cè)的準(zhǔn)確性。因此，本次安全帽識(shí)別任務(wù)中也應(yīng)用了此方法。這部分內(nèi)容學(xué)習(xí)方法和前兩段的圖像特征學(xué)習(xí)有一定的區(qū)別，因此放在最后進(jìn)行說(shuō)明。為了合理確定初始的錨點(diǎn)框的初始尺寸，本文使用Kmeans聚類方法，以訓(xùn)練樣本中已標(biāo)注的邊界框尺寸作為樣本，確定錨點(diǎn)框尺寸。選擇k個(gè)聚類中心(k為9)，以式(2)作為距離函數(shù)進(jìn)行聚類。其中,Ubbox，kmeans表示邊界框和聚類尺寸的交并比[13]。

dbbox,kmeans=1-Ubbox,kmeans

(2)

2 YOLO的遷移學(xué)習(xí)

如果將每一個(gè)網(wǎng)絡(luò)從頭到尾進(jìn)行訓(xùn)練，直到其能應(yīng)用于實(shí)際工程任務(wù)，那么有兩個(gè)條件是必要的。一是大量的訓(xùn)練數(shù)據(jù)集，二是有不進(jìn)入、反向傳播的驗(yàn)證集。前者是訓(xùn)練網(wǎng)絡(luò)性能，得到更深層、有效的圖像特征；后者是為了防止過(guò)擬合現(xiàn)象，避免出現(xiàn)訓(xùn)練集精度變高而實(shí)際任務(wù)精度變低的情況。

為了將YOLOv3網(wǎng)絡(luò)應(yīng)用于安全帽識(shí)別任務(wù)，第一步就是得到上述兩類數(shù)據(jù)。本研究通過(guò)調(diào)用廠區(qū)工人作業(yè)的現(xiàn)場(chǎng)監(jiān)控視頻，得到原始圖像；然后，以人工標(biāo)注的方式，建立安全帽佩戴識(shí)別檢測(cè)數(shù)據(jù)集。然而，由于人工標(biāo)注信息消耗時(shí)間較大，加之原始有效圖像較少，因而有類標(biāo)的數(shù)據(jù)集共有465張圖片。因此，即使不將數(shù)據(jù)集分為訓(xùn)練集和數(shù)據(jù)集而是全部應(yīng)用于訓(xùn)練，所需要的訓(xùn)練數(shù)據(jù)集也是遠(yuǎn)遠(yuǎn)不夠的。不僅如此，YOLOv3是全卷積網(wǎng)絡(luò)。用于特征提取部分的卷積層更需要大量的樣本訓(xùn)練，才能提取到更易于分類的深層特征。可以預(yù)見(jiàn)，如果直接用此數(shù)據(jù)集訓(xùn)練YOLO網(wǎng)絡(luò)，必然很難得到具有泛化性的結(jié)果。

針對(duì)以上問(wèn)題，本文采用遷移學(xué)習(xí)[14]的方法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。由于YOLOv3已經(jīng)Image-Net上試驗(yàn)過(guò)千分類任務(wù)，因此YOLOv3網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)，實(shí)際上均已經(jīng)過(guò)參數(shù)訓(xùn)練。因此，可以將ImageNet[15]的分類數(shù)據(jù)集作為源域。首先，在YOLOv3的每個(gè)參數(shù)點(diǎn)載入這些參數(shù)。這是因?yàn)槭褂肐mageNet數(shù)據(jù)集訓(xùn)練完分類網(wǎng)絡(luò)后，卷積核的權(quán)值經(jīng)過(guò)訓(xùn)練，已經(jīng)具備了可以提取泛化特征的能力。然后，使用模式識(shí)別的微調(diào)的方式，凍結(jié)網(wǎng)絡(luò)層的絕大部分，只對(duì)最后幾層(尤其是最后用于將特征向量轉(zhuǎn)化成概率輸出softmax[16]層)啟用反向傳播，進(jìn)行節(jié)點(diǎn)參數(shù)的數(shù)據(jù)更新。這是為了讓最后幾層的深度卷積層提取特定任務(wù)下的深層特征，從而使得YOLOv3可以應(yīng)用于本次任務(wù)。對(duì)于本研究而言，所希望提取的特征信息就是安全帽以及其相關(guān)像素點(diǎn)的計(jì)算機(jī)視覺(jué)特征。在使用了遷移學(xué)習(xí)后，就可以將數(shù)據(jù)集的一部分分割到驗(yàn)證集之中，以防止過(guò)擬合現(xiàn)象的發(fā)生。在使用遷移學(xué)習(xí)后，將網(wǎng)絡(luò)性能訓(xùn)練到滿足要求已經(jīng)不再需要大量的訓(xùn)練集。在本次任務(wù)中，訓(xùn)練集有360個(gè)樣本集，用于訓(xùn)練回歸預(yù)測(cè)部分的卷積核參數(shù)；測(cè)試集有105個(gè)樣本，不進(jìn)入反向傳播而直接輸入網(wǎng)絡(luò)計(jì)算結(jié)果，用于客觀評(píng)價(jià)網(wǎng)絡(luò)的實(shí)際性能。

3 試驗(yàn)結(jié)果及分析3.1 試驗(yàn)方案設(shè)計(jì)

在試驗(yàn)之前的準(zhǔn)備數(shù)據(jù)集階段，使用lableImg工具將數(shù)據(jù)集標(biāo)定為三類，即A類、B類、C類。A類表示人體上半身，B類正確佩戴安全帽的頭像，C類是沒(méi)有佩戴安全帽的頭像。將標(biāo)定好的數(shù)據(jù)集在服務(wù)器上，使用上述方式對(duì)YOLOv3網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后得到該網(wǎng)絡(luò)的模型參數(shù)。

試驗(yàn)階段，每隔時(shí)間N秒從視頻圖像中取待測(cè)幀圖像，對(duì)待測(cè)圖像預(yù)處理，轉(zhuǎn)換待測(cè)圖像數(shù)據(jù)格式以及調(diào)整圖像尺寸；將預(yù)處理好的圖像載入已經(jīng)訓(xùn)練好的YOLO模型中，模型輸出A類、B類、C類。A類記作An，B類記作Bn，C類記作Cn。其中：n為檢測(cè)到各個(gè)類別的個(gè)數(shù)，n=1，2，…，N。

算法流程如圖3所示。

圖3 算法流程圖 Fig.3 Algorithm flowchart

3.2 試驗(yàn)平臺(tái)

本試驗(yàn)分模型訓(xùn)練階段和檢測(cè)階段。模型訓(xùn)練階段對(duì)硬件環(huán)境要求很高，使用了GTX1080Ti的GPU服務(wù)器進(jìn)行運(yùn)算。檢測(cè)階段對(duì)硬件環(huán)境也有一定要求：使用了GTX1050的GPU臺(tái)式機(jī)，搭建了用于試驗(yàn)的環(huán)境，包括Ubuntu16、CUDA、python、OpenCV、gcc 等常用環(huán)境，YOLOv3使用了Darknet-53 框架。使用YOLOv3官網(wǎng)上提供的權(quán)重參數(shù)作為網(wǎng)絡(luò)訓(xùn)練的初始化參數(shù)，對(duì)已標(biāo)定的安全帽佩戴檢測(cè)訓(xùn)練數(shù)據(jù)集中的圖片進(jìn)行網(wǎng)絡(luò)參數(shù)微調(diào)，從而使整個(gè)網(wǎng)絡(luò)檢測(cè)達(dá)到最好效果。

3.3 試驗(yàn)數(shù)據(jù)集

對(duì)深度學(xué)習(xí)而言，試驗(yàn)數(shù)據(jù)集是該算法能否有效的重要條件。然而，安全帽檢測(cè)的數(shù)據(jù)集目前在公開(kāi)數(shù)據(jù)集中不存在。故本文使用工廠監(jiān)控視頻自制了安全帽的數(shù)據(jù)集，主要包括以下步驟。

①數(shù)據(jù)收集：數(shù)據(jù)主要來(lái)源于廠區(qū)工人作業(yè)的現(xiàn)場(chǎng)監(jiān)控視頻，以及沒(méi)有佩戴安全帽的頭部圖像。其中以廠區(qū)現(xiàn)場(chǎng)監(jiān)控視頻為主。

②數(shù)據(jù)預(yù)處理：廠區(qū)使用的是高清視頻攝像頭，因此數(shù)據(jù)預(yù)處理需要使用Opencv視頻開(kāi)發(fā)庫(kù)把視頻文件轉(zhuǎn)換成圖像的PNG格式。轉(zhuǎn)化的圖像作為圖像數(shù)據(jù)集。圖像統(tǒng)一尺寸為(640×480)像素。

③數(shù)據(jù)標(biāo)定：使用labelImg數(shù)據(jù)標(biāo)定工具對(duì)安全帽佩戴檢測(cè)數(shù)據(jù)庫(kù)的圖片進(jìn)行標(biāo)記。該工具需要手工標(biāo)記出對(duì)圖片的自定義目標(biāo)，最后可根據(jù)輸入的標(biāo)記信息生成相關(guān)的配置文件。

3.4 YOLO模型訓(xùn)練

試驗(yàn)使用360個(gè)樣本數(shù)據(jù)作為反向傳播遷移學(xué)習(xí)的訓(xùn)練數(shù)據(jù)。數(shù)據(jù)分辨率和自制數(shù)據(jù)集分辨率相同，均為(640×480)像素，檢測(cè)的類別包括A類、B類、C類。將標(biāo)定好的數(shù)據(jù)集在服務(wù)器上使用YOLOv3網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后得到該網(wǎng)絡(luò)的模型參數(shù)。使用360訓(xùn)練樣本訓(xùn)練YOLO模型。將105個(gè)樣本圖像輸入訓(xùn)練好的模型，進(jìn)行對(duì)場(chǎng)景類別和目標(biāo)位置的預(yù)測(cè)。當(dāng)YOLO神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的目標(biāo)邊界框與手工標(biāo)定的邊界框交并比u大于等于0.5時(shí)，則任務(wù)預(yù)測(cè)成功。本試驗(yàn)采用準(zhǔn)確率、召回率作為評(píng)價(jià)標(biāo)準(zhǔn)。

訓(xùn)練效果如下。本試驗(yàn)共進(jìn)行了2 500訓(xùn)練，每次喂入網(wǎng)絡(luò)圖片數(shù)量BATCH_SIZE為8。隨著訓(xùn)練輪數(shù)的增加，預(yù)測(cè)類別和真實(shí)類別、預(yù)測(cè)尺寸和真實(shí)尺寸的損失值都在逐漸減小。但是由于訓(xùn)練樣本不大，導(dǎo)致訓(xùn)練集和測(cè)試集最后出現(xiàn)過(guò)擬合。隨著以后增大訓(xùn)練樣本，該問(wèn)題可以得到解決。

3.5 結(jié)果分析

在實(shí)際測(cè)試時(shí)，算法可以檢測(cè)出目標(biāo)未佩戴安全帽或者佩戴其他帽子的情況，準(zhǔn)確率在95%以上。同時(shí)，在實(shí)際測(cè)試中，基于YOLOv3安全帽檢測(cè)算法對(duì)多目標(biāo)檢測(cè)也有效果。試驗(yàn)結(jié)果表明，本檢測(cè)方法能夠在保持較高檢測(cè)速率的同時(shí)，基本滿足實(shí)時(shí)檢測(cè)要求。

4 結(jié)論

本文使用YOLOv3網(wǎng)絡(luò)對(duì)是否正確佩戴安全帽的檢測(cè)方法進(jìn)行了研究。配合使用廠區(qū)監(jiān)控視頻作為數(shù)據(jù)集進(jìn)行了安全帽佩戴的檢測(cè)試驗(yàn)，使用了YOLOv3網(wǎng)絡(luò)中多尺度特征檢測(cè)、目標(biāo)框尺寸聚類以及對(duì)輸出類進(jìn)行交并比檢測(cè)等方法，在保證較高檢測(cè)準(zhǔn)確率的同時(shí)，仍能夠有較快的檢測(cè)速度。下一步工作是增大數(shù)據(jù)集的圖片數(shù)量，以及每個(gè)標(biāo)定類別增加更多的圖片和樣式，從而增加檢測(cè)準(zhǔn)確率。