基于YOLOv3和YCrCb的人臉口罩檢測與規范佩戴識別

摘? 要： 2020年初，新冠病毒席卷全球，為防止其傳播，在很多公共場合要求佩戴口罩。利用計算機視覺檢測人臉是否佩戴口罩以及識別是否佩戴規范，可以避免檢測人員與他人接觸感染的風險且更加高效。針對人臉口罩檢測問題，提出了基于YOLOv3的目標檢測算法，實現對佩戴口罩的人臉和未佩戴口罩的人臉的檢測。針對口罩規范佩戴識別問題，則基于前者檢測結果，提取佩戴口罩的人臉區域，利用YCrCb的橢圓膚色模型對該區域進行膚色檢測，依據人臉中鼻和嘴周圍區域的皮膚暴露狀況來判斷口罩是否佩戴規范。實驗結果表明，人臉口罩檢測的mAP達到89.04%，口罩規范佩戴的識別率達到82.48%，滿足實際應用的需求。

關鍵詞： 人臉口罩檢測;口罩規范佩戴識別;YOLOv3算法;YCrCb橢圓膚色模型

中圖分類號： TP391.4 ???文獻標識碼： A??? DOI：10.3969/j.issn.1003-6970.2020.07.033

本文著錄格式：肖俊杰. 基于YOLOv3和YCrCb的人臉口罩檢測與規范佩戴識別[J]. 軟件，2020，41（07）：164-169

Masked Face Detection and Standard Wearing Mask RecognitionBased on YOLOv3 and YCrCb

XIAO Jun-jie

（College of Computer Science and Technology， Wuhan University of Technology， Wuhan 430070， China）

【Abstract】： In early 2020， 2019-nCoV swept the world， and masks were required to wear in many public places to prevent its spread. Using computer vision to detect whether a face wears a mask and recognize whether the mask is properly worn will avoid the risk of contact with others and be more efficient. To solve the masked face detection， a algorithm based on YOLOv3 is proposed to detect faces both with masks and without masks. For the problem of standard wearing mask recognition， masked face area is extracted from the former result and the skin of this part could be detected by YCrCb ellipse skin model， and whether the mask is properly worn is judged according to the skin exposure around nose and mouth in the face. The experimental results indicate that the mAP of masked face detection reaches 89.04%， and the recognition rate of standard wearing mask achieves 82.48%， which can meet the requirements of practical application.

【Key words】： Masked face detected; Standard wearing mask recognition; YOLOv3 algorithm; YCrCb ellipse skin model

0? 引言

新型冠狀病毒在全球范圍內蔓延，人們的健康受到嚴重威脅。為了防止病毒在人群中的肆意傳播，社會要求人們出行、工作時務必佩戴好口罩。因此，在疫情時期檢測是否佩戴口罩，以及口罩是否正確佩戴成為了剛性需求。本文提出利用計算機視覺來進行口罩佩戴和佩戴規范性檢測，不僅能避免檢測人員和他人接觸感染的風險，也能提高檢測效率。它可用于機場車站、街道、公園等人員流動較密集場所的監控系統，檢測人們佩戴口罩的情況，也可用于小區人臉門禁、企業人臉打卡這類系統，識別人們是否規范佩戴了口罩。此外在日常時期，這些技術仍有用武之地，比如可以檢測佩戴口罩的可疑人員、識別醫護人員在工作時是否規范佩戴了口罩等。

人臉口罩檢測技術可利用深度學習的方法實現?；谏疃葘W習的目標檢測算法十分豐富，有YOLO^[1-3]、SSD^[4]等one-stage系列算法，也有Fast R-CNN^[5]、Faster R-CNN^[6]等two-stage系列算法。one-stage具有出色的檢測速度，卻存在較低檢測精度的問題。相反，two-stage具有優良的檢測精度，但是由于其復雜的網絡結構，在檢測速度方面卻遜色于one-stage。然而，one-stage中的YOLO算法經歷了幾代的更迭改進之后，逐漸彌補了自身的眾多不足之處。從YOLOv1^[1]、YOLOv2^[2]到YOLOv3^[3]，在保持速度優勢的前提下，不僅在檢測精度方面?? 有了明顯的提高，而且對小目標的檢測性能有大幅提升。兼顧檢測的實時性和準確性兩方面，本文?? 選擇了效果優良的YOLOv3算法來實現人臉口罩? 檢測。

另一方面，關于口罩規范佩戴識別的研究近年來還很少，但受到文獻^[7]中利用皮膚來檢測人臉口罩的啟發，聯想到可以通過檢測人臉中鼻和嘴周圍皮膚的暴露狀況來判斷口罩是否佩戴規范。皮膚檢測主要有基于RGB、基于HSV和基于YCrCb的檢測算法^[8，9]。前人實驗研究發現單純基于RGB或HSV顏色空間來判斷皮膚的方法容易受到亮度的影響，魯棒性較低，而在YCrCb顏色空間中膚色像素具有一定聚類性，分布相對集中，不易受到亮度的干擾，更適合應用于皮膚檢測。因此，本文提出利用基于YCrCb顏色空間的橢圓膚色模型^{[10，11]}來解決口罩規范佩戴識別問題。

綜上，針對人臉口罩檢測和規范佩戴識別問題，本文方法的優勢和創新在于：YOLOv3算法檢測速度快且精度較高;創新性地利用皮膚檢測來判斷佩戴口罩的規范性;YCrCb橢圓膚色模型減輕了光線亮度對皮膚檢測的干擾，增強了魯棒性。

1 ?人臉口罩檢測模型

本文采用基于YOLO3算法進行人臉口罩檢測。首先可以通過攝像頭獲取初始圖像，在檢測時，直接將圖片輸入事先用特定訓練集訓練好的YOLOv3模型，快速檢測出圖像中的佩戴口罩和未佩戴口? 罩的人臉。在輸出的圖像中用不同顏色的檢測框框選出對應目標，并標注對應的類別。該部分模型基本框架如圖1所示。本節具體從YOLOv3的網絡結構以及先驗框的尺寸設置來展開介紹YOLOv3算法。

1.1 ?YOLOv3網絡結構

YOLOv3算法和前面兩代相比，做出了些許的改變，在保持速度優勢的前提下也提升了檢測的精度和檢測小目標的性能。YOLOv3網絡結構如圖2所示，主要由兩大部分構成：DarkNet53網絡和多尺度預測。DarkNet53的作用是對圖像進行特征提取，輸入該網絡的圖片大小為416×416。它主要由一系列的1×1和3×3的卷積層構成，一共53個（不包括殘差塊中的卷積層）。其中每個卷積層后都會跟有一個BN層和一個LeakyReLU層。此外，它借用殘差網絡的做法，在一些層使用了殘差塊。每個殘差塊包含有2個卷積層，所作的工作是先進行一次1×1的卷積，在此基礎上，再進行一次3×3的卷積，并將此結果加上原來殘差塊的輸入作為最終結果輸入到下一階段。經過DarkNet53的特征提取后，則是利用多尺度特征圖進行對象預測。在該部分，YOLOv3提取了3個不同尺度的特征圖，分別位于中間層、中下層、底層。其中，底層進行一系列卷積后，一部分會再經過后續處理作為結果輸出，另一部分再做卷積和上采樣操作并與中下層的特征圖融合，得到中下層粒度較細的特征圖。然后將該特征圖經過同樣的處理，輸出對應結果同時再進行卷積、上采樣和中間層特征圖融合。在中間層只需將融合的圖進行卷積操作后輸出結果即可。最終，一共會得到3個對應不同尺度的預測結果，每個結果中包含3個先驗框的預測信息，每個先驗框的預測信息對應7維，分別是坐標值（4）、置信度（1）、種類（2）。關于種類，針對人臉口罩檢測種類只有戴口罩和未戴口罩2種。

1.2 ?先驗框尺寸設置

由于人臉口罩檢測的環境比較復雜多樣，圖像中的人臉大小有大有小，使得精準預測物體位置的難度變大。然而YOLOv3算法的anchor機制能夠很好解決該問題。在YOLOv3算法中，每個特征圖都被劃分成多個單元，每個單元會預測多個邊框。通過設置先驗框的尺寸，會改變這些單元預測框的大小。總共可設置9種尺度的先驗框，在13×13，26×26，

52×52的特征圖中，分別設置3種先驗框，對應地分別適合檢測較大的對象，中等大小對象，較小對象。關于這9種先驗框尺寸的具體設置，YOLOv3提出的方案是利用K-means聚類算法針對特定的訓練集中目標物體大小來確定。在人臉口罩的訓練集上，聚類得出的先驗框尺寸如表1所示。這樣的設置可以檢測到絕大多數尺寸的人臉，滿足人臉口罩檢測各種應用場景的基本需求。

2 ?口罩規范佩戴識別模型

口罩規范佩戴識別是基于人臉口罩檢測結果進行的，該部分的輸入是人臉口罩檢測的輸出且是有佩戴口罩的人臉。首先，將人臉部分的圖像提取出來;然后映射到YCrCb顏色空間并進行非線性變換，經過橢圓膚色模型檢測后輸出一張灰度圖，其中皮膚部分像素點為255（白色），非皮膚部分像素點為0（黑色）;最后再通過遍歷人臉中鼻和嘴周圍的像素點，得到皮膚暴露狀況，從而判斷是否規范佩戴口罩了。識別模型結構如圖3所示。本節具體介紹了YCrCb橢圓膚色模型、人臉中鼻和嘴部分的劃分、以及通過膚色狀況判斷是否規范佩戴口罩的邏輯關系。

2.1 ?YCrCb橢圓膚色模型

YCrCb橢圓膚色模型^[11]是Hsu等人所提出的，它能夠很好地利用皮膚在YCrCb顏色空間聚類的特點進行皮膚檢測，并且降低光線亮度對檢測的影響。構建該模型，首先需要將膚色檢測的圖片從RGB顏色空間轉換到YCrCb顏色空間，具體轉換公式如下：

得到了原始圖片在YCrCb顏色空間的映射之后，還需要對其中Cr和Cb色度進行一系列非線性變換，得到Cr′和Cb′，即得到新的YCr′Cb′顏色空間。與此同時，還要去掉高光陰影部分，采用四個邊界限制膚色聚類區域，以此適應原始圖片中亮度過明或過暗的區域。皮膚信息在YCr′Cb′顏色空間中會產生聚類現象，其分布近似為一個橢圓形狀，如圖4所示。

該橢圓區域即為橢圓膚色模型，其計算公式如公式（2）所示，x、y的取值如公式（3）所示。

對于皮膚的檢測，只需要求出原始圖片中某個像素點在YCr′Cb′顏色空間中的映射Cr′和Cb′，然后根據公式（3）求出對應坐標，再依據公式（2）判斷該點是否落在該橢圓區域內即可。如果是，則該像素點判斷為皮膚，否則判斷為非皮膚。

2.2 ?人臉區域劃分及識別判斷

一般來說，人們佩戴口罩不規范的情況可能是將鼻子露出，或是嘴巴露出，或是鼻子嘴巴都露出。所以，識別一張佩戴有口罩的人臉是否將口罩佩戴規范了，可以通過檢測其鼻子周圍和嘴巴周圍的皮膚情況，來判斷這些部位是否暴露在外面。要完成該過程，就涉及到鼻子和嘴巴部分的區域劃分。經過大量觀察并測量人臉口罩檢測結果的檢測框發現，人臉中，鼻子周圍部分所在位置大約在47%～ 67%的高度，嘴巴周圍部分所在位置大約在67%～ 95%的高度。這兩部分的寬度與檢測框的寬度相同。如圖5（a）所示。

nose_ymin、nose_ymax分別表示Nose part框的最小縱坐標和最大縱坐標。mouse_ymin、mouse_ ymax分別表示Mouse part框的最小縱坐標和最大縱坐標。width、height分別表示整個人臉圖像的寬度和高度。

將人臉口罩檢測框部分的圖片經過YCrCb橢圓膚色模型處理后，得到一張對應的灰度圖，如圖5（b）所示。檢測為皮膚的像素點設為255（白色），檢測為非皮膚的像素點設為0（黑色）。在該灰度圖上，遍歷鼻和嘴周圍部分的所有像素點，得出在對應部分范圍里皮膚所占的面積百分比。經過反復的實驗測試發現鼻子部分閾值設置為30%，嘴巴部分閾值設置為25%時合理性最高。在進行口罩佩戴規范情況識別時，如果鼻子和嘴巴部分皮膚所占百分比超過對應的閾值，就說明該部分暴露在外面，再基于下面的命題邏輯表達式進行整體判定。

其中，表示佩戴口罩，表示鼻子暴露在外面，表示嘴巴暴露在外面。由于該識別是在已佩戴口罩人臉的基礎上，所以一直為true。當表達式（7）真值為true時，識別結果為口罩未規范佩戴;真值為false時，識別結果為口罩已規范佩戴。

3 ?實驗

3.1 ?數據集

實驗采用了WIDER FACE數據集^[12]和MAFA數據集^[13]進行訓練，驗證和測試。WIDER FACE是一個比較成熟的開源人臉檢測數據集，包含3萬多張圖片，近40萬個人臉，其中，佩戴口罩的人臉不多，但是可以采集到大量沒有遮擋的人臉。而相反，MAFA是一個人臉遮擋的數據集，其中大部分的遮擋物為口罩，因此可以從中選取出許多佩戴口罩的人臉。

針對本次的實驗，在WIDER FACE數據集中選取了3292張沒有佩戴口罩的人臉圖片，在MAFA數據集中，選取了3741張包含有戴口罩的人臉圖片，一共7033張。對應地，數據集圖片里的標簽也有2類：have_mask和no_mask。其中，4676張圖片用于訓練。520張圖片用于驗證。1837張圖片用于測試。

3.2 ?人臉口罩檢測實驗結果

將訓練后YOLOv3網絡模型，在測試集上進行人臉口罩檢測的測試，對測試結果從多個方面來進行評價。其中，正確檢測表示檢測結果和測試樣本的類別一致，誤檢表示將其他物體檢測為該類別，漏檢表示將該類別的測試樣本檢測為其他類別或未檢測出類別，AP表示該類別的檢測準確率均值，mAP表示所有類別檢測準確率均值的平均值，即have_mask和no_mask兩個類別的平均準確率均值。具體結果如表2所示。

由表2的結果可以看出，在該測試集上have_ mask和no_mask兩個類別的準確率均值分別為92.67%和85.41%，它們的平均準確率均值為89.04%，在準確度方面達到了優良的水平。由此可以說明YOLOv3算法檢測人臉口罩的準確性有一定的保障。此外，關于檢測的速度，可以達到35FPS左右，滿足實時性檢測的需求。具體檢測效果樣例如6圖所示。紅色框為佩戴口罩人臉，青色框為未佩戴口罩人臉，檢測框上的數字為置信度。

3.3 ?口罩規范佩戴識別實驗結果

口罩規范佩戴識別是在人臉口罩檢測基礎上進行的，其測試集從人臉口罩檢測的測試集中進一步篩選。篩選的標準是檢測結果為有佩戴口罩，人臉正對且傾斜幅度不大。一共選取了451張圖片，其中規范佩戴的圖片有251張，未規范佩戴的圖片有200張。對應識別類別也有兩類：masked_well和masked_wrong。測試結果用混淆矩陣表示，如圖7所示。

由混淆矩陣可知，規范佩戴口罩類別的識別率可達87%，未規范佩戴口罩類別的識別率略低，只有76%。整體的識別率為82.48%。由此可看出，雖然未規范佩戴口罩的識別率不高，但整體的識別率還是比較理想的，識別效果達到了一定水平。具體識別效果樣例如圖8所示。綠色框表示識別結果為規范佩戴口罩，紅色框表示識別結果為未規范佩戴口罩。

4 ?結束語

為了解決疫情時期在要求佩戴口罩的場合檢測人們是否佩戴了口罩以及識別是否規范佩戴的問題，本文提出了基于YOLOv3的深度學習算法用于人臉口罩的檢測，并且可以在該檢測結果的基礎上，將佩戴有口罩的人臉框部分映射到YCrCb顏色空間并進行非線性變換，通過橢圓膚色模型來檢測該人臉框中鼻和嘴部分的皮膚暴露的狀況，進而識別出是否規范佩戴了口罩。利用公開數據集對模型進行訓練和測試，實驗結果顯示，人臉口罩檢測和佩戴規范識別都具有較高的精度，具有較高應用價值。

但本文的方法仍存在不足之處，當人臉區域比較小時，仍存在漏檢的情況。此外，口罩規范佩戴識別對于異常角度和傾斜的人臉錯誤率較高。因此，提高對人臉區域較小的口罩檢測的性能，以及加強口罩規范佩戴識別的魯棒性，是未來進一步研究的方向。

參考文獻

1. Redmon J， Divvala S， Girshick R， et al. You Only Look Once： Unified， Real-Time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2016.

2. Redmon J， Farhadi A. YOLO9000： Better， Faster， Stronger [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2016.

3. Redmon J， Farhadi A. YOLOv3： An Incremental Improvement[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2018.

4. Liu W， Anguelov D， Erhan D， et al. SSD： single shot multibox detector [C]//Proc of European Conference on Computer Vision. Springer， 2016： 21-37.

5. Girshick R. Fast R-CNN[C]// 2015 IEEE International Conference on Computer Vision （ICCV）. IEEE， 2016.

6. Ren S， He K， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）： 1137-1149.

7. Nieto-Rodríguez， Mucientes M， Brea V M. System for Medical Mask Detection in the Operating Room Through Facial Attributes[C]//Iberian Conference on Pattern Recognition and Image Analysis. 2015.

8. 劉萌. 基于膚色HSV彩色模型下的人臉檢測[J]. 商洛學院學報， 2012， 26（02）： 46-50.

9. 邱迪. 基于HSV與YCrCb顏色空間進行膚色檢測的研究[J]. 電腦編程技巧與維護， 2012（10）： 76-77.

10. 趙杰， 桑慶兵， 劉毅錕. 基于分裂式K均值聚類的膚色檢測方法[J]. 計算機工程與應用， 2014， 50（1）： 134-138.

11. Hsu R L， Abdel-Mottaleb M， Jain A K. Face Detection in Color Images[J]. Journal of Chengdu Textile College， 2002， 24（5）： 696-706.

12. Yang S， Luo P， et al. WIDER FACE： A Face Detection Benchmark[C]//IEEE Conference on Computer Vision and Pattern Recognition， IEEE， 2016.

13. Ge S， Li J， Ye Q， et al. Detecting Masked Faces in the Wild with LLE-CNNs[C]//IEEE Conference on Computer Vision & Pattern Recognition. IEEE， 2017.