嵌入式口罩佩戴檢測系統研究與實現

柯鑫　張榮芬　劉宇紅

摘 要： 常態化疫情防控形勢下，公共場合佩戴口罩可以有效降低交叉感染風險，針對口罩佩戴檢測中的小目標檢測困難以及實時性較差的問題，提出了基于嵌入式平臺Jetson nano的口罩佩戴檢測系統，通過增加YOLOv3-tiny的主干網絡層深度，引入注意力機制以及TensorRT模塊，提升了嵌入式系統口罩佩戴檢測任務的精度和實時性，改進后的YOLOv3-tiny算法mAP值達到了87.5%，FPS為20.4，相較于改進前精度提升12.3%，幀率提升10.4 fps。

關鍵詞： 疫情防控; 口罩佩戴檢測;? Jetson nano; YOLOv3-tiny

文章編號： 2095-2163（2021）07-0138-06中圖分類號：TN911.73文獻標志碼： A

Research and implementation of embedded mask wearing detection system

KE Xin，? ZHANG Rongfen，? LIU Yuhong

（College of Big Data and Information Engineering， Guizhou University， Guiyang 550025， China）

【Abstract】Under the situation of normalized epidemic prevention and control， wearing a mask in public can effectively reduce the risk of cross infection. In view of the difficulty in detecting small targets and poor real-time performance in mask wearing detection， a mask wearing detection system based on the embedded platform Jetson nano is proposed. By increasing the depth of the backbone network layer of YOLOv3-tiny， introducing the attention mechanism and the TensorRT module， the accuracy and real-time performance of the mask wearing detection task of the embedded system are improved. The improved YOLOv3-tiny algorithm has a mAP value of 87.5% and an FPS of 20.4. Compared with the previous improvement， the accuracy has increased by 12.3% and the frame rate has increased by 10.4 fps.

【Key words】epidemic prevention and control; mask wearing detection; Jetson nano; YOLOv3-tiny

0 引 言

自2019年12月開始，新型冠狀病毒肺炎（COVID-19）在全國范圍內進行快速的傳播與流動，新型冠狀病毒的傳染性很強，而其主要的傳播媒介為人，傳播途徑為空氣中的飛沫以及氣溶膠。空氣中帶有病毒的飛沫和氣溶膠極有可能通過人的呼吸道進行傳播，因此口罩作為呼吸系統的屏障，佩戴口罩可以有效阻隔病毒的傳播。雖然到目前為止還未提出一種針對口罩佩戴的檢測算法，但是關于人臉識別方面的對應算法已經存在，并且能夠有效地對人臉進行識別[1]。本文以針對人臉的目標檢測算法為思路，通過自制口罩數據集來進行針對性的訓練，提升對佩戴口罩的檢出率[2]。采用的深度學習模型為YOLO，相比R-CNN、FAST R-CNN、FASTER R-CNN等模型，YOLO的性能更加突出。和前文提到的幾種深度學習模型相比，YOLO最大的優勢是速度快，實時性好。YOLO算法的優秀性能來源于其復雜的模型，模型越復雜，計算量相應地也就越大，因此在計算資源和內存都有限的嵌入式平臺難以實現，隨著算法模型的優化、算力的增強，邊緣計算開始嶄露頭角，在嵌入式設備中部署此類算法成為熱門研究對象，此時就出現了Tiny-YOLO算法以及其新版本的YOLOv3-tiny，相比較于YOLO算法而言更加精簡，占用更少的計算資源及內存。Jetson nano支持深度學習框架，且計算能力出眾，因此本文嘗試YOLOv3-tiny移植到Jetson nano平臺中，并進行優化加速實現計算資源局限平臺的口罩佩戴的檢測。

1 目標檢測算法

隨著GPU并行計算技術和深度學習的發展，卷積神經網絡在目標檢測算法中得到了越來越多的應用[3]。從目前來看，目標檢測算法主要分成兩大類，一類是如R-CNN[4]、faster R-CNN[5]基于區域提議的檢測算法[6]、Josepy等人[7]在2016年提出了基于回歸的算法YOLO（You Only Look Once），該算法將目標檢測理解成為一種回歸問題，很大程度上提高了檢測的速度。Wei等人[8]提出了單階段多尺度檢測模型、即SSD （Single Shot MultiBox Detector），引入了錨框機制，直接基于錨框回歸出檢測框，在檢測速度和檢測精度上均有很好的效果，2017～2018年期間，Josepy等人分別提出了改進的YOLOv2[9]和YOLOv3[10]兩個版本的算法，在SSD模型的基礎上進一步提升了檢測精度和速度。同時為了適應邊緣計算的趨勢，以及更好地在嵌入式平臺上運行該算法，提出一種輕量版的YOLO模型，即YOLOv3-tiny。該模型通過減少特征層以及獨立預測分支達到了速度的提升，初步達到了嵌入式系統的實時檢測性能要求[11]。

2 Jetson nano嵌入式平臺

Jetson nano的CPU為ARM Cortex-A57 64-bit@1.42 Ghz，GPU為NVIDIA Maxwell w/128 CUDA cores@921 Mhz，配備了4 GB的LPDDR4。 Jetson nano具有128個CUDA核心的GPU功能更強大，性能優異，因此Jetson nano適合于本文邊緣計算場景[12]。Jetson nano具有2種電源模式，分別為5 W（低功耗模式）和10 W（高功耗模式），當運行YOLOv3-tiny模型的時候需要調至高功耗模式，并且供電的電源也必須是5 V、2 A的標準電源，否則Jetson nano將會出現掉電現象，無法正常運行模型。

3 YOLOv3-tiny算法及改進

3.1 YOLOv3-tiny模型

YOLOv3-tiny是YOLOv3的簡化版本，主要區別為主干網絡采用一個7層conv+max網絡提取特征（和darknet19類似），嫁接網絡采用的是13*13、26*26的探測網絡，YOLOv3-tiny的網絡結構如圖1所示。YOLO v3-tiny的優點主要是：網絡簡單，計算量較小，可以實現邊緣計算，在Jetson nano上運行YOLOv3-tiny模型可以達到10 fps/s的檢測速度，一定程度上滿足嵌入式平臺下的實時要求。YOLOv3-tiny檢測速度的提升很大，但是隨之而來的是檢測精度下降，由于去掉了殘差模塊，減少了卷積層和多尺度特征融合層的個數，對于深層特征圖中目標細節信息表達能力不佳，雖然模型中用到了多尺度融合的方法，但是中小尺寸目標漏檢現象仍然存在。

3.2 改進YOLOv3-tiny的網絡結構

YOLOv3采用darknet53作為backbone網絡，深度為107層，而裁剪后YOLOv3-tiny的網絡深度為24層，原來的3層YOLO層變為 2層，每層YOLO層有3個anchors，一共6個anchors值，網絡模型層次架構如圖2所示。

卷積層數較淺可以更好地表征小目標，而較深的卷積層數對大尺度目標具有較好的表征能力[13-14]，隨著層數的加深，網絡結構對于特征提取的效果也越好，但是過深的網絡結構會導致產生梯度爆炸或者梯度消失等問題，因此不能一味地添加網絡層數來增加特征提取能力。針對YOLOv3-tiny卷積層少，檢測精度不高的問題，由于本文是以人臉為檢測對象，所以為了獲得更好分辨率的信息，添加的卷積層采用3×3卷積核的改進方法，在保證效率的同時提升了精度，以增加在使用場景的實用性和準確性[15]。隨著添加的網絡層數增多，檢測精度在逐步上升，與此同時由于增加了卷積層數，計算量在增大，層數的增加與精度的提升并非線性關系，當添加的層數大于4層時，模型的推理速度下降得比較多，但是提升的精度卻不明顯，因此本文在綜合精度和效率的前提下，增加了4個3×3的卷積層起到了加深網絡層數的效果，為了提高模型的學習能力，同時減少模型的參數，本文在添加的4個3×3的卷積層中添加了對應的1×1卷積層，較好地平衡了精度與速度。改進的YOLOv3-tiny網絡結構如圖3所示。

3.3 引入TensorRT的模塊

在IEEE 754標準中定義了一種半精度浮點類型[16]，在CUDA中被稱作Half類型，在相同的時間周期內完成兩個半精度浮點類型運算，相對于單精度的數據類型，半精度浮點類型的運算速度更快且效率更高。TensorRT主要采用了層間融合或張量融合、精度校準2種優化方法。對此可做研究詳述如下。

（1）層間融合或張量融合（Layer & Tensor Fusion）。如圖4左側是GoogLeNetInception模塊的計算圖。這個結構中有很多層，在部署模型推理時，每一層的運算操作都是由GPU完成的， TensorRT通過對層間的橫向或縱向合并（合并后的結構稱為CBR，意指convolution， bias， and ReLU layers are fused to form a single layer），橫向合并可以把卷積、偏置和激活層合并成一個CBR結構，只占用一個CUDA核心。縱向合并可以把結構相同，但是權值不同的層合并成一個更寬的層，也只占用一個CUDA核心。合并之后的計算圖（圖4右側）的層次更少了，占用的CUDA核心數也少了，因此整個模型結構會更小、更快、更高效。

（2）數據精度校準（Weight &Activation Precision Calibration）。通常，深度學習框架在訓練時網絡中的張量（Tensor）都是32位浮點數的精度（Full 32-bit precision，FP32），在網絡訓練完成后，反向傳播這一步驟不存在了，因此可以適當地降低數據精度，比如降為INT8或FP16的精度。更低的數據精度將會使得內存占用和延遲更低，模型體積更小。基于TensorRT庫函數實現適用于本文設計的口罩佩戴檢測系統在Jetson nano平臺上的加速框架，程序整體框架流程圖如圖5所示。

在計算資源有限的嵌入式平臺上生成序列化引擎這一步驟比較消耗時間，但是在同樣的計算平臺和相同的參數下，對于序列化引擎可以進行復用，因此只需要提前生成一次序列化引擎便可以多次重復使用，減少了對計算資源的使用，節省了時間。TensorRT加速推理框架主要部分為context數據、從不同框架模型中導入具有統一解析協議的序列化引擎文件，并利用序列化引擎進行反序列化得到context進行模型推理。

3.4 注意力機制模塊

本文添加了一種新的體系結構單元，稱之為SE模塊（Squeeze-and-Excitation ）[17]。SE模塊是通過重新學習卷積特征通道之間的相互依賴關系，篩選出了針對通道的注意力，以改變權重的方式來對原網絡的語義信息進行調整。該單元通過對卷積得到的feature map進行處理，得到一個和通道數一樣的一維向量作為每個通道的評價分數，然后將該分數施加到對應的通道上，得到其結果，實現過程如圖6所示。

在此基礎上，研發得到的SE模塊的代碼具體如下。

class SELayer（nn.Module）;

def_init（self，channel，reduction=16）;

super（SELayer，self），_init_（）

self.avg_pool=nn.AdaptiveAvgPool2d（1）

self.fc=nn.Sequential（

nn.Linear（channel，channel // reduction，bias=False），

nn.ReLU（inplace=True），

nn.Linear（channel // reduction， channel， bias=False），

nn.Sigmoid（）

}

def forward（self， x）;

b， c， _， _x.size（）

y=self.avg_pool（x）.view（b，c）

y=self.fc（y）.view（b，c，1，1）

return x*y.expand_as（x）

YOLO v3采用類似FPN上采樣（Upsample）和融合做法，融合了3個尺度（13*13、26*26和52*52），在多個尺度的融合特征圖上分別獨立做檢測，但是在YOLOv3-tiny中縮減為2個尺度（13*13和26*26）。由于本文研究的對象為人臉，在大部分情況下的檢測對象較小，因此為了增強對小目標檢測信息能力，本文將SE模塊融入到尺度為26*26輸出部分，對信息進行refine，從而優化學習到的內容，尤其是加強了對于小目標的檢測能力，添加了4層卷積層并且融入SE模塊后的網絡，本文稱之為SE-YOLOv3-tiny，網絡結構圖如圖7所示。

4 實驗

4.1 實驗數據集

目前還沒有針對口罩佩戴的公開的自然場景數據集，所以本文使用了WIDER FACE人臉數據集并從中隨機抽取2 000張人臉圖片，自行在網絡上搜集佩戴口罩的圖片1 000張，共收集訓練圖片3 000張，本文按照7∶3的比例將自制的口罩數據集劃分為2組，即訓練集和測試集，其中2 100張圖片作為訓練樣本，另外的900張圖片作為測試樣本。然后按照VOC數據集格式使用LabelImage對訓練集和測試集進行統一的標注，標注信息包括了2種佩戴口罩的狀態，分別用1和0表示。其中，1對應為masking，0對應為unmasking。

4.2 實驗結果

本文分別使用YOLOv3-tiny算法及本文的不同改進優化算法對自建的口罩數據集進行訓練和測試，在迭代50 000次后得到最終的權重文件，圖8給出了loss值變化曲線，loss值反映了預測值與實際值的偏差。當loss值越接近0就代表模型的性能越好，可以看出在迭代50 000次后趨于穩定，不再明顯下降。

為了更好地展示優化后的結果，本文針對精度提升和速度提升分別做了2個對比試驗，分析論述具體如下。

（1）實驗一。本文提出了2種YOLOv3-tiny的網絡結構優化方法，該實驗通過口罩數據集對原始的YOLOv3-tiny模型、增加SE模塊以及添加網絡層的優化方法進行了對比實驗，得到結果見表1。

由表1可知，通過引入了4個3*3卷積層，同時每個3*3卷積層引入1*1卷積層使得mAP值提升為87.4%，相比YOLOv3-tiny提升了11.2%，引入了SE模塊SE YOLOv3-tiny的mAP值提升了0.9%。此時，可以看到佩戴口罩與未佩戴口罩的AP存在差距，因為佩戴口罩的人臉照片和普通人臉的照片比例為1∶2，由于佩戴口罩的圖片較少，所以AP值略低于未佩戴口罩的AP值。另外，為了直觀地體現優化網絡結構后的效果，選取了部分測試樣本圖片作為對比，如圖9所示。

由上述內容可知在增加了卷積層以及添加了SE模塊后，檢出的準確率以及對小目標的檢出的效果都有較大的提升，在人群密集的場景下也有很好地檢出能力，并且能正確地進行分類，證明了本文的優化方法可行性。

（2）實驗二。實驗一針對提升精度進行了優化方案，并進行對比試驗。本實驗將針對模型的速度優化做出對比試驗。該實驗通過TensorRT模塊對模型進行處理，本文將原始的YOLOv3 -tiny 以及改進的YOLOv3-tiny模型轉換得到trt文件（經TensorRT加速后得到的模型），在研究中統一使用trt后綴，表示加速后的模型，并進行測試，得到的檢測結果見表2。

由表2可知，通過引入TensorRT模塊，各個網絡模型均得到了較大幅度的速度提升，改進YOLOv3-tiny_trt相比于原始的YOLOv3-tiny網絡，幀率提升至20.8 fps，相比較未加速之前約有2倍的速度提升，與此同時mAP值提升了11.1%，檢測精度明顯優于原始的YOLOv3-tiny，SE YOLOv3-tiny _trt相對于改進YOLOv3-tiny_trt算法而言，檢測的速度幾乎相同沒有明顯的下降，但是在檢測精度上提升了1.2%，這說明了引入SE模塊的可行性，本文提出的優化方法使YOLO算法在嵌入式設備中得到了較大幅度的提升，已經具備實時檢測的效果，可以應用于實際的項目工程中。為了直觀地體現出優化之后的實時檢測效果，本文使用YOLOv3-tiny、SE YOLOv3-tiny_trt兩種模型分別進行測試，在視頻中進行試驗，由于場景比較復雜可以更好地檢驗模型的性能。圖10（a）、（b）均是對視頻檢測結果截圖以及對比。

可以看出，在總體上本文的SE YOLOv3-tiny_trt算法能夠有效地識別口罩佩戴情況，優化后提升了檢測的準確率以及小目標的檢測優化后的模型對于非正臉的檢出率有著較好的提升，但可以看到的是對于側臉的小目標的檢測會存在漏檢情況，同時存在著將顏色形狀相接近的帽子誤判為口罩情況如圖10（b）所示，這點在以后的工作中需要深入研究和進一步優化。圖10（a）表現出了對于未正確佩戴口罩識別的情況，體現出了一定的抗干擾能力。以上結果表明通過優化后的模型更加適應實際場景的需求，例如地鐵站、火車站等人流密集、人臉目標較小的情況，具有一定的實際應用價值。

5 結束語

本文基于YOLOv3-tiny算法提出了一種基于嵌入式平臺實時口罩檢測算法，該方法通過添加卷積層的數量增加網絡模型的深度，提升了網絡模型的特征提取能力。引入注意力機制，添加了SE模塊來優化所學習到的內容，提升檢測準確率以及使用半精度推理模塊TensorRT來提升檢測的速度，最終達到了精度與速度的平衡，能較好地應用于實際場景。本文通過自建的3 000張圖片的數據集進行訓練的結果表示，本文提出的優化方法可以有效地檢測實際場景下是否佩戴口罩，平均精度達到了87.5%，每秒幀率達到了20.8 fps，由此證明了本文優化方法的合理性。在以后的研究中將會進一步優化網絡結構以提升檢測精度，同時保證檢測的速度，增大數據集的樣本量，針對性解決手部遮擋等遮擋面部的情況識別，提高口罩佩戴檢測能力和效率。

參考文獻

[1]王遠大. UCloud開放人臉口罩檢測服務借助AI算法加快疫情防控[J]. 通信世界， 2020（5）：33-34.

[2]XU Tang， DU D K， HE Zeqiang， et al. PyramidBox：A context-assisted single shot face detector[M]//FERRARI V， HEBERT M， SMINCHISESCU C， et al. Computer Vision-Eccv 2018. Eccv 2018. Lecture Notes In Computer Science. Cham：Springer， 2018，11213：812-828.

[3]陳超，齊峰. 卷積神經網絡的發展及其在計算機視覺領域中的應用綜述[J].計算機科學，2019，46（3）： 63-73.

[4]GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Columbus， USA：IEEE，2014： 580-587.

[5]REN S，HE K，GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[C]//Proceedings of International Conference on Neural Information Processing Systems. Cambridge：MIT Press，2015： 91-99.

[6]ZITNICK C L， DOLL R P. Edge boxes： Locating object proposals from edges[M]. Cham： Springer International Publishing， 2014.

[7] JOSEPY R， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real- time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA：IEEE， 2016：21-37.

[8]WEI L， ANGUELOV D， ERHAN D， et al. SSD： Single shot multiBox detector[C]// European Conference on Computer Vision（ECCV）. Berlin：Springer，2016：21-37.

[9]JOSEPY R， FARHADI A. YOLO9000： Better， faster， stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA：IEEE， 2017： 6517-6525.

[10]JOSEPY R， FARHADI A. YOLOv3： An incremental improvement[C]//Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE Press，2018：1-6.

[11]MA Jing，CHEN Li，GAO Zhiyong. Hardware implementation and optimization of tiny-YOLO network[M]//ZHAI G， ZHOU J， YANG X. Digital TV and Wireless Multimedia Communication. IFTC 2017. Communications in Computer and Information Science. Singapore ：Springer，2018，815：224-234.

[12]齊健. NVIDIAJetson TX2平臺：加速發展小型化人工智能終端[J].? 智能制造，2017（5）：20-21.

[13]呂俊奇，邱衛根，張立臣，等. 多層卷積特征融合的行人檢測[J]. 計算機工程與設計，2018，39（11）：3481-3485.

[14]劉輝， 彭力， 聞繼偉. 基于改進全卷積網絡的多尺度感知行人檢測算法[J].? 激光與光電子學進展， 2018， 55（9）：318-324.

[15]陳聰，楊忠，宋佳蓉，等. 一種改進的卷積神經網絡行人識別方法[J]. 應用科技，2019，46（3）：51-57.

[16]IEEE. IEEE standard for floating-point arithmetic：754-2008[S]. Washington D.C.，USA：IEEE Press，2008.

[17]HU Jie， LI Shen， SUN Gang. Squeeze-and-excitation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA： IEEE， 2017：7132-7141.

基金項目： 貴州省科技計劃項目（黔科合平臺人才[2016]5707）。

作者簡介： 柯 鑫（1995-），男，碩士研究生，主要研究方向：機器學習、機器視覺、目標檢測; 張榮芬（1997-），女，博士，教授，主要研究方向：嵌入式系統、機器視覺、大數據與計算應用; 劉宇紅（1963-），男，碩士，教授，主要研究方向：嵌入式系統、大數據應用、機器視覺與機器學習。

通訊作者： 劉宇紅Email： yhliu2@gzu.edu.cn

收稿日期： 2021-04-21