一種基于YOLO的口罩佩戴檢測終端的設計

張 良，陳周歡，林耿名，葉綺雯，何鎮軒

（韶關學院信息工程學院，韶關 512005）

0 引言

自2019年末，新冠病毒（COVID-19）已席卷世界各個角落。發展至今，隨著病毒毒性減弱，社會面全面放開，隨之而來的便是大面積的感染。根據實際情況和相關研究，個體仍有二次感染病毒的風險。因此群眾對個人的防護措施依然不可松懈，公眾場合、私密場合佩戴口罩依然是最有效的防護措施之一。因此設計一款輕量的口罩佩戴檢測終端，既可滿足有聯機條件的工作環境，也能滿足脫機使用條件的可行性設計方案。

1 整體方案

系統由圖像信息采集模塊、圖像顯示模塊、數據處理模塊、數據傳輸模塊、報警模塊構成。本次設計使用ART-PI 開發板作為硬件平臺，為數據處理模塊以及數據傳輸模塊，其具有32 M靜態RAM，能更好地適應推理模型的植入。圖像信息采集模塊使用GC0328 攝像頭模塊來捕獲視頻圖像信息，用于進一步的口罩識別處理。多媒體拓展版上的3.5寸LCD 顯示屏用于顯示被攝像頭捕捉的圖像經推理模型識別后的結果。每當捕捉到行人圖像，經模型推理后，對佩戴口罩的對象使用綠色框框出，對未佩戴口罩的對象使用紅色框框出，并通過多媒體板的音頻輸出提醒行人佩戴口罩。此外，在聯機條件下，將由上位PC 擔任數據處理模塊，來完成對圖像中行人佩戴口罩的識別，通過串口與ART-PI 主板進行數據傳輸。

圖1 方案設計框圖

2 硬件設計

2.1 主控平臺ART-PI

RT-Thread 作為一款國產嵌入式IoT OS，與其他RTOS（FreeRTOS、uC/OS 等）的主要區別是：RT-Thread 除了嵌入式系統的內核，還包含網絡、文件系統、GUI 界面等中間層組件，具有極強的擴展性［1］。ART-PI 為RT-Thread 團隊設計的一款硬件平臺。在RT-Thread 系統下擁有更好的貼合度和使用性。搭載stm32H7 系列高性能芯片，同時板載Wi-Fi、藍牙、TF 卡槽、預留攝像頭、多媒體模塊等各類外設接口。因此在依托RT-Thread 平臺下選擇ART-PI 作為硬件平臺。

2.2 ART-PI多媒體拓展板

多媒體拓展板為ART-PI 官方配套拓展板，其搭配一塊3.5 寸電容LCD 觸摸屏，WM8988 音頻輸入輸出接口，預留GC0328/OV2640 攝像頭排線接口。整體硬件與ART-PI 主板組成結構簡約、美觀。

2.3 RT-AK

RT-AK 為RT-Thread 團隊對實時操作系統開發的AI套件，其具有將AI 模型部署進工程的能力，提供AI 模型推理API，在目標硬件平臺下獲得對AI 模型極致性能推理的能力。RT-AK 簡單架構如圖2所示。

圖2 RT-AK架構

首先在上位機通過Tensorflow 等框架訓練得到AI 模型文件，將其轉化為Keras、TFlite 模型格式，再通過RT-AK Tools 針對不同硬件平臺進行適配得到集成了AI 的BSP。最后通過RT-AK Lib 在嵌入式端使用AI 模型，完成AI 模型的推理運行。在嵌入式端對RT-AK Lib的使用流程包括：查找模型句柄、初始化模型、數據輸入，得到推理結果如圖3所示。

圖3 嵌入式端推理流程

3 軟件設計

3.1 YOLO目標檢測

YOLO網絡模型是目標檢測算法中應用廣泛的模型之一，相比于兩階段檢測算法，YOLO所使用的單階段檢測算法運行速率更快，但會損失一定精度，對于當前硬件算力有限的條件下，選擇YOLO目標檢測算法更為合適。目前其具有八個官方版本，同時擁有若干個經二次修改的網絡用于特殊的針對性場景。本次設計針對聯機和脫機情況，對不同平臺選用不同的版本。對聯機情況，使用算力更強的PC 機選用官方第五版本中的YOLOv5s［2］；對脫機狀態，硬件平臺選用YOLO-Fastest［3］模型，為當前結構最小、算力依賴最低的YOLO網絡模型。圖像目標檢測的重要評價指標主要有平均精度（average precision，AP）和平均精度均值（mean average precision,mAP）［4］。選用網絡模型概況見表1。YOLO-Fastest 模型相比較YOLOv5s 來說，mAP 減小近56%，但模型大小為YOLOv5s 的5%，浮點計算量也僅為YOLOv5s 的1.5%。邊緣硬件的算力顯然不如上位PC 機的CPU，甚至是GPU 算力，損失一定精度來換取更小的運算量是合適的。

表1 模型概況

3.2 模型訓練

訓練數據集來自kaggle 的開源數據集，進行格式的轉化后得到xml 格式和txt 格式。針對兩種模型的訓練，應用到了Tensorflow［5］和Darknet［6］兩種框架進行訓練和量化。此外RT-AK Tools 對于模型文件的類型也有一定的規定，在部署AI 模型前需要將Darknet 框架訓練得到的x.weight 量化為x.tflitel 模型類型。表2 為訓練結構。這里在Darknet框架下的max_batches不同于tensorflow 框架下的epoch。batch 和epoch 都為超參數。一個epoch 是對整個數據集做一次迭代，一次迭代中包含若干次訓練，而一次訓練的樣本大小則為batch的值，max_batches 則為最大訓練容量，也稱之為最大迭代次數，在某種程度上max_batches 和epoch 是可以互相換算的。計算方式為:

表2 訓練結構

max_batches= 數據集樣本數×epoch/batch

在Darknet 框架中，cfg 配置文件僅使用到max_batches，這里仍做保留。

3.3 系統流程設計

系統開機后，判斷是否處在聯機狀態，聯機狀態下將圖片推理部分交由PC 來處理，若在脫機狀態下將由設備自己完成圖片的檢測。YOLO 目標檢測算法，粗略來說是對若干個bounding box［7］進行預測，每個box的預測結果將由x、y、w、h、c、class1、class2、class3……構成，對于口罩佩戴識別可以認為二分類檢測（佩戴口罩和未佩戴口罩），每條輸出結果包含七個屬性。該box 所屬類的置信度X=c*class1（class2），當某X大于預先設置的閾值時，認為該box 內容屬于該類。圖4為系統流程。

圖4 系統流程

4 系統測試

4.1 模型測試

針對模型訓練過程中的訓練集和測試集，在模型訓練完成后，使用該推理模型對數據集進行抽測。PC和ART-PI兩個不同目標平臺下的模型測試效果分別如圖5、圖6所示。

圖5 YOLOv5s測試

圖6 YOLO-Fastest測試

經對100 張圖片，包含約350 個對象進行測試后，結果見表3。

表3 測試結果

4.2 脫機測試

本項測試針對實際情況進行實際的脫機測試，在脫機狀態下，手持硬件攝像頭對準需要識別的圖片進行測試，攝像頭捕捉現實圖像后，在硬件側進行模型推理，最后在LCD 屏上顯示推理結果。整體延遲較低，效果同PC 機測試YOLO-Fastest 模型時基本一致。這里仍以模型測試中展示圖片進行展示比對，如圖7所示。

圖7 終端脫機測試

5 結語

本設計依托RT-Thread 平臺設計的口罩佩戴檢測終端，實現設備在聯機和脫機兩種狀態下的正常工作。經實際測試，聯機狀態下的識別率極高，在人流較大的情況下依然可以精準檢測。脫機狀態下，由于模型較小，相對來說存在一定誤差，相對于PC 的算力也相對較弱，運算速度較慢，能滿足一般需求。另一方面，如何對YOLO-Fastest 網絡模型進一步剪枝網絡體量，優化網絡結構，來提高在邊緣硬件側的推理效率和準確度是下一步的研究內容。本系統具有實際實施成本較低、使用方便、應用場景廣等特點。可以應用于商場出入口，小區出入口等公共場所，提醒往來人群及時佩戴口罩，做好個人防護。