改進YOLO輕量化網絡的口罩檢測算法

王 兵，樂紅霞，李文璟，張孟涵

1.西南石油大學 計算機科學學院，成都610500

2.中國電信股份有限公司 成都分公司，成都610051

3.電子科技大學 信息與軟件工程學院，成都610500

一些大型病毒可以通過飛沫和其他介質傳播，在公共場所佩戴口罩對于減少疾病的傳播至關重要。在人群密集的區域（例如社區、超市和車站）通過人工方式檢查口罩佩戴情況會消耗大量的人力資源且容易漏檢，因此實現口罩佩戴檢測算法具有重要現實意義。

近年來，由于深度學習的快速性、可擴展性和端到端學習等優點，一系列基于深度學習的目標檢測算法被提出。YOLO 系列[1-4]可能是實際應用中最流行的目標檢測算法，在YOLO的基礎上對網絡進行改進也容易取得需要的效果。例如楊晉升等人研究對基于YOLO 輕量化網絡的交通標志檢測[5]通過在骨干網絡中使用深度可分離卷積更好地提取中小型目標。施輝等人對基于YOLO輕量化網絡的安全帽佩戴檢測[6]采用圖像金字塔結構并構建安全帽數據集獲取更具工業應用的模型。這些改進的算法在目標檢測領域上有著重要的意義，但是這些方法仍沒有很好地說明特征提取和利用率的問題。

YOLOv4為最近的開源目標檢測網絡，在速度和精度上與同時期目標檢測網絡有著明顯的優勢。YOLOv4采用具有深層結構的CSPDarknet53 作為骨干網絡，使用PANet[7]代替FPN[8]進行參數聚合，檢測準確率高但對硬件配置要求較高，在小型硬件平臺中檢測速度慢，因此在嵌入式平臺上普遍使用YOLOv4tiny 進行檢測，雖然檢測速度快但由于網絡層次簡單，特征提取能力不足，檢測效果低于YOLOv4。

為解決以上不足，本文提出以YOLOv4-tiny為基礎的一種改進YOLO 輕量化網絡的檢測算法，主要貢獻如下：

（1）針對YOLOv4-tiny 網絡層次較簡單，無法提取更多主要特征的問題，提出了增加Max Module結構獲取更多有效局部特征，提升檢測準確率。

（2）針對YOLOv4-tiny較深層網絡丟失淺層邊緣信息的問題，構建自下而上的多尺度特征融合網絡，提升數據利用效率。

（3）針對模型收斂速度慢的問題，采用CIoU作為邊框回歸損失函數，使預測框更接近真實框，加快模型收斂速度。

1 相關工作

1.1 目標檢測算法

采用深度學習進行目標檢測算法大致分為兩類：一種是使用區域候選網絡（RPN）來提取候選目標信息的兩階段檢測算法，如AlexNet[9]、R-CNN[10]、Faster R-CNN[11]、Mask R-CNN[12]等。兩階段檢測器主要由三部分組成：骨干網、區域建議模塊和檢測頭。首先，區域建議模塊用于區域建議。它可以生成可能包含感興趣對象的許多候選區域。通過判斷前景和背景，它使用邊界框回歸來校正錨點的位置。通過區域推薦網絡[13]、區域改進方法[14-15]、區域建議深度特征計算方法[16-17]和骨干網絡結構[18]可以生成高質量區域，但是，使用這些區域來推斷兩階段目標檢測器需要消耗大量計算資源，并且需要依賴更高的硬件平臺。于是端到端的YOLO、SSD[19]和Retinanet[20]等一階段目標檢測器被提出，該目標檢測算法通過獲取輸入圖像并學習相對于預定義錨點的類別概率和邊界框坐標，直接將目標檢測視為回歸問題。基于一階段目標檢測器的Anchor-free 的網絡模型，如CenterNet[21]和CornerNet[22]也取得巨大發展，這些模型不再使用錨框機制而是直接使用預測模型輸出的中心點或者邊角點與真實檢測框的偏移進行回歸。目前，越來越多研究者也開始重視輕量網絡結構[23]以及改進特征圖在網絡中的特征提取和融合算法[24]。NAS-FPN[25]針對不同尺度特征圖的神經架構來搜索最優的跨尺度特征網絡拓撲結構，但是需要多GPU花費大量時間搜索最優結構。BiFPN[26]將簡化的橫向擴展并在各層融合，以實現最大效率特征圖的融合效果，但是這種橫向擴展多層次的融合對原始圖的位置描述信息可能有較大的損失。

1.2 YOLOv4-tiny網絡

一階段檢測算法通常具有更快的檢測速度，它的檢測速度和檢測精度相對平衡，但由于YOLO的深層次結構和巨大的參數量，各種輕量級網絡（YOLO-tiny[27-28]、YOLO Nano[29]等）被提出。YOLOv4-tiny是最新的YOLO輕量級網絡，相較于之前的輕量網絡，在mAP和檢測速率上都有巨大的提升。其骨干網絡主要包括下采樣CBL結構和CSP結構，下采樣CBL結構中，每個卷積核大小為3×3，步長為2，主要對圖像進行下采樣處理。CSP結構[30]將基礎層的特征映射劃分為兩部分，通過跨層連接將它們合并，增強卷積神經網絡的學習能力，在減少了計算量的同時可以保證準確率。跨層連接與殘差網絡的結果類似，這樣有兩個好處：（1）形成特征映射，實現特征的重用以獲得更多的語義信息，提高檢測準確率；（2）降低計算瓶頸，減少內存開銷。其具體網絡結構參數如圖1所示。

圖1 YOLOv4-tiny網絡結構圖

圖1中的Convolutional 由一個卷積層、批標準化BN層[31]以及LeakyRelu激活函數構成。BN層可降低不同樣本間值域的差異性，避免梯度消失和梯度爆炸的問題，同時減少參數或其初始值尺度的依賴性，提高網絡范化能力。Leaky ReLU 給所有負值賦予一個非零斜率，避免神經元的失活現象。

在YOLO中，將整個圖片劃分為S×S個格子，每個格子作為先驗錨框的局部坐標，在格子內訓練的網絡預測的坐標偏移量、物體置信度和類別置信度對每個錨框分別進行擬合，最后經過非極大值抑制篩選后得到檢測的邊界框坐標和類別。其損失函數如式（1）所示：

其中，Lxywh為預測框與真實框的中心點和寬高誤差之和，λcoord為坐標系數；Lconfidence為目標置信度誤差，分為有物體和無物體的兩項置信度誤差，λobj和λnoobj分別為有物體和無物體的置信度系數；Lclasses為目標分類損失，表示為第i個網格的第j個錨框的匹配情況。

2 網絡模型

本文提出了一種改進YOLOv4-tiny 的新網絡結構（以下簡稱YOLOv4-tiny Max）。低層特征可以提供更加準確的位置信息，使用最大池化層能降低圖像尺寸并提取關鍵信息，但由于最大池化層只和前層部分神經元連接，一個池化神經元沒有權重，僅通過最大聚合函數對輸入特價進行聚合可能會丟失重要的位置信息，因此使用大小為3×3，步長為2 的卷積層代替網絡結構中的最大池化操作，帶參數的卷積層會保留更多特征圖信息。經過一系列下采樣CBL 結構和多次卷積操作會使得深層網絡的目標定位存在誤差，因此構建一個MaxModule結構提取中小型目標的主要特征，其中一條分支網絡再經過自下而上的多尺度特征融合結構，最終獲得兩種不同尺度的檢測頭輸出，其網絡結構如圖2所示。

2.1 Max Module

He[32]等人的研究表明卷積神經網絡全連接層的輸入必須是固定的特征向量，直接將圖片進行拉伸會導致圖片信息的丟失從而影響識別的精度。SPP 作為一個優秀的網絡組件，其不需指定輸入圖像的尺寸或比例，就能夠產生固定大小的特征表示再送進全連接層，這樣就可以很好地解決該問題。

基于以上研究，提出Max Module 結構，添加在多尺度融合過程中以獲得更多有效局部特征信息，Max Module結構如圖3所示。

圖2 改進的網絡結構圖

圖3 Max Module結構

使用大（13×13）、中（9×9）、小（5×5）三種不同尺度的最大池化窗口分別作用于傳入的上層卷積特征，選取特征圖區域的最大值作為該區域池化后的值，為保持特征圖大小不變，設置步長為1，最后把輸入特征圖和經過最大池化后的局部尺寸特征圖進行通道融合再傳入瓶頸層，增加網絡深度的同時又保留前層特征，提升網絡性能。圖4 從左往右依次是原圖、采用Max Module 結構和采用對應層數卷積操作后的特征圖。

圖4 特征圖對比

從圖4 可以看出，采用Max Module 結構的特征圖邊緣信息和主要特征更清晰豐富，有助于提升檢測準確率。Max Module中類似空間金字塔的結構不需要對輸入特征圖進行等分就能提取多尺度的局部特征圖像，瓶頸結構使得網絡仍然能有效進行反向傳播。

2.2 自下而上的多尺度特征融合結構

淺層特征到深層特征到傳遞路徑較長，其邊緣信息和定位信息容易丟失，導致數據利用率低、檢測精度不理想等問題，為充分使用特征信息，對輸出較大檢測頭的分支網絡使用自下而上對多尺度特征融合結構。

不同于原始YOLOv4-tiny 直接使用卷積和上采樣操作，該結構（如圖2（b））首先進行二倍上采樣，與主干網絡第三個CSP結構進行特征圖融合后再經過一個1×1卷積傳入CSP結構，其前饋傳遞方程如式（2）所示：

其中，*表示卷積算子，[x0,x1,…]表示連接(x0,x1,…)的各個分量，Xi和Wi分別是第i個連接的輸出和權重。權重更新方式如式（3）所示：

其中，f是權重更新的函數，gi表示傳播到第i個連接的梯度。可以看出更新的權重信息W'T和W'U是由不同梯度信息分開整合的，這樣既保留了特征重復使用的特點，又通過截斷梯度防止了過多的重復梯度信息，提升數據利用效率。類似殘差結構的特征圖融合可以讓網絡獲取到深層結構信息也不會導致梯度消失，同時又能傳遞淺層的強定位信息和邊緣特征，在不同圖像細粒度上聚合并形成更全面的圖像特征，提高目標檢測效果。

2.3 CIoU在改進網絡中的使用

通過骨干網絡和特征融合結構后，最終產生兩個檢測頭，分別負責檢測不同尺度的目標。每個檢測頭中的特征圖被分配了三個不同的錨框，以預測由四個邊框坐標生成預測框。在以前的工作中，IoU[33]用于測量所生成的預測框與真實框之間的重疊率，計算公式如式（4）所示：

其中，A為預測框的面積，B為真實框的面積，IoU(A,B)為A與B的交并比，也就是預測框的面積與真實框的面積的交集除以其并集。由公式可以看出，對于兩個IoU 相同的物體，無法表示它們的對齊方式，若預測框和真實框沒有重疊（沒有交集），IoU 始終為0，無法優化，為避免這些問題，本文采用CIoU[34]作為邊框回歸損失函數，損失函數如式（5）所示：

其中，α是用于做協調比例的參數，v是用來衡量長寬比一致性的參數，b和bgt分別表示預測框和真實框的中心點，ρ()表示歐式距離，c表示預測框和真實框的最小外界矩形的對角線距離。α和v的計算方法如下：

CIoU直接最小化預測框與目標框之間的歸一化距離以達到更快的收斂速度，且對尺度具有不變形，使回歸在與目標框有重疊甚至包含時更準確、更快。

從表1和圖5可知，CIoU在損失收斂效果和mAP上均優于IoU，因此使用CIoU作為邊框回歸損失函數對網絡性能的提升是有很大意義的。

表1 不同邊框回歸損失函數方法對比

圖5 損失收斂對比

3 實驗與結果分析

根據默認配置訓練本文算法，訓練期間的初始學習率為0.001，衰減系數為0.000 5，最小批量大小為64，采用半精度加速訓練。在平臺方面，操作系統為Ubuntu 64位，CPU為Intel i7-7700 4.2 GHz；內存大小為32 GB；GPU 采 用NVIDIA GeForce GTX1080ti*4 的32 GB 顯卡；編譯環境為Pycharm/python語言。分別在公開數據集PASCAL VOC和自制口罩數據集對該算法進行實驗對比與分析。

3.1 口罩數據集的制作

口罩數據集來自于公開數據集MAFA 和Wilder Face 中所有佩戴口罩的數據集和部分未佩戴口罩的人臉數據集。對數據進行篩選并刪除標簽和特征不對應的圖片后，總共保留了6 757 張圖像，包括3 893 張臉部和2 864 張被口罩遮擋的臉部，使用兩個預定義類別：face（臉部）和face_mask（被口罩遮擋的臉部）標記數據集中的圖像。部分圖像如圖6所示，其中，A類對應標簽為face_mask，B類對應標簽為face。

3.1.1 口罩數據集的預處理

仿照PASCAL VOC 格式處理口罩數據集，將標注信息進行歸一化處理，歸一化公式如式（8）所示：

圖6 部分Wilder MAFA Face數據集示例

其中，(weight,height) 為原始圖片的寬度和高度，(xmin,ymin)、(xmax,ymax)分別為原始樣本真實邊界框的左上角位置信息和右下角位置信息，(x,y)、(w,h)分別為目標進行歸一化后的中心點坐標和寬高。圖片歸一化后，邊界框信息總共包含5 個參數：即(x,y,w,h)和類別對應的標簽編號。

3.1.2 重置口罩數據集的錨框

在基于錨框的目標檢測網絡中，錨框設置的合理性對于最終模型的性能至關重要，若錨框的大小與被測物體的尺度不一致，那么錨框的正樣本數可能會非常少，這將導致大量漏檢和誤檢情況。大部分目標檢測網絡使用默認的通用錨框參數以適應通用的公開數據集，例如YOLOv4-tiny 使用的6 組適用于通用場景的通用錨框參數：[（10，14），（23，27），（37，58），（81，82），（135，169），（344，319）]。為了避免在口罩數據集上使用通用錨框造成正負樣本的不平衡問題，本文使用k-means++聚類算法[23]根據聚類中心和數據框分布重新生成6組新的錨框參數[（12，16），（23，30），（41，53），（70，94），（124，168），（251，338）]用于本算法的口罩算法訓練。數據的聚類中心分布結果如圖7 所示，其中，灰點是對象框大小的分布，紅色三角形是聚類的結果。數據框分布統計如圖8所示。

圖7 聚類中心分布結果

圖8 數據框的分布統計

可以看到人臉高寬比例多數都在1.4∶1左右。所以，對于口罩數據集，可以將錨框比例設置為1∶1、1.4∶1、1.7∶1，而沒必要設置為通用錨框比例。

3.2 Mosaic數據增強

隨機改變訓練樣本可以降低模型對物體出現位置的依賴，提高模型的泛化能力，因此本文算法在訓練過程中對訓練數據進行Mosaic 數據增強訓練技巧，即隨機讀取4 張訓練圖像，進行翻轉和旋轉等操作后，按一定比例組合成1張圖片。部分訓練圖片如圖9所示。

3.3 PASCAL VOC數據集實驗結果分析

選取VOC2007 訓練驗證集和VOC2012 訓練驗證集作為訓練數據（總共包含16 551 張圖片），VOC2007測試集作為測試數據（總共包含4 952張圖片）。將本文算法與Faster RCNN、SSDLite、SSD、YOLOv3、YOLOv3-tiny、YOLOv4 和YOLOv4-tiny 進行對比，所有算法在PASCAL VOC 數據集中均采用通用錨框比例，實驗對比結果如表2所示。

表2 不同算法結果對比

圖9 經Mosaic處理的訓練數據集示例

由表2 可知，大型網絡檢測準確率高，但是檢測速度較慢，輕量網絡檢測速度快但是檢測準確率較低。YOLOv4-tiny 在輕量級網絡中檢測速度和檢測準確率較為均衡，但由于網絡結構簡單，存在特征提取能力不足等問題。本文所提算法雖然mAP 不及表2 中的大型網絡，但模型體積最小，更適合部署于移動端。在模型體積相差不大的同等輕量級網絡YOLOv3-tiny 和YOLOv4-tiny 中，mAP 分別提高13.1 個百分點和4.9 個百分點，其主要原因是Max Module能更好提取圖像特征，自下而上的多尺度融合增強模型對特征的利用率，提高準確率，使用CIoU 更好地描述預測框和真實框的距離，加快模型收斂速度，同時對訓練集采取Mosaic處理，豐富檢測物體的背景，獲得更好的泛化能力。檢測速率略低是由于隨著mAP 的提高，會檢測出更多目標框，因此時間開銷增加，但該檢測速度仍符合實際檢測場景的實時性要求。

3.4 口罩數據集實驗結果分析

按7∶3 隨機將口罩數據集劃分為訓練集和測試集，將本文算法與同等輕量級網絡YOLOv3-tiny 和YOLOv4-tiny 進行對比，為進一步說明Max Module 結構的有效性，在YOLOv3-tiny 對應的檢測頭網絡前相同位置加入Max Module 結構（以下簡稱YOLOv3-tiny Max）。所有算法在口罩數據集中均采用k-means++聚類生成的錨框比。以平均精度均值（mAP）、每秒識別幀數、精確率（Precision）和召回率（Recall）作為評價指標，不同算法的實驗結果如圖10和表3所示。

圖10 輕量算法在口罩數據訓練集的mAP對比

表3 不同輕量網絡的口罩檢測結果對比

從圖10 和表3 可以看出，本文算法在mAP 和檢測速率上表現最好。YOLOv3-tiny 采用卷積層和最大池化層組成的7 層網絡較淺，無法提取更多特征，故mAP最低，從精確率和召回率可知，YOLOv3-tiny中，正負樣本不平衡，誤檢情況可能較高，增加Max Module 結構的YOLOv3-tiny Max相較于原算法，mAP提升明顯，但由于未改變基礎網絡和特征融合方式，正負樣本優化情況仍有待改善。相較于YOLOv4-tiny，檢測速率相差不大，但mAP提高3.3個百分點。這是由于改進的算法結構增加Max Module更好地提取主要特征，采用自下而上的多尺度特征融合，提升淺層網絡邊緣信息利用率，使低層定位信號增強整個特征層次。因此，從實驗對比結果可知，對于實際的口罩佩戴檢測場景而言，本文提出的改進點是有效的，改進的YOLO網絡同時兼顧了檢測準確率和檢測速率，能較好完成口罩佩戴檢測任務。

圖11 各種算法的檢測效果對比圖

為了更加直觀地說明不同檢測算法之間的區別，選取了一些檢測圖像進行對比分析，從左到右依次是：原始圖像、本文算法檢測結果、YOLOv4-tiny 檢測結果、YOLOv3-tiny Max檢測結果和YOLOv3-tiny檢測結果。

從圖11可以看出，YOLOv3-tiny漏檢情況嚴重且檢測框位置偏差嚴重，YOLOv3-tiny Max和YOLOv4-tiny檢測效果相差不大，但均未識別出遠處的人物，改進YOLO輕量化網絡則彌補了這一缺陷。因此，在以上輕量網絡算法中，本文提出的改進YOLO輕量化網絡方法更適合口罩佩戴檢查任務。

4 結束語

本文提出了一種改進YOLO 輕量化網絡的口罩檢測算法。提出Max Module結構能獲取更主要的特征，自下而上的特征融合結構保留淺層網絡的邊緣信息和定位信息，提升特征利用率，引用CIoU預測框與真實框的位置，加快損失收斂速度，構建口罩佩戴數據集并使用k-means++重構錨框比例，采用Mosaic方法處理訓練集，提高模型在實際檢測場景中的泛化能力，使模型更加適用于口罩佩戴檢測場景。實驗結果表明，相比于原算法YOLOv4-tiny，在VOC 數據集和口罩檢測任務中，mAP 分別提升4.9 個百分點和3.3 個百分點，檢測速率分別達到74 frame/s和64 frame/s，其檢測準確率和檢測速率更為均衡，適用于口罩佩戴檢測任務。但是在其他檢測場景和通用場景中，檢測準確率仍不及大型檢測網絡，如何使模型適用于更多檢測場景，這依然是一個有待解決的問題。