新冠肺炎疫情背景下聚集性傳染風險智能監測模型

春雨童，韓飛騰，何明珂

（1.首都經濟貿易大學 管理工程學院，北京 100070；2.國能經濟技術研究院有限責任公司，北京 102299；3.北京物資學院 物流學院，北京 101149）

0 概述

新冠肺炎一般指新型冠狀病毒肺炎（Corona Virus Disease 2019，COVID-19）。2019 年末，新冠肺炎疫情爆發，全國各地報道多起聚集性傳染病例。隨著疫情防控進入常態化階段，全國出現多點散發、局部聚集性疫情反彈的現象。2021 年7 月，南京祿口機場爆發聚集性傳染疫情并擴散至全國多地，10 月至12 月，內蒙古、北京、浙江等多地出現散發聚集性傳染疫情，疫情防控工作再次面臨嚴峻考驗。在人員密集的公共場所佩戴口罩并保持安全距離是有效防控聚集性傳染的主要方式［1-2］。目前，人工監測是對公共場所人群聚集及口罩佩戴情況的主要監測手段。然而公共場所具有人流密集且流動性大的特點，人工監測不僅難以高效識別聚集人群的口罩佩戴情況，而且存在監測人員感染、監測人力不足等情況。因此，構建智能化的聚集性傳染風險監測模型對現階段的疫情防控具有重要意義和實踐價值。

近年來，很多基于深度學習的高精度通用目標檢測算法被提出，如Faster R-CNN［3］、R-FCN［4］、Cascade R-CNN［5］、YOLO［6］、SSD［7］、RetinaNet［8］、YOLOv3［9］等，并在很多場景下實現了落地應用［10-12］。在疫情防控背景下，研究者進行了一些口罩佩戴檢測算法的研究。王藝皓等［13］針對復雜場景下存在的目標遮擋、密集人群、小尺度目標檢測等問題，通過結合跨階段局部網絡、優化空間金字塔池化結構和使用CIoU 損失函數改進YOLOv3 算法，提出了新的口罩佩戴檢測算法。曹城碩等［14］等同樣針對口罩佩戴檢測任務中被遮擋目標和小目標檢測困難的問題，在特征提取網絡中引入注意力機制，提出了YOLO-Mask 口罩佩戴目標檢測算法。張修寶等［15］在ResNet50 網絡的基礎上加入空間和通道注意力學習機制，增強了口罩佩戴識別模型對口罩區域特征的學習。彭成等［16］基于YOLOv5 檢測框架，通過將其中的部分特征提取模塊替換為更輕量的GhostBottleNeck 和ShuffleConv 模塊，實現了一種輕量級口罩佩戴 檢測框架。WANG 等［17］提出了MFDD、RMFRD、SMFRD 3 種類型的蒙面人臉數據集以提高口罩檢測識別精度。雖然口罩相關檢測算法的研究取得了較大進展，但所涉及的功能及場景具有單一性，而單獨一種功能無法有效地實現聚集性傳染風險監測。此外，現有口罩檢測算法的精度仍有待提升。

本文將聚集區域檢測、行人檢測和行人口罩佩戴情況檢測相結合，提出多功能多場景的目標檢測框算法Cascade-Attention R-CNN。針對任務中目標尺度變化過大的問題，選取高精度兩階段目標檢算法Cascade R-CNN作為基礎檢測框架，通過在級聯的候選區域分類-回歸網絡中加入空間注意力機制，達到突出候選區域重要特征和抑制噪聲特征的目的，進而提升特征表達能力。在此基礎上，根據檢測結果評定疫情傳染風險等級，實現對聚集性傳染的無接觸和智能化防控和監測。

1 聚集性傳染風險監測模型

1.1 聚集性傳染風險等級劃分

口罩是預防呼吸道傳染病的重要防線，能夠大幅降低以新型冠狀病毒為代表的呼吸道傳染疾病感染風險［18］。由于商場、超市、火車站等公共場所具有人流密集且流動性大的特點，佩戴口罩更是成為預防聚集性傳染的必要措施。根據《新型冠狀病毒感染的肺炎防控方案（第六版）》中對聚集性病例的相關描述，本文將圖像中兩人及以上，可由人工判斷為近距離相處的人群視為聚集人群（dense）。由于聚集人群中的人員密集程度和口罩佩戴情況是影響聚集性傳染風險的重要因素，因此本文在判斷聚集人群的基礎上，將行人（person）及口罩佩戴（mask）兩個要素作為變量，劃定聚集性傳染風險等級并以不同顏色標記進行區分，其中一級風險為最高等級。

設一張圖像中dense 的集合為X=[x1,x2,…,xn]，xi中person 的集合為Yi=[y1,y2,…,ym]，mask 的集合為Zi=[z1,z2,…,zp]，三者關系符合zi?yi?xi。設定xi中Yi數量的閾值為δ，則聚集性傳染風險等級劃分如表1 所示。

表1 聚集性傳染風險等級Table 1 Level of aggregated infection risk

在實際監測中，閾值可根據實施監測的具體環境及情況進行調整，如密閉室內環境中可將δ降低，在開闊室外環境則可提高。

1.2 智能監測流程設計

目前，人工監測是對公共場所人群聚集及口罩佩戴情況的主要監測手段。然而由于公共場所人流密集，人工監測不僅難以高效識別聚集人群的口罩佩戴情況，且存在監測人員感染、監測人力不足等情況。雖然已有部分企業開發了口罩識別或行人識別模型以幫助疫情防控，但這些模型大多存在功能單一（只可識別口罩或行人）和場景單一（近距離和簡單場景）的問題，難以在多場景下實現多類別的目標檢測。

針對以上問題，本文提出聚集性傳染風險監測模型，實現無接觸和智能化的聚集性傳染風險監測，模型架構如圖1 所示（彩色效果見《計算機工程》官網HTML 版）。該模型可通過攝像頭的監測畫面識別特定場所的聚集人群、行人和口罩佩戴情況，并根據表1 判定風險等級。

圖1 聚集性傳染風險監測模型架構Fig.1 Framework of monitoring model for aggregated infection risk

本文模型包括數據獲取、數據預處理、模型推理、檢測結果、結果融合、風險等級6 個部分，具體過程如下：

1）數據獲取：通過攝像頭或其他圖像采集設備獲得視頻影像。影像獲取設備可根據具體場景監測需求調節距離和角度，以盡可能多地獲取監測場景信息。由于攝像頭拍攝的圖像僅包含2 維信息，因此本文在判斷聚集人群時不考慮3 維空間中的距離因素。

2）數據預處理：利用跨平臺計算機視覺庫OpenCV 將視頻按幀切割成圖片，并將圖片作為目標檢測模塊的輸入。OpenCV 是由Intel 公司開發的開源計算機視覺庫，具有編寫簡潔而高效的特點，在圖像處理領域被廣泛應用［19-21］。由于將視頻切分為幀圖片屬于成熟技術且不是本文討論重點，因此對數據獲取及數據預處理部分不做討論。

3）模型推理：利用空間注意力機制優化Cascade R-CNN［5］算法，提出Cascade-Attention R-CNN 目標檢測算法，并基于該算法建立基于視覺的多功能多場景目標檢測模塊，以數據預處理獲得的幀圖片作為輸入，識別圖片中人、口罩、聚集人群3個目標的位置及數量。具體內容詳見1.3 節。

4）檢測結果：多功能多場景目標檢測模塊的輸出結果，用紅色、藍色和綠色的檢測框分別標注聚集人群（dense）、人（person）及口罩（mask）的所在區域。

5）結果融合：利用結果融合模塊判斷目標檢測結果中聚集人群（dense）、個人（person）和佩戴口罩（mask）三要素的隸屬關系及數量，同時將目標檢測模塊結果與表1 中的聚集性傳染風險等級相融合，判定圖片的風險等級。具體內容詳見1.4 節。

Steinhaus（1955年）、Lloyd（1957年）、Ball&Hall（1965年）和McQueen（1967年）分別從不同的學科研究領域提出了K-means聚類算法，同時，McQueen總結了 Cox〔1〕、Fisher〔2〕、Sebestyen〔3〕等的研究成果，給出了K-means算法的執行步驟，并利用數學方法進行了理論論證。

6）風險等級：將圖片所對應的聚集性傳染風險等級以不同邊框顏色進行表示。顏色標簽詳見表1。

1.3 目標檢測模塊及算法設計

當前主流的通用目標檢測算法大致分為兩階段目標檢測算法和單階段目標檢測算法。相較于單階段目標檢測算法，兩階段目標檢測算法由于在第一個階段過濾掉了大部分不包含物體的候選區域，因此緩解了正負樣本不平衡的問題，具有更高的檢測精度。Faster R-CNN［3］作為最具代表性的兩階段目標檢測算法，是之后很多優秀目標檢測算法的基礎，具有重要的里程碑意義。然而，目標尺度變化過大是本文任務中所存在的關鍵問題，而Faster R-CNN在處理這一問題上具有局限性［5］。在Faster R-CNN第一個階段輸出的候選區域中，絕大部分候選區域與真實目標的重疊面積較小，這在訓練時會導致訓練樣本尺度不平衡，進而導致模型對于不同尺度的目標識別效果差別較大。為了緩解Faster R-CNN 對于尺度問題的局限性，本文基于Faster R-CNN，通過設計多個級聯的候選框分類回歸網絡（RoI-Head），使得不同級別的RoI-Head 負責位置偏差不同的候選框的預測，提升了算法對于尺度變化的魯棒性。然而，Cascade R-CNN 雖然設置了多個級聯的RoIHead，但是每個RoI-Head 內部提取更高辨識度特征的能力仍然有提升空間，更高辨識度的特征更有利于區分不同尺度的物體。因此，本文基于Cascade R-CNN 提 出Cascade-Attention R-CNN 算法，通過結合空間注意力和卷積操作，設計一種特征提取能力更強的注意力候選框分類回歸網絡（Attention RoI-Head），進一步提升算法的檢測效果。如圖2 所示，算法輸入為視頻幀圖片，通過級聯3 種結構相同的Attention RoI-Head，輸出行人（person）、聚集人群（dense）及口罩（mask）的檢測類別分數及位置信息。其中，以score 代表每個類別的預測概率分數，bbox代表回歸后的區域坐標。

圖2 Cascade-Attention R-CNN 算法流程Fig.2 Procedure of Cascade-Attention R-CNN algorithm

Cascade-Attention R-CNN 算法包含兩個階段：第一階段為候選區域提取網絡（Region Proposal Network，RPN），用于提取目標區域，以二分類的方式判斷物體是否存在并對預先定義的anchor 區域位置進行微調，最終輸出包含物體的候選區域（proposals），此階段并不考慮具體的物體類別；第二階段為基于空間注意力的候選框分類回歸網絡（Attention RoI-Head）。在R-CNN 系列的兩階段檢測算法中，RoI-Head 往往先將候選框對應的特征輸入到連續兩個全連接層，然后再分別利用兩個全連接輸出最終候選框的類別概率分數和位置偏移。Cascade R-CNN 沿用了Faster R-CNN 中的RoI-Head，但并沒有對其結構進行改進。本文提出的Cascade-Attention R-CNN 算法在使用Cascade R-CNN 級聯結構的同時，對RoI-Head 的網絡結構進行改進，通過在ROI Pooling Feature Map 上進行卷積和空間注意力的操作，提出Attention RoI-Head，實現了更強大的相關特征提取功能。

具體而言，本文將RoI-Head 中分類和回歸共享的兩個全連接層改變為3 個卷積層和1 個全連接層，且針對3 個卷積層分別使用空間注意力機制來提高特征表達能力。2 種RoI-Head 結構對比如圖3 所示。

圖3 RoI-Head 結構對比Fig.3 Structure comparison of RoI-Head

本文選擇卷積層和空間注意力機制結合使用，是因為不同尺度目標物體的主要差異來源于空間層面的不同，對于其空間特征差異性的捕獲更有助于實現對不同尺度目標物體的區分。相較于全連接層，卷積層能夠更好地保持目標物體特征的空間特性，空間注意力則可對特征的空間層面進行顯式加權，過濾噪聲特征，增加更高辨識度空間特征的權重，進而實現對于不同尺度物體區分度更高的特征提取，最終提升算法對于任務中尺度變化過大情況的魯棒性［22］。實驗結果表明，改進后的Attention RoI-Head 具有更好的效果。關于空間注意力的具體形式，本文采用CBAM［22］中的空間注意力，如圖4 所示。值得注意的是，其他形式的空間注意力或許具有更好的效果，但本文主要研究利用注意力機制與卷積結合去提升算法特征表達能力，進而緩解尺度變化過大的問題，而關于空間注意力的表達形式不是本文研究內容。

圖4 空間注意力機制流程Fig.4 Procedure of spatial attention mechanism

損失函數屬于多任務損失函數，包含第一階段RPN 的損失和第二階段Attention RoI-Head 的損失，且兩部分損失均包含分類損失（cls loss）和回歸損失（bounding box regression loss）。以RPN 階段的損失函數為例，如式（1）所示：

其中：i表示候選框（anchors）索引；Ncls為總的anchors數量；Nreg為anchors 所在的中心位置個數；由于實際過程中Ncls和Nreg差距過大，因此用參數λ平衡兩者差距，使網絡可以均勻地考慮兩種損失；pi表示預測候選框i為目標的概率表示選取候選框對應的樣本所屬標簽，當候選框目標為正樣本時取1，否則取0；ti表示預測的邊界框（bounding box）的4 個坐標參數表示正確標注邊界框的坐標；Lcls表示二分類器的分類損失，如式（2）所示；Lreg表示回歸損失，如式（3）所示；R表示smoothL1函數，如式（4）所示。

為增強算法對于小目標檢測的效果，本文引入特征金字塔網絡（Feature Pyramid Network，FPN），通過采用一種自上而下（top-bottom）的方式，將頂層特征與底層特征進行融合，之后在融合后的每層特征上進行候選區域提取、相關類別預測和偏移量預測。

1.4 結果融合模塊及算法設計

本文通過結果融合模塊判斷目標檢測結果中聚集人群（dense）、個人（person）和佩戴口罩（mask）三要素的隸屬關系及數量，并將目標檢測模塊結果與風險監測等級相結合。為了更準確地判斷三要素關系及數量，結果融合模塊對dense 和person、person 和mask 這2 種情況分別進行處理。

圖5 圖像坐標系示意圖Fig.5 Schematic diagram of image coordinate system

設dense、person、mask的坐標分別為(x0,y0,h0,w0)、(x1,y1,h1,w1)、(x2,y2,h2,w2)，其中：x和y分別代表檢測結果中邊界框左上角點在圖中的橫縱坐標；w和h分別代表邊界框的寬和高。在判斷dense 中person 個數階段，設dense與person的交集坐標為(xi,yi,hi,wi)，則有：

根據式（5）和式（6）可計算得出dense 和person邊界框的面積交集Sσ以及person 邊界框面積S1。當dense 與person 有交集且交集面積Sσ占S1的比例大于等于閾值α，即person 滿足式（7）中所有條件時，判定該person 屬于dense 且計數加1。

在判斷person 是否正確佩戴mask 階段，由于mask 的正確佩戴方式是在面部，因此默認mask 必須全部在person 邊界框內。利用式（8）判斷mask 是否得到正確佩戴：

其中：β代表mask 距person 邊界框頂部的垂直距離占person 邊界框高度h2比例的閾值。當mask 滿足式（8）中所有條件時，判定mask 得到正確佩戴且計數加1。

1.5 評價指標

由于目標檢測模塊的檢測效果直接影響聚集性傳染風險監測模型的有效性，因此本文僅針對目標檢測模塊中的算法運行效果進行評價。為更好地綜合反映精確率和召回率的情況，本文采用平均精度均值（mean Average Precision，mAP）作為對目標檢測模塊的評價指標，該指標兼顧了精確率和召回率。精確率PPrecision和召回率RRecall的計算公式如下：

其中：TP為正確識別的目標數量；FP為誤識別的目標數量；FN為漏識別的目標數量。

通過選取召回率和精確率的值作為橫坐標和縱坐標，得到的P-R 曲線下的面積即為平均精度（Average Precision，AP）。對所有類別求AP 并取均值即為mAP 指標。mAP 是目標檢測問題中常用的評價指標，可以反映算法的整體性能［23-24］。

2 實驗與分析

2.1 數據集構建

基于聚集性傳染風險監測模型的定義，本文實驗使用的數據集必須同時包含人群聚集和口罩佩戴兩個特征，且包含不同場景和視角。為清晰表示不同場景及視角，本文以A1 和A2 分別代表平視及俯視兩個視角，平視指鏡頭與被拍攝物體保持基本相同水平獲得圖片，俯視指鏡頭中人眼處于平常生活狀態下的俯視鏡頭獲得圖片。以B1、B2、B3 分別代表近、中、遠三種距離，C1 和C2 分別代表室內及室外兩種場景，如圖6 所示。由于缺少公開數據集，本文通過網絡爬取及整合相關公開數據集的方式構建聚集性傳染風險監測數據集。網絡爬取部分選擇百度及必應（bing）兩個圖片搜索引擎，分別以“口罩”“人群”“聚集”“疫情”“新型冠狀病毒”等為關鍵詞，利用爬蟲下載搜索結果圖片，并通過人工篩選得到1 049張有效圖片。公開數據集部分選取大型商場（Mall Dataset）［25］、UCSD［26］、上海科技（Shanghaitech）［27］這3 個人群統計數據集，以及MAFA 面部口罩檢測數據集［28］。經過對2 個渠道數據源的篩選和清洗，共得到1 542 張有效圖片，按照5︰5 劃分訓練集和測試集。由于數據集中涉及部分人臉信息，出于肖像權保護及信息安全的考慮，對包含清晰面部信息的圖片均采取去除眼部信息特征的處理。實驗數據集的具體數據分布如表2 所示。最后，使用目標檢測任務標注工具LabelImg將數據集標注為PASCAL VOC［23］格式。

圖6 數據集示例圖片Fig.6 Example images of dataset

表2 數據集數據分布Table 2 Dataset distribution of dataset

2.2 實驗環境及參數設置

在多功能多場景目標檢測模塊的實驗中，本文使用的仿真平臺為Ubuntu 16.04，顯卡采用GeForce GTX TITAN X 12 GB 獨立顯卡。此外，安裝GPU 開發包CUDA10.1，深度學習框架為Pytorch 1.6.0，代碼運行環境為Python 3.7.9。在訓練階段，采用ImageNet［29］上的預訓練模型ResNet-50［30］作為特征提取網絡。超參數設置如下：初始學習率為0.001，30 epoch 后調整為0.000 1，共訓練32 epoch；優化器選擇帶Momentum 的SGD，其中Momentum 設置為0.9；batch size 為1。在訓練和測試階段，圖片的輸入尺寸統一為600×1 000 像素。

2.3 算法評價

表3展示了本文提出的Cascade-Attention R-CNN算法與其他主流目標檢測算法的性能對比。通過表3 可知，兩階段目標檢測算法Cascade R-CNN［5］mAP分別超過單階段目標檢測算法RetinaNet［8］和SSD512［7］（輸入圖片的尺寸為512×512像素）5.8 和0.9 個百分點。本文提出的Cascade-Attention R-CNN 算法超過Cascade R-CNN 算法2.6 個百分點，結果表明本文提出的Attention RoI-Head 效果優于原始RoI-Head。此外，Cascade-Attention R-CNN算法關于行人（person）、口罩（mask）的AP 值均達到90% 以上，關于聚集人群（dense）的AP 值達到85%以上。

表3 不同算法的檢測精度對比Table 3 Detection precision comparison of different algorithms %

2.4 實驗結果及分析

本文聚集性傳染風險監測模型的實驗結果如圖7 所示（彩色效果見《計算機工程》官網HTML版），其中體現了本文通過Cascade-Attention R-CNN算法構建的模型在不同場景和視角下對圖片識別出的信息及相應的聚集性傳染風險等級。其中：圖片內邊界框分別代表所識別的信息person（藍色）、mask（綠色）及dense（紅色）；圖片邊框顏色代表聚集性傳染風險等級；dense 中person 數量閾值δ設置為2；結果融合模塊中的α和β閾值分別設置為2/3 和1.5。

通過對實驗結果的分析可得到以下結論：

1）目標檢測模塊對于近、中、遠距離的目標均具有良好的識別效果，如圖7（a）、圖7（e）、圖7（k）所示。

2）目標檢測模塊可有效識別面部佩戴口罩情況，但存在特殊案例，如圖7（f）中雖然識別口罩佩戴在面部，但未遮擋住鼻子，感染風險大幅提升。由于類似情況較少，此處不做特殊處理。

3）目標檢測模塊對于聚集人群（dense）具有良好的識別效果，但存在瑕疵。如圖7（k）和圖7（l）所示，當人群過于密集且視角過遠時，dense區域存在漏人情況，但此類情況不影響風險監測模型的正確監測。

4）目標檢測模塊對于除口罩外的面部遮擋干擾具有較強的魯棒性。如圖7（b）和圖7（c）所示，雖然用手和面巾遮住面部，但目標檢測模塊未將該類遮擋視為佩戴口罩。

5）結果融合模塊具有良好的融合效果。對比表1 中定義的聚集性傳風險等級可以看出，結果融合模塊可以有效地將監測結果與風險等級相結合，得到正確的監測風險等級。

基于以上對實驗結果的分析可知，多功能多場景目標檢測模塊可以識別不同視角（俯視、平視）、不同場景（室內、室外）及不同距離（遠、近）的多類別（個人、聚集人群及口罩）圖片信息，具有較高的準確率和魯棒性，同時結果融合模塊也可有效融合檢測結果與風險等級，進而驗證了本文模型的有效性。

3 結束語

近年來，新冠肺炎疫情嚴重威脅著人們的生命健康，而對于聚集性活動的監管，如聚集性人群以及口罩佩戴狀態的監管，是控制疫情傳播的重要手段。本文提出Cascade-Attention R-CNN 檢測算法，緩解人工監管聚集性區域、行人和口罩佩戴耗費人力且增加傳染風險的問題。為應對目標尺度變化過大的情況，選取Cascade R-CNN 作為基本檢測框架，通過在候選區域分類-回歸網絡中加入空間注意力機制，實現更高辨識度的特征提取。在此基礎上，通過融合Cascade-Attention R-CNN 的輸出結果，構建聚集性傳染風險監測模型，自動判定當前場景下的聚集性傳染風險等級。實驗結果表明，Cascade-Attention R-CNN 較Faster R-CNN、RetinaNet、SSD、Cascade R-CNN 等主流目標檢測算法具有更高的檢測精度，并且所構建的監測模型能夠準確判定傳染風險等級。本文采用原始的特征金字塔網絡，針對固定尺度范圍的目標僅使用單一的特征金字塔層。后續將利用不同層級的特征提取更高辨識度的特征，進一步提升檢測效果。