面向社交距離檢測的深度學習方法設計與性能驗證

摘" 要：對社交距離進行準確檢測在傳染病溯源、安防監控等領域都有著重大意義。行人間的遮擋會極大降低社交距離檢測方法的精度和泛化能力，針對這一問題，該文研究一種遮擋條件下的社交距離檢測方法，并驗證方法的環境適應性。該方法首先采用簡單在線實時跟蹤方法（Simple online and realtime track， SORT） 進行人員追蹤，然后基于單目視覺測距方法來測量行人間距;最后，驗證檢測方法在不同拍攝視角及人流密度下的泛化性能。研究結果表明，該實驗可以在遮擋條件下進行較好的實時追蹤，在攝像頭的拍攝高度在12 m左右時獲取最優的密接行為識別性能，識別準確率為92%。

關鍵詞：社交距離;SORT;單目視覺;深度學習;性能驗證

中圖分類號：R184" " " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2023）25-0038-04

Abstract： Accurate detection of social distance is of great significance in the traceability of infectious diseases， security monitoring and other fields. The occlusion between pedestrians will greatly reduce the accuracy and generalization ability of the social distance detection method. In order to solve this problem， this paper studies a social distance detection method under the occlusion condition， and verifies the environmental adaptability of the method. This method first uses simple online and realtime track （SORT） for personnel tracking， and then measures pedestrian spacing based on monocular vision ranging method. Finally， this paper verifies the generalization performance of the detection method under different shooting angles and pedestrian flow density. The research results show that this experiment can carry out better real-time tracking under the condition of occlusion， and the best recognition performance of close contact behavior can be obtained when the shooting height of the camera is about 12 m， and the recognition accuracy is 92%.

Keywords： social distance; SORT; monocular vision; deep learning; performance verification

對于傳染病的準確溯源是有效防控的重要手段，基于社交距離分析的密接檢測可以有效地追溯傳染病感染者的密接范圍，從而可有效確定相關密接者和防控范圍，為及時有效抑制烈性傳染病的傳播提供信息化技術手段。另一方面，社交距離的檢測不僅可以對傳染病進行溯源，而且對機場、火車站和商場等公共場所中的人員異常行為的檢測、違法嫌疑人的追蹤和人流劇增檢測都有著重要意義。

在檢測手段方面，現有研究的檢測信息源主要基于光學傳感器、激光雷達、Wi-Fi/藍牙、壓力傳感器及麥克風陣列等傳感手段。激光雷達檢測會存在點云數據不完整、投入的成本高等問題。Wi-Fi/藍牙檢測存在穩定性較差，易遭受噪聲信號干擾等問題。基于壓力傳感的感應地板存在擴展性差、特征稀疏、響應時間長等問題。麥克風陣列在區分多人特征時具有局限性[1]。在考慮到研究的成本以及與本文研究內容的適配度、數據采集成本等各方面因素，最終采用光學傳感器檢測。光學傳感器能在給定空間中檢測人員確切位置，相對其他傳感器，其更容易部署且成本更低。

近年來，多目標跟蹤（Multiple Object Tracking，MOT）得到了廣泛研究，其可以跨視頻幀關聯檢測到目標，以獲得整個運動軌跡。這種方法跟蹤性能可能會受到跟蹤算法各個環節誤差的疊加影響，如檢測、特征提取、相關性估計和關聯，這些因素的干擾會導致跟蹤性能顯著下降。此外，還可能受到光照變化、遮擋、復雜環境、快速攝像機移動、不可靠檢測和低分辨率等問題的影響。針對MOT在實際檢測中面臨的這些挑戰，本文研究了如何解決在人員出現遮擋的情況下進行追蹤以及何種條件下可以使得檢測模型取得最優。本文的研究內容構成如下，第1部分給出了面向研究人員檢測、追蹤和間距估計的三階段模型的構成，第2部分給出了數據采集過程和實驗平臺架構，第3部分給出了所研究的模型在自采數據集上的性能，并驗證了方法在不同環境下的泛化能力，第4部分對本文的研究內容和研究結果進行總結。

1" 方法

基于SORT本文采用一個三階段社交距離檢測模型，包括人員檢測、人員追蹤、距離間估計，作為社交距離檢測的總體解決方案。

1.1" 基于YOLO架構的人員識別模型

圖1是人員檢測模塊的總體結構，首先由攝像機獲取視頻序列，再傳遞給深度神經網絡模型，模型的輸出結果是檢測目標的定位邊界框。由于深度神經網絡（DNN）環境適應性好、特征泛化能力強等特點，本文使用DNN作為基準網絡進行對象檢測。DNN對象檢測器包含3個組成部分，包括輸入模塊、提取特征的主干和預測輸出中對象的類別這3部分組成[2]。骨干是特征抽取器（feature extractor），通常是由大規模圖片分類任務中得到的。本文采用的Darknet作為backbone，同時融入Inception和ResNet的結構提升網絡的特征識別能力和泛化能力。通過主干提取的特征再加上采樣環節，以圖像框的形式還原至原圖，形成檢測目標的定位邊界框。

1.2" 基于SORT的人員追蹤模型

為準確跟蹤各行人目標，本文采用了SORT對行人進行實時追蹤，該方法在較長時間的遮擋條件下依然可較準確的跟蹤對象，有效減少了因遮擋而出現的身份跳變問題[3]。SORT使用匈牙利算法在圖像空間和逐幀數據關聯中執行卡爾曼濾波。這種簡單的方法在高幀速率下實現了良好的性能，當出現頻繁遮擋時仍可以高效的識別檢測人群的身份跳變。

SORT雖然在跟蹤精度和準確性方面體現了良好的性能但是其返回的身份數量相對較高，因此，SORT在通過遮擋進行追蹤方面存在困難。為了解決這個問題，應用了卷積神經網絡CNN，該網絡已在大規模數據集上進行訓練以區分行人。該網絡的集成可以提高模型的魯棒性，使系統易于實施并且高效的應用于在線場景。

1.3" 基于單目視覺特征的距離間隔估計

由于使用單個相機，將三維世界場景投影到二維透視圖像平面中會導致對象之間的像素距離不切實際，這稱為透視效應。為了消除透視效應，本文采取單目視覺測距的方法來測量行人間距。在三維空間中，每個邊界框的中心或參考點與3個參數（x，y，z）相關聯[4]。通過應用逆透視變換（Inverse Perspective Mapping，IPM），2D像素點（u，v）將被映射到對應的世界坐標點（xw，yw，zw）。應用IPM之后，用線性距離表示每個人的位置，在具有線性距離表示的鳥瞰圖（Bird's Eye View，BEV）的均勻空間中，違規檢測函數V如下

式中：Hq表示被檢測人的位置，Po表示周邊的人員，xi、xj表示違規人員pi、pj所在的坐標位置，r表示集合安全距離。當行人違反安全距離超過5 sec時就會被識別出來，上位機會標注紅色;當行人關系為家庭成員或者伴侶時，檢測結果為黃色;當行人保持安全距離，檢測結果為綠色。

2" 數據采集與實驗平臺

本文采用了公開數據集和自采數據集來訓練、驗證社交距離檢測模型。公開數據集采用MS COCO和谷歌開放圖像數據集，該數據集包含豐富環境變化下的圖像數據，主要用于模型的基準權重訓練;自采數據集包含了南通大學嗇園校區附近地鐵站、食堂、教學樓等不同地點的圖像數據。

本文對街道附近的人流量進行了分時段檢測，監測時間為早上7時到夜晚9時，每小時分為1個時段，全天一共有14個時段，在每個時段內抽測10 min，精準數出10 min內通過的行人數量，再對每一時段乘以6得出每小時的人流量

式中：Q為人流量（人/h），N為單位時間內通過的總人數，T為10 min（1/6 h）。當Qgt;230時，為人流密集;當230gt;Qgt;90時，為人流適中;當Qlt;90時，為人流稀疏。

模型的代碼基于Pytorch實現，并使用了numpy、cv2、os、html等工具庫，驗證平臺為一臺服務器，該服務器CPU為intel XEON Silver 4210，GPU為NIVIDIA RTX-4090，內存64 G。

3" 實驗結果對比與分析

3.1" 評價指標

本文對行人安全社交距離檢測評價指標采用二分類的準確率（Precision），如（4）式中，TP表示檢測出的違反了社交安全距離的行人數量，FP表示沒有違反社交安全距離但是卻被識別為違反社交安全距離的行人數量[5-6]

Pprecision=×100% 。 （4）

3.2" 社交距離檢測模型驗證

由于外部條件的不同會對實驗結果產生顯著的影響，故本文從拍攝高度、人員流量、閾值3個方面來探究進行社交距離檢測的最適宜條件。研究中采用從不同高度處拍攝街道上的行人作為驗證數據，高度分為8、12、16 m。H表示從8、12、18 m等不同高度拍攝地面上的行人。驗證中首先獲取街道拐角處不同高度的圖像數據，利用YOLO進行人員識別并框出人員位置，再根據人員邊界框計算人員之間的社交距離[7]。當社交距離小于安全距離1 m時，就會進行密接標注。由于高度H的不同導致社交距離的識別結果存在一定誤差，經過依據統計特征，誤差系數與高度H在一定范圍內成線性關系。在高度為8 m時，定義誤差系數為0.9;高度為12 m時，定義誤差系數為0.85;高度為16 m時，定義誤差系數為0.8。檢測函數函數如下式

式中：ζ表示誤差系數，xi、xj為邊界框中心歸一化水平坐標;yi、yj 為邊界框中心歸一化垂直坐標。本文從8、12、16 m 3個拍攝高度對街道拐角處的人群進行社交距離檢測，檢測結果如圖2所示。

由圖2可知，在相同時段內人流量較少時，8 m和16 m拍攝高度均出現了部分行人未識別出來的情況，綜合比較檢測結果得出拍攝高度在12 m，時社交距離檢測的效果較好。

其次，本文在距離街道拐角處12 m高的地點，對人員疏松、人員適中和人員密集3種人流量下的人群進行社交距離檢測，檢測結果如圖3所示。

由圖3可知當人流量稀少檢測結果較好，而當人流量適中和過大時就會出現部分人員的社交距離不能檢測到，檢測質量下降。依據相關評價指標，本文從不同高度測量了街道拐角處人群的社交距離，檢測結果如圖4（a）所示。可以觀察到在人流稀疏、人流適中、人流密集三種情況下，拍攝高度為12 m處的檢測精度最高，效果最好。拍攝高度為12 m處固定地點的檢測精度如圖4（b）所示，可觀察到人流稀疏時檢測效果最好。

4" 結論

本文采用了一種基于深度神經網絡的人體檢測模型，用于檢測和跟蹤公共場所的人群，同時給出了適宜的社交距離指標。首先，進行人員檢測。利用攝像頭收集有關視頻序列，傳遞給深度神經網絡模型，再把圖像特征轉換成對象檢測輸出。接著，采用SORT進行人員追蹤。前期在卷積神經網絡CNN上的大規模數據集上進行訓練以區分行人，可以解決出現頻繁遮擋時仍可以高效地識別檢測人群的身份跳變的問題。最后利用單目視覺測距的方法來測量行人間距，對于違反安全距離的行人顯示紅色，在安全距離中的顯示綠色，如果兩人是情侶或者家庭成員的則顯示黃色。這項研究不僅適用于新冠感染疫情中人員的檢測還可以應用于其他工業領域，如自動駕駛車輛、公共場所中異常行為檢測等。

參考文獻：

[1] BERRY A.針對零售行業社交距離的自動人流存在檢測解決方案[J].世界電子元器件，2020（12）：15-17.

[2] SZEGEDY C， TOSHEV A， ERHAN D. Deep Neural Networks for object detection[C] //Advances in Neural Information Processing Systems，2013.

[3] WOJKE A， BEWLEY， PAULUS D. Simple online and realtime tracking with a deep association metric[C]//2017 IEEE International Conference on Image Processing （ICIP）， Beijing， China， 2017：3645-3649.

[4] REZAEI M， AZARMI M. DeepSOCIAL： Social Distancing Monitoring and Infection Risk Assessment in COVID-19 Pandemic.[J]Applied Sciences， 2020，10（21）：7514.

[5] 焦帥，吳迎年，張晶，等.基于改進YOLOv3網絡的卡爾曼社交距離檢測與追蹤[J].科學技術與工程，2022，22（22）：9712-9720.

[6] 張建賀，陶杭宇，王亞名，等.結合行人檢測與單應性變換的安全社交距離估計[J].軟件導刊，2022，21（3）：89-94.

[7] 趙嘉晴，易映萍，黃松.基于YOLOv3的無人機智能社交距離監測系統[J].軟件，2020，41（12）：107-112.