基于邊緣計算的行人檢測算法研究

張超 王亮

摘? 要：文章基于多個邊緣計算設備，構建輕量高效的行人檢測算法。首先，基于原始YOLOv5模型，替換為MobileNetv3作為特征提取網絡，減少算法參數量和計算量；其次采用ReLu6激活函數，加速網絡收斂，減少模型復雜度；最后利用K-means聚類算法僅選取3個先驗框分別匹配到3個不同尺度檢測頭中。實驗結果表明：改進后的模型參數量和計算量于僅為原始模型的51.6%和39.8%，在Jetson AGX Xavier設備上采用TensorRT進行推理達到了66 FPS的實時速度，在RK3399設備上達到了2.1 FPS。

關鍵詞：邊緣計算；行人檢測；YOLOv5算法

中圖分類號：TP391.4? ? 文獻標識碼：A? 文章編號：2096-4706（2023）06-0081-04

Research on Pedestrian Detection Algorithm Based on Edge Computing

ZHANG Chao， WANG Liang

（School of Electronics and Information， Xian Polytechnic University， Xian? 710048， China）

Abstract： This paper constructed a lightweight and effective pedestrian detection algorithm based on multiple Edge Computing devices. Firstly， based on the original YOLOv5 model， MobileNetv3 is replaced as the feature extraction network to reduce the number of algorithm parameters and computation. Secondly， ReLu6 activation function is used to accelerate network convergence and reduce model complexity. Finally， K-means clustering algorithm is used to select only three prior frames and match them to three detection heads of different scales. Experimental results show that the number of parameters and computation of the improved model are only 51.6% and 39.8% of that of the original model， and the real-time speed of 66 FPS is achieved on Jetson AGX Xavier and 2.1 FPS on RK3399.

Keywords： Edge Computing; pedestrian detection; YOLOv5 algorithm

0? 引? 言

行人檢測是計算機視覺的研究熱點之一，是自動駕駛、行為分析和行人重識別等場景研究的基礎，具有重要的研究價值和廣泛的應用場景[1，2]。行人檢測主要依賴于目標檢測算法，為提高準確率，神經網絡的深度也在逐漸加深，計算量越來越大，因此，需要消耗大量的計算資源，在邊緣計算設備上無法達到實時的檢測效果[3]。

目前，進行行人檢測的方法主要有兩種，一是使用傳統的機器學習算法進行行人檢測，如曹巧慧等人根據不同的俯仰角對圖像提取HOG特征，然后優化SVM分類器進行行人檢測[4]。二是基于深度學習的方法進行行人檢測，深度學習的方法主要分為兩類，分別是基于候選框的兩階段算法和基于回歸的單階段算法[5]。基于兩階段的檢測算法有R-CNN、Fast-RCNN和Faster-RCNN等經典的識算法[6]?；趩坞A段的目標檢測算法有YOLO[7，8]系列。YOLOv5是2020年6月Ultralytics團隊在YOLOv3的基礎上提出的[9]，與兩階段算法相比，其具有簡單結構，更快的檢測速度。

研究者們使用輕量化神經網絡通過更加精巧的特征提取方式，在幾乎不影響模型性能的情況下使得參數量大幅度減小[10]。常見的輕量化主干網絡有MobileNet系列等輕量化結構[11]。如欒奕等人針對ARM邊緣計算架構的特點，對MobileNet-V1網絡進行壓縮，不僅減小了功耗而且提升了準確率[12]。

綜上所述，本文為了能夠在低算力設備上進行實時高效的行人檢測，通過改進YOLOv5網絡結構，在多個邊緣計算設備上實現實時準確的行人檢測系統。本文的主要貢獻有：在YOLOv5s網絡基礎上，利用Mobilenetv3作為特征提取的主干網絡，保證檢測精度滿足實際需求的同時，減少了網絡參數，在一定程度上提升檢測速率；使用K-means聚類生成行人目標生成候選框，將原本9框設定為3框，進一步提升檢測速率；采用ReLu6激活函數，在邊緣計算設備上，限制模型的輸出能夠提高運行的速度，減少計算的復雜度，所以本文采用ReLu6激活函數；由于行人數據的單一目標特性，采用三個anchor進行匹配，構建了更加輕量的目標檢測器，將行人檢測算法運行在多個邊緣計算設備上，達到實時性效果，驗證改進后的模型具有較高的實際價值。

1? 優化算法

1.1? YOLOv5簡介

YOLOv5采用由backbone，FPN，PAN，Detect四部分組成，其backbone的作用是提取特征，主要由Conv、C3和SPPF三個模塊組成，PANet的組成是一個圖像特征金字塔結構用于融合特征[13]，最后將得到的特征分別送入Detect中進行檢測，具體結構如圖1所示。根據網絡的寬度和深度不同，從小到大依次為YOLOv5s、YOLOv5m、YOLOv5l、和YOLOv5x四個版本，隨著模型深度和寬度因子的變大，網絡的參數量和準確率都會變大，其中YOLOv5s的實時性較好，所以本文首先選擇YOLOv5s模型進行行人檢測，并在多個邊緣計算設備上進行測試。

1.2? YOLOv5算法優化

1.2.1? 特征提取網絡優化

在不降低精度的前提下，減少網絡參數量及計算量，本文使用MobileNetv3代替其原有的特征提取網絡，構建YOLOv5s-MobileNetv3網絡結構。采用深度可分離卷積進行特征提取1×1的卷積核在深度可分離卷積中稱為逐點卷積。一般情況下，卷積核大小N的取值較大，若采用3×3的卷積核，深度可分離卷積相比于傳統的卷積，可以減少大約9倍的計算量。

將MobileNetv3作為YOLOv5特征提取網絡，不僅能減少運算量和模型參數量，還能提高網絡的計算效率。

1.2.2? 采用ReLu6激活函數

將SiLu激活函數替換為ReLu6的激活函數，其能夠更好地應用在嵌入式設備之上，降低模型復雜度，減少計算開銷，并且使得網絡更快的收斂。通過式（1）可以看出，SiLu函數的計算復雜度遠遠大于ReLu6的計算復雜度。

（1）

（2）

通過式（2）可以看出ReLu6有上下界，能夠在進行模型量化時，減少精度損失，所以選擇Relu6激活函數來代替SiLu激活函數，便于低精度量化，并且減少計算開銷。

1.2.3? K-means聚類生成先驗框

K-means聚類算法被廣泛應用于目標檢測尋找先驗框之中。由于本文實驗的數據是單類目標尺度大小較為統一，所以每個尺度上分別采用1個anchor。使用K-means聚類和遺傳算法生成不同尺寸的anchor，其主要流程包括以下五點：

（1）讀取訓練集中每張圖片的寬和高以及標簽文件中的寬和高。

（2）將每張圖片中寬和高的最大值等比例縮放到指定大小的尺寸，本文為640×640，由于讀取的標簽文件中邊界框是相對坐標，所以，將其也變換為絕對坐標。

（3）然后過濾超出圖像的坐標，保留小于等于圖像寬和高的邊界框。

（4）使用K-means聚類得到3個anchors，使用遺傳算法隨機對anchors的寬和高進行變異，如果變異后效果變得更好，就將變異后的結果賦值給anchors，如果變異后效果變差就跳過，默認變異1 000次。

（5）最后將最終變異得到的anchors按照面積進行排序。

通過以上五個步驟，得到三個尺度對應的anchor分別是：（15，31）、（45，93）、（162，268）對應的是20×20、40×40和80×80的檢測頭。

本文改進后的網絡結構YOLOv5s-MobileNetv3-ReLu6如圖2所示。

本文優化后的網絡結構為YOLOv5s-MobileNetv3-ReLu6，首先主干網絡采用輕量化結構MobileNet_Block用于特征提取，然后將激活函數換為ReLu6減少計算復雜度，最后針對單目標選擇三個anchor輸出對應三個尺度的檢測頭進行檢測，進一步減少了計算量。

2? 實驗與結果分析

2.1? 實驗環境

本文實驗的操作系統為Ubuntu 18.04.5，GPU型號為NVIDIA GeForce RTX 3090，顯存大小為24 G，采用的深度學習框架為pytorch1.8.1，編程語言為Python 3，使用的cuda 11.1和cudnn 8.0.4進行加速。

2.2? 數據集

本實驗使用的數據是coco數據集中的person標簽進行提取，除去不包含行人標簽的數據，最終的圖片數量為66 808張，person的標簽數為273 469個，coco數據集是目標檢測常用的公開數據集，具有豐富的背景信息和前景信息，實驗中按照8：1：1的比例劃分為訓練集測試集以及驗證集。

2.3? 實驗結果

2.3.1? 評價指標

本文使用精準率P（Precision）和召回率R以及平均精度均值mAP作為評估指標，計算公式如下，同時使用幀率FPS作為檢測速度評估的指標。

（3）

（4）

（5）

（6）

式（3）到（6）中FP代表的是負樣本預測為正樣本的數量，FN表示負樣本預測為負樣本的數量，TP是正樣本預測為正樣本的數量，TN是正樣本預測為負樣本的數量，m表示所有類別的數量。

2.3.2? 邊緣計算設備性能對比

為了更加客觀的評價算法性能，本文將YOLOv5s采用相同的訓練參數、數據集進行訓練，并在測試集上進行測試。首先把模型進行邊緣轉換，然后在NVIDIA公司推出的邊緣設備Jetson Xavier NX、Jetson AGX Xavier以及瑞芯微的RK3399設備上推理測試速度和檢測效果，CPU設備推理框架采用ONNX Runtime進行，GPU設備采用TensorRT推理框架，速度測試為1 000張圖片推理時間取平均的結果。

在測試集的計算結果如表1所示，改進后的算法參數量和計算量于僅為原始模型的51.6%和39.8%，YOLOv5s -MobileNetv3-ReLu6在精度基本維持不變的情況下，速度都更快。

輸入為640×640×3大小的圖片，使用邊緣計算設備在困難樣本上進行行人檢測，其檢測效果如圖3所示。

通過檢測效果圖3可以得出，改進后的YOLOv5算法運行在邊緣計算設備之上依舊具有很高的精度，對于多種復雜場景下，都能較好地進行行人檢測，也表明了該算法能夠適應現實場景需求。采用MobileNetv3作為特征提取網絡，可以減少參數量，加快推理速度，使用ReLu6激活函數，即使在邊緣設備上進行低精度推理，同時在三個尺度上各采用一個anchor，對于行人檢測的效果滿足實際需求。

3? 結? 論

為了減少模型的參數量并且在低算力設備之上運行行人檢測算法，本文使用輕量化特征提取網絡Mobilenetv3，然后使用運算更加簡單的ReLu6激活函數，并且減少anchor的數量，在三個邊緣設備上進行驗證，通過實驗得出改進后的算法YOLOv5s-MobileNetv3-ReLu6相比于原始YOLOv5s算法具有較好的性能。不僅速度快，滿足在邊緣設備上的實時性檢測需求，而且在多種復雜場景下進行行人檢測上也具有良好的檢測效果。下一步打算繼續研究準確率更高的、速度更快的檢測方法，與目標跟蹤技術相結合，做出更加完善的行人分析平臺，達到降本增效的目的。

參考文獻：

[1] 郭振堂，祝永新，田犁.基于多模態數據的車輛行人檢測 [J].激光雜志，2021，42（12）：52-58.

[2] HAN H，ZHOU M C，SHANG X W，et al. KISS + for Rapid and Accurate Pedestrian Re-Identification [J].IEEE Transactions on Intelligent Transportation Systems，2020，22（1）：394-403.

[3] CHENG J，WANG P S，LI G，et al. Recent Advances in Efficient Computation of Deep Convolutional Neural Networks [J].Frontiers of Information Technology & Electronic Engineering，2018，19（1）：64-77.

[4] 曹巧慧，葛萬成.基于俯仰角修正的HOG特征快速行人檢測算法 [J].現代電子技術，2014，37（21）：62-65.

[5] 陳輝東，丁小燕，劉艷霞.基于深度學習的目標檢測算法綜述 [J].北京聯合大學學報，2021，35（3）：39-46.

[6] 王小燕，謝文昊，楊藝芳，等.基于深度學習的垃圾分類檢測方法 [J].現代電子技術，2021，44（21）：110-113.

[7] REDMON J，FARHADI A. YOLO9000：Better，Faster，Stronger [J/OL].arXiv：1612.08242 [cs.CV].（2016-12-25）.https：//arxiv.org/abs/1612.08242.

[8] BOCHKOVSKIY A，WANG C-Y，LIAO H-Y M. YOLOv4：Optimal Speed and Accuracy of Object Detection [J/OL].arXiv：2004.10934 [cs.CV].（2020-04-23）.https：//arxiv.org/abs/2004.10934.

[9] REDMON J，FARHADI A. YOLOv3：An incremental improvement [J/OL].arXiv：1804.02767 [cs.CV].（2018-04-08）.https：//arxiv.org/abs/1804.02767.

[10] 劉俊明，孟衛華.基于深度學習的單階段目標檢測算法研究綜述 [J].航空兵器，2020，27（3）：44-53.

[11] HOWARD A，SANDLER M，CHU G，et al. Searching for MobileNetV3 [J/OL].arXiv：1905.02244 [cs.CV].（2019-05-06）.https：//arxiv.org/abs/1905.02244v2.

[12] 欒奕，劉昌華.基于TPU和FPGA的深度學習邊緣計算平臺的設計與實現 [J].計算機工程與科學，2021，43（6）：976-983.

[13] LIU S，QI L，QIN H F，et al. Path Aggregation Network for Instance Segmentation [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Salt Lake：IEEE，2018：8759-8768.

作者簡介：張超（1996—），男，漢族，陜西渭南人，碩士研究生在讀，研究方向：計算機視覺與模式識別；王亮（1995—），男，漢族，陜西西安人，碩士研究生在讀，研究方向：計算機視覺與模式識別。

收稿日期：2022-12-16