基于改進YOLOv3 的實時人手檢測算法

毛騰飛，趙曙光

（東華大學信息科學與技術學院，上海 201600）

0 引言

人類在發展歷程中逐漸賦予手各種各樣的手勢含義，如聾啞人士手語交流等領域。人手檢測是目標檢測的一個領域，其準確性和實時性決定了手勢識別的質量。隨著深度學習的發展，基于神經網絡的目標檢測算法逐漸取代傳統目標檢測。目前主流檢測網絡有兩類：雙步（Two-Stage）目標檢測算法和單步（One-Stage）目標檢測算法。總體而言，由于算法原理不同，相同時期，雙步法檢測精度高，但是速度慢；單步法檢測速度更快，實時性強，但檢測準確率相對低。常見單步目標檢測算法有SSD（single shot Multibox detector）[1]相關算法、YOLO（You Only Look Once）[2]系列算法。目前YOLO 算法的第三代版本YOLOv3[3]均衡了速度和準確率兩方面指標，也是本文的算法基礎。

雖然YOLOv3 算法綜合表現好，但在人手檢測領域仍待提高。主要原因有：一、YOLOv3 算法是在COCO 和VOC 數據集上進行實驗的，算法中的錨（anchor）不具有普適性，需要調整。二、YOLOv3 的檢測精度特別是小目標的檢測精度不高，有待進一步改善。三、手勢數據本身的復雜性。因此，本文基于YOLOv3，以Oxford Hand[4]數據集中的手作為目標，提出了一種改進算法。改進方面有：一、多尺度檢測改進，增加檢測層，并結合FPN（Feature Pyramid Networks）[5]進行特征拼接，可以得到更多特征圖（Feature Map）；通過K-means 聚類算法得到預設錨。結合這兩種方式，可以主動學習人手特征，實現自動、高速、精準化人手檢測。

1 YOLOv3算法介紹

YOLOv3 使用ResNet[6]的殘差思想和多尺度預測使其在一定程度上可以進行小目標識別。原始圖片在預處理階段被填充縮放至416×416 的大小，作為網絡輸入。YOLOv3 的特征提取網絡結構DarkNet53，輸入圖片經過DarkNet53 降采樣5 次，每次都會產生不同尺度的特征圖。

目標檢測階段采用多尺度融合的方式在最后3 個尺度（13×13、26×26、52×52）的特征圖上分別檢測。每個尺度上有3 個錨點框（anchor boxes）用于檢測不同規格的目標。算法按照特征圖的大?。⊿×S）將416×416的圖片劃分為S×S 個等大柵格（grid cell），每個柵格根據錨點框進行預測3 個邊界框（bounding boxes）。每個邊界框返回兩類參數：一、目標框信息，即目標框的中心位置與目標框的寬和高；二、是否存在目標的置信度，取值范圍為[0，1]。具體檢測方法是先對13×13 的特征圖進行卷積預測，得到第1 個尺度下的檢測結果；然后將13×13 的特征圖上采樣得到26×26 特征圖，與網絡降采樣生成的26×26 特征圖特征融合后進行卷積預測，得到第2 個尺度下的結果；同理得到第3 個尺度下的結果。將3 次檢測結果進行非極大值抑制（Non-Maximum Suppression，NMS）得到最終結果。

2 算法改進

手相對于整張圖片來說是中小目標，為了提高手的檢測精度，需要對原有網絡層級結構修改。此外為匹配改進后的網絡結構并獲取人手目標專用錨點框，需要對原始標注數據進行聚類獲取錨點框，從而提高網絡訓練時的收斂速度和檢測準確度。

2.1多尺度檢測改進

YOLOv3 引入FPN 檢測網絡進行淺層和深層特征融合。針對人手的遠近導致在圖像中呈現的大小不一，難以檢測的問題，本文結合FPN 和特征融合對YO?LOv3 模型檢測結構進行改進，將多尺度檢測的尺度數從3 個尺度擴展到4 個，以改善小目標人手的檢測，改進后結構如圖1 所示。

圖1 改進的YOLOv3模型

2.2 錨點框K-means聚類

YOLOv3 算法對目標進行檢測時，錨點框個數以及大小會影響收斂速度和檢測精度，所以要針對要數據集的標注框的寬和高聚類。本文采用的K-means 聚類時的距離公式如式（1）所示。

d(box,centroid)=1-IoU(box,centroid) （1）

式（1）中，box 表示數據集中標注真值；centriod 表示聚類后的簇中心；IoU（Intersection over Union）表示真值和聚類中心的交并比，越大越準確。選擇適合的IoU分數及聚類的數量可以均衡模型的復雜度和檢測的準確率。

本文采用Oxford Hand 數據集，數據制作方式參照Lam1360[7]，其中訓練集共計4807 張，測試集821 張。該數據集在收集數據時，未對人手的姿勢或可見性和環境施加任何限制。標注的人手都是可以清晰辨認的。

為了加快模型收斂和檢測的準確度，首先對數據集進行聚類。當聚12 類時，Mean IoU 值為0.8038，相比9 類的Mean IoU 值0.7811 提升了0.0227。重聚9 類的中心為（{9，11），（17，17），（22，25），（31，28），（36，39），（50，46），（63，65），（93，91），（158，156）}，總體比原始YOLO 網絡在COCO 數據集和VOC 數據集上聚類得到的中心尺寸小，聚類中心得到改善。聚12 類時的中心為{（8，10），（14，16），（17，27），（29，26），（21，20），（25，35），（36，36），（48，41），（50，57），（72，66），（94，97），（160，156）}。根據聚類得到的anchor 值，在DarkNet53 結構對應尺度進行分配，平均每個尺度分配3 個anchor。更改配置文件重新訓練可得人手檢測專用模型。

3 實驗結果與分析

3.1 實驗環境及訓練

本實驗在windows 系統進行，GPU 采用NVIDIA的 1070 獨 立 顯 卡，CUDA10.0、cudnn7.5 以 及OpenCV3.4。設計語言Python 3.7.2，IDE 為Pycharm，框架為Darknet53。

訓練所用的參數分別為：學習代數epochs=100，初始學習率learning_rate=0.001，批數量batch=8，沖量momentum=0.9，權重衰減decay=0.0005。改進YOLOv3重聚12 類訓練過程中損失值（train_loss）變化曲線如圖2 所示。經過15000 次迭代后，loss 收斂至0.1附近。

圖2 改進YOLOv3 重聚12 類訓練曲線

圖3 YOLOv3（4scale）的mAP 曲線

3.2 檢測結果

（1）評價指標

本文采用目標檢測領域常用性能評價指標平均檢測準確率（mean Average Precision，mAP）和檢測速度（Frames Per Second，FPS）。mAP 值越大準確率越高。FPS 指每秒檢測的幀數，值越大檢測速度越快。

（2）多尺度檢測模型驗證結果對比

本文改進了YOLOv3 的多尺度檢測模塊，從3 個尺度擴展至4 個，在Oxford Hand 數據集進行測試，在曲線光滑度0.6 的情況下，改進YOLOv3 模型的驗證集的mAP 指標曲線分別如圖3 所示。曲線最終穩定在0.59 左右，在13 代取得峰值0.6248。由于在訓練時每5 代保存一次模型，為獲得更高的檢測率，采用mAP 取得最大值時的臨近代第15 代保存的模型進行測試。

（3）測試集測試結果對比

為了驗證模型的泛化性，在Oxford Hand 數據集的測試集上進行測試，首先在mAP 評價指標下，選擇原YOLOv3 和改進的YOLOv3 取得最大值時的模型，其中設置相關參數IoU 閾值為0.5、置信度閾值為0.5、NMS閾值為0.5，在測試集上的實驗結果如表1 所示。

從表1 的結果可以看出，在檢測速度方面，由于改進的YOLOv3 檢測尺度增加，模型更加復雜，檢測速度達到23.8FPS，稍微下降但是仍滿足實時性需求。在檢測準確率方面，改進的模型在測試集的準確率提升3.36 個百分點。說明改進的YOLOv3 檢測精度優于原YOLOv3。

表1 YOLOv3 與本文改進的YOLOv3 實驗對比

（4）確定NMS 最優閾值

在多尺度檢測時，YOLOv3 在每個尺度進行3 個bounding box 的預測，可能會導致同一目標被重復檢測輸出，影響檢測結果，因此需要對輸出結果冗余窗口進行抑制。mAP 評價指標下最好的YOLOv3 和改進YO?LOv3 模型，選擇不同的非極大值閾值（NMS Thresh?old），在測試集上進行測試，從而確定模型最終的非極大值抑制參數。部分NMS 閾值實驗結果如表2 所示。

表2 不同模型的NMS 閾值檢測的準確度

從表2 可以看出，總體上改進YOLOv3 的mAP 高于原YOLOv3。原YOLOv3 在NMS 閾值為0.35 時準確率取得最大值54.03%，改進YOLOv3 在NMS 閾值為0.35 時準確率取得最大值57.61%，相比原YOLOv3 提升了3.58 個百分點。綜上說明改進YOLOv3 檢測更加準確，此外將改進YOLOv3 模型參數NMS 閾值設置為0.35 時，檢測效果最好，從而找到模型最優NMS 閾值參數值。

（5）實際檢測結果展示

采用注重檢測率（mAP）的YOLOv3 模型（NMS 閾值為0.35）和改進模型（NMS 閾值為0.35）在測試集上進行測試，其中復雜背景圖片VOC2007_117 檢測效果如圖4 所示。

其中圖4（a）是重聚類的原YOLOv3 檢測效果圖，圖4（b）改進YOLOv3 檢測效果圖?？梢钥闯?，在餐桌遠端的人的手在原始YOLOv3 中未被檢測到，而在改進后YOLOv3 被正確檢出，說明改進后的YOLOv3 算法對小目標的檢測效果更好，達到預期效果。

圖4 測試結果圖展示

4 結語

本文提出了一種基于YOLOv3 算法進行改進的實時人手檢測算法。首先YOLOv3 的模型結構進行改進，結合FPN 網絡和特征融合算法，將三尺度輸出擴展為四尺度輸出。其次針對改進后的模型結構進行Kmeans 聚類獲得多尺度檢測的錨點框。相關實驗結果表明改進的YOLOv3 算法檢測準確率高于原YOLOv3，且實時性較好。最后確定模型檢測效果最優情況下的NMS 參數值。最后的實際檢測效果展示表明改進的YOLOv3 的檢測效果在小目標人手檢測上效果更好。人手目標的準確、實時檢測，是實時手勢識別的重要基礎。未來可以根據改進YOLOv3 的人手檢測算法和確定參數后的模型做進一步工作，如手勢識別和人機交互開發應用開發等研究。