改進YOLOv1 的視頻圖像運動目標檢測

梅健強，黃月草

（1.天津職業技術師范大學電子工程學院，天津 300222；2.天津職業技術師范大學理學院，天津 300222）

視頻圖像運動目標檢測是在視頻數據流中提取前景目標并對其進行定位的技術，是視頻運動目標跟蹤的基礎。近年來，隨著計算機和視頻采集硬件水平的不斷提高以及信息技術的迅速發展和廣泛應用，視頻圖像運動目標檢測逐漸成為人工智能與計算機視覺領域的研究熱點，在自動駕駛、智慧城市、智能醫療和視頻監控等領域具有廣闊的應用前景[1-3]。

傳統目標檢測算法，如梯度直方圖（histogram of oriented gradient，HOG）算法[4]、局部二值模式（local binary patterns，LBP）特征算法[5]、尺度不變特征（scale invariant feature transform，SIFT）檢測算法[6-7]等，主要針對數據所具備的固有特征人工設計數學模型進行特征提取，并通過與比例模板進行比對，實現目標的檢測與定位，其特征提取方法和比例模板的設計對設計人員的經驗和專業知識要求較高，且應用場景單一，泛化能力較弱，存在模型求解算法復雜、目標檢測速度慢和平均檢測精度低等諸多問題。

隨著深度學習技術的不斷發展，出現了諸如（regional convolutional neural network，R-CNN）[8]和Faster R-CNN[9]等雙階段（two-stage）目標檢測算法，提高了平均檢測精度和魯棒性，但這些算法網絡結構復雜，計算量較大，而隨后出現的YOLO 算法[10-11]是典型的單階段（one-stage）目標檢測算法，其將整幅圖像作為輸入，直接在輸出層回歸目標的位置和所屬的類別。本文基于改進YOLOv1 搭建運動目標檢測的深度學習框架，進而優化對不同尺度特征信息的傳遞，并在穩定輸出結果的同時，加快訓練速度。

1 運動目標檢測

1.1 傳統檢測算法

在深度神經網絡得到廣泛應用之前，傳統目標檢測算法流程主要包含圖像分割、特征提取和目標檢測3 個部分。傳統算法通過選擇合適的數學模型和分類器，結合目標固有特征或人工設計的特征實現相應的計算和分類功能，算法流程相對復雜、泛化能力較差?？勺儾糠帜Ｐ停╠eformable parts model，DPM）[12]是典型的傳統運動目標檢測算法之一，其采用經典的滑動窗口檢測方式，通過構建尺度金字塔在各個尺度搜索，實現目標檢測功能。

1.2 基于深度學習的目標檢測算法

基于深度學習目標檢測算法[13-14]主要分為雙階段和單階段2 個類別。雙階段目標檢測的典型流程如圖1 所示，主要包括圖像預處理、區域建議、分類和回歸、輸出結果4 個環節，其中區域建議又可細分為區域選擇和特征提取等子環節。

圖1 雙階段目標檢測算法流程

區域卷積神經網絡R-CNN 和Faster R-CNN 是2 種典型的雙階段檢測算法，其檢測流程主要包括輸入圖像、區域選擇、特征提取和區域分類4 個步驟。R-CNN 經過一系列卷積運算進行自主特征提取和分類回歸，算法的實時性、準確度等相比傳統方法均有一定提升，但由于每個候選框都采取同樣的方式，存在大量區域重疊，導致計算量大和目標檢測速度慢的問題，而Faster R-CNN 對整幅圖像進行特征提取，候選框之間的特征圖是可共享的，相比R-CNN 基于區域建議對候選框進行特征提取后再進行分類和回歸的思路，不僅減少了計算量，還提高了目標檢測速度。

在雙階段目標檢測算法的基礎上，單階段目標檢測算法摒棄區域建議環節，通過對輸入圖像進行卷積操作后直接分類和回歸的做法實現了檢測速度的進一步提高。

2 改進YOLOv1 的視頻圖像運動目標檢測

2.1 算法原理

YOLO 算法是典型的單階段目標檢測算法，其將目標檢測問題等效于回歸問題，算法對輸入的整張圖像進行分析和處理，得到目標相應邊界框的坐標信息（x，y，w，h）、置信度（confidence）和類別概率。YOLO 算法首先重新調整輸入圖像的大小，隨后將整幅圖像送入到卷積層進行卷積運算，并在采用非極大線性抑制算法處理運算結果后得到最終輸出。

YOLO 的檢測系統檢測圖如圖2 所示，YOLOv1 算法將輸入的整幅圖像分成S×S 個網格，若某個對象（object）的中心落在某個網格中，該網格就負責預測此object。

圖2 YOLO 的檢測系統檢測圖

算法網絡輸入圖像大小為224×224，輸出結果為S×S×（5×B+C）張量，S 為劃分網格數，B 為每個網格負責的邊框個數，C 為類別個數。每個網格有B 個邊界框，每個邊界框對應一個分值即置信度，代表該處是否有物體及定位準確度。計算公式為

式中：Pr（object）為邊界框含有目標的可能性大小，當該邊界框是背景時（即不包含目標），Pr（object）=0；當該邊界框包含目標時，Pr（object）=1；邊界框的準確度可以用預測框與實際框的交并比（intersectionoverunion，IOU）來表征，記為

在檢測目標時，YOLOv1 算法通過每個網格預測的類別條件概率和邊界框預測的自信度信息得到每個邊界框的類概率自信得分，隨后通過設置合適的閾值與類概率自信得分進行對比，并在對得分高于閾值的邊界框進行非極大值抑制（non-maximum suppression，NMS）[15]后得到目標檢測結果。

2.2 網絡結構

YOLOv1 的行人目標檢測網絡結構模型[10]總共包含26 個卷積層，其中前24 個卷積層進行卷積運算提取特征并進行回歸運算，最后2 個全連接層輸出檢測結果。為了提高系統性能，本文采用如圖3所示的ResNet50殘差網絡作為框架的特征提取部分，并在去掉該網絡最后2 層的基礎上，連接YOLOv1 的最后4 個卷積層和2 個全連接層作為訓練的網絡結構。在輸出層中借助Sigmod 非線性激活函數提取有效的圖像信息，并在激活函數前通過加入BatchNorm 保證每一層神經網絡的輸入具有相同分布，進一步提高網絡的檢測能力和速度。改進YOLOv1 網絡結構如圖3 所示。

圖3 改進YOLOv1 網絡結構

3 實驗結果和分析

3.1 數據和度量參數

本文通過PASCAL VOC2007 數據集和自行采集的實景數據對所提方法針對人像的檢測效果進行驗證。PASCAL VOC2007 是標準數據集，其內部包含person、chair 等20 個小類，在運動目標檢測領域獲得了廣泛的應用。自行采集的實景數據共包含308 張圖像和2 個視頻，其中主要包含汽車、自行車、行人、鳥和狗在內的11 個類別。

在實驗過程中，本文將PASCAL VOC2007 數據集的17 016 幅圖像作為訓練集，并通過縮放、鏡像等圖像處理方式擴充訓練數據集的數量，進一步提高網絡的泛化能力。此外，為了便于神經網絡的處理和加快收斂速度，所有圖像數據在輸入網絡前均將尺寸調整為224×224，并進行相應的數據歸一化處理。

本文采用平均精度均值（mean average precision，mAP）和每秒傳輸幀數（frames per second，FPS）作為系統的評價指標。其中，FPS 為網絡模型每秒鐘檢測的圖片數量，評價系統目標檢測的實時性能，而平均精度均值反應的是目標檢測結果的精確程度。目標檢測系統2 個評價指標分別為精確率（Precision）和召回率（Recall）參數。

3.2 訓練參數

本文采用如表1 所示軟硬件配置搭建所提框架并進行相應的訓練和測試。

表1 系統配置

為避免學習率過大導致在全局最優附近出現左右震蕩的現象，本文在訓練過程中采用隨著迭代次數遞增而逐漸降低學習率的策略，盡快使系統達到全局最優。初始學習率設置為0.001，當epoch 達到30時，調整學習率為0.000 1，當epoch 達到40 時，調整學習率為0.000 01。其他部分訓練參數設置如表2 所示。

表2 網絡訓練參數

3.3 實驗結果

3.3.1 檢測結果分析

PASCAL VOC2007 測試集數據的部分測試結果如圖4 至圖7 所示。

圖4 PASCAL VOC2007 原圖

通過對比可以看出，當目標大小不一、背景環境復雜和受光照遮擋影響的條件下，DPM 方法會出現一定的誤檢（圖5（a）和（b））和漏檢現象（圖5（c）和（d）），而基于Faster R-CNN 的方法與本文方法均可檢測出圖像中的對應目標，但本文方法可以獲得更為精確的目標邊界，平均檢測精度更高，如圖6（a）和圖7（a）中所提取的目標邊界，以及圖6（d）和圖7（d）中所提取的目標邊界，而且Faster R-CNN 的方法在目標物體大小不一時，也會出現一定的誤檢問題，如圖6（b）中提取狗的邊界并誤識別為人，以及圖6（c）中提取自行車的邊界并誤識別為人。因此，本文所提基于改進YOLOv1 的目標檢測框架可以在PASCAL VOC2007測試集中達到較好的檢測效果。

圖5 DPM 算法檢測結果

圖6 Faster R-CNN 算法檢測結果

圖8 至圖11 所示為自行采集數據集的部分測試結果存在遮擋、人像模糊、目標較小和背景復雜時不同方法的檢測效果。

圖8 自采數據集原圖

圖11 基于改進的YOLOv1 算法檢測結果

通過對比可以看出，當背景環境復雜或受其他物體遮擋影響的條件下，DPM 方法會出現一定的漏檢問題（圖9（a）和（c））和誤檢（圖9（b）和（c）），而基于Faster R-CNN 的方法與本文方法均可檢測出圖像中的對應目標。但Faster R-CNN 方法在待檢測目標存在遮擋時，也會出現一定的誤檢或檢測邊界不正確的問題（圖10（a）和（d））。相比以上2 種算法，本文方法可以獲得更為精確的目標邊界且平均檢測精度更高。但當圖像中存在遮擋，尤其是背景比較復雜或被相似目標遮擋時，本文方法所提取的目標邊界會出現如圖11（a）的復檢問題以及圖11（b）所示的漏檢問題。

圖9 DPM 算法檢測結果

圖10 Faster R-CNN 算法檢測結果

本文所提目標檢測算法在自采視頻數據的部分檢測結果如圖12 所示。

圖12 視頻行人目標檢測效果

檢測結果發現，在視頻背景環境復雜、運動目標位置和大小變化頻繁的情況下，本文所提方法可以實現對前景目標物體檢測。而本文方法對圖像序列中一名由遠及近逐漸進入場景的成年人的檢測結果不理想，尤其是在圖12（b）中出現了漏檢，在圖12（c）中出現了誤檢。

存在漏檢的主要原因是當2 個目標存在遮擋時，系統認為2 個物體是1 個目標，進而在1 個網格中只預測了1 個框。而存在誤檢的主要原因是2 個目標距離較近時，系統誤認為是1 個目標，屬于待檢測的同一類別。解決以上問題的主要思路還是需要擴大網絡訓練數據的類別和相同類別的數據內容，從而進一步改善網絡的容錯率和穩定性。

3.3.2 性能分析

本文所提目標檢測系統損失函數包含坐標預測誤差、自信度誤差和物體類別概率誤差3 部分，表達式為

Loss 損失函數式（3）是邊界框寬高預測誤差和框中心點誤差，Ilnoobjij的約束意味著只有較大IOU 的邊界框數據會被記入誤差，λcoord用來調節邊界框位置誤差的權重。

式中：Ilobjij為網格i 的第j 個bounding box 是否存在目標，若存在目標，則值為1，否則為0；Ilobjij表示是否有目標中心落在網格i 中，若在網格中心，則值為1，否則為0。

Loss 損失函數式（4）為包含目標的格子置信度誤差和不含目標的網格置信度誤差，其中包含目標的網格置信度誤差同樣用Ilnoobjij來限制將最接近真實框的bounding box 數據記入誤差，但對于不含目標的網格，用λnoobj調低不含目標網格的置信度誤差權重；Loss 損失函數式（5）為分類預測誤差，Ilobjij表示只有存在目標網格時才記入誤差。

式中：Ilnoobjij為網格i 的第j 個bounding box 中是否存在目標，若不存在目標，則值為1，否則為0。

基于PASCAL VOC2007 訓練的網絡損失函數曲線如圖13 所示。

圖13 基于PASCAL VOC2007 訓練的網絡損失函數曲線

從圖13 中可以看出，在本文參數設定模式下，隨著迭代次數的增加，算法的損失值在不斷減小，當整體迭代次數超過40 后，系統損失值基本穩定，此時系統的檢測效果也趨于穩定。

基于PASCAL VOC2007 測試集的檢測速度（FPS）和平均檢測精度（mAP）對比如表3 所示。

表3 基于PASCAL VOC2007 測試集的檢測速度（FPS）和平均檢測精度（mAP）對比

由于本文所提方法和YOLOv1 均為單階段目標檢測算法，其mAP 略低于典型的雙階段目標檢測算法FasterR-CNN，一方面，本文所提方法的mAP 較YOLOv1提高了4.57%，進一步縮小了與Faster R-CNN 的差別；另一方面，本文所提算法的FPS 較YOLOv1 框架又提高了4.44%，進一步擴大了在FPS 上的優勢，可以更好地滿足視頻圖像運動目標檢測的實時性和精度要求。

4 結 語

本文針對視頻圖像中運動目標位置和大小變化頻繁的特點，提出了基于改進YOLOv1 的視頻運動目標檢測框架，該框架采用ResNet50 進行特征提取，通過增加卷積層和全連接層優化不同尺度特征信息的傳遞，通過Sigmoid 層和BN 層在穩定輸出結果的同時，加快訓練速度。PASCAL VOC2007 數據集和實景視頻數據的測試結果表明，相比原始YOLOv1 網絡，本文方法的FPS 和mAP 分別提高了4.44%和4.57%。此外，在目標數目較多、光照等外界因素影響下，相比其他經典運動目標檢測算法，本文方法能夠實現較好的檢測效果且檢測精度較高，滿足視頻圖像運動目標檢測的實時性和精度要求。