基于神經網絡的目標檢測技術研究綜述及應用

吳燕如 珠杰 管美靜

摘要：隨著深度學習的快速發展，目標檢測技術已經越來越成熟。目前神經網絡的目標檢測技術已經被廣泛應用在行人檢測、自動駕駛、視頻追蹤等領域。本文首先分析了目標檢測技術的發展背景，介紹了神經網絡的發展歷程和目標檢測中常用的卷積神經網絡模型;其次分析了深度神經網絡下的目標檢測方法，指出現階段不同檢測方法存在的問題以及今后我們需要改進的方向;最后對深度神經網絡的目標檢測技術進行了總結和展望。

關鍵詞：計算機視覺;目標檢測;深度神經網絡

中圖分類號：TP18 文獻標識碼：A

文章編號：1009-3044（2019）33-0181-04

1概述

在研究過程中，計算機并不能像人一樣能夠直接感知到物體所屬類別以及所在位置。計算機視覺技術就是像人一樣來完成物體的及時定位，獲取位置，并進行識別、分割的技術。在計算機視覺發展的早期，目標檢測這一研究方向就激發了學者們濃厚的研究興趣。隨著計算機技術的發展，常見物體對象的檢測，根據不同對象的特征信息，能夠實現目標的定位、識別，像人臉檢測、行為檢測等一些特定目標對象的檢測，現在已經有較成熟的技術川。計算機在檢測過程中存在兩種需要解決的難題，一是多目標對象的情形，二是前景和背景比較相似的情形，即使遇到這樣有難度的檢測對象，現階段也已經有了有效的解決方法。

目標檢測通常是指對輸入的圖像根據其目標對象的特征信息，首先畫出能夠把目標對象完整圈在框內的最小外接矩形;其次給矩形貼上類別標簽;最后對物體的邊框進行回歸。傳統的目標檢測方法需要手動提取檢測對象的特征，不可避免地會發生特征遺漏。此外，采用選擇性搜索生成候選區域，也增加了計算復雜度。

當傳統目標檢測模型DPM的改進無所適從的時候，深度神經網絡的目標檢測方法問世，該方法在數據量比較大的時候能夠自動提取檢測對象的高層特征Cq，實現了在網絡中快速提取特征、選擇、分類和定位的完整操作，提高了目標檢測的效率和準確率。大量數據端到端的訓練方式，迅速在目標檢測領域流傳開來，傳統的目標檢測也由此過渡到深度神經網絡的目標檢測技術上。

2神經網絡的發展

2.1神經網絡的發展

神經網絡是人類對神經元的功能和網絡結構進行模擬，去完成認知任務的一類機器學習算法。早在1943年，McCunoc等就提出了人工神經網絡的概念，并闡述了它的邏輯運算機制p）。約在1958年，Rosenblat模擬出“感知機”的神經網絡模型，人工神經網絡正式產生。1969年，《感知機》一書認為感知機并不能解決線性不可分問題，這種觀念讓人工神經網絡的研究進入了停滯狀態。在低潮期間仍有部分研究者堅持著神經網絡的研究，1986年，Rummelhart等人再次提出了后向傳播的學習方法16）;1998年，LeCun提出Let5網絡，實現了手寫數字的識別。深度神經網絡的再次復興離不開這些研究成果的積淀。

2006年，Hinton首次提出深度神經網絡的概念，實驗采用含有多個隱藏層的網絡進行訓練，再用后向傳播算法學習網絡中的參數值。在這種情況下，深度神經網絡的研究仍然不被大眾接受。直到在2012年的ImageNet圖像分類比賽中獲得冠軍，點燃了深度學習的熱潮，使得深度神經網絡重新進入復興時期。

2.2神經網絡基礎模型

神經網絡在圖像檢測過程中，首先輸入待檢測的數據集和檢測的結果，網絡在訓練中自己學習參數，然后模型可以達到能夠識別這一類圖像的目的，最后根據測試集的測試結果，對網絡的學習情況做出評價。在深度神經網絡的目標檢測方法中，基礎網絡采用卷積神經網絡（CNN），在演化的過程中模型的網絡深度和結構存在很大差異，但都屬于卷積神經網絡的范疇。CNN的演化過程如圖1所示。

1998年，Lecun提出Lenet5網絡。該模型作為最早的神經網絡模型，但在網絡結構和性能上并沒有特別的地方，直到AlexNet出現，才真正成為深度神經網絡的轉折點。

2012年，Hinton等設計出AlextNet網絡，同年在ImageNet比賽中獲得了圖像分類任務的冠軍，CNN首次實現Top-5誤差率降低了15.2%，標志著深度學習的開始。該網絡結構簡單，從可視化角度向我們展示了網絡各層的具體分工和實現效果。利用兩塊GPU進行訓練，首次引入ReLU激活函數，解決梯度消失問題;然后引入最大池化，擴大了感受野;最后是DropOut操作，有效避免了過擬合現象。為了探究網絡深度對模型精確度的影響，學者們設計出了VGGNet網絡。

2014年，牛津大學計算機視覺組合和GooSe DeepMind公司研究員共同設計出了VGGNet網絡，在了op-5上的錯誤率僅為7.5%，在同年的ImageNet分類比賽中僅次于GoogLeNet。其主要思想是用兩個3*3卷積核代替原來5*5的卷積核，池化核的大小均為2*2，減少了參數數量。該模型增加了網絡深度，參數的數量并沒有增加太多，在圖像特征信息提取上取得了良好的效果。

2014年，ChristianSzegedy提出GooLeNet網絡，在Top-5上的錯誤率降低到了6.67%，在同年的ImageNet比賽中獲得了分類冠軍叫。該網絡引入了Inception模塊，考慮了所有可能遇到的情況，網絡結構趨于優化，不需人為指導網絡訓練過程，網絡自己根據學習情況設置參數，不僅參數數量減少了12倍，而且大大提升了圖片分類的準確率。但由于Inception模塊對超參數設置的局限性，影響了網絡的擴展，因此就有了廣泛被作為基礎網絡的ResNet。

2015年，He等提出了ResNet網絡，在同年的ImageNet和COCO比賽中，分別獲得了圖像檢測、識別、分割領域的冠軍。該網絡的核心是跳層連接的方式，原始輸入信息直接傳到后面的層中，后面的層主要是學習上一個網絡的輸出殘差，降低了學習難度。該網絡深度增加至152層，參數沒有額外增加，不改變網絡訓練復雜度，較好地解決了網絡深度較深的情況下準確率不增加反而下降、梯度消失和爆炸的難題。

3神經網絡的目標檢測模型分類

目前，神經網絡的目標檢測已經有多種模型，按照是否需要提取候選區域可以將模型分為兩類，一類是基于區域提名的模型，另一類是不用區域提名的模型。深度神經網絡的目標檢測模型進化過程如圖2所示。

3.1基于域名提名的模型

目標檢測中基于區域提名的模型主要有R-CNN、SPP-net、Fast R-CNN、Faster R-CNN、R-FCN，這一類模型的訓練屬于多階段的訓練，訓練模型的時候首先需要找出感興趣的候選區域，常用到的方式有滑動窗口、規則塊、選擇性搜索等，實驗過程中要根據自己的研究對象選擇合適的方法。

2013年，Ross B.Girshick提出R-CNN網絡，該模型是首個用域名命名的深度神經網絡檢測模型。該網絡在訓練中使用標注好的數據集進行訓練，大幅提升了數據集的平均精度，由于輸入圖片必須是相同尺寸，圖片需要經過拉伸或者壓縮進行轉換，候選區域要進行重復的特征計算，時間消耗比較大，數據集的測試也比較緩慢。

2015年，Hc對R-CNN做出改進并提出了SPP-Net網絡。該網絡對輸入圖片的所有區域做共享卷積計算，提取出所有區域的特征，通過引入空間金字塔池化，實現不同尺寸區域的特征提取。該模型主要解決了R-CNN固定輸入尺寸的問題，仍然是一個復雜的多階段訓練，需要存儲大量圖像特征，同時網絡在金字塔池化層之前的所有卷積層參數不能進行finetun-ing，并沒有實現誤差反向傳播。

2015年，Ross Girshiek提出了Fast R-CNN網絡。該網絡對R-CNN進行改進，同時也采納了SPP-Net的方法，解決了候選區域重復的特征計算問題，實現了大量數據端到端單階段的訓練，不需要離線存儲特征文件。Fast R-CNN是一種速度更快、性能更好的模型，但提取候選區域采用的還是傳統做法，限制了它的使用。同年，Hc等人提出了Faster R-CNN檢測算法，該算法實現用區域建議網絡提取候選區域，提取出的建議區域大大減少。使用RPN網絡提取出建議區域后，剩下的訓練過程和Fast R-CNN一樣。Fast R-CNN在速度上有了很大提升，然而還是未能實現物體的實時檢測。

Faster R-CNN網絡改進之后產生了R-FCN，目的是解決Faster R-CNN檢測速度慢的問題，其主要是因為感興趣池化層后的結構對建議區域沒有實現共享叫。R-FCN在池化層前加入位置信息，較好的解決位置敏感性問題。該網絡具有較深的共享卷積網絡層，能夠獲取到更加抽象的高層特征，其檢測速度比Faster R-CNN快2.5-20倍，但仍未能實現物體的實時檢測。于是，基于回歸思想的檢測方法就應運而生。

3.2不基于域名提名模型

區域卷積神經的模型都需要生成建議區域，這會帶來重復的特征計算問題。因此，學者們提出了不基于域名提名的目標檢測方法，目標檢測方法也由多階段的訓練過渡到單階段的訓練，訓練過程很大限度地得到簡化。目前，不基于域名提名的網絡模型有YOLO、SSD。

2015年，在Faster R-CNN問世的同時，Ross Girshick等人又提出了YOLO檢測方法，是首個不需要提取候選區域的算法。該算法采用回歸的思想，每張圖像只需要看一眼就能知道有哪些物體類別以及所在的位置。該算法從整體進行預測，通過卷積神經網絡能夠直接預測出boundingbox的定位置信度以及所屬類別概率。由實驗可知，YOLO檢測過程簡單，檢測速度和準確度較高，但對密集小物體的檢測效果欠佳，容易發生物體定位錯誤。

2016年，Liu提出SSD網絡，目前已經成為主流的目標檢測方法之一。該算法不但借鑒了YOLO回歸的思想用CNN提取出不同尺度的特征圖直接進行檢測（Yolo是在全連接層之后做檢測），而且采用FasterR-CNN中的anchor機制，降低了訓練難度。該網絡和FasterR-CNN有著同樣的檢測精確度，與YO-LO一樣有著較快的檢測速度，對于小物體的檢測效果相比YO-LO有所提升。深度神經網絡領域目標檢測各模型性能對比如表1所示。

上述表1展示了兩類不同的神經網絡目標檢測方法的性能指標，從各項性能指標可以看出由兩階段的訓練到端到端的訓練過程，訓練的平均精度有了很大的提升，每秒處理圖像的幀數也大幅增加，訓練速度也是愈來愈快。由實驗可知，FasterR-CNN對小物體的檢測效果還是比較樂觀的，SSD網絡的訓練速度最快，而YOLO則是融合了兩者的特點，速度上要比FasterR-CNN快，對于小物體的檢測要比SSD遜色。在未來的發展中，待提出的網絡模型不但要能夠適應各種尺寸的物體檢測，而且要有較高的識別率和更快的檢測速度。

4神經網絡的目標檢測方法存在的問題

目前深度神經網絡技術發展迅速，在圖像、語音、自然語言處理等領域都取得了可喜的成績，這些成果離不開硬件處理單元GPU的快速改進，提升了計算機處理圖像的能力。深度神經網絡的目標檢測技術作為一項發展中的技術，目前還存在一些急待解決的問題。

4.1數據集標注的問題

在深度神經網絡的目標模型中，我們需要使用標注過的數據集進行訓練。在大型的視覺類比賽中常用到的公開數據集有PASCALVOC、ImageNet、MS COCO等，但對于不同模型，數據集標注格式不同，需要我們足夠熟悉各種模型的數據集標注格式，快速實現不同類型的標注數據集之間的轉換。當數據集大小適中的情況下，深度神經網絡方法能夠對樣本準確定位并分類;當數據集較大的時候，人工標注數據的工作量也不容樂觀，增加了數據標注成本。然而，在深度神經網絡的訓練過程中，若數據集太小則會引起數據擬合問題，不利于模型的實現。因此，深度神經網絡方法在小數據集上的應用，將是一個急待解決的問題。

4.2硬件處理單元的改進問題

在深度神經網絡的訓練中，不需要人工手動提取出目標對象的特征，網絡能夠自動提取出目標對象的特征，并對其進行分類和定位。在數據集較大的情況下，特征提取、特征計算問題也愈加繁雜，普通計算機的CPU處理器已經不能滿足網絡訓練需要的計算能力。由英偉達公司開發的高性能顯卡，實現了GPU硬件環境的搭建，在同種模型的訓練中有效提升了神經網絡訓練的效率，顯著減少了網絡訓練需要的時間。在未來的研究中，我們可能開發出更加深層次的網絡結構，用其訓練大量更加復雜的目標對象，這一訓練的實現也依賴于計算機的計算能力，有效升級計算機硬件處理單元是我們需要努力改進的地方。

4.3目標檢測模型的進化問題

在傳統的目標檢測方法中，研究者根據特定目標對象的特征設計出特定的檢測器，比如：Harr特征、梯度方向直方圖（HOG）、支持向量機（SVM）、多尺度形變部件（DPM）等，這些檢測器都需要人為的提取出目標對象的特征，不可避免地會發生特征遺漏，影響最終的檢測效果。自2013年問世的深度神經網絡目標檢測模型，能夠自動提取出目標對象的特征，在計算機視覺領域已經得到了良好的應用。

目前深度神經網絡的目標檢測方法分為兩類，一類是基于域名提名的多階段訓練模型;另一類是不基于域名提名的單階段訓練模型。現階段這兩類方法主要適用于普通物體檢測，對于文本、版面等對象的檢測效果不是很理想。這主要是因為物體本身具有封閉性、均勻性，文本、版面則是開放的，往往都是扁寬的形狀，文本的縱橫比也不盡相同，文字也呈現出水平、豎直、傾斜的方向。研究者需要根據自身實踐經驗，調整模型的參數，讓模型也能夠適應文本等不均勻目標對象的檢測。

此外，現有的深度神經網絡目標檢測方法對于小物體的檢測和存在遮擋的物體檢測效果還不是很理想。盡管學者們也對此類問題提出了不同的解決方法，但還沒有足夠的理論依據去解釋這一類問題。研究者需要加強自身理論的學習，從理論角度深刻理解并改進這一類問題，關于模型的進化也是未來需要解決的問題。

5總結和展望

本文回顧了目標檢測的發展歷程，引出了神經網絡的目標檢測技術。簡單介紹了神經網絡發展歷程、基礎網絡的演化，分析了現階段神經網絡的目標檢測方法各自的優缺點以及模型所能解決的問題。隨著計算機硬件GPU和深度神經網絡的發展，神經網絡的目標檢測技術逐漸成熟，在計算機視覺領域已經有了較為成功的應用。雖然目前已經取得了一些成績，但仍存在一些應用方面的問題。在未來的研究中，深度神經網絡在目標檢測領域的應用也將會更加成熟，對復雜的研究對象的精確度和速度的提升面臨突破，也將會有高層次領域的應用。