邊緣環境中目標檢測算法的應用研究

王云峰，黎作鵬

1.河北工程大學 信息與電氣工程學院，河北 邯鄲056038

2.河北工程大學 河北省城市公共安全信息感知與處理重點實驗室，河北 邯鄲056038

物聯網技術的快速發展實現了對人們生產生活中無處不在的信息數據的獲取，云計算與大數據技術則為物聯網產生的海量信息數據的精確處理提供了計算資源[1]?！拔锫摼W+云計算”構成了一種能夠實現普適多媒體服務[2]理念的計算系統架構。但隨著安防網絡規模的不斷擴大，采集和傳輸的數據量激增，這種媒體數據處理模式面臨重大的挑戰：（1）海量數據傳輸使網絡帶寬資源不足；（2）海量數據處理使云端計算資源面臨挑戰，且難以滿足安防信息處理的實時性需求；（3）海量數據存在的價值密度低但整體蘊藏的價值高，高價值數據難以獲取。

為了滿足公共安全行業對媒體數據處理的需求變化，需要對“物聯網+云計算”的數據處理體系架構進行必要的改進，提高數據處理的實時性，緩解云中心的計算壓力。此外，為使數據利益最大化，需要從大量的低價值密度的數據中準確高效地獲取到高價值的數據信息。

邊緣計算[3]作為一種分布式計算模式，通過充分利用邊緣網絡的計算和存儲資源，能夠極大地降低海量數據傳輸對網絡帶寬資源的需求，并滿足安防對媒體數據處理的實時性需求。而基于深度學習的目標檢測[4]是計算機視覺領域的一個重要技術，它可以快速對視頻或圖像中的物體進行分類識別，對于準確提取高價值的數據信息有重要意義。

1 國內外研究及相關技術概述

1.1 邊緣計算相關研究

從計算的角度看，邊緣計算是網絡計算體系的一部分，是對云計算在邊緣網絡應用中的補充[5-6]。目前，邊緣計算的研究主要集中在邊緣計算體系結構、邊緣計算資源虛擬化、任務卸載算法和深度學習在邊緣計算系統的應用等方向。

深度學習作為計算密集型任務，需要大量的計算資源，而邊緣網絡中資源受限，因此如何將深度學習任務部署到邊緣計算環境中是值得研究的問題。文獻[7]提出了對終端節點上的深度學習模型進行分割，將計算子任務卸載至邊緣服務器中，以此減緩終端節點的計算負擔，但是網絡阻塞的情況時有發生，這種方式可能會造成子任務丟失或超出任務的截止時間。通常情況下，邊緣服務器相對來說擁有更加豐富的資源，因此可以考慮將計算密集型的任務放在邊緣服務器。Ren等人[8]提出了一種基于邊緣計算的監控應用目標檢測體系結構，首先在終端設備對數據進行預處理，將深度學習算法Faster R-CNN在云端進行訓練，然后在邊緣服務器進行識別，實現了監控應用中的分布式、高效的目標檢測。該研究充分利用了服務器端的計算資源，使終端僅處理一些預處理任務，但其所選用的算法在檢測速度上較另一種算法有差距，此外該算法對小目標的檢測效果并不能使人滿意。鑒于此，本文使用更加優秀的SSD（Single Shot Multibox Detector）算法替代了之前的算法。

1.2 顯著性區域檢測

顯著性區域檢測是一種針對圖像的預處理操作，即在圖像被識別之前就能在某種程度上探知到其中的潛在對象。它所檢測的對象是無類別的一般物體，且要求該物體有完整、閉合的邊界。其研究領域主要分為局部區域檢測、顯著性對象檢測、對象建議狀態。其中，由Cheng等人[9]提出的BING（Binarized Normed Gradients）是一個數據驅動的對象邊界生成算法，它可以在資源輕量級終端上以300 frame/s的速度檢測到潛在對象的邊界框，利用該算法可以輕松地區分出圖像中的對象和背景，但是在實際應用中會存在定位偏離的情況。基于此，本文增加了對定位框的矯正過程，提高了定位的準確性。

1.3 基于深度學習的目標檢測算法

目標檢測的任務是找出圖像中所有感興趣的物體（目標），并確定它們的位置和類別。基于深度學習的目標檢測有兩類主流的算法：一類是基于候選區域的RCNN系列的算法（two stage），包括R-CNN[10]及其改進算法Fast R-CNN[11]、Faster R-CNN[12]、Mask R-CNN[13]，這些算法均采用“候選區域+卷積神經網絡+分類”這一基本思路，不斷在檢測精度和速度上進行改進。但整體而言，這些網絡的實時性較差，很難滿足實際需求。另一類則是將目標檢測轉換為回歸問題的算法（one stage），例如YOLO[14]及其相應的算法改進YOLO9000[15]和YOLOv3[16]，其基本思想是把生成候選區域的步驟省略，直接將特征提取與目標分類在同一回歸網絡中加以實現，使得檢測速度有了大幅度提升，但其定位精度和召回率較低。Liu等人[17]借鑒了YOLO和Faster R-CNN的優勢，提出了SSD目標檢測算法，網絡結構如圖1所示，其中主干網絡結構是VGG16。SSD繼承了YOLO將檢測轉化為回歸的思想，一次性完成目標的檢測與分類，又基于Faster R-CNN中的anchor機制，提出了相似的Prior Box，另外加入了特征金字塔，可以在不同感受野的特征圖上預測目標。因此，SSD可以滿足實時高效的檢測要求。

圖1 SSD網絡結構圖Fig.1 SSD network structure

但是SSD僅僅依靠淺層網絡Conv4_3層來提取小目標特征，該層幾何信息較為準確，但缺乏深層網絡所具備的語義信息，因此SSD對于小目標檢測效果不佳[18]。Fu等人[19]針對這個問題提出了DSSD算法，將SSD中的主干網絡VGG16改為ResNet-101，增強了網絡的特征提取能力，其次采用反卷積操作提取到深層次特征，然后與低層特征進行融合，有效地提高了小目標的檢測能力。但網絡深度的增加和復雜的反卷積操作，使計算量大幅度提高，嚴重降低了檢測速度。Li等人[20]基于SSD提出了FSSD算法，將Conv7與Conv9_2提取的特征與Conv4_3進行拼接，使高維信息與低維信息進行融合，在不嚴重影響檢測速度的情況下提高了檢測的精度，但是Conv7層引入了較多的背景噪聲。文獻[21]為了選擇合適的融合層，利用反卷積操作對不同層的有效接收域進行了探索，認為Conv5_3和Conv6的有效接受域較大，然而Conv6層比Conv5_3層引入更多的背景噪聲，因此選擇將Conv5_3層與Conv4_3層進行融合，但是網絡結構中仍然沒有引入高層網絡的語義信息。借鑒前人的研究，本文對于小目標檢測的改進策略以SSD算法為基礎，利用特征融合方法融合不同層之間的信息以增強小目標的檢測率。

綜上所述，如何充分地利用邊緣計算體系中的各類資源來提高圖像處理的實時性以及對小目標檢測的精確性是本文的重要研究方向。為此，首先提出了基于邊緣環境的安防圖像處理系統架構，在此基礎上針對不同架構層的計算特點提出了不同的圖像處理方式。尤其在邊緣服務器層，提出了針對安防圖像中小目標檢測的實時性算法，并最終通過實驗驗證了算法的性能。

2 邊緣環境中的目標檢測算法研究

2.1 邊緣環境中目標檢測應用體系架構

邊緣計算的體系架構多依據應用的不同而有所側重。針對安防圖像中的目標檢測應用，為了能夠有效地利用邊緣網絡體系的各種計算資源，本文依托“終端網絡層-邊緣服務器層-云層”這樣的邊緣網絡體系架構開展目標檢測的研究，并設計出該應用的體系架構，如圖2所示。由于安防中圖像數據量巨大，且無線通信環境存在不穩定性，容易造成數據丟失。因此，在終端網絡層對采集到的圖像首先進行初步的顯著性檢測，然后對圖像中的不同檢測區域采用不同的壓縮率進行數據壓縮，以降低網絡傳輸的數據量；在云層，負責執行深度學習算法的訓練任務，并將訓練結果交付邊緣服務器用于運行目標檢測算法；在邊緣服務器層，執行深度學習算法對終端節點上傳的圖像進行識別，并將需要進一步挖掘計算和長期存儲的數據通過核心網絡上傳至云層。

該框架的優勢主要體現在以下三方面：（1）顯著降低部署成本。在網絡邊緣，終端設備與服務器通過無線或局域網連接，不必部署專用的高速光纖網絡。（2）提高檢測任務的實時性。與將數據發送到遙遠的云端相比，不需要經常通過主干網絡與云交互，在本地就可以實現實時檢測。（3）充分利用終端冗余的計算能力。在有冗余計算能力的終端設備上對圖像預處理，減輕了服務器的壓力。本文在此基礎上開展目標檢測的算法研究。

2.2 終端網絡層算法設計

2.2.1設計思路

由圖2可知，邊緣終端設備需要將采集到的數據通過無線網絡傳輸到邊緣服務器。但由于無線傳輸存在不穩定性，可能會造成數據丟失，為了不影響圖像的識別精度，需要選擇合理的方式對圖像進行選擇性壓縮。邊緣服務器的目標檢測主要針對圖像中的目標區域進行分析，因此本文在終端網絡層區分圖像的目標區域和背景區域（非目標區域），對于目標區域不壓縮或少量壓縮，而對于背景區域則進行充分壓縮。通常情況下，目標區域在圖像中占比較少，因此對圖像進行選擇性壓縮能夠在保證服務器檢測精度的同時減少數據傳輸量。

圖2 基于邊緣計算的目標檢測應用架構Fig.2 Object detection application architecture based on edge computing

雖然終端設備上資源受限，但仍存在冗余的計算能力，在這些冗余的計算能力上首先選擇輕量級、高速率的BING算法進行顯著性對象檢測，然后采用可以指定圖像上任意壓縮區域的JPEG2000標準對圖像中的對象區域和背景區域進行不同程度的壓縮。BING算法在對圖像進行檢測時存在檢測框與真實目標偏離較遠的問題，由此造成了檢測框定位偏移的情況。在本應用中可能會導致部分目標區域被充分壓縮，影響后續的目標檢測，難以滿足實際場景中的應用需求。因此，為了能夠對復雜場景下的目標區域與背景區域進行準確區分，本文增加了對BING算法定位矯正的過程。

2.2.2改進策略

本文對BING算法的改進主要體現在檢測框的位置矯正。檢測框的偏移一般可分為水平偏移和垂直偏移，借鑒文獻[22]的思想本文將BING算法提取到的目標區域擴大至原來的2.25倍（長寬分別擴為原來的1.5倍），對該區域進行中值濾波，除去噪聲干擾，利用Sobel算子提取該區域的邊緣信息，并根據矩不變自動閾值分割算法得到使分割前后的圖像前三階矩都相等的最佳邊緣分割閾值T，然后分別在閾值分割后的圖像的水平和垂直方向進行投影，如式（1）、式（2）所示。

其中，f(x,y)為該點的像素值；G(x,y)為1表示該點為目標像素點，為0則表示該點為非目標像素點；S為該區域內的邊緣響應值；xi、xj為滑動窗口的左右邊界，yi、yj為滑動窗口的上下邊界，且滿足式（3）：

其中，W與H分別表示檢測框的寬度和高度；xa與xb分別表示擴大區域的左右邊界，ya與yb分別表示擴大區域的上下邊界，如式（4）：

將檢測框在擴大后的區域內從點(xa,ya)進行水平方向和垂直方向的平滑移動，根據式（5）計算其在不同方向坐標下的響應值。響應值最大表示該區域內包含有最多的目標像素，最有可能為目標區域。

其中，S(Δx)、S(Δy)分別表示檢測框在水平方向和垂直方向上分別移動Δx、Δy像素后該區域內的邊緣響應值。

計算出檢測框在水平方向和垂直方向的偏移量，可以得出矯正后檢測框的位置坐標，即為(xa+Δx,ya+Δy)。

2.2.3數據傳輸建模

考慮到實際網絡中可能會存在數據延遲和數據丟包等現象，本文在終端網絡層建立了圖像壓縮率與信道傳輸性能以及數據延遲之間的關聯模型。

設網絡中的數據延遲為：

其中，τ1表示反應延遲，即數據從產生到開始傳輸之間的延遲，一般為微秒級；τ2表示傳播延遲，每3 km延遲10 μs；τ3表示發送延遲，為待傳輸的數據量與傳輸帶寬之間的比值；τ4表示路由和排隊的延遲，正常范圍在毫秒級別，當發生網絡擁塞時會突增。

由此可見，正常網絡中的數據延遲主要受發送延遲的影響，當網絡負載過大時，排隊延遲也會增加，因此當發生數據延遲過大時，可以動態調整數據的壓縮率來減少數據的傳輸量。

設S(T)={Si,i=1,2,…}代表在時間段T上需要向邊緣服務器傳輸的圖像總數。這里Si=Oi+Ni，其中Oi代表圖像Si中目標區域的數據量，Ni代表非目標區域的數據量。進一步，γ代表Si中目標區域圖像的壓縮率，η代表非目標區域圖像的壓縮率，則目標區域壓縮后的數據量為O×γ，非目標區域壓縮后的數據量為N×η，圖像Si經過壓縮后的數據量如式（7）所示：

網絡中的可用帶寬為C，則：

當網絡中的數據延遲過高（閾值T=2 000 ms）或丟包率過大的情況下，可以根據式（9）動態調整圖像的壓縮率，減少數據傳輸量。

2.3 邊緣服務器層算法的設計

2.3.1設計思路

為了能夠在邊緣服務器上實現高效的、實時的目標檢測應用，一種合理的方案是采用基于深度學習的SSD算法。SSD算法與Faster R-CNN算法相比具有明顯的速度優勢，且檢測精度能夠和YOLO媲美。SSD雖然在VOC數據集上取得了不錯的效果，但它對于小目標（像素區域小于30×30的目標）的檢測效果不佳。如果直接將其應用在安防圖像的目標檢測中，極有可能會造成目標漏檢的問題。SSD采用的多層檢測每一層的輸出信息都是獨立的，忽略了不同層之間的信息傳遞，且淺層網絡中缺乏高語義信息，因此通過將卷積前向計算中捕獲的高語義信息傳遞回較淺的特征層將提高小目標的檢測性能?；谶@一原理，本文設計了一種基于特征融合的2FSSD（Feature Fusion-SSD）算法。

2.3.2改進策略

為了進行特征融合，需要解決三個問題：（1）選用哪些特征層進行融合?（2）采用何種方式進行融合？（3）不同特征層之間如何融合?

本文算法采用的基本策略：

（1）由于Conv5_3特征層具有較大感受野而Conv10_2特征層具有較強的語義信息，本文將SSD主干網絡中的Conv5_3特征層和Conv10_2特征層與原本提取小目標特征的Conv4_3層進行融合，形成新的特征提取層Conv'4_3來增強對小目標特征的提取能力。

（2）常用的特征融合方式有兩種，一種為拼接融合（Concatenation），一種為元素求和（Element Wise-Sum）[23]。拼接融合要求待融合的特征圖有相同的分辨率，通過將原始特征直接拼接增加特征圖的深度，融合過程中原始信息不會丟失，但是帶來的計算量大。元素求和的方式要求特征圖分辨率和深度全部相同，通過將各個對應元素相加求和得到能反映出原始特征的新特征，但是可能會損失原始特征的部分信息。由于能夠有效地降低計算代價，本文采用該方法進行特征融合。

（3）為了保證待融合的特征層之間分辨率和深度都相同，要對Conv5_3和Conv10_2特征層進行調整。

特征融合的示意圖如圖3所示，操作步驟如下：

圖3 2FSSD網絡特征融合示意圖Fig.3 2FSSD network feature fusion diagram

步驟1使Conv5_3特征層與Conv4_3特征層分辨率相同。雙線性插值（Bilinear Interpolation）[24-25]是一種計算速度快、插值特性好的特征圖放大方法，其核心思想是在兩個方向分別進行一次線性插值。本文將Conv4_3層提取的圖像特征作為目標圖像，將Conv5_3層提取的圖像特征作為原圖像，對Conv5_3特征層的圖像進行插值。

假設已知原圖像的大小為srcW×srcH，Conv5_3特征層的srcW=srcH=19；目標圖像的大小為dstW×dstH,Conv4_3特征層的dstW=dstH=38。則通過式（10）可以計算目標像素在原圖像的位置。

設待求像素點的坐標為Q(x,y)，則與其相鄰的像素點坐標分別定義為M11(x1,y1),M12(x1,y2),M21(x2,y1),M22(x2,y2),其中x1=x-1,y1=y-1,x2=x+1,y2=y+1,如圖4所示。根據式（11），首先在x方向對點M11、M21進行一次線性插值，可以求出點R1的像素值f(R1)，對點M12、M22進行一次線性插值，可以求出點R2的像素值f(R2)；再根據式（12），在y方向上對R1、R2進行一次線性插值，進而可以求出目標點Q(x,y)對應的像素值f(Q)。

圖4 雙線性插值原理示意圖Fig.4 Schematic of bilinear interpolation

式（10）確定目標圖像像素點與原圖像像素點的對應關系，式（11）、式（12）確定目標圖像像素點的值，由此可以完成圖像的插值過程。然后對Conv5_3特征層采用雙線性插值將其分辨率變換為38×38，再進行批歸一化（Batch Normalization，BN）處理來增強網絡的魯棒性，防止網絡的權重偏置溢出。

步驟2Conv10_2特征層的分辨率為3×3，深度為256，為了保證能夠與Conv4_3層融合，先對Conv10_2特征層采用1×1的卷積核進行卷積，將其深度變換為512，然后采用雙線性插值和批歸一化處理，變換后網絡層可以保證與Conv4_3有相同的特征圖尺寸和深度。

步驟3以元素融合方式對Conv4_3層、Conv5_3層和Conv10_2層進行融合，如式（13）所示。

式中，ZConv′4_3為新形成的Conv'4_3特征層；Xi為Conv4_3層提取的feature map；Yi為Conv5_3層提取的feature map；Di為Conv10_2層提取的feature map；Ki為卷積核參數；c為各層的通道數。由此，可以得到基于SSD改進的網絡2FSSD，其網絡結構如圖5所示。

圖5 2FSSD網絡結構圖Fig.5 2FSSD network architecture diagram

3 實驗

3.1 實驗介紹

本文使用VOC2007和VOC2012數據集的訓練部分共16 551張圖片作為訓練數據集，使用VOC2007的測試部分共4 952張圖片作為測試集。

根據本文設計的邊緣計算目標檢測架構，將檢測算法的訓練過程在云端進行。訓練參數設置bich_size為16，初始學習率lr為0.001。在80 000次迭代訓練之后，每隔20 000次，將學習率調整為原來的1/10，總迭代次數設置為120 000。使用均值平均檢測精度和檢測速度作為模型的評價指標。平均精度（AP）表示算法對某一類別識別的好壞程度，均值平均精度（mAP）表示算法對所有目標類別識別的平均好壞程度；檢測速度用來衡量算法的實時性。

3.2 圖像處理效果對比分析

本文選取了圖像在各個階段的處理效果圖，并進行了對比分析。圖像在不同階段的處理效果如圖6所示。

從圖6（b）可以看到，BING算法能檢測出圖像的目標區域，但存在位置偏移。圖6（c）由于對檢測框進行了矯正，避免了這種情況。圖6（d）是在圖6（c）的基礎上壓縮形成，可以看到圖6（d）中圖像的背景區域較為模糊，因為本文以選擇性壓縮的方式，對背景區域采用了60%的壓縮率，減少了原始圖像的數據。從圖6（e）中可以看出，SSD算法可以準確檢測出圖像的目標，并能夠對其進行準確的分類，但是圖中紅衣女孩和帶帽的老人因為目標區域較小造成了漏檢現象。圖6（f）是采用特征融合的2FSSD算法進行檢測的效果，小目標的信息表達更加充分，因此檢測出了圖像中的小目標。圖像中的紅衣女孩由于在終端層被作為背景進行了壓縮，造成了圖像數據損失，因此識別度不高。

圖6 圖像處理效果對比圖Fig.6 Comparison of image processing effects

3.3 實驗結果與分析

3.3.1終端層算法結果與分析

本文對終端層算法的性能從檢測時間與準確率兩方面進行了對比，如表1所示。

表1 終端層算法性能對比結果Table 1 Algorithm performance comparison results of terminal layer

算法1直接使用BING算法，算法2在BING之后增添了對檢測框矯正的過程。本文使用了這兩種方法對VOC數據集進行檢測，并計算出平均檢測時間。另外，從這兩個檢測結果中分別抽取了同樣的300張圖片來統計檢測框是否完全選中了目標。從表1可以看出，檢測框的矯正過程相比BING算法計算量稍大，消耗的時間較多，但卻使得檢測的準確率得到了提高。

3.3.2邊緣服務器層算法結果與分析

將本文算法與原始算法SSD[18]及其典型的改進算法DSSD[19]、FSSD[20]作為對比實驗，比較了不同算法在檢測精度與檢測速度方面的差異。檢測準確率對比圖如圖7所示。

圖7 不同算法對不同目標的檢測精度對比圖Fig.7 Comparison of detection accuracy of different algorithms for different objects

從圖7可以看出，本文提出的2FSSD算法由于采用了特征融合的方式，與原始的SSD算法相比，檢測精度提高了2.3個百分點；與DSSD算法相比，檢測精度僅提高了0.7個百分點；與FSSD相比，本文算法所融合的特征層含有更加豐富的語義信息，且終端層對圖像的預處理減少了一定的背景信息，因此在檢測精度上也略有提升。另外，由圖中數據可以看出，本文所提算法在鳥、船、瓶子、椅子、盆栽、電視等6類小目標上的平均檢測精度為66.9%，相比于其他算法分別提高了3.8個百分點、1.1個百分點、1.8個百分點，其中鳥和瓶子的檢測精度提升較為顯著?？梢?，本文算法對小目標的檢測精度有明顯的提升。

在檢測速度方面，本文算法與SSD、DSSD、FSSD算法的檢測速度分別為27.3、35.7、9.3、29.5 frame/s。與SSD算法相比，增加了特征融合操作，因此在檢測速度上有所下降；與DSSD算法相比，沒有采用網絡層次更深的ResNet-101網絡，也沒有采用復雜的反卷積操作，因此檢測速度有大幅度提升；與FSSD算法相比，僅是融合了不同的特征層，因此檢測速度相差不大。

綜上所述，本文算法與其他相關算法相比，在檢測精度上（尤其對小目標的檢測）有明顯提高，而在檢測速度上也能夠滿足實時性檢測的要求（>25 frame/s）。因此本文算法滿足了安防領域中對圖像數據實時高效的檢測要求。

4 結束語

本文針對利用深度學習算法在邊緣計算環境中對安防圖像進行目標檢測的應用，提出了邊緣環境下的目標檢測分層架構。在此基礎上，對終端層的顯著性區域檢測算法BING改進，提高了其定位準確性；在邊緣服務器層提出了針對安防圖像中小目標漏檢問題的改進算法2FSSD，并測試了其在小目標檢測方面的性能，結果表明該算法在檢測準確率方面相較于其他算法有所提高，并能夠達到實時性檢測的要求。因此，本文算法可以適用于安防中的圖像目標檢測。