改進輕量型YOLOV4的目標監測系統

劉蘇剛，蔣 剛+，朱 昊，陳清平，徐文剛，黃 璜

(1.成都理工大學 機電工程學院，四川 成都 610059； 2.成都陵川特種工業有限責任公司 科技管理部，四川 成都 610105)

0 引 言

隨著科技的快速發展，對目標物體識別精度以及復雜環境下適應能力的要求不斷提高，結合深度學習框架的目標監測系統成為了當前研究的熱點。目前，基于深度學習的目標檢測算法主要分為兩大類別，一類是由Faster R-CNN[1]為代表的two-stage目標檢測算法，該類算法擁有較高的識別精度但不能滿足實時性的要求，無法較好地進行目標檢測工程化應用，另一類是由SSD(single shot multibox detector)[2]、YOLO(you only look once)[3-5]系列為代表的one-stage目標檢測算法，該類算法能夠滿足實時性的工程化應用條件。高楊等[6]提出多層特征融合算法，相較于Faster R-CNN犧牲了一定的檢測速度換來了精度的提高。嚴開忠等[7]對YOLOV3進行改進，有效提升了目標檢測速度，但導致精度降低。羅建華等[8]則通過改進YOLOV3，在不影響檢測速度情況下提高道路目標檢測精度。薛志峰等[9]將YOLOV3與STM32結合，實現手勢交互的工程化應用，但交互過程受外界環境影響較大。

為了達到昏暗復雜環境下檢測精度與速度的平衡，實現工程應用。本文在YOLOV4[10]輕量型目標檢測算法上進行改進，融入圖像增強算法，在滿足目標檢測速度要求的同時，提升了昏暗復雜環境下的目標檢測精度，同時能解決目標漏檢與誤檢問題。改進后的算法與zed雙目相機結合，為監測系統的建立提供視覺支持，建立了針對昏暗復雜環境的智能化實時目標監測系統。

1 昏暗復雜環境下的目標監測系統整體架構

監測系統的建立分為多源數據采集階段、圖像處理階段、數據決策階段、工程實現階段。監測系統整體架構如圖1所示。

監測系統實時采集由zed雙目相機所獲取的圖像深度點云數據以及目標檢測信息，目標檢測信息是由zed雙目相機所獲取的每幀圖像通過進入昏暗復雜環境下目標檢測模型進行目標識別得到。當數據采集完成后系統進行數據決策，建立MYSQL數據庫連接及底層通信管道，發送決策指令實現智能化監測相關功能。

2 昏暗復雜環境下的目標檢測

2.1 目標監測系統應用場景

監測系統在昏暗復雜環境下進行目標檢測，圖像增強算法將zed雙目相機采集的每幀圖像進行去噪、輪廓增強及對比度增強，讓檢測目標的細節信息更加豐富，幫助目標檢測模型更好地進行目標識別，提高系統的魯棒性與實用性。

2.2 昏暗復雜環境下圖像增強算法

監測系統運動過程中，受外部復雜環境的干擾，圖像獲取會產生一定不可避免的噪聲突變點，系統需進行噪聲突變點的消除，本文采用中值濾波法進行噪聲突變點的濾除。

本文是對彩色圖像進行圖像增強，彩色圖像分為R、G、B這3個通道。令f(i,j) 為獲取二維圖像所對應的像素值，進行像素值歸一化，使0≤f(i,j)≤255。 將監測系統實時傳入的圖像進行噪聲突變點消除，即

fout=median(f1,f2,f3,…,f9)

(1)

式(1)中，采用3×3的運算區域，fout為濾波后得到的像素值，f1,f2,f3,…,f9為運算區域中排序好的像素值，通過median()函數取出中間值進行賦值操作，有效消除噪聲突變點。

式(1)后，得到去噪后的圖像信息。為了進一步加強目標物體的邊緣輪廓，需進行相應目標邊緣輪廓的增強，也就是圖像的銳化操作。計算二維圖像函數f(x,y) 的一階偏導，用差分形式近似代替一階偏導，可得

(2)

(3)

(4)

(5)

式(5)中，a=1，通過上式可以計算出此時邊緣信息增強后的圖像函數h(x,y)， 使圖像中目標物體輪廓更加清晰。

在昏暗復雜環境下，需對圖像進行對比度增強，使該特定環境下未顯示的目標細節信息呈現出來。本文采用直方圖均衡化進行后續圖像處理，處理的彩色圖像為24位，每個單通道各占8位，因此單通道的灰度級為256種，統計圖像數據中不同灰度級像素個數可得

Count(k)=mk

(6)

式(6)中，0≤k≤255，mk表示不同通道下，灰度級為k的像素總個數，Count(k)表示統計的灰度級為k的像素總個數，計算灰度級概率分布可得

(7)

通過式(7)可得到圖像灰度級出現概率，然后進行相應累加概率計算可得

(8)

式(8)中，0≤n≤255，在這之后利用累加概率計算新的灰度級然后進行灰度級像素個數重新分配，可得新的映射灰度級

(9)

式(9)得到對比度增大后新的灰度級，進行灰度級k的像素與hk的像素映射，映射完成后，系統得到對比度增強后的圖像信息。

監測系統實時傳入的圖像通過圖像增強算法，能夠實現噪聲突變點去除、圖像邊緣信息增加及對比度增強，從而為監測系統后續的目標檢測提供相應的圖像數據支持。

2.3 YOLOV4-tiny目標檢測算法

YOLOV4-tiny是相較于YOLOV4的一種輕量型目標檢測算法。該目標檢測算法為達到較高的目標檢測速度，降低了骨架網絡(CSPDarknet53-Tiny)復雜度，使骨架網絡由3個CBL(conv batch normalization leaky rectified linear unit)結構以及由3個CSP(cross stage partial connections)[11]與池化層組成的CSP_body結構所構成。激活函數替換為LeakyRelu(leaky rectified linear unit)。從骨架網絡中引入兩個有效特征層進入FPN(feature pyramid networks)[12]結構后由YOLO-head輸出最終結果。YOLOV4-tiny結構如圖2所示。

2.4 目標檢測改進算法

監測系統為提高目標檢測精度，對YOLOV4-tiny目標檢測模型進行了一定的改進。在YOLOV4-tiny目標檢測算法的兩層特征層的基礎上增加兩層更淺層特征層，將從骨架網絡中獲取到的四層有效特征層進行提取和疊加操作，使目標檢測過程中更多目標特征被融合，從而達到增大感受野的同時保留圖像更多的細節信息。通過改進FPN結構可以使監測系統在實際的目標檢測過程中獲取到更多的目標物體的特征，不丟失圖像的一些細節信息，這樣系統就能夠比較好地判別目標物體的類別，提高目標物體的識別準確率。針對昏暗復雜環境，監測系統能夠較大程度保留周圍環境中目標的特征，使模型更好地滿足實際工程的要求，FPN改進結構如圖3所示。

為了能夠進行昏暗復雜環境下的目標檢測工作，在目標檢測模型中引入特定圖像增強算法。在目標檢測前進行圖像增強，有助于實際目標檢測工作的進行，引入圖像增強算法流程如圖4所示。

監測系統通過將實時傳入的每幀圖像進行圖像增強之后，主要達到以下3種效果，分別為①去除圖像中噪聲信息，防止不必要的外部環境強烈干擾，從而保證在圖像獲取過程中圖像質量不受到影響；②增加目標物體相應的邊緣信息，使目標物體的輪廓更加的清晰，有利于目標檢測模型的特征提取；③暴露更多潛藏在昏暗復雜環境中圖像的細節信息，使監測系統在不借助外部光照輔助的情況下能夠正常地進行目標檢測工作，有助于監測系統的檢測視野不受到昏暗復雜環境的影響。通過以上3點能夠達到在保持系統的魯棒性的同時，提高系統的隱蔽性與安全性。

改進的目標檢測算法為滿足監測系統進行實時目標監測工程化應用的要求，保留了YOLOV4-tiny目標檢測算法的原有的骨架網絡，使系統本身能夠達到較高的目標檢測速度。為彌補原目標檢測模型的目標檢測精度不高的缺點，優化原有FPN網絡結構，從而使改進后的算法模型達到目標檢測過程中速度與精度的雙向平衡。為讓系統適應昏暗復雜環境，引入圖像增強算法，使系統適應特定復雜環境的能力提高。昏暗復雜環境下目標檢測算法流程如圖5所示。

3 目標監測系統工程化應用

3.1 雙目相機結合目標檢測改進算法

監測系統在進行目標檢測過程中，實時傳入的每幀圖像為系統的目標檢測模型提供相應的數據支持。為了完成每幀圖像的獲取工作，將改進后的目標檢測算法與zed雙目相機進行相應的算法融合。zed雙目相機采集到的每幀圖像數據經過改進后的目標檢測模型實現實時目標檢測。zed雙目相機與優化算法的融合流程如圖6所示。

圖6中，系統獲取zed雙目相機所捕捉的每幀圖像，先進行相應尺寸變換，將圖像轉換為(416，416)的尺寸格式，以滿足目標檢測模型輸入圖像尺寸要求，之后圖像通過顏色通道轉換后再轉為Image圖像格式進入目標檢測模型。當每幀圖像傳入模型之后還要進行相應的圖像數據歸一化以及維度順序變換以滿足目標檢測模型對圖像數據的特定要求。當圖像識別完成，經顏色通道轉換，利用OpenCV進行實時顯示，進而觀察優化算法與zed雙目相機融合之后實時目標檢測效果。

3.2 監測系統數據采集

監測系統利用zed雙目相機獲取圖像的深度點云數據進行監測目標的距離與方位角的計算，從而完成相應的數據采集工作。

OLeft與ORight為zed雙目相機左右相機的光心，本文將zed雙目相機的左相機光心作為初始空間坐標原點，空間坐標為 (0,0,0), 令P點相對于左相機光心的空間坐標點為 (x,y,z)， 空間P點對應左右相機的目標像素點為PLeft(xl,yl)、 PRight(xr,yr)， zed雙目相機的焦距d與左右相機的基線lbase都可由相機本身獲取。本文根據視差測量法，利用三角形相似原理求解出空間P點的z的取值，如圖7(a)所示

(10)

式(10)中dvisual=xl-xr， 通過相應x、y、z的等式關系，結合空間點P在左相機所對應的目標像素點，可分別求出x，y的取值

(11)

(12)

通過式(10)～式(12)分別求出x、y、z的取值。獲取到的P(x,y,z) 坐標值，是P相對于左相機光心的坐標取值，在此完成對于監測目標空間點的三維重構，如圖7(b)所示。

目標空間坐標點P相對于原點OLeft的取值分別為x、y、z，原點OLeft的三維空間坐標為 (0,0,0)， 由此可計算空間坐標點P距zed雙目相機的左相機原點OLeft的距離

(13)

空間點P的坐標點經過三維重建后，將空間點P(x,y,z) 映射到XOLeftY二維平面上，本文將X軸方向作為方位角計算的參考正方向，在XOLeftY二維平面內進行目標物體坐標方位角的求解，可得

(14)

通過式(14)計算出目標物體相對于坐標原點OLeft的方位角，方位角的取值范圍0°≤angle_object≤360°。

昏暗復雜環境下，監測系統在混合路況場景進行智能化目標監測任務時，通過對目標空間點的三維重構求解出方位角和目標距離，從而完成相應的數據采集，為監測系統之后的數據決策提供相應的數據支持。

3.3 監測系統數據決策與自動控制

監測系統需將獲取到的目標距離與方位角以及經過目標檢測后的目標檢測信息進行融合，經過數據決策后形成相應的決策指令實現智能化目標監測，決策控制流程如圖8所示。

決策控制過程，主要實現預警信號收發、預警指示燈開閉、異常數據存儲和智能避障功能，從而構建出一個智能化的監測系統。針對異常數據的存儲，本文用到了MYSQL數據庫作為異常數據存儲的媒介，從而完成相應異常數據的存儲，在異常數據存儲之后，系統授權用戶還能進行相關異常數據的共享，其它功能則是依靠底層STM32主控端與上層搭建相應的通信管道實現。系統為保證數據的完整性與安全性，將決策指令采用相應的通信協議通過通信管道下發底層，從而實現監測系統的自動控制。

4 系統實驗結果與分析

監測系統進行分析的實驗結果包括圖像處理階段中目標檢測模型所得的實驗結果以及由OpenCV實時顯示監測系統的測試結果。通過以上實驗結果分析確保監測系統能夠完成昏暗復雜環境下目標監測的任務。

4.1 目標檢測模型數據集

4.2 目標檢測模型實驗平臺

訓練平臺采用的顯卡為GeForce RTX 2080Ti，CPU為i9-10900X，操作系統為64位ubuntu 16.04。訓練中batch_size設置為8，訓練epoch設置為100，num_workers設置為4，輸入圖片尺寸格式為(416，416)，CUDA為10.0.130。測試平臺采用的配置為Intel(R) Core(TM) i7-9750H CPU @ 2.60GHz 2.59 GHz，操作系統為Windows 10。訓練與測試平臺深度學習框架采用pytorch1.2.0，編程語言為Python。

4.3 目標檢測模型測試效果分析

本文提出的目標檢測改進算法模型與YOLOV4-tiny目標檢測算法模型經100個epoch訓練完成后，均處于穩定收斂狀態。改進模型的total_loss：5.0675，val_loss：4.9257，均低于YOLOV4-tiny模型的total_loss：5.3310和val_loss：5.1688。改進的算法模型權重大小為26.8 MB，適合在硬件移植使用，具有較好的實用價值。

為解決昏暗復雜環境下的目標檢測問題，本文提出了針對昏暗復雜環境的改進算法，該算法在該環境的實際測試過程中能夠較好識別出目標物體，有效地解決該環境下的目標檢測問題。本文為提高對比效果，將YOLOV4-tiny目標檢測算法也與圖像增強算法進行融合，各模型測試效果對比如圖9所示。

通過圖9測試效果對比可以看出在昏暗復雜環境下改進的算法模型相對于YOLOV4-tiny算法模型，目標檢測精度有較大提升，相比于融合了圖像增強的YOLOV4-tiny算法模型，目標檢測精度也有一定提升。并且改進后的算法模型有效解決了目標檢測過程中目標誤檢、漏檢問題。測試結果表明改進后的算法模型適用于實際工程化應用。

4.4 目標檢測模型評估

本文對目標檢測模型進行模型評估過程中，將MAP(mean average precision)作為目標檢測精度的評估指標，將FPS(frames per second)作為目標檢測速度的評估指標。本文為全面分析改進算法模型性能，引入YOLOV4模型參與評估，保證評估數據的完整性。本文對各類別AP(average precision)值對比分析見表1。

表1 各類別AP值對比分析

通過表1可以看出，融合圖像增強算法之后YOLOV4和YOLOV4-tiny算法模型相較與原來的算法模型，在一些類別的檢測精度上都有一定程度的提升，改進的算法模型相較于YOLOV4-tiny算法模型在5種類別的AP值上都有較為顯著的提升。

本文為進行目標檢測的FPS評估，選用了測試集中100張測試圖片。經測試，YOLOV4模型測試總用時為7.83 s，當融入圖像增強算法后，總用時為8.69 s，YOLOV4-tiny模型測試總用時為4.57 s，當融入圖像增強算法后，總用時為5.26 s，本文所提出的改進算法在測試過程中的總用時為5.55 s。

目標檢測模型性能評估見表2。

表2 目標檢測模型性能評估

在昏暗的復雜環境下,本文所提出的改進算法模型相較于YOLOV4-tiny目標檢測模型的平均精度提升了14.79%，較融合了圖像增強算法的YOLOV4-tiny平均精度提升了3.06%。改進算法模型的檢測速度能達到18 FPS，比YOLOV4目標檢測模型高出5 FPS,能滿足實際工程應用中的實時性要求。

4.5 系統測試結果分析

監測系統底層中的STM32主控端的模塊化代碼編寫采用C語言，經過實際的測試發現，能實現系統所需要的功能。在此基礎上通過OpenCV進行實時顯示監測系統測試結果，從而保證監測系統運行效果可視化。監測系統實物及測試效果如圖10所示。

圖10監測系統測試結果表明，監測系統有較好的識別精度以及決策控制能力，能夠完成昏暗復雜環境下的目標檢測任務，實現智能化目標監測。

5 結束語

本文為進行昏暗復雜環境下混合路況的目標檢測，提出了一種基于YOLOV4-tiny的改進算法。該改進算法相較于改進前的YOLOV4-tiny算法模型既提高了監測系統在昏暗復雜環境下目標檢測精度，又解決了目標誤檢與漏檢問題，同時能保證系統的魯棒性、隱蔽性與安全性，滿足系統進行實時目標監測的工程化要求。本文將改進算法模型融入zed雙目相機中，進行多源數據的采集工作，監測系統將獲取到的數據經數據決策后，建立數據庫連接與底層通信管道，能夠實時進行異常數據存儲及底層控制，進而實現昏暗復雜環境下混合路況的目標監測工程化。