基于YOLO的霧天行人實時檢測方法

劉志濤 何自芬 張印輝

摘? 要： 運用YOLO（You Only Look Once）目標檢測算法解決行車過程中汽車智能駕駛系統中對于行人目標的檢測問題。針對霧天交通環境下，YOLO算法受天氣影響檢測精度不高的問題，運用圖像去霧技術對數據進行預處理，并訓練出了針對霧天環境下適用于行人檢測的網絡模型。實驗結果表明，使用單尺度的Retinex去霧算法訓練得到的網絡結構YOLO-SSR降低了漏檢率和誤檢率，提高了定位準確性使得精度由77.05%提高到80.27%，并通過對視頻進行取幀處理的方法解決單尺度Retinex算法針對視頻檢測速度慢的問題使其滿足實際需求。

關鍵詞： 霧天;行人檢測;圖像增強;YOLO v3

中圖分類號： TP391. 41? ? 文獻標識碼： A? ? DOI：10.3969/j.issn.1003-6970.2019.10.013

本文著錄格式：劉志濤，何自芬，張印輝. 基于YOLO的霧天行人實時檢測方法[J]. 軟件，2019，40（10）：5357

Real-time Pedestrian Detection Method in Foggy Sky Based on YOLO

LIU Zhi-tao， HE Zi-fen*， ZHANG Yin-hui

（Faculty of Mechanical and Electrical Engineering， Kunming University of Science and Technology， Kunming 650500， China）

【Abstract】： YOLO （You Only Look Once） target detection algorithm is used to solve the problem of pedestrian target detection in vehicle intelligent driving system. In order to solve the problem of low accuracy of YOLO algorithm in foggy traffic environment， image de-fogging technology is used to preprocess data and a network model suitable for pedestrian detection in foggy environment is trained. The experimental results show that YOLO-SSR， a network structure trained by single-scale Retinex defogging algorithm， reduces the rate of missed detection and false detection， improves the accuracy of location from 77.05% to 80.27% and solves the problem of slow detection speed of single-scale Retinex algorithm by taking single frame image processing of video in order to make that method meet the actual needs.

【Key words】： Foggy weather; Pedestrian detection; Image enhancement; YOLOv3

0? 引言

隨著近幾年來人們生活水平和出行需求的提高，汽車的需求量不斷增加。而伴隨著車輛數量的逐年增長，交通事故的發生頻率也隨之增長，由于空氣污染問題越來越嚴峻，霧天霧霾等天氣原因成為造成交通事故的主要原因之一。現有的采像設備缺少解決相關問題的能力，為了有效對駕駛員進行事故提前預警，減少交通事故的發生，智能駕駛系統的研究成為大趨勢。

在智能駕駛系統中，目標的實時檢測又是其中重要的一環。近幾年來R-CNN[1]、Fast R-CNN[2]、Faster R-CNN[3]、YOLO[4]、SSD[5][12]、YOLOv2[6]、YOLOv3[7]等目標實時監測方法的提出使得檢測精度和檢測速度不斷提高，其中YOLOv3因其快速而又準確的檢測性成為關注的焦點。

近幾年來，隨著深度學習的不斷發展，應用在目標識別及模型預測等方面的方法[8-10]不斷被推出，但很少有方法會直接考慮特殊天氣對圖像的影響，本文針對霧天圖片存在圖像退化嚴重，對比度低，細節信息有損失等原因，造成使用YOLOv3檢測霧天照片中行人目標的精度不高問題，建立了霧天環境下行人的數據庫，采用單尺度Retinex去霧算法對圖像進行預處理[11]，以提高圖像對比度，增強行人在圖像中的細節表現，然后采用最新的YOLO V3 深度學習模型對行人進行識別。對于實時性問題，本文采用從視頻中取單幀圖片進行去霧并識別，滿足實際需求。

1? 行人檢測系統技術路線

為提高霧天行人識別的準確率，首先進行預處理。通過對行車記錄儀視頻取幀及圖像去霧處理，如圖1所示，通過對測試視頻取幀處理得到相應的圖片，避免因為去霧處理整段視頻而無法滿足實時性的問題，然后通過圖像去霧算法處理圖片，增強其細節信息，使YOLOv3對圖像的識別準確率提高。

針對霧天市區汽車行駛車速規定，市區能見度50 m以下為不高于30 km/h，車載行車記錄儀一般為30幀/s即30 ms顯示一幀圖像，通過車載攝像連接視頻采集卡使用OpenCV讀取處理，設定當前一幀圖像中沒人時系統隔1 s取下一幀圖像，前一幀圖像有人時間隔30 ms取下一幀圖像。

本文所采用的去霧算法分別是單尺度Retinex算法、暗通道去霧算法、多尺度Retinex算法，在處理圖像為416×416大小時，三種算法的平均處理時間如表1所示。因此三種算法滿足取幀設定。

2? 圖像去霧

2.1? 去霧算法

本文選用的圖像去霧算法有：單尺度Retinex算法（SSR）[13]、暗通道去霧算法[14]、多尺度Retinex算法（DSSR）[15]，其中單尺度Retinex算法和多尺度Retinex算法是基于圖像處理的增強方法，暗通道去霧算法是基于物理模型的復原方法。

2.2? 單尺度Retinex算法

Retinex算法將圖像理解為入射圖像和反射圖像的乘積。L（x， y）表示入射光圖像，直接決定了圖像中像素所能達到的動態范圍，R（x， y）表示物體的反射性質圖像，即圖像的內在屬性，S（x， y）表示人眼所能接收到的反射光圖像。Retinex算法的基本思想就是在原始圖像中，通過某種方法取出或者降低入射圖像的影響，從而盡量保留物體本質的反射屬性圖像。

單尺度Retinex算法的公式為：

r（x， y）為輸出圖像，*為卷積符號，F（x， y）為中心環繞函數，可以表示為

（4）

C表示為高斯環繞尺度，λ是一個尺度，它的取值滿足下面條件：

（5）

單尺度Retinex算法的實現流程可以概括如下：

（1）讀取原圖S（x， y），若為灰度圖則將圖像每個像素的灰度值由整數值轉換為浮點數，并轉換到對數域;若輸入是彩色圖像，將圖像的每個顏色分類處理，將每個分量的像素值由整數值轉換為浮點數，并轉換到對數域中，方便后面的數據計算。

（2）輸入尺度C;在離散條件下，積分轉換為求和，進一步確定參數λ的值;

（3）根據前面的公式，計算得到r（x， y）;如果是彩色圖像，則每個通道均有一個

（4）將r（x， y）從對數域轉換到實數域得到輸出圖像R（x， y）;

（5）對R（x， y）線性拉伸并以相應的格式輸出顯示;

中心環繞函數F（x， y）采用低通函數，能夠在算法中估計出照射圖像所對應的原始圖像的低頻部分。從原始圖像中除去低頻照射部分，就會留下原始圖像所對應的高頻部分，而在人類的視覺系統中，人眼對邊緣部分的高頻信息相當敏感。

2.3? 去霧效果對比

本論文采用單尺度Retinex算法，暗通道去霧算法和多尺度Retinex算法對圖像進行增強，增強效果如下圖2所示，可以看出對比度方面單尺度Retinex算法和多尺度Retinex算法表現更好。

3? YOLO網絡模型的訓練

3.1? YOLO網絡結構

YOLO網絡模型是Redmon等人在2015年提出，它實現了端到端并在每個神經網絡上通過候選

框預測，輸出每個候選框所預測的類別概率和坐標，使用閾值篩選掉概率低的候選框，然后通過非極大值抑制去除冗余候選框，得到最終結果。

2018年3月Redmon改進YOLO模型，通過優化和吸收SSD，Faster RCNN等目標檢測算法的優點，提出YOLOv3模型。YOLOv3在YOLOv2的基礎上進行了一些應用性的改進，包括多尺度檢測，多標簽

分類等，并使用基于殘差神經網絡改進的Darknet53網絡作為特征提取器，使得YOLO系列方法不擅長檢測小物體的缺陷得到了改善，目前YOLOv3成為最優秀的目標檢測算法之一。

實驗所檢測的目標只有人這一個類別，因此通過修改YOLOv3模型的輸出類別數量，可以極大減少網絡所預測張量的維度，使得每個尺度所預測的長度僅為18，從而減少不必要的運算量。

YOLOv3的網絡結構圖如圖3所示。

3.2? 行人檢測網絡的訓練

本文使用的是AlexeyAB編寫的Windows版本的darknet框架進行訓練和測試。訓練時用120張作為訓練集對網絡進行訓練，共分為原圖像，暗通道增強圖像，單尺度Retinex圖像多尺度Retinex圖像四組，每組迭代10000次網絡損失函數的輸出如圖4，0到2000次損失函數逐步下降，2000次之后損失函數保持穩定沒有顯著變化，在訓練過程中設置每迭代100次輸出一個模型，所以每組得到100個模型，通過對每組的100個模型進行校驗，選取各組中表現最好的模型進行參數對比。

4? 實驗與分析

4.1? 實驗環境及數據集的建立

本次實驗的電腦型號為聯想81LE0007CD，內存為8G，處理器為Intel core i7-8750H，顯卡為 NVIDIA GTX 1060，系統為 Windows 10，實現軟件為 Microsoft visual studio 2017。

本文的圖片來源于行車記錄儀及Cosmin Ancuti等人D-HAZY數據集，總計有166張，其中120張作為訓練集，測試集46張，訓練樣本及測試樣本圖片原始大小均為1280像素×720像素。

4.2? 數據測試及比較

為了測試霧天行人檢測效果，設計了三種去霧算法的效果對比實驗。

首先將所有數據集的照片分別使用暗通道去霧、單尺度Retinex算法和多尺度Retinex算法處理，然后將數據集中的圖像全部轉化為416像素×416像素，為選取合適的模型，需要采用多指標對模型功能進行評判，常用的評判標準包括交并比IOU，準確率P，召回率R，F1分數與平均精度均值mAP。

計算公式為：

（9）

其中TP（真正），即網絡預測的正樣本中包含正樣本的數量，FP（假正），即網絡預測的正樣本中包含負樣本的數量，FN（假反），即未被網絡預測的正樣本數量，J（精度均值函數），即準確率P與召回率R所構成P-R曲線與橫縱坐標所圍成的面積，C為所檢測目標類別的數量，K為類別序號。

本實驗只需要檢測人這一類目標，因此C取1。

目標預測正確與否的判斷依據為IOU值——預測框與真實矩形框（Ground Truth Box）的交集與并集之比，IOU值大于50%屬正確目標。本實驗中使用兩種交并比對模型進行衡量，一種是IOU=50，一種為IOU=75。取交并比IOU=75的原因為測試高交并比情況下，各種增強方法的檢測能力，并且高交并比條件下精度越高對于定位的準確性越好。首先分別在原圖訓練模型，暗通道去霧模型，單尺度Retinex去霧算法模型，多尺度Retinex去霧算法模型中選取最優模型，選取采用的性能參數優先級為map>F1>R>P>mIOU。

通過比較在兩種交并比情況下不同模型的各性能參數來進行最終選擇。由表2和表3可以看出在IOU=50和IOU=75時單尺度Retinex去霧算法預處理后得到的模型mAP分別比原YOLO模型mAP高3.22%和4.24%其他參數F1、R、P、mIOU都有顯著提高，相對于其他去霧算法，也有小幅提升，因此本文選取以單尺度Retinex去霧算法作為預處理方法。

4.3? 效果對比

通過對比使用YOLOv3原模型、暗通道模型、多尺度Retinex模型和本文YOLO-SSR模型分別對同一張進行檢測，效果如圖5、圖6、圖7、圖8所示，可以看出YOLOv3原模型在檢測有霧這張圖片時把圖右后的摩托車誤檢為人，并且漏檢了位于圖片中上部的兩個人。暗通道模型和多尺度Retinex模型同樣講圖片中上部兩人漏檢，并且多尺度Retinex模型還存在將圖片左數第二人漏檢現象。而本文模型表現較好，完成了對圖片中人的識別，沒有出現漏檢和誤檢現象。

5? 結論

將Yolov3網絡框架用于實時的駕駛視頻目標檢測，可以作為汽車智能駕駛系統中目標識別環節的新解決方案，本文訓練得到的霧天環境下行人識別的模型解決了霧天環境下圖像對比度小而造成的識別精度不高的問題，使用單尺度Retinex去霧算法預處理后的圖像mAP比用YOLOv3原模型檢測圖像的mAP提高了3.22%。

由于對行人的識別精度只提高到80.27%對于滿足實際應用還有一段距離，原因主要為行人的目標特征分布表現為水平方向密集、豎直方向稀疏，與YOLO檢測模型對輸入圖片統一劃為正方形柵格的機制不符，這是后續工作需要改進的重點。

參考文獻

[1]Ross Girshick， Jeff Donahue， Trevor Darrell， Jitendra Malik Rich feature hierarchies for accurate object detection and semantic[C]. Proceedings of the IEEE conference on segmenta tion Computer Vision and Pattern Recognition 2014： 580-587

[2]Girshick R. Fast R-CNN[J]. Computer Science， arXiv preprint arXiv： 1504.08083， 2015.

[3]Ren， Shaoqing， et al. “Faster R-CNN： Towards real-time object detection with region proposal networks[C]. NIPS'15Proceedings of the 28th International Conference on Neural Information Processing Systems . MIT Press Cambridge. 2015： 91-99

[4]Redmon J， Divvala S， Girshick R， et al. You Only Look Once： Unified， Real-Time Object Detection[J]. arXiv preprint arXiv： 1506. 02640， 2015.

[5]Wei Liu， Dragomir Anguelov， Dumitru Erhan， Christian Szegedy， Scott Reed， Cheng-Yang Fu， Alexander C. Berg. SSD： Single Shot MultiBox Detector[J]. Computer Vision and Pattern Recognition，arXiv preprint arXiv： 1512. 02325， 2016.

[6]Redmon J， Farhadi A. YOLO9000： Better， Faster， Stron ger[C]//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition Washington D. C.， USA： IEEE Computer Society， 2017： 6517-6525.

[7]Redmon J， Farhadi A. Yolov3： An incremental improvement[J]. Computer Vision and Pattern Recognition， arXiv preprint arXiv： 1804. 02767， 2018.

[8]安大海， 蔣硯軍. 基于BP 神經網絡的人臉識別系統[J]. 軟件， 2015， 36（12）： 76-79.

[9]張曉明， 尹鴻峰. 基于卷積神經網絡和語義信息的場景分類[J]. 軟件， 2018， 39（01）： 29-34.

[10]高偉， 黎英， 張金飛， 等. 城市交通高頻路段預測模型研究[J]. 軟件， 2018， 39（2）： 81-87.

[11]段世杰， 黃華， 王鵬飛， 等. 一種單幀圖像的快速去霧方法[J]. 軟件， 2015， 36（5）： 1-6.

[12]吳亞熙， 岑峰. 基于卷積神經網絡的多層級目標檢測方法[J]. 軟件， 2018， 39（4）： 164-169.

[13]Jobson D J， Rahman Zia-ur， Woodell G A. Properties and performance of a center /surround Retinex[J]. IEEE Trans on Image Processing， 1997， 6（3）： 451- 462.

[14]He K M， Sun j， Tang X O Single image haze removal using dark channel prior[J]. IEEE Transacting on Pattern Analysis and Machine Intelligence， 2011， 33（12）： 2341-2353.

[15]Li Tao， Vijayan Asari. Modified Luminance Based MSR for Fast and Efficient Image Enhancement[J]. IEEE Applied Imagery pattern Recognition， 2003， 4（3）： 174-179.