基于YOLOv5的錐桶識別技術研究與應用

________________________________ """""""""""""""""""""""""""

*通信作者：吳世林（1970-），男，副教授，碩士研究生導師，研究方向：運動控制、機器視覺.

引文格式：黃加輝，吳世林，徐家偉. 基于YOLOv5的錐桶識別技術研究與應用[J]. 武漢紡織大學學報，2024，37（1）：89-93.

HUANG Jiahui， WU Shilin， XU Jiawei. Research and Application on Cone Bucket Identification Technology Based on YOLOv5[J]. Journal of Wuhan Textile University，2024，37（1）：89-93.

摘 要：基于計算機視覺理論與目標檢測算法，利用YOLOv5模型和自制數據集實現對錐桶的識別。然后將訓練好的權重部署到ROS智能小車上實現了小車自動駕駛中的自主避障功能。實驗數據表明，本文僅僅利用95個圖片，514個標記經過50輪訓練就實現了97.36%mAP@0.5，對錐桶的識別效果很好，且具有較強的泛化能力。該錐桶識別模型有效提高了在復雜光學場景及密集錐桶目標下的識別準確率。

關鍵詞：YOLOv5；數據集；計算機視覺；目標檢測

中圖分類號：TP181 文獻標識碼：A 文章編號：2095－414X（2024）01－0089－05

0" 引言

目前，基于深度學習的目標檢測算法廣泛用于各種物體的檢測[1]，例如，智能交通建設中的車輛行人及各種交通標志、交通信號燈檢測[2]。錐桶在交通領域常用于應急處理的路障或隔絕特定交通區域。在現實生活中，由于其不具備必備性，主流交通領域的目標檢測應用對其研究較少。但在模擬仿真時，其可方便劃定行進區域、占用體積小、價格低廉、安全環保等優勢便體現出來。如在主流智能汽車類學科競賽中，其往往作為除賽項指定智能汽車外唯一賽項場地道具，故對錐桶識別技術的研究與應用也很有必要。

郄磊澎等[3]基于HSV顏色模型和opencv圖像處理的傳統視覺模型來實現錐桶識別，該法雖然能對錐桶進行簡單的顏色篩選但該方法較易受環境光照的影響從而難以應用于復雜光學場景。

鄭少武[4]和黃遙[5]等人利用RANSAC算法剔除地面點云，使用歐式距離聚類算法將點云分為多個點云簇進行錐桶聚類。但在點云較多的地面剔除階段使用RANSAC算法很難達到實時性要求，且歐式距離聚類后會存在非錐桶障礙物，識別準確率較低。代加喜[6]等對RANSAC算法和聚類后處理算法進行改進，提出

優化方法能夠更快速、準確地將地面點剔除并達到實時性要求，但受限于激光雷達的識別原理及特點，行駛在抖動較大的路段時準確率仍然較低。

本文引入深度學習中的YOLOv5目標檢測算法用以提高錐桶識別技術準確率，其思路是直接將目標邊界定位問題轉換為回歸問題，一步到位，提高檢測速度。通過研究基于YOLOv5的錐桶識別技術并把其部署到參加全國大學生智能汽車競賽室外專項賽所用的ROS智能小車上，可以讓其在規定的賽道上行駛并實時調整運動方向完成自主避障。

1" 錐桶識別總體路線

本文通過自制數據集，在受限資源下快速訓練得到較好的訓練權重。在此基礎上不斷調整超參數優化輸出，最終可以實現較為精準的錐桶識別。以下是基于YOLOv5模型的錐桶識別的實現路線，如圖1所示：

2" 自制數據集及數據增強

對于數據集而言，一般優先從網絡上尋找下載，但網絡上現存的如無人駕駛方程式大賽中由北京理工大學建立的fsacoco數據集需要提供多達600張的貢獻量，對新手極不友好。而對于錐桶這樣的單一物件，本不需要如此多的數據儲備便可以達到我們想要的準確率，故準備自制輕量數據集節約開發成本。

為了使自制數據集訓練出來的模型有足夠強的泛化能力，自制數據集選材廣泛。除了利用ROS智能小車車載攝像頭按60幀抽樣頻率采樣小車實時第一視角圖像外還從網絡上下載各式各樣、背景復雜的交通場景實時應用錐桶甚至包括錐桶模擬素描。經過篩選只保留同時包含紅藍兩色錐桶且保證兩種顏色的錐桶數量差距不大的圖片，共計95張。之后利用labelimg工具對源圖片打標簽。以下為訓練后展示的labels圖。

其中左上圖為兩種標簽的數量對比；右上圖為總和label框；左下圖為總和框中心點位置，總和框中心點位置較分散有利于增強泛化能力；右下圖為label框總和高度、寬度。

數據集制作完成之后在投入給YOLOv5模型用于訓練前為了增強訓練結果泛化能力還對其進行數據增強。通過修改hyp超參數可以快捷地調用馬賽克數據增強，通過設置將多張采用多種不同傳統數據增強方式的圖片集成到一張與源圖片同尺寸的圖片上用于模型訓練。

3" 模型訓練得到權重

3.1" 實驗平臺及訓練參數設置

本文實驗使用Windows10操作系統，由于ROS小車主控機沒有GPU加速，本文在上位機測試時也只使用CPU，編程語言為python3.6，開發框架為Pytorch1.10.2。

設置權重衰減系數為0.0005，初始學習率為0.01，批次大小batch_size為4，訓練輪數epochs初定為30，之后為了增強模型準確率增加至50，訓練圖像和測試圖像像素均設置為640像素×640像素。

3.2" 評價指標

在深度學習領域常用RMSE作為訓練準確率的評斷依據，但在目標檢測細分領域，由于識別的種類相對而言往往很少（如本文僅三個類別：redluz，意為紅色錐桶；blueluz，意為藍色錐桶；noluz，指代除兩色錐桶以外的較大體積其他物體。），RMSE值很容易達到接近1的較高值。而且目標檢測時更注重目標在圖像中的位置與錨定框的貼合程度，故本文實驗用來評估模型檢測性能的指標分別是精確率 Precision、召回率Recall和平均精確率mAP[7]：

Precison =" =" " （1）

Recall =" =" " （2）

mAP =" " " " " （3）

為了解釋上述三式中的符號含義還需要引入交并比IoU， 其定義如式（4）所示：

IoU =" =" " " " " " "（4）

式中：A為目標的定位框；B為預測框；M為兩個框的交集；N為并集。在檢測任務中，使用交并比（Intersection of Union，IoU）作為衡量指標，來描述兩個框之間的重合度。

在式（1）、式（2）中：all detections代表所有預測框的數量，all ground truths代表所有目標實際邊框的數量。假設IoU閾值設為0.3，則當預測邊框與目標實際邊框的IoU值大于等于0.3就標記為TP；若一個目標實際邊框有多個預測邊框，則認為IoU最大且大于等于 0.3的預測框標記為TP，其他的標記為FP，即一個目標實際邊框只能有一個預測框標記為TP。FN即所有目標實際邊框的數量減去成功越過IoU閾值的數量，表示預測框中還未越過IoU閾值的數量。

在式（3）中：C表示類別個數;APi表示 第i個類別的精確率，其中i為序號。AP通過計算P-R曲線的面積得出，另外還可以通過設置IoU閾值得到在不同IoU閾值下的mAP并通過步長設置將一段連續變化的IoU閾值下的mAP加和平均運算。常用的平均精準率mAP為mAP@0.5和mAP@0.5：0.95，其中@0.5表示在IoU閾值為0.5時計算P和R、@0.5：0.95表示在不同IoU閾值（從0.5到0.95，步長0.05）上的平均mAP。

3.3" 訓練結果

以下為訓練輪數分別為30和50時各項指標對比。結合圖表可以看出，隨著訓練輪次的增加，訓練效果逐漸增強。BP組別的效果普遍優于LP組別，但50LP有部分參數優于50BP，說明訓練輪次對輸出參數的提升接近飽和。以BP組別做比較，訓練30輪時mAP@0.5最高僅0.8052、mAP@0.5：0.95更是僅有0.3755，難以用于實際，故需要增加訓練輪次。而在訓練50輪時，mAP@0.5達到0.9736接近于1，mAP@0.5：0.95最高也達到0.5981基本實現了較為精準的錐桶識別。

4" 超參數調優

在輸出超參數方面我們主要需要調節的超參數有兩個，object confidence threshold和IoU threshold for NMS。前者用于篩選置信度，代表預測框內為某一物體的概率。設置置信度閾值使高于某一置信度的預測框才在結果中輸出。后者為對NMS的IoU閾值，NMS即非極大值抑制，對其加設IoU閾值可以在目標檢測網絡中生成的許多重復地目標框中去除冗余的目標框，保留置信度高的目標框。

調優原則：一是使源圖像中的每個錐桶盡量只保留一個含正確標簽的錨定框輸出。由于后續進行自主避障時需要用到錨定框的中心點坐標及相鄰兩個中心點坐標的斜率用于轉向判斷，如圖5所示：

圖5" 仿真模擬示意圖

如果對一個錐桶識別輸出多個錨定框，會導致中心點坐標過近或重合，導致小車轉向卡頓或停滯。二是過濾掉個別類別錯誤的誤識別錨定框，紅藍兩色錐桶的類別信息也對轉向判斷起到協助作用，如根據紅色錐桶在順時針行駛時的左側、藍色錐桶位于順時針行駛時的右側的特點，對于部分大角度轉向時只能采集到單側圖像時可用于轉向方向判斷。

實驗在復雜光學場景及密集錐桶目標下進行，左半邊燈光較暗而右半邊較亮，基于HSV顏色模型和opencv圖像處理的傳統視覺模型往往識別效果不佳、設置錐桶擺放較為密集且部分存在遮擋對激光雷達錐桶識別會產生一定影響。基于HSV顏色模型和opencv圖像處理的傳統視覺模型識別效果如圖6。

可以看到，紅色錐桶的識別效果還行但與最右邊黃色柜子的色譜相近、藍色錐桶距離較近的識別效果尚可但遠處的幾個僅可顯示小面積輪廓且受到淺藍色頂棚的干擾。而本錐桶識別模型完全不受周邊其他顏色相近雜物的影響，且能夠將源圖像中的錐桶全部正確識別出來并框中。object confidence threshold默認初始值為0.25、IoU threshold for NMS默認初始值為0.45。將IoU threshold for NMS值從0.3依次步進0.1至0.6效果如圖7-圖10。

從圖7至圖10中看出，隨著IoU threshold for NMS值的增大，出現冗余框的情況開始逐漸頻繁，故IoU threshold for NMS值應該盡量設小，根據本實驗應該設為0.4、0.3或位于兩值之間。而在圖8與圖9中可以看出，兩圖均只有一個冗余框，對同一個藍色錐桶生成了兩個錨定框，其中置信度較小的框顯示數值是：blueluz 0.41。說明模型訓練結果較好，沒有產生誤識別，且應該增大object confidence threshold值至大于0.41可以將該框過濾掉。故在此將object confidence threshold值設為0.45，IoU threshold for NMS值取圖8與圖9中較小的那個設為0.4，其最終識別效果如圖11所示。

5" 模型部署

ROS智能小車的主控機操作系統為Linux下的Ubuntu20.04，為實現模型部署需要為其搭建虛擬環境，在小車上依次下載anaconda3和pytorch，并將上位機得到的訓練權重轉移到小車上。為了方便在ROS小車上的兼容開發，將自帶detect.py文件封裝為可供python程序調用的類。在該類中，我們調用detectapi函數，僅需提供圖像來源（如本文為小車車載攝像頭）和訓練權重，便可以輸出底層自帶的識別錐桶種類，錐桶目標框左上角和右下角坐標以及識別置信度等數據。再通過更改底層邏輯可以進一步輸出每一幀圖片中分別識別到兩色錐桶的個數。根據以上信息可以實現偏轉角度輸出和轉彎條件判斷來完成小車自主避障（圖12）。

以下從兩個角度展示最終部署效果（圖13-圖14），一是利用小車車載攝像頭得到的實時錐桶識別輸出；二是在ROS小車主控機界面上輸出的偏轉角度及紅藍兩色錐桶各自的數量。（簡單的轉彎判斷條件為，當前幀圖像看不到紅色錐桶就最大角度左轉、看不到藍色錐桶就最大角度右轉。）

6" 總結

本次利用YOLOv5模型和自制錐桶數據集實現了錐桶識別并將其部署到ROS小車，實現了小車自主避障。該錐桶識別模型有效提高了在復雜光學場景及密集錐桶目標下的識別準確率。但對于小車自動駕駛而言，自主避障只是基本的啟動步驟，要實現路徑規劃、自主導航等其他功能還有賴于對提取到的視覺信息的進一步開發利用。另外，受限于ROS小車主控機沒有GPU及其自帶攝像頭分辨率較低，其對圖像的處理速度不夠，在小車運動過程中存在掉幀延時現象。后續雖然采用抽樣頻率對圖像采集方式進行優化但仍然存在一定延時。且就比賽要求的小車競速指標而言，目前該錐桶識別模型的高準確率對速度的提升有限，其競速效果雖然比利用傳統視覺的模型好，但不如根據點云信息識別避障的激光雷達，后續考慮將該錐桶識別模型與激光雷達融合來優化競速效果。

參考文獻：

[1]賀宇哲，何寧，張人，等. 面向深度學習目標檢測模型訓練不平衡研究[J]. 計算機工程與應用， 2022，58（5）：172-178.

[2]王瑩，丁鵬. 基于深度學習的交通信號燈檢測及分類方法[J]. 測試與試驗，2018，17：89-91.

[3]郄磊澎，龔家元，等. 基于OpenCV的錐桶識別技術研究與實現[J]. 湖北汽車工業學院學報，2019，33（4） ：50-53.

[4]鄭少武，李巍華，陳澤濤，等. 一種基于多線激光雷達的賽道錐桶檢測及目標點追蹤方法：CN110780305A[P]. 2020-02-11.

[5]黃遙. FSAC賽車雷達障礙物檢測與攝像頭圖像識別研究[D]. 錦州：遼寧工業大學，2019.

[6]代加喜，張友兵，畢棟，等. 基于激光雷達的錐桶檢測算法[J]. 湖北汽車工業學院學報，2021，35（3）：34-37、41.

[7]院老虎，常玉坤，劉家夫. 基于改進YOLOv5s的霧天場景車輛檢測方法[J/OL].鄭州大學學報，1-7 [2023- 01-09].

Research and Application on Cone Bucket Identification Technology Based on YOLOv5

HUANG Jiahui， WU Shilin， XU Jiawei

（School of Mechanical Engineering and Automation， Wuhan Textile University， Wuhan Hubei 430200， China）

Abstract： Based on computer vision theory and object detection algorithm， the cone buckets was realized by using YOLOv5 model and homemade datasets. Then the trained weight was deployed to the ROS smart car to realize the autonomous obstacle avoidance function in the car autonomous driving. Experimental data showed that this paper achieved 97.36%mAP@0.5 by using only 95 pictures and 514 markers after 50 epochs of training， which is very good in the recognition of cone buckets， and has strong generalization ability.This cone buckets recognition model effectively improves the recognition accuracy in complex optical scene and dense cone buckets target.

Key words： YOLOv5; datasets; computer vision; object detection

（責任編輯：周莉）