融合地圖信息的交通燈路口自動駕駛啟停策略

李智 覃小藝 閔歡 張劍鋒 王玉龍

摘 要：為滿足無人駕駛技術中路口啟停的需求，本文提出了融合地圖信息的交通燈路口車輛啟停策略。首先，本文對深度學習模型YOLOv3進行了壓縮、裁剪和優化，用于快速識別交通燈顏色狀態和箭頭信息。其次獲取地圖給出的當前路口信息，包含前方路口是否可以調頭、左轉、直行、右轉以及交通信號燈的數量和每個信號燈對應的功能。然后將交通燈檢測結果與當前路口信息進行匹配，并將檢測結果發送到控制系統，最終控制系統根據導航信息判斷是否啟停。本文提出的策略保證了交通燈檢測準確率，自動駕駛啟停策略不限于固定單一場景，通用性強。

關鍵詞：交通燈檢測;深度學習;地圖信息;啟停策略

中圖分類號：U463.3 ? ? ?文獻標識碼：A ? ? ?文章編號：1005-2550（2022）01-0066-06

Start-Stop Strategy For Autonomous Driving Vehicle At Traffic Lights Intersection Based On Map Information

LI Zhi1， QIN Xiao-yi1， MIN Huan1， ZHANG Jian-feng1， WANG Yu-long1，2

（1. Auto Engineering Research Institute， Guangzhou Automobile Group， Guangzhou 510641， China;2. State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body， Changsha 410082， China）

Abstract： This paper proposes a start-stop strategy for autonomous driving vehicle at traffic lights intersection based on map information to meet the requirement of autonomous driving technology. Firstly， the deep learning model of YOLOv3 is compressed and optimized to quickly identify the color status and arrow information of the traffic lights. Secondly， the current intersection information given by the map is obtained， including whether the intersection ahead can make a U-turn， left turn， straight going and right turn， as well as the number of traffic lights and the corresponding direction of each light. Thirdly the traffic lights detection results are matched with the current intersection information， and the matching results are sent to the control system. Finally， the control system determines whether to start or stop according to the navigation information. The strategy proposed in this paper ensures the accuracy of traffic lights detection， and is not limited to the fixed scene.

Key Words： traffic Lights Detection;Deep Learning;Map Information;Start-Stop Strategy

1 ? ?引言

交通燈路口自動啟停是L4自動駕駛過程中常見的場景，最理想的方案是利用車用無線通信技術（vehicle to everything， V2X）接收交通燈發出的準確信息，以此來判斷前方路口是停車等待還是正常通行。但V2X技術依賴于城市基礎建設，距離全社會普及還需較長的時間。因此，目前的技術方案是利用目標檢測算法檢測前方交通信號燈的狀態，再通過路口啟停算法來決策是否啟停。

駕駛員駕駛時，會通過交通燈信號狀態以及當前路口的情況判斷是否啟停，自動駕駛技術的本質即模仿駕駛員的行為規則，因此交通信號燈能否被準確識別就顯得尤為重要。傳統的紅綠燈識別方法通常是將圖片經過灰度化、圖像銳化、濾波降噪等預處理過程，然后使用直方圖閾值分割法分割紅綠燈，最后基于色調、飽和度、亮度顏色模型（Hue， Saturation， Value， HSV）識別出紅綠燈的顏色狀態[1]。然而傳統方法存在準確率和效率較低的問題，無法應用于自動駕駛場景，因此本文采用深度學習的方法對交通燈進行檢測和識別。2012年Krizhevsky等人提出的深度學習模型AlexNet在ImageNet舉辦的ILSVRC目標識別挑戰大賽中一戰成名，準確率領先第二名11%，相比傳統算法取得了飛躍性的提升[2]。自此，深度卷積神經網絡（Convolutional Neural Networks， CNN）開始在多個領域應用，更多的CNN網絡模型被提出，并取得里程碑式的進展。交通燈檢測屬于目標檢測領域的內容，即檢測物體在圖像中的位置，并識別物體的類別。目前主流的目標檢測網絡可大致分為雙階段（two-stage）和單階段（one-stage）兩類，其中two-stage的代表作是Ross Girshick等人提出的利用候選區域與CNN結合做目標定位的RCNN（Region-based Convolutional Network， RCNN）系列模型[3]，此類模型準確性較高，但效率較低。One-stage的模型包括Wei Liu提出的SSD（Single Shot MultiBox Detector）系列[4]以及Joseph Redmon等人提出的YOLO（You Only Look Once）系列[5，6，7]。這兩個系列的模型都是端到端模型，不需要對圖像做任何前處理，且運行效率較高，因此目前工業界多采用YOLO系列或SSD系列模型。YOLO系列模型目前已更新五個版本，從v1～v5，每個版本都是前一個版本的改進版，其中YOLOv3[7]是工業界使用最廣泛的版本。

得到有效交通燈位置及其狀態后，傳統無人駕駛汽車啟停策略針對的場景比較固定、簡單，一旦遇到與預設不符的場景，策略就會出錯。由于交通燈具有多樣性，且不一定具備方向信息（箭頭），而地圖中的路口信息非常豐富，包含前方路口距離和功能（是否可以調頭、左轉、直行、右轉）以及交通信號燈的數量和每個信號燈對應的功能。因此，為了提高算法的通用性和實用性，本文提出融合地圖信息的交通燈路口車輛自動啟停策略。首先，本文將在YOLOv3模型的基礎上進行壓縮、裁剪和優化，以便快速地對當前路口的交通燈進行檢測，相較傳統算法，可大幅提升檢測準確率[8]，其次提取地圖給出的當前路口信息，如交通燈個數，各個交通燈負責的行駛方向（左轉、右轉、直行和調頭）等，再將交通燈檢測結果與路口信息匹配，得到每種行駛方向的啟停信號，最終根據導航信息判斷是否啟停。本文提出的策略既可以保證交通燈的檢測準確率，又因為融合了大量地圖信息來做決策，因此不拘泥于固定單一場景，通用性強，適用于L4及以下等級的城市自動駕駛。

2 ? ?路口啟停策略

2.1 ? 交通燈檢測算法

為保證交通燈檢測的準確率，本文采用YOLOv3作為交通燈檢測模型進行訓練，輸入為當前攝像頭采集到的圖像，輸出的內容包括交通燈顏色狀態和箭頭信息。由于YOLOv3模型參數較多，部署到自動駕駛汽車上運行效率太低，而交通燈檢測任務中的檢測目標較為單一，可以對模型進行輕量化，且可針對數據集對模型的超參數進行優化。

模型剪枝方法也分為直接剪枝、非結構性剪枝和結構性剪枝三種。本文會先對YOLOv3直接剪枝，即對通道和層數進行刪減，再輸入數據集進行訓練，訓練完成后再根據硬件條件考慮是否將模型進行量化，加速運算。為避免模型精度下降，直接剪枝的原則有以下三條：

1）保持模型整體主要結構不變;

2）對神經網絡某一層進行裁剪時，不影響下一層的輸入特征圖大小;

3）重點考慮刪除算力占用比例大的層或通道。

按照上述原則，原模型有107層，本課題將原模型的32-37、57-62、73-75、80-81、92-93、104-105層剪掉，余86層，其中主干部分通道刪減為原來的1/4。 經過上述剪枝，模型參數量已壓縮到原模型的10%以內，檢測一張圖的時間降低為原來的1/3以下，同時在自有交通燈檢測數據集上準確率僅下降1%。

為增加交通燈檢測算法的穩定性和完備性，本課題采取以下兩個措施：

1）無人駕駛技術中對交通燈檢測幀率（fps）的要求不高，因此算法每隔100ms讀取一次攝像頭的圖像，對之進行檢測。為減低偶爾漏檢誤檢帶來的影響，系統采用卡爾曼濾波跟蹤過去10幀的檢測結果，從而提高檢測算法的穩定性。

2）由于攝像頭的視場角范圍和觀測距離有限，本文采用兩種不同焦距的攝像頭，根據路口距離進行切換，從而保證算法在無人駕駛技術要求的檢測范圍內有效。

2.2 ? 融合地圖信息的交通燈路口車輛自動啟停策略

為增加算法的通用性和泛化能力，本算法融合了交通燈檢測結果、地圖路口信息與導航信息來設計車輛自動啟停策略。算法架構如圖1所示。

首先使用交通燈檢測模型對當前路口的交通燈進行檢測，根據過去10幀圖像（1秒鐘內）的跟蹤結果得到當前交通燈的狀態。接著，從地圖中提取當前路口交通燈個數以及每個交通燈對應的行駛方向，將交通燈狀態與地圖信息相匹配。匹配完成后按照導航信息提取下一時刻行駛方向的交通燈狀態即可。

其中交通燈信息匹配的原則為：

1）交通燈檢測結果中帶方向的狀態直接匹配;

2）剩余交通燈按照路口信息及其方向的相對位置逐一匹配。（如：左轉與右轉方向的燈已匹配完成，若兩燈之間還有未匹配的交通燈，則對應直行方向。）

在實際操作中，地圖的部分信息可表示為交通燈的信息列表，按照交通燈從左至右的排序，列表中的信息為每個交通燈負責的行駛方向。整個啟停策略的流程如圖2中的例子所示：

需要注意的是，若地圖信息中可查詢到除交通燈列表之外的方向信息，說明該方向不受交通燈控制，可直接允許該方向的行駛。除此之外，若在立體交通遇到上下層路口位置相近的情況，則根據地圖信息給出的路口距離，選擇最近的路口信息作為當前路口。

3 ? ?數據采集和處理

目前交通燈檢測的開源數據集較少，且大部分來源于歐洲，所涉場景與國內的場景并不類似，因此本文采集了大量的路口數據。同時由于交通燈目標較小，因此選擇視場角分別為30°和60°的攝像頭同時采集。將攝像頭安裝于前擋風玻璃處，結合兩種攝像頭可保證距離0-100米內的交通燈都清晰可見。為了滿足功能安全的要求，采集的場景需包括不同時間（白天、晚上）、不同天氣以及各種特殊場景等。

采集完成后，需挑選出有有效交通燈的圖片進行標注，每幀圖片需標注標注表1中的屬性。

完成數據標注后，為提高模型的魯棒性，需對數據進行增廣處理，增廣方式包括圖像翻轉、調整圖像的亮度、隨機增加噪聲、隨機裁剪、多圖拼接等。本課題在廣州市采集了一批圖像，經篩選、標注以及增廣后，整個數據集有16437個有效樣本，其中隨機抽取20%的樣本作為測試集，其余樣本為訓練集。

4 ? ?交通燈檢測模型的訓練與測試

在YOLOv3中，首先會預設9個參考框的大小作為目標框的初始大小，初始值設置得越接近目標框大小，模型收斂越快。本文采用k-means聚類方法對訓練集中所有的標注框大小進行聚類，9個類別的聚點值即為參考框大小。然后將經過增廣后的訓練集放入經過裁剪后的模型訓練。訓練使用的硬件是英偉達的Tesla V100計算卡，模型更新迭代1萬次約花費1小時。

模型訓練完成后，便可進行測試。模型的測試指標主要是準確率、檢出率以及運行幀率，準確率為正確預測的正反樣本數與總樣本數的比例，檢出率則為目標框被正確檢出的比例，效率則是模型運行的幀率。

經過10萬次迭代的模型準確率與檢出率在測試集上均達到95%以上，且運行幀率在Tesla V100上達到了50fps以上，在車載運算平臺DRIVE PX2上也能達到20fps以上，完全滿足本文算法所需的10fps的要求。裁剪后的模型相較未裁剪的YOLOv3原模型，效率大大提高，測試結果如表2和圖3所示。若需要將算法部署在其他算力更弱的硬件上，可考慮將模型進行量化（如浮點轉定點），運行幀率更高。

由于交通燈數據集中包含了一天不同時段、不同天氣的場景，因此該算法不受時間段以及天氣影響。對于有些地區特有的情形，比如某地區的矩形漸變燈，只要在數據集中加入此類樣本，本算法便可在這些地區使用。

5 ? ?路口啟停策略驗證

處在路口中，行駛方向最多分為左轉、右轉、直行和調頭四種，目前已通過交通燈檢測模型得到當前路口交通燈信息，通過地圖得到當前路口可行駛的方向，以及幾個方向分別歸屬于哪個交通燈信號，通過導航信息得到自車需要關注的行駛方向。

驗證采用電動車作為線控平臺，擋風玻璃處安裝有兩個單目攝像頭，視場角（fov）分別為30°和60°，控制器采用英偉達DrivePx2，為易于開發，控制軟件基于ROS系統開發。

為了最大程度保障測試安全，在實車測試之前，需多次進行離線驗證。先采集測試路段的數據，包括兩個攝像頭信息、地圖信息以及導航信息，在離線數據流中運行融合地圖信息的交通燈路口車輛自動啟停算法，觀察算法發出的啟停指令是否準確。確保地圖信息完整，且離線測試準確率達到98%以上即可將算法部署到實車環境中，進行實車測試。實車測試將分別在晴天、雨天、陰天進行，路口形狀有十字、丁字等。本課題已在廣州市番禺區多個路段進行離線以及實車驗證，部分場景如圖4所示：

在實車測試過程中，需配合目標檢測模塊一起使用，當自動啟停模塊給出啟動信號時，自動駕駛的控制模塊還需要通過判斷前車距離或者行駛路線上是否有障礙物來確定發送啟動信號后是正常行駛、避障、剎車或跟車。這涉及到自動駕駛中的人、車、障礙物檢測模塊，可行駛區域識別模塊，以及路徑規劃中的避障、跟車等功能模塊，本文篇幅有限，不再做詳細研究。

啟停準確率僅通過本文路口啟停策略發出的啟停信號是否與當前交通燈狀態相符判定。本文在每個路段進行了20次以上的測試，平均路測啟停準確率達到95%以上。其中大學城外環與生物島路段的啟停準確率可達100%。失敗案例主要跟前視攝像頭的視角過窄有關，主要為以下兩種情況：

（1）由于路口過寬，且交通燈位置在路口邊緣，fov30°的攝像頭視角過窄無法覆蓋，而fov60°的攝像頭所能覆蓋的距離過短，因此進入路口之前將有一段盲區，導致啟停策略無法及時發送準確的信號。

（2）由于路口較寬，交通燈位于路口最右側，而自車位于路口最左側車道，交通燈蓋遮擋了攝像頭視線，無法準確判斷交通信號，導致啟停信號有誤。

以上兩種情況可通過更換或者加裝不同視場角的攝像頭來改善。

本文算法目前只在廣州地區進行了試驗，后續將陸續開展其余地區的實車試驗。

6 ? ?結論與展望

本文提出了融合地圖信息的交通燈路口車輛自動啟停策略，該策略使用了基于深度學習的交通燈檢測模型，檢測準確率達到95%以上，較傳統方法大大提升，檢測模型經過輕量化后，效率也達到了實車運行的需求，在車載平臺上的運行幀率達到了20fps以上。其次，該算法融合了交通燈檢測結果、地圖信息以及導航信息分析得出是否啟停的結論，適用于大部分普通場景，在廣州市多個路段測試，啟停準確率達到了95%以上。

由于攝像頭的視場角范圍有限，對于一些特殊場景也許無法做出準確的決策，可以考慮加裝視場角為120°前視單目攝像頭，將視場角范圍擴充，提高準確率，或應采用其他方法提前識別特殊場景，設置緊急應對措施，并提前發出預警，請求人工干預。立體交通中，受GPS技術的限制，有時無法準確定位本車所處路口，可以考慮采用計算機視覺的方法對路口進行識別，增加匹配地圖信息的準確度。總而言之，融合地圖信息的交通燈路口車輛自動啟停策略在V2X尚不成熟之前，可作為一種良好的替代方法。

參考文獻：

[1]桂欣悅，李振偉，吳晨晨，李彥玥.基于MATLAB 的紅綠燈識別系統研究[J].電子設計工程，2020，28（16）：133-136.

[2]Krizhevsky A，Sutskever I，Hinton G . ImageNet ?Classification with Deep Convolutional Neural Networks [J]. Advances in neural information processing systems，2012，25（2）.

[3]Ren S，He K，Girshick R，et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[4]Liu W，Anguelov D ，Erhan D，et al. SSD： Single Shot MultiBox Detector[J]. Springer，Cham，2016.

[5]Redmon J，Divvala S，Girshick R，et al. You Only Look Once： Unified，Real-Time Object Detection[J]. IEEE，2016.

[6]Redmon J，Farhadi A . YOLO9000： Better，Faster，Stronger[C]// IEEE Conference on Computer Vision & Pattern Recognition. IEEE，2017：6517-6525.

[7]Redmon J，Farhadi A . YOLOv3： An Incremental Improvement[J]. arXiv e-prints，2018.

[8]孫迎春，潘樹國，趙濤，高旺，魏建勝。基于優化YOLOv3算法的交通燈檢測[J].光學學報，2020，40（12）：143-151.

專家推薦語

李 ? 凱

東風悅享科技有限公司

智能汽車 ?人工智能 ? 研究員級高級工程師

該論文從智能交通角度提出自動駕駛的路口啟停功能的解決思路，體現了一定的專業功底，具有技術路徑探索的參考價值。