倒計時交通信號燈的檢測與識別

崔帥華,張楊麗珠,遲明路

(1.河南工學院 智能工程學院,河南 新鄉 453003;2.河南工學院 理學部,河南 新鄉 453003)

0 引言

在復雜的交通場景中,尤其十字路口,一般都設置有交通信號燈:機動車前行指示信號燈簡稱“圓形燈”,方向指示信號燈簡稱“箭頭燈”,倒計時交通信號燈簡稱“倒計時數字燈”。倒計時數字燈可以提供紅燈變綠燈或綠燈變紅燈的時間提示,因此,準確且快速的倒計時數字燈識別系統,可以在輔助駕駛和無人駕駛系統中提供很好的輔助作用,以減少交通事故的發生。

當前的輔助駕駛和無人駕駛交通信號燈識別方法,無論是基于圖像處理、機器學習或深度學習,大多是以圓形燈和箭頭燈為研究對象[1-7],較少針對倒計時數字燈。如劉珂琪等提出的基于圖像增強的交通信號燈識別方法,先采用迭代法對原始圖像進行處理,然后增強HSV色彩空間中V通道圖像的亮度信息,再通過顏色閾值篩選出候選區域,最后通過計算候選區域面積、寬高比來實現交通信號燈的識別[8]。余澤東提出的基于otsu算法和Hu不變矩的交通信號燈識別方法,先對圖像進行預處理、形態學操作和頂帽(top-hat)操作,以提升候選區域的亮度,然后采用otsu算法,設定自適應閾值選取,進行二值化處理,提取各區域輪廓的面積、周長、Hu不變矩篩選檢測交通信號燈候選區域,最后利用交通信號燈HSV色彩空間中的H分量的分布差異,通過顏色直方圖來判斷信號燈的顏色[9]。鄧天民等基于YOLOv5算法進行改進,通過簡化主干網絡中卷積層的數量來提高特征提取效率,并對殘差組件進行密集連接和多層次跨連接,以增強網絡特征融合能力,提升了算法對交通信號燈的檢測與識別能力[10]。

在以上研究的基礎上,本文提出基于YOLOv5、圖像處理、OCR三者相結合的兩種倒計時數字燈檢測與識別方法。

1 基于“圖像處理+OCR”的倒計時數字燈識別方法

本文所設計的基于“圖像處理+OCR”的傳統倒計時數字燈識別方法流程如圖1所示,主要分為3步:

(1)圖像預處理。

(2)字符分割(提取“倒計時數字”)。

(3)OCR識別倒計時數字。

圖1 圖像處理+OCR的數字燈識別算法流程

1.1 圖像預處理

圖像預處理主要是為了使圖像中的交通信號燈感興趣區域與圖像背景形成較大反差,為倒計時數字燈的字符提取創造一個良好的分割環境,主要包括:圖像尺寸歸一化、圖像反轉變換、RGB色彩空間轉HSV色彩空間、圖像濾波處理等,這里介紹兩個關鍵的圖像預處理步驟:

1.1.1 圖像反轉

由于交通信號燈正常工作時處于強發光狀態,而光具有發散性,容易在交通信號燈周圍產生光暈現象。光暈會使交通信號燈整體形狀出現變形,不利于后續倒計時數字的提取與識別,圖像反轉可利用交通信號燈發光能力強與背景反差大的特點,可有效處理光暈現象造成的不良影響。圖像反轉數學表達式如式(1)所示:

g’=255-g

(1)

式中,g表示原圖像的像素值,g’表示反轉后圖像的像素值。

圖像的反轉就是將圖像的亮色發光區域變暗,使圖像的暗色區域變亮,圖像反轉前后的效果如圖2所示。由圖2可以看出, 圖像反轉將發光的交通信號燈區域都轉變為黑色,將光感強度較弱的光暈變為紅色,如此不僅使得交通信號燈的形狀輪廓變得更加規整、凸顯,而且可有效抑制光暈的影響,為后續的字符分割奠定了一個良好的基礎。

(a)原圖像 (b)反轉后圖像圖2 圖像反轉處理效果

1.1.2 RGB轉HSV色彩空間

通常使用相機等圖像采集設備獲取的圖像一般為RGB格式彩色圖像,但RGB圖像易受光照影響,不利于圖像區域的分割,而HSV色彩空間有色調(H)、飽和度(S)、亮度(V)三個通道,對光照敏感度低,可以更好地區分色彩飽和度不同的區域。交通信號燈在正常工作情況下是處于強發光、色彩飽和的狀態,這里利用HSV顏色空間中的S通道將色彩飽和的交通信號燈的亮色區域凸顯出來,對交通信號燈感興趣區域進行區域分割。

首先RGB轉HSV色彩空間原理依據的是公式2),將R、G、B的值分別除以255,使取值范圍從0～255變為0～1。

(2)

然后依據公式(3)篩選出R’,G’,B’的最大值和最小值,求出二者之差。

(3)

最后分別依據弧度計算公式4),飽和度計算公式5),亮度計算公式(6)計算出H、S、V三通道的值。

(4)

(5)

V=Cmax

(6)

RGB轉HSV效果如圖3所示,其中彩色圖像為原RGB圖像,黑白圖像是轉化后HSV中的S通道圖像。可以看出,無論是對于紅色交通信號燈還是綠色交通信號燈,利用S通道都可以很好地將飽和度較強的交通信號燈亮色區域凸顯出來,并使得圖像其他非亮色區域變暗,非常有利于交通信號燈區域的分割與提取。

圖3 HSV中的S通道圖像

1.2 字符分割與提取

經過預處理后的圖像已經為字符分割與提取打下了一個良好的基礎,經過圖像二值化、形態學濾波、連通域標記、圓形度特征篩選、高寬比特征篩選、區域面積篩選、排序等操作后,即可提取完整的倒計時數字,下面介紹字符分割與提取的重要步驟。

1.2.1 圖像二值化

圖像二值化是圖像處理中常用的區域篩選方法,它利用目標和背景灰度值的差異將圖像分為兩個不同的層級。如圖3所示,在圖像預處理后的S通道圖像中,倒計時數字呈現為亮色,背景呈現暗色,因此圖像二值化可以很好地將交通信號燈感興趣區域分割出來。如圖4所示,經過對S通道圖像進行圖像二值化處理后,已經很好地將交通信號燈感興趣區域分割出來,但同時也提取了一部分如車尾燈之類的噪聲區域,由于車尾燈等發光體發光強度比起交通信號燈要弱很多,所以提取的噪聲點比較零散。

圖4 二值化處理后的S通道圖像

1.2.2 形態學濾波

形態學操作主要包括膨脹、腐蝕、形態學開操作、形態學閉操作四類,在圖像處理中常用作處理區域提取不完整或者區域連體等問題,同時也是濾波降噪的好方法。將二值化處理后的S通道圖像先腐蝕后膨脹,如圖5所示,經過腐蝕和膨脹操作,可直接將圖像上小的噪聲點腐蝕掉,并且可以使交通信號燈的邊緣變得更加平滑。

圖5 經過腐蝕與膨脹后的圖像

1.2.3 連通域標記

連通域標記可以將經過閾值分割出來的整體區域再分割成一個個小的區域,以更好地實現字符分割,為倒計時數字的提取作鋪墊。這里對腐蝕與膨脹操作后的圖像再進行連通域標記,如圖6所示,不同顏色的區域就是連通域分割的效果,已經很好地將倒計時數字燈、箭頭燈、圓形燈及其他噪聲點單獨分割出來。

圖6 經過連通域標記后的圖像

1.2.4 字符提取

在不同十字路口,根據不同距離采集了500幅交通信號燈圖像(含箭頭燈、圓形燈、數字燈),最近約為10米,最遠約為100米。如表1所示,分別對倒計時字符(0～9),圓形燈、箭頭燈的高寬比、圓形度進行了統計,其中倒計時字符的高與寬之比(h/w)為1.53～4.83,圓形度為0.12～0.32;而箭頭燈與圓形燈的高寬比(h/w)為0.68～1.12,圓形度為0.45～0.96,并且很多噪聲點的圓形度相比倒計時數字更高,所以依據寬高比(大于1.5)和圓形度(小于0.35),就可將連通域標記后的絕大部分噪聲區域濾除,篩選出倒計時字符。此時圖像中剩下來的噪聲一般都是一些毛刺噪聲點,再經過形態學濾波操作,剩下來的噪聲點的像素面積將更小,這里的像素面積指的是像素點的數量統計值,絕大多數噪聲區域的像素點數一般都在100以內,而統計出來的大約50米以內的圓形燈、箭頭燈、數字燈的像素點數都遠在100以上,因此再根據像素面積篩選基本上可以完全濾除數字以外的其他噪聲點。如圖7所示,經過圓形度、高寬比和面積篩選后的連通域標記圖像,已經濾除了噪聲區域,并將完整的倒計時字符提取出來。

表1 交通信號燈特征統計表

圖7 倒計時數字提取后的圖像

1.3 OCR字符識別

本文選用的是基于Halcon的MLP工業數字OCR,如圖8所示,將“圖像處理+OCR”方法提取到的倒計時字符送入OCR,OCR準確識別了字符。但實驗采用傳統倒計時數字燈識別方法對500張倒計時數字燈圖像對進行測試,僅準確識別了其中的310張,識別準確率為62%(每張圖片識別時間花費約0.58秒),原因是當交通信號燈距離較遠時(50米以外),交通信號燈像素點區域小,加上周圍的車尾燈、LED廣告牌光照等噪聲干擾嚴重,導致噪聲難以被濾除干凈,以至于OCR識別過程中出現較多錯誤,但該方法對于50米以內距離較近的倒計時交通信號燈識別效果較好。

圖8 圖像處理+OCR識別后的圖像展示

2 基于“YOLOv5+圖像處理+OCR”的倒計時數字燈識別方法

由于前面所設計的“圖像處理+OCR”倒計時數字燈識別方法在交通信號燈距離較遠時受噪聲干擾太大,無法很好地提取到倒計時字符,所以本文在這種方法的基礎上提出基于“YOLOv5+圖像處理+OCR”的倒計時數字燈識別方法,具體流程如圖9所示。

圖9 YOLOv5+圖像處理+OCR的倒計時數字燈識別流程

2.1 數字燈ROI提取

YOLOv5算法在COCO數據集上訓練好的模型可以識別80個類別,包含“traffic light”這個類別,所以首先調入訓練好的YOLOv5模型,并對模型最后輸出層類別索引值進行調節,使模型只檢測“traffic light”這一個類別。如圖10(a)所示,YOLOv5模型在檢測目標時生成三個預測框分別將箭頭燈、圓形燈和倒計時數字燈框住,并根據公式(7)和公式(8)計算預測框坐標,可將交通信號燈感興趣區域提取出來。

(7)

(8)

式中,(xl,yl)和(xr,yr) 分別表示預測框的左上角坐標和右下角坐標,(bx,by)表示預測框的中心坐標,(bw,bh)表示預測框的寬和高。依據此方法,YOLOv5模型提取到如圖10(b)、(c)、(d)所示的三種交通信號燈ROI,但這里只需要倒計時數字燈ROI,所以要將YOLOv5模型提取到的箭頭燈和圓形燈ROI濾除,依據圖10中三種交通信號燈ROI尺寸屬性可見,箭頭燈與圓形燈ROI的高與寬之比(h/w)接近3,而倒計時數字燈ROI其高與寬之比接近于1(0.7

2.2 字符提取與OCR識別

提取到倒計時數字燈ROI后,再按照上述基于“圖像處理+OCR”的倒計時數字燈識別方法中的圖像處理方式,對數字燈ROI進行圖像反轉、RGB轉HSV色彩空間、S通道圖像二值化、連通域標記、字符提取操作即可提取完整的倒計時字符,然后將提取到的字符送入OCR中進行識別,其識別效果如圖11所示。由于該方法先提取數字燈的ROI,再提取ROI中的字符,這有效避免了許多噪聲的影響,使得后續圖像處理與OCR識別速度更快,效果更為穩定。經過對500張包含數字燈的圖像進行測試,YOLOv5準確檢測到數字燈ROI區域478張,且OCR準確識別了ROI中的倒計時數字,識別準確率達95.6%,每張圖片識別時間花費約為0.10s,相比“圖像處理+OCR”識別方法有很大的優勢。

圖11 基于YOLOv5+OCR的倒計時數字燈識別效果

3 總結

本文提出了兩種倒計時交通信號燈識別方法,第一種是基于“圖像處理+OCR”的傳統方法,該方法對近距離(50米以內)倒計時交通信號燈識別效果較好,但當距離較遠時,由于噪聲影響過大,識別精度一般。第二種是基于“YOLOv5+圖像處理+OCR”的方法,該方法在第一種方法的基礎上進行了改進,可有效篩選出倒計時數字燈的ROI,并濾除噪聲影響,識別精度較高,在測試數據集上的識別準確率達95.6%。另外,第二種方法對于復雜場景中提取目標區域ROI提供了很好的思路。