霧霾天氣下交通信號燈的識別

李慧淼 方振國

摘? 要：針對霧霾天氣下交通信號燈定位準(zhǔn)確率較低、圖像增強(qiáng)時出現(xiàn)圖像亮度不均勻的問題，該文提出一種基于改進(jìn)的帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)（Multi-Scale Retinex with Color Restoration ，MSRCR）的霧霾天氣下信號燈識別算法。首先利用改進(jìn)的MSRCR算法對有霧圖像進(jìn)行預(yù)處理，校正圖像亮度并豐富圖像細(xì)節(jié)；再利用最大穩(wěn)定極值區(qū)域（Maximally Stable Extremal Regions ，MSER）算法以及信號燈的背板信息確定信號燈的位置；最后將定位區(qū)域轉(zhuǎn)換至HSV空間進(jìn)行信號燈識別。結(jié)果表明，該方法能夠在霧霾條件下有效地定位及識別交通信號燈。

關(guān)鍵詞：霧霾；圖像增強(qiáng)；最大穩(wěn)定極值區(qū)域；交通信號燈識別；MSRCR算法

中圖分類號：TP317.4? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ? 文章編號：2095-2945（2024）19-0035-05

Abstract： In order to solve the problems of low location accuracy of traffic lights and uneven brightness during image enhancement in haze weather， an improved Multi-Scale Retinex with Color Restoration（MSRCR） weather signal recognition algorithm based on color restoration is proposed in this paper. Firstly， the improved MSRCR algorithm is used to preprocess the foggy image to correct the brightness of the image and enrich the image details; then the Maximally Stable Extremal Region （MSER） algorithm and the backplane information of the signal lamp are used to determine the position of the signal l finally， the location area is converted to the HSV space for signal light recognition. The results show that this method can effectively locate and identify traffic lights under haze conditions.

Keywords： haze; image enhancement; maximum stable extreme value region; traffic light recognition; MSRCR algorithm

近年來霧霾天氣頻發(fā)，在城市交通路口，由于駕駛者在行車時能見度較低，無法及時且準(zhǔn)確地判斷交通信號燈的狀態(tài)而發(fā)生交通事故[1]。因此，在霧霾天氣下如何準(zhǔn)確地識別出信號燈的狀態(tài)變得尤為重要。在霧霾天氣下，針對傳統(tǒng)的去霧算法獲得的去霧圖像質(zhì)量不高[2]，交通信號燈的定位準(zhǔn)確率較低的問題，本文提出了一種能夠在霧霾天氣下有效識別出信號燈的算法。

目前，國內(nèi)外研究學(xué)者針對有霧圖像的去霧處理和交通信號燈的識別問題已做大量研究。唐斌等[3]提出一種高亮度與對比度的去霧算法，該方法可獲得細(xì)節(jié)清晰的去霧圖像，由于相同的大氣光強(qiáng)度用于3個顏色通道，導(dǎo)致去霧圖像有少量偏色。李夷進(jìn)等[4]提出一種多尺度Retinex（視網(wǎng)膜大腦皮層理論）色偏恢復(fù)算法與暗通道先驗(yàn)算法相結(jié)合的去霧方法，該算法提升了去霧圖像的可視度和清晰度，但此算法的適用范圍較小。金充充等[5]通過引導(dǎo)濾波對圖像進(jìn)行去霧處理，再利用Harris角點(diǎn)檢測和信號燈的矩形框?qū)π盘枱暨M(jìn)行定位，進(jìn)而識別出交通信號燈，該算法可以提升去霧圖像的對比度，但在復(fù)雜背景下檢測到信號燈的準(zhǔn)確率較低。在交通信號燈定位和識別方面，余澤東[6]首先對源圖像進(jìn)行預(yù)處理，再利用最大類間方差法和Hu不變矩的方法將信號燈的區(qū)域篩選出來，最后利用HSV顏色空間中的H（色調(diào)）分量識別出信號燈的類型，但該方法對背景復(fù)雜的圖像處理效果不好。吳國慶等[7]針對不同顏色的信號燈在RGB顏色空間下的通道直方圖分布存在差異，從而篩選出信號燈顏色，然后基于Radon變換將所選區(qū)域進(jìn)行形狀特征濾波，進(jìn)而識別出信號燈的顏色狀態(tài)，但該方法在光照強(qiáng)度較大的情況下不利于顏色的提取。谷明琴等[8]首先將源圖像進(jìn)行預(yù)處理，其次將候選區(qū)域的圓形度計算出來，再根據(jù)信號燈的背板信息確定信號燈的區(qū)域，最后將該區(qū)域圖像由RGB空間轉(zhuǎn)換至HSV顏色空間，最后通過圖像的H分量的分布特征來識別出信號燈的顏色，但該方法在復(fù)雜背景下的識別率不高。Jia等[9]首先對源圖像做預(yù)處理，將圖像由RGB空間轉(zhuǎn)換至HSI空間并且利用形態(tài)學(xué)處理的方法對候選區(qū)進(jìn)行提取，最后根據(jù)區(qū)域像素信息并結(jié)合模板匹配來識別出交通信號燈的顏色。

本文提出一種在霧霾天氣下能夠有效識別交通信號燈的算法。首先對帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)算法進(jìn)行改進(jìn)，使圖像亮度更加均勻，豐富圖像細(xì)節(jié)，再利用最大穩(wěn)定極值區(qū)域及信號燈的背板信息確定信號燈的位置，最后將信號燈區(qū)域從RGB空間轉(zhuǎn)換至HSV空間，再通過色調(diào)H提供的顏色直方圖統(tǒng)計信息識別出信號燈的顏色。

1? 改進(jìn)算法描述

針對帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)（Multi-Scale Retinex with Color Restoration， MSRCR）算法獲得的去霧圖像細(xì)節(jié)不豐富，亮度不均勻的問題，本文算法在MSRCR算法的基礎(chǔ)上進(jìn)行改進(jìn)，通過高斯環(huán)繞函數(shù)聯(lián)合伽馬變換改善原有算法的光照估計，改進(jìn)的算法既對圖像亮度進(jìn)行校正又豐富了圖像細(xì)節(jié)，同時去霧效果較好。

1.1? MSRCR算法

人眼觀測到的有霧圖像S（x，y）可分解為光照分量L（x，y）和反射分量R（x，y），光照分量能夠反映圖像的光照強(qiáng)度等低頻信息；反射分量能夠反映圖像的內(nèi)在屬性，代表圖像紋理細(xì)節(jié)等高頻信息，其數(shù)學(xué)表達(dá)式如下

。（1）

為了更加接近人眼的感知能力，通常借助對數(shù)變換將式（1）轉(zhuǎn)換至對數(shù)域。

。 （2）

高斯環(huán)繞函數(shù)表達(dá)式為

式中：K為歸一化因子，取值需滿足

的條件，σ為尺度因子。通過高斯環(huán)繞函數(shù)F（x，y）與有霧圖像S（x，y）做卷積運(yùn)算就會得到原圖像的低頻分量，原圖像減去低頻分量得到圖像的高頻分量，采用不同尺度的高斯環(huán)繞函數(shù)提取反射分量再進(jìn)行加權(quán)平均，表達(dá)式為

式中：ωi為第i個尺度高斯環(huán)繞函數(shù)得到的光照分量的系數(shù)，通常各取1/3，取N=3（選擇σ=128，256，512的尺度因子）。

由于對3個顏色通道分別進(jìn)行處理，可能會出現(xiàn)色彩失真問題，MSRCR算法引入色彩恢復(fù)因子Ci（x，y）是第i顏色通道的色彩恢復(fù)系數(shù)，是用來補(bǔ)償去霧時存在的顏色失真問題，表達(dá)式為

式中：β是增益常數(shù)，α是非線性強(qiáng)度的控制因子，本文將β設(shè)置為45，α設(shè)置為125。

MSRCR算法的輸出R′i（x，y）是Ri（x，y）和Ci（x，y）的乘積。

R′i（x，y）=Ri（x，y）Ci（x，y）。（7）

1.2? 優(yōu)化算法

1）通過高斯環(huán)繞函數(shù)F（x，y）和有霧圖像S（x，y）做卷積運(yùn)算，采用不同尺度的高斯環(huán)繞函數(shù)分別提取光照分量進(jìn)行加權(quán)平均，進(jìn)而得到光照分量的估計值為

2）構(gòu)造二維伽馬函數(shù)，利用光照分量的分布特性來調(diào)整伽馬函數(shù)的參數(shù)。對于光照過暗的區(qū)域提高其亮度值，對于光照過強(qiáng)的區(qū)域降低其亮度值，實(shí)現(xiàn)光照不均勻圖像的自適應(yīng)校正[10]，伽馬函數(shù)表達(dá)式為

， （9）

， （10）

式中：G（x，y）為校正之后輸出圖像亮度值；m為光照分量的亮度均值；γ為亮度增強(qiáng)指數(shù)。

3）去除伽馬校正后的光照分量得到物體的反射分量，從而獲得物體的本來面貌。

4）將Ri（x，y）乘以色彩恢復(fù)因子Ci（x，y）得到R′i（x，y）。

圖1為原圖；圖2為MSRCR算法獲得的去霧圖像，圖像顏色過渡不平緩，亮度不均勻，圖像細(xì)節(jié)不突出，人眼看起來不自然；圖3是優(yōu)化后獲得的去霧圖像，看起來明亮自然，細(xì)節(jié)清晰，圖像質(zhì)量有所提升。

2? 信號燈的定位與識別

2.1? MSER算法檢測信號燈區(qū)域

最大穩(wěn)定極值區(qū)域（Maximally Stable Extremal Regions，MSER）[11]是指灰度圖像經(jīng)閾值處理后得到的二值圖像，小于閾值的像素在圖像中顯示為黑色，反之顯示為白色。當(dāng)閾值等于0時，二值圖像為全白；逐漸增大閾值，圖像逐漸出現(xiàn)黑色區(qū)域，這些黑色區(qū)域逐漸由小區(qū)域匯成大區(qū)域；當(dāng)閾值等于255時，二值圖像為全黑。在閾值逐漸增大或減小的過程中，在較大范圍閾值內(nèi)，一些連通區(qū)域面積變化比較緩慢，那么這些區(qū)域就是MSER。

利用本文提到的優(yōu)化算法得到去霧圖像，并將去霧圖像灰度化，如圖4所示，然后利用MSER算法以及交通信號燈的背板信息對交通信號燈進(jìn)行區(qū)域定位，具體步驟如下。

第一步：將灰度圖像通過MSER算法提取出最大穩(wěn)定極值區(qū)域，如圖5所示，其中相鄰區(qū)域的每種顏色代表著一個最大穩(wěn)定極值區(qū)域[12]。第二步：對每個最大穩(wěn)定極值區(qū)域都用等效橢圓目標(biāo)擬合，如圖6所示。第三步：設(shè)通過MSER算法提取出Q個最大穩(wěn)定極值區(qū)域，那么第k個最大穩(wěn)定極值區(qū)域擬合出的橢圓目標(biāo)可記為

， ? ? （12）

式中：（xk，yk）為中心坐標(biāo)，ak，bk為等效橢圓的長軸和短軸，θk為橢圓主軸和X軸的夾角，橢圓離心率的公式為

式中：0

2.2? 信號燈顏色識別

將截取的信號燈區(qū)域由RGB空間轉(zhuǎn)換至HSV空間，HSV空間由H（色調(diào)），S（飽和度），V（亮度）這3個分量組成[13]，對H分量進(jìn)行歸一化處理，根據(jù)不同顏色在H分量的分布范圍不同，如圖8—圖10所示，從上到下依次為紅燈，黃燈，綠燈在H分量上的直方圖，利用顏色直方圖統(tǒng)計能夠準(zhǔn)確地區(qū)分信號燈的狀態(tài)，圖8—圖10的橫坐標(biāo)范圍為0～1，不同顏色在H分量的分布不同；縱坐標(biāo)表示顏色像素點(diǎn)的數(shù)量。

設(shè)區(qū)域總像素的個數(shù)為M，分析圖像中色調(diào)H的顏色直方圖，記3種顏色處于H分布范圍內(nèi)的像素點(diǎn)數(shù)為Nμ，那么Rμ=Nμ/M，μ∈{r，y，g}若Rr>δ，則信號燈為紅燈；若Ry>δ，則信號燈為黃燈；若Rg>δ，則信號燈為綠燈。閾值δ一般選取的范圍是0.50～0.80，本文選取的δ為0.65，通過計算可得圖像中的信號燈是紅燈，如圖11所示。

3? 結(jié)果分析

本文提出的研究方法針對的是圓形的交通信號燈，使用軟件Matlab對上述提出的研究方法進(jìn)行信號燈的識別，通過算法1[14]，算法2[15]以及本文算法依次對交通信號燈進(jìn)行識別，識別結(jié)果見表1。

4? 結(jié)論

本文針對常見的去霧算法獲得的圖像質(zhì)量不佳以及傳統(tǒng)的信號燈定位方法準(zhǔn)確率較低的問題，提出了一種在霧霾天氣下有效識別信號燈的方法。通過對MSRCR算法進(jìn)行優(yōu)化獲得去霧圖像，利用MSER算法和信號燈背板信息對信號燈進(jìn)行定位，再將該區(qū)域圖像轉(zhuǎn)換至HSV空間，利用顏色直方圖統(tǒng)計準(zhǔn)確地區(qū)分信號燈的狀態(tài)。實(shí)驗(yàn)結(jié)果表明，本文提出的研究方法能夠較準(zhǔn)確地識別交通信號燈，準(zhǔn)確率達(dá)90.0%。

參考文獻(xiàn)：

[1] 趙金陽，張?zhí)鹛?霧霾能見度對交通流影響分析[J].科學(xué)技術(shù)創(chuàng)新，2022（33）：22-25.

[2] 張曉東，秦娟娟，賈仲仲.多尺度Retinex在圖像去霧算法中的應(yīng)用研究[J].西昌學(xué)院學(xué)報（自然科學(xué)版），2021，35（3）：60-65.

[3] 唐斌，申紅婷，龍文.使用局部大氣光的單幅圖像去霧算法[J].科學(xué)技術(shù)與工程，2021，21（26）：11246-11252.

[4] 李夷進(jìn)，閆睿，楊峰，等.排水管道圖像霧氣及光斑干擾去除方法研究[J].科學(xué)技術(shù)與工程，2022，22（16）：6599-6606.

[5] 金充充，何立平，朱仲杰，等.霧霾天氣下交通信號燈定位與識別算法[J].浙江萬里學(xué)院學(xué)報浙江萬里學(xué)院學(xué)報，2018，31（6）：61-68.

[6] 余澤東.基于otsu算法和Hu不變矩的交通信號燈識別[J].武漢大學(xué)學(xué)報（工學(xué)版），2020，53（4）：371-376.

[7] 吳國慶，王星星，張旭東，等.基于圖像處理的交通燈檢測技術(shù)[J].現(xiàn)代電子技術(shù)，2017，40（8）：103-106.

[8] 谷明琴，蔡自興，李儀.應(yīng)用圓形度和顏色直方圖的交通信號燈識別[J].計算機(jī)工程與設(shè)計，2012，33（1）：243-247.

[9] JIA L，DONG Y. A new night traffic light recognition method[J].Journal of Physics：Conference Series，2019，1175（4）：62-66.

[10] 李廣豪，席志紅.基于圖像融合的水下光照不均勻圖像增強(qiáng)算法[J].計算機(jī)仿真，2023，40（4）：330-335.

[11] 李英杰，全太鋒，劉武啟.基于MSER的自適應(yīng)學(xué)習(xí)自然場景文本檢測[J].小型微型計算機(jī)系統(tǒng)，2020，41（9）：1966-1971.

[12] 盧軍，胡秀文.弱光復(fù)雜背景下基于MSER和HCA的樹上綠色柑橘檢測[J].農(nóng)業(yè)工程學(xué)報2017，33（19）：196-201.

[13] 王明明，劉姣娣，劉栩廷，等.基于圖像增強(qiáng)與邊緣檢測技術(shù)的蔗芽識別[J].計算機(jī)仿真，2022，39（10）：224-228.

[14] 桂欣悅，李振偉，吳晨晨，等.基于MATLAB的紅綠燈識別系統(tǒng)研究[J].電子設(shè)計工程，2020，28（16）：133-136.

[15] YING J，CHEN X M，GAO P F，et al.A new traffic lightdetection and recognition algorithm for electronic travel aid[C]//Proc.2013 Fourth International Conference on Intelligent Control andInformation Processing.[S.l.]：IEEE Press，2013：644-648.