基于多顏色空間級聯分類的交通標志圖像顏色標準化

劉 洋,黃大榮,劉 洋,鐘 蔚

(1.重慶交通大學 信息科學與工程學院,重慶 400074; 2.陸軍勤務學院 后勤指揮系,重慶 401331)

0 概述

交通標志檢測與識別是智能交通的重要組成部分,對于交通管理、行車安全以及保證道路暢通等具有重要意義。交通標志圖像顏色標準化是對交通標志圖像顏色數據的規范化處理,其能夠降低交通標志圖像顏色信息的復雜性,有利于交通標志的檢測與識別。

在現實場景中,交通標志圖像顏色易受光照、遮擋、雨霧、顏色退化、拍攝角度、標志制作時顏色標準差異以及圖像收集器材等因素的影響,使得一種顏色存在不同程度的表示和數據差異,呈現出一種顏色到一類顏色的一到多映射關系。交通標志顏色標準化處理即利用一定的方法將發生偏差的同類多種顏色映射到一種顏色,實現同類多種顏色到一種顏色的多到一映射過程,該過程可稱為顏色標準化映射。

在將顏色信息運用到交通標志檢測與識別的研究中,文獻[1]指出了交通標志顏色會受光照、雨霧和風化等影響而變化的問題。文獻[2]基于交通標志顏色穩定性存在的問題和光照對圖像顏色的影響,建立一種自適應的基于神經網絡的顏色分割模型。文獻[3]基于顏色RGB閾值查表的方法進行交通標志圖像分割。文獻[4]基于HSI顏色空間閾值化對彩色交通標志圖像實現分離處理。文獻[5]在HSV顏色空間上采用最大穩定極值區域法對道路標志進行檢測。上述文獻均指出同類交通標志顏色因受外界環境的影響而變得復雜。在顏色標準化處理方法中,文獻[6-7]在RGB空間內利用訓練好的基于BP網絡的顏色分類器對交通標志圖像逐點掃描并進行顏色標準化處理,最終實現圖像的顏色標準化映射。文獻[8-10]選取交通標志顏色的標定值,對顏色的RGB三分量進行閾值化處理,實現24位位圖顏色到8種標定顏色的標準化映射。文獻[11]提出一種針對組織圖像的貝葉斯顏色分割算法,實現了對圖像顏色的標準化處理,并將其運用于骨髓增生異常綜合征(MDS)的醫學圖像檢測中。文獻[12-13]使用9種標準顏色校準玻片采集顏色信息,利用玻片的固有光譜顏色和采集到的顏色形成顏色校正矩陣,運用像素顏色校正矩陣逐像素地將圖像顏色映射到目標顏色。文獻[14]實現了基于期望最大化分割的數字圖像顏色標準化。文獻[15]基于同一顏色空間內單個像素顏色與標準顏色之間的偏差對單個像素顏色進行分類。

上述顏色標準化方法主要是基于訓練好的分類器逐像素地進行顏色分類,關注對單個像素顏色的分類處理,而對圖像像素之間的空間關聯性或像素顏色值在顏色空間中的關聯性考慮不足。本文對交通標志圖像顏色標準映射進行分析,基于RGB空間、HSV空間和YIQ空間顏色之間的關聯性和圖像像素間的空間關聯性,提出一種圖像預處理和級聯顏色分類標準化映射方法。

1 交通標志顏色標準化映射分析

依據國標《道路交通標志和標線第二部分:道路交通標志》(GB 5678.2—2009)規定,交通標志可分為7類道路交通主標志和1類輔助標志,使用的顏色包含白色、黑色、紅色、綠色、藍色、黃色、棕色、橙色和黃綠色[16],分別用W、Ba、R、G、Bu、Y、Br、O、YG進行表示,令集合Aw、Ab、Ad、Ag、At、Aro和Aan分別表示警告、禁令、指示、指路、旅游區、道路作業區和輔助告示類交通標志顏色的集合,則交通標志顏色集合表述如下:

Aw={W,Ba,R,Y,YG}

Ab={W,Ba,R,G,Bu,Y}

Ad={W,Ba,R,Bu}

Ag={W,Ba,R,G,Bu,Y,Br}

At={W,Br}

Aro={W,Ba,R,Bu,Y,O}

Aan={W,Ba}

令某一矩陣的每行表示一類交通標志,從第一行到最后一行依次為警告、禁令、指示、指路、旅游區、道路作業區和輔助告示類交通標志,矩陣每一列表示一種顏色,從第一列至最后一列依次為白色、黑色、紅色、綠色、藍色、黃色、棕色、橙色和黃綠色,可將交通標志顏色進行矩陣化描述為:

求矩陣MA的秩,可得rank(MA)=7。因此,交通標志顏色空間的維度為7,道路交通標志顏色可使用7種關聯性較小的顏色進行線性組合表示,即交通標志顏色可劃分為7個顏色類,每類顏色可映射到其代表色,從而實現同類多種顏色到一種顏色的標準化映射。簡化矩陣MA可得:

由上式可得,矩陣MA的線性無關列向量為白色、黑色、紅色、綠色、藍色、黃色和棕色對應的列向量。基于交通標志顏色矩陣列向量的線性無關性,本文將白色、黑色、紅色、綠色、藍色、黃色和棕色7種顏色所構成的集合作為交通標志顏色標準化的目標映射集合。

2 顏色標準化方法

2.1 顏色標準化方法總體流程

如圖1所示,交通標志圖像顏色標準化處理模型的總體流程為:

1)圖像預處理。如圖2所示,圖像預處理包括:圖像HSV和YIQ轉換,基于OTSU方法[17]的Y值、S值和V值二值化,基于區域RGB統計數據的圖像粗分類[18],基于Y值和V值二值化的圖像逆光判斷。

2)判定為不逆光的圖像通過基于HSV和YIQ空間的級聯分類器進行分類處理,實現同類多種顏色到一種顏色的標準化映射。判定為逆光的圖像則按如下步驟進行處理:

(1)區分高亮度和低亮度區域。

(2)對高亮度區域基于HSV和YIQ空間的級聯分類器進行顏色分類處理。

(3)采用最大類間方差法對低亮度區域的Y值和V值重新進行二值化。

(4)針對重新二值化后的低亮度區域,基于HSV和YIQ空間的級聯分類器實現顏色分類處理,最終進行整幅圖像的顏色標準化映射。

圖1 顏色標準化方法總體流程Fig.1 Overall procedure of color standardization method

圖2 圖像預處理流程Fig.2 Procedure of image preprocessing

2.2 圖像預處理

2.2.1 基于區域RGB統計數據的圖像粗分類

基于區域RGB統計數據的圖像粗分類包括對圖像三角中心區域(Triangular Central Area,TCA)和環狀區域(Circular Area,CA)的RGB均值統計、基于統計數據的圖像粗分類、基于圖像粗分類的參數設置和亮度增強。

1)圖像區域RGB數據統計

如圖3所示,陰影區域為數據統計區域。

圖3 RGB數據統計區域示意圖Fig.3 Schematic diagram of RGB data statistics area

針對常見指示標志、禁令標志和警告標志的形狀特征和顏色分布特性,分別對交通標志圖像的三角形中心區域和環狀區域內的RGB分量數據進行統計,統計數據為圖3(a)和圖3(b)所示陰影區域內像素RGB三分量的平均值。由于圖像亮度易受外界影響,對統計結果進行歸一化處理,計算公式如下:

其中,Rm、Gm、Bm為統計區域的RGB分量均值,max RGBm為RGB分量均值的最大值,NRm、NGm、NBm為歸一化后的統計結果。

2)基于RGB統計數據的圖像粗分類方法

以標準指示類交通標志、禁令類交通標志和警告類交通標志為例,三角中心區域和環狀區域內RGB三分量的平均值統計數據如表1所示。

表1 標準交通標志區域統計數據Table 1 Statistical data of standard traffic sign area

以三角中心區域RGB分量均值統計為例,對29種指示類交通標志、43種禁令類交通標志和45種警告類交通標志進行統計并歸一化統計結果,如圖4～圖6所示。

圖4 指示類交通標志統計數據Fig.4 Statistical data of indicator traffic signs

圖5 禁令類交通標志統計數據Fig.5 Statistical data of prohibited traffic signs

圖6 警告類交通標志統計數據Fig.6 Statistical data of warning traffic signs

如圖4～圖6所示,利用RGB三分量均值最大分量特征(max RGBm)、RGB三分量均值排序特征(Max,Second和Min)和RGB三分量均值距離特征(Di,i=1,2,3),可對指示類交通標志、禁令類交通標志和警告類交通標志進行粗分類。粗分類方法具體如下:

在由max RGBm、Max、Second、Min、D1、D2和D3構成的可對指示類、禁令類和警告類交通標志進行粗分類的特征空間Q中,令集合Ams、Aps、Aws分別代表指示類交通標志、禁令類交通標志和警告類交通標志在該空間的特征集合,有Amps=Ams∩Aps,Awps=Aws∩Aps,Amws=Ams∩Aws,q∈Q。如果q∈Ams且q∈(Amps∪Amws),則q對應的標志為指示類交通標志;如果q∈Aps且q∈(Amps∪Awps),則q對應的標志為禁令類交通標志;如果q∈Aws且q∈(Amws∪Awps),則q對應的標志為警告類交通標志。除上述情況外,q對應的標志為不確定類交通標志。

3)基于圖像粗分類的參數設置和亮度增強

基于圖像粗分類的參數設置為后續級聯顏色分類器設置參數,包括顏色區間參數和黑色補充分類器參數。顏色區間參數設置即在確定交通標志類型的前提下,針對不同類型的交通標志設置映射目標顏色類的H值區間范圍。黑色補充分類器參數設置即在確定交通標志類型的前提下,針對不同類型的交通標志設置一個V值的閾值,當映射目標顏色的V值小于該閾值時,即認為該顏色為黑色。

基于圖像粗分類的亮度增強即在確定交通標志類型的前提下,采取基于V值的二值化進行圖像亮度提升,亮度提升系數如圖7所示,具體方法如下:

(1)將圖像從RGB空間轉到HSV空間。

(2)基于OTSU實現圖像V值的二值化。

(3)V值二值化為1的像素,其RGB分量提升比例為255/V,V為像素亮度。

(4)V值二值化為0的像素,其RGB分量提升比例為255/thresh_v,thresh_v為圖像亮度二值化閾值。

圖7 基于V值的亮度提升系數示意圖Fig.7 Schematic diagram of brightness enhancementcoefficient based on V value

2.2.2 圖像逆光判定

逆光采集交通標志圖像會形成交通標志處于低亮度區、背景處于高亮度區的逆光圖像,如圖8(a)所示。將該圖進行HSV和YIQ轉換,然后采用最大類間方差法進行Y值和V值的二值化,結果如圖8(b)和圖8(c)所示。由圖8(b)和圖8(c)可以看出,由于逆光的緣故,交通標志圖像的Y值和V值二值化效果圖只保留了交通標志的輪廓信息,幾乎未保留交通標志圖像的內部細節信息。

圖8 逆光交通標志及其Y值和V值二值化結果Fig.8 Backlight traffic sign and its binary results ofY value and V value

圖9(a)所示為光照暗淡的交通標志圖像原圖,圖9(b)為Y值二值化效果圖,圖9(c)為V值二值化效果圖。由此可見,在不逆光的情況下,將暗淡圖像采用最大類間方差法對Y值和V值二值化,仍然能夠很好地保留原始圖像的細節信息數據。因此,判別圖像是否逆光有利于圖像預處理后保留圖像數據。

圖9 非逆光交通標志及其Y值和V值二值化結果Fig.9 Non-backlight traffic sign and its binary results ofY value and V value

本文采用的逆光判別方法為圖像中心區域亮度判別法,基本思路為:

1)對原始圖像的Y值和V值進行二值化,得到Y值二值化PBWY和V值二值化PBWV。

2)統計PBWY和PBWV中心區域二值化為1的像素比例,并以此作為圖像中心區域明亮程度的判別條件。令PBWY和PBWV中心區域明亮程度分別為Pbcy和Pbcv,則有:

在分析交通標志圖像圖形特征、顏色數據信息構成的基礎上,如圖10所示,將中心陰影區域作為進行統計的中心區域,該中心區域為矩形區域,大小為圖像總面積的1/16,即:

n1=Width×3/8,n2=Width×5/8

其中,Width為圖像寬度。

m1=Height×3/8,m2= Height×5/8

其中,Height為圖像高度。

圖10 矩形中心區域示意圖Fig.10 Schematic diagram of rectangular central area

3)通過樣本訓練獲得圖像逆光與否的判別閾值Tvbl和Tybl。依據第2步的統計數據,當Pbcv≤Tvbl且Pbcy≤Tybl時,則認為交通標志圖像逆光,需要另做處理。

2.3 基于HSV空間和YIQ空間的級聯顏色分類器

如圖11所示,基于HSV和YIQ空間的級聯顏色分類器由基于Y值和S值二值化的黑白色分類器、基于H值可變區間劃分的紅綠藍黃色分類器、基于YIQ空間的紅棕色分類器和基于圖像粗分類的黑白色補償分類器構成。

圖11 基于HSV和YIQ空間的級聯顏色分類器模型Fig.11 Cascaded color classifier model based on HSV andYIQ space

2.3.1 基于Y值和S值二值化的黑白色分類器

依據國標《中國顏色體系GB/T 15608-2006》規定,白色(White,W)為物體明度大于8.5的中性色,絕對白色(Absolute White,AW)為物體明度為10的理想白色[19]。本文將物體明度大于8.5的中性色稱為泛白色(Generic White,GW)。在實際場景中,絕對白色少見,更多的是泛白色,泛白色是一個相對概念而非絕對概念。

對圖像明亮程度進行分析,泛白色相對于絕對白色而言,其明度小于或等于10。在圖像整體暗淡的情況下,泛白色的明度甚至小于或等于8.5,但相對于圖像中其他顏色(Other Colors,OC)而言,其明度又相對較高。將上述顏色轉換到HSV空間,泛白色的V值小于或等于255,在圖像整體暗淡的情況下,其V值小于或等于217,但相對于圖像中其他顏色而言較高,即:

VGW≤255,VGW≥VOC

同理,在YIQ空間中有:

YGW≤255,YGW≥YOC

因此,泛白色經HSV轉換、YIQ轉換、Y值和V值二值化后,其對應的Y值和V值二值化值(采用OTSU方法)應為1,即BZ_YGW=1,BZ_VGW=1,其中,BZ為二值化的縮寫。

對顏色濃度進行分析,絕對白色在HSV空間中的S值等于0,當S值趨近于0時,其他顏色趨近于白色。因此,有:

SGW≤SOC,SGW→0 ||SGW=0

因此,泛白色經HSV轉換和S值二值化后,其對應的S值二值化值(采用OTSU方法)應為0,即:

BZ_SGW=0。

因此,白色的判別條件為:

BZ_YGW=1, BZ_SGW=0

本文基于上式構建白色分類器。

依據國標《中國顏色體系GB/T 15608—2006》規定,黑色(Black,Ba)為物體明度小于2.5的中性色,絕對黑色(Absolute Black,ABa)為物體明度為0的理想黑色。同上所述,本文將明度小于2.5的中性色稱為泛黑色(Generic Black,GBa)。同理,由:

VGBa≤64,VGBa≤VOC

YGBa≤64,YGBa≤YOC

得:

BZ_YGBa=0,BZ_VGBa=0

且:

BZ_SGBa=0

因此,黑色的判別條件之一為BZ_YGBa=0,BZ_SGBa=0。本文基于此構建黑色初分類器。

2.3.2 基于H值可變區間劃分的紅綠藍黃色分類器

交通標志顏色包括白色、黑色、紅色、綠色、藍色、黃色、棕色、橙色和黃綠色共9種顏色,但是顏色標準化映射到白色、黑色、紅色、綠色、藍色、黃色和棕色共7種顏色。其中,紅色、綠色、藍色、黃色和棕色采用HSV空間區分更直接并符合人類視覺感受。由HSV空間的定義可知,H為色調,S為顏色飽和度,V為顏色明度,H值對顏色的分類起到了主要決定作用。將H值歸一化到[0,1]區間內,可得:

HR=0或HR→1

HG=0.333 3

HBu=0.666 7

HY=0.166 7

HBr=0.083 3

其中,HR、HG、HBu、HY、HBr分別為理想狀態下紅色、綠色、藍色、黃色、棕色的色調值。根據色調相似性可知,同類顏色在HSV空間中其H值是相等或相近的。因此,可構建基于H值區間劃分的紅綠藍黃色分類器,初始H值區間劃分如表2所示。

表2 初始H值區間劃分Table 2 Initial division of H value interval

由于存在顏色偏差,同類顏色在不同情況下會出現H值偏差。基于圖像預處理環節的交通標志粗分類,對于確定的交通標志類圖像,可擴大其相關的顏色區間,壓縮其他顏色區間,從而構建基于圖像粗分類的H值可變區間劃分的顏色分類器。

由于紅色和棕色的理想標準H值在區間[0,0.1]內,2種顏色H值間隔較小,容易引發顏色誤分,因此,本文在分類器后再串聯一個分類器,以對這2種顏色進行再細分。

2.3.3 基于YIQ空間的紅棕色分類器

將圖12(a)所示的紅色樣本和圖12(b)所示的棕色樣本進行HSV轉換,在直角坐標平面內統計樣本圖片中所有像素顏色的H值和S值分布,結果如圖13所示(彩色效果見《計算機工程》官網電子版,下同)。

圖12 紅色樣本和棕色樣本示意圖Fig.12 Schematic diagram of red sample andbrown sample

圖13 直角坐標平面內樣本H值、S值分布Fig.13 Distribution of H values and S values ofsamples in rectangular coordinate plane

在圖13中,紅色區域為紅色樣本H值和S值分布區域,品紅色區域為棕色樣本H值和S值分布區域。在HSV空間中,紅色和棕色的H值間隔小,S值有重復,容易產生顏色類錯分,因此,在HSV空間中對這2種顏色進行分類的可行性不高。

如圖14所示,紅色點代表紅色樣本在IQ平面內的分布情況,藍色點代表棕色樣本在IQ平面內的分布情況。圖15所示為樣本IQ平面分布熱力圖,其為圖14的直接映射圖像。由圖14、圖15可以看出,紅色樣本和棕色樣本分布重合區域較小。因此,在統計YIQ空間IQ平面內樣本IQ值分布的基礎上,可基于YIQ空間對紅色和棕色進行線性分類。

圖14 樣本在IQ平面內的分布情況Fig.14 Distribution of samples in IQ plane

圖15 樣本IQ平面分布熱力圖Fig.15 Thermal diagram of sample distribution in IQ plane

如圖16所示,可利用樣本訓練得到組合的線性分割函數,對紅色和棕色進行較好的分類。

圖16 紅色和棕色線性分割示意圖Fig.16 Linear segmentation diagram of red and brown

線性分割函數L1和L2的計算公式為:

L1→A1I+B1Q+C1=0

(1)

L2→A2I+B2Q+C2=0

(2)

其中,Ai、Bi、Ci(i=1,2)為常數。令Ir、Qr分別為基于H值區間劃分后紅色Cr的RGB值進行YIQ轉換后對應的I值和Q值。將Ir、Qr代入式(1)和式(2)進行計算,則當式(3)和式(4)都成立時,Cr為紅色;否則,Cr為棕色。

A1Ir+B1Qr+C1≥0

(3)

A2Ir+B2Qr+C2≤0

(4)

2.3.4 基于圖像粗分類的黑白色補償分類器

絕對黑色在實際圖像中較少存在,更多的是相對黑色。在HSV空間中,當V值足夠小(V值<0.15時),視覺感知的顏色基本接近黑色,可以忽略H值的影響,僅需一個量化值就可以進行表示[20]。因此,在上文分類器后再級聯一個分類器對黑色進行補償分類,確保黑色完全分類。在不同類交通標志中,相對黑色的色調范圍是可統計的,依據統計數據,對各類交通標志相對黑色的顏色提高歸一化V值閾值;反之,降低相對黑色的顏色歸一化V值閾值。同理,絕對白色在實際圖像中較少存在,更多的是相對白色。基于圖像粗分類的白色補償分類器依據統計數據,對各類交通標志相對白色的顏色設置歸一化V值閾值。

3 實驗分析

3.1 實驗樣本數據和測試數據

3.1.1 樣本數據構成

本文基于中國交通標志檢測數據集[21-23],通過互聯網搜集和人工手動采集了不同情景下道路交通標志圖片共7類200個。其中,標準交通標志圖片共7類56個,實際場景共7類144個。圖17所示為樣本標準交通圖片和非標準交通圖片數據樣例。

圖17 交通標志樣例Fig.17 Examples of traffic signs

3.1.2 測試數據構成

本文基于中國交通標志檢測數據集,選取交通標志圖片共3類5 905個,含指示類交通標志1 640個、禁令類交通標志3 082個和警告類交通標志1 183個。

3.2 實驗結果及分析

3.2.1 圖像粗分類效果

按照交通標志類型對圖像粗分類方法進行測試,令M代表指示類交通標志,P代表禁令類交通標志,W代表警告類交通標志,N代表不確定類交通標志,測試結果如表3所示。以禁令類交通標志為例,表3中絕對正確率和相對正確率的計算公式如下:

絕對正確率=粗分類為P數/標志總數

相對正確率=(粗分類為P數+粗分類為N數)/標志總數

表3 粗分類結果統計Table 3 Coarse classification result statistics

在指示、禁令和警告3類交通標志中,絕對正確率最高的是指示類交通標志,最低的是警告類交通標志,相對正確率最高的是警告類交通標志,最低的是指示類交通標志。造成該現象的原因為:指示類交通標志的顏色較為單一,以藍色和白色為主,利于圖像粗分類,使得指示類交通標志絕對正確率較高;警告類交通標志的主要顏色為黃色和黑色,而黃色為紅色和綠色的調和色,不利于粗分類,使得警告類交通標志絕對正確率較低。

3.2.2 圖像顏色標準化效果

圖18所示為顏色標準化成功圖例,顏色標準化處理后的圖片保留了原圖的主要紋理信息和顏色信息,并且對原圖亮度不一致的同類色區域實現了顏色和亮度校正,降低了圖像的復雜度,提升了交通標志的可識別性。圖19所示為顏色標準化失敗圖例,其雖保留了交通標志的輪廓信息,但對交通標志內部的結構和顏色信息提取較少,降低了交通標志的可識別性。本文所提顏色標準化模型的測試結果如表4所示。

圖18 顏色標準化成功圖例Fig.18 Image example of sccessful color standardization

圖19 顏色標準化失敗圖例Fig.19 Image example of failed color standardization

表4 顏色標準化測試結果Table 4 Color standardization test results

從表4可以看出,本文所提顏色標準化模型取得了較好的效果,顏色標準化成功率從高到低依次為指示類交通標志、警告類交通標志和禁令類交通標志。對比交通標志粗分類的絕對正確率,指示類交通標志的粗分類和顏色標準化效果保持一致,成功率最高;對比交通標志粗分類的相對正確率,警告類交通標志和禁令類交通標志顏色標準化效果和粗分類相對正確率保持一致。因此,提高交通標志粗分類的絕對正確率有助于提升顏色標準化效果。另外,經過統計分析,可知顏色標準化失敗案例主要為低分辨率圖像、中心區域高亮度干擾圖像和噪聲圖像,今后可在圖像預處理和頻域處理上進行改進。

4 結束語

本文在對交通標志顏色標準化映射進行分析的基礎上,提出一種交通標志圖像顏色標準化方法,確立交通標志顏色標準化映射目標集合,通過圖像粗分類和基于HSV-YIQ-RGB多顏色空間級聯分類實現顏色標準化映射。測試結果表明,該方法對交通標志圖像進行顏色標準化時成功率較高。下一步除探究性能更好的交通標志顏色標準化方法之外,還可就交通標志圖像處理問題進行深入研究,以推動交通標志檢測與識別的進一步發展。