基于多特征融合和條件隨機場的道路分割①

閆昭帆,李雨沖,嚴國萍

(長安大學 信息工程學院，西安 710064)

圖像分割是計算機視覺與模式識別領域的重要課題之一,已經被廣泛應用于圖像識別和場景解析等任務中.道路圖像分割作為圖像分割中的一種,是指利用提取的圖像特征,達到分割復雜交通場景圖像中的道路區域與背景區域的目的,為安全駕駛與車輛路線自動規劃提供了重要依據[1,2].道路圖像分割作為一項關鍵技術,在自動駕駛[3]以及機器人的自動導航等領域得到了廣泛的應用.

圖像分割方法主要包括基于紋理,邊緣等圖像特征的分割方法,基于閾值的分割方法,基于超像素的分割方法以及基于像素點特征的分割方法等.基于紋理,邊緣的分割方法是通過邊緣檢測算法或紋理特征提取算法,獲取不同區域間的邊緣或圖像的紋理特征,從而實現對目標區域的劃分.例如田崢等提出一種基于圖像邊緣及紋理特征的道路分割方法[4],但該方法的計算復雜度高,實時性差,只適用于具有清晰邊緣的圖像.基于閾值的分割方法通過確定一個閾值來劃分目標區域與背景,如文獻[5]提出一種基于閾值分割和形態學的高分辨率遙感影像道路提取方法,但該方法抗噪聲干擾性能差,閾值選擇困難,且只適用于前景和背景差異較大的圖像.基于超像素的圖像分割方法將圖像劃分為不同的像素塊作為超像素,然后提取超像素的特征并對其進行分類,從而實現對目標區域的劃分.例如吳實等[6]采用了高效的超像素特征實現了巖屑圖像的準確分割.但該方法需要人工設定超像素的個數,且超像素的數量設定會對圖像分割的結果產生影響.早期基于像素點的分割方法是通過提取像素點的特征,進行逐像素的分類,從而劃分出目標區域[7].例如文獻[8]提出一種基于顏色的分割方法,但是該方法易受光照不均勻和噪聲等的影響.因此需要進一步開展具有較高分割準確率的圖像分割方法研究.

條件隨機場(Conditional Random Fields,CRFs)[9]是一種常用于序列分析的無向圖模型.與基于閾值,顏色,紋理等傳統的圖像分割方法相比,使用條件隨機場進行道路分割存在很大的優勢.首先,條件隨機場可以使用多個特征作為圖像分割依據,確保算法的準確性與普適性[10];其次,相較于有向圖模型,條件隨機場無需提前假設觀測數據的先驗分布和條件分布,且具有較高的準確性[11].同時,一種高效的全連接條件隨機場的近似判別方法的提出,很好的降低了條件隨機場的計算復雜度[12].

針對具有復雜背景的交通圖像,綜合條件隨機場的優勢,本文提出了一種基于多特征融合和條件隨機場的道路分割方法.首先,提取具有圖像描述能力的紋理基元特征和顏色特征,對圖像特征進行定量描述.其次,將圖像的紋理基元特征與顏色特征進行融合,并使用分類器進行分類.最后,將分類器得到的后驗概率作為條件隨機場的一元勢能,同時利用像素的顏色與空間之間的關聯性作為條件隨機場的二元勢能,將分割結果的邊緣進行進一步的平滑,得到更加精細的分割結果.實驗結果表明,該方法可以實現像素級的路面分割,獲得了較高的平均分割準確率和平均像素精度.

1 基于多特征融合的條件隨機場

本文系統框架如圖1 所示,首先提取圖片中單個像素的特征和像素間的特征.其中像素特征包括圖像的顏色,紋理等特征,相鄰像素間的特征是用來表示像素之間的差異性,包括顏色與位置之間的差異.其次,建立條件隨機場模型來實現對交通場景中道路區域的分割.

圖1 基于多特征融合與條件隨機場的道路分割模型

條件隨機場是一種判別式概率模型,現已被廣泛應用于圖像語義分割領域[13-15].圖2 表示本文中的條件隨機場與分割結果間的關系.其中左側部分為條件隨機場模型,右側部分為條件隨機場的分類結果,圓點為圖像中的像素點,點與點之間的連線體現了像素間的相互影響.

1.1 紋理基元特征

紋理基元(Texton)最早由Julesz 提出,他認為紋理基元是組成圖像紋理的基本要素.圖像的紋理特征能夠通過基元的數目,類型以及相互間的空間關系來描述.因此,紋理基元能夠用于區分圖像中不同區域的紋理差異,并已被證實在物體分類和圖像分割方面是有效的[16-19].

紋理基元圖的生成方式如下:首先,使用17 維濾波器組與圖像進行卷積,由濾波響應可以獲得一個Texton 字典,即為圖像的紋理基元特征.然后,使用Kmeans 聚類算法基于Texton 字典對像素點進行聚類.最后,圖像中的每一個像素都被歸屬至距離其最近的聚類中心,獲得圖像的紋理基元圖.本文實驗中所采用的交通場景圖片的紋理基元圖如圖3 所示.

圖2 條件隨機場與分割結果的關系圖

圖3 交通場景圖像的紋理基元圖

根據圖3 可以發現,紋理基元圖與標注圖存在明顯差別,部分道路與車輛及綠化帶被劃分為一類,而另一部分道路與天空劃分為一類.因此,若僅使用紋理基元特征來進行分類,當圖像的分辨率發生變化時,得到的紋理特征會產生較大偏差,無法將路面從復雜的交通場景圖片中準確的分割出來.

17 維的紋理基元濾波器組是由不同尺度的高斯平滑濾波器,高斯差分濾波器,高斯拉普拉斯濾波器組成的.3 種濾波器在尺度為k時分別被定義為:

其中,G(u,v)表示高斯濾波器,在實驗中其尺度分別被設置為1k,2k,4k,LOG(u,v)表示高斯拉普拉斯濾波器,在實驗中,其尺度分別被設置為1k,2k,4k,8k.Gx(u,v)表示x方向的高斯差分濾波器,對應的y方向的高斯差分濾波器為Gy(u,v).在實驗中,其尺度分別被設置為2k 和4k.將圖像在CIELab 顏色空間中的L,a,b 3 個通道分別3 個不同尺度高斯平滑濾波器進行卷積,獲得9 維濾波響應.將圖像的L 通道與4 種不同尺度的高斯拉普拉斯濾波器進行卷積,獲得4 維濾波響應.將圖像的L 通道分別與x方向和y方向上2 種不同尺度的高斯差分濾波器進行卷積,獲得4 維濾波響應,組合所有的濾波響應則可得到Texton 字典.17 維濾波器組如圖4 所示.

圖4 17 維濾波器組

1.2 顏色特征與特征融合

對于交通場景圖像中不同區域,最顯著的差異為在圖像中顯示顏色的不同.對于圖像,像素點的RGB 值是其最直觀的解釋且對圖像的分辨率較為魯棒,已被廣泛用于圖像分割等多個方面.

將圖像中每個像素的RGB 值作為其顏色特征可以實現圖像的分割.但是存在交通場景圖像中的背景區域與道路區域在顏色上非常相近的問題.并且圖像的顏色特征受光照,遮擋,陰影等的影響,單純依靠圖像的顏色特征無法準確的對路面進行分割.為使目標和背景的差異最大化,本文融合了具有良好抗噪性能的紋理特征和對圖像分辨率魯棒的顏色特征.融合方法為:

其中,F為融合后的特征,Ft為提取到的紋理基元特征,為提取的圖片的顏色特征.融合后的特征可以對兩種特征的優勢進行結合并對劣勢進行互補,能夠更加容易的區分路面區域與背景區域,為訓練分類器做準備.

1.3 條件隨機場

在提取圖像的顏色特征與紋理基元特征后,雖然已經能夠實現初步的圖像分割,但是分割結果往往比較粗糙,且準確率較低.如果結合全連接條件隨機場,加入圖像位置和顏色信息進行二次分割,可以獲得更為精細準確的分割結果[20].定義在數據集{X1,X2,…,XN}上的一個隨機場X,其中還Xi表示像素點i所對應的像素級的圖像標注類別,N表示像素點的個數,得到標注集合L={l1,l2,…,lk},其中K表示類別數,lk表示類別.假設存在另一個隨機場I={I1,I2,…,IN},Ij表示第j個像素點的顏色向量.則一個條件隨機場(I,X)可以由一個吉布斯分布表示為:

其中,Z(I)為 歸一化因子,E(X|I)為吉布斯能量函數,簡稱為E(X).E(X)具體表達式如下:

其中,i和j都∈{1,2,…,N};ψu(xi)為一元勢函數,可以具體的表示為:

其中,P(xi)表示像素i屬于某個類別的概率,即道路與背景.ψp(xi,xj)為二元勢函數,可以表示為:

其中,μ(xi,xj)為標簽兼容函數,表示不同標簽之間的兼容性,當xi≠xj時μ(xi,xj)=1,否則等于0;ω為權重;P表示位置信息;I為像素點所對應的顏色向量;θα,θβ和θγ為常參數.

由式(7)可知,像素點的顏色越相似,位置越接近,越有可能被分配到相似的標簽.通過最小化式(5)中的能量函數,就可以得到最優的分類結果.由于P(X)的精確分布不容易求得,所以使用平均場近似的方法[12],通過最小化Q(X)=∏Qi(Xi)與P(X)的 KL 散度D(P||Q),計算出一個分布Q(X)來 近似的表示分布P(X),最后得到最優分類結果.

條件隨機場在本文算法中使用融合后的特征作為分類器的輸入,并將分類器的輸出作為全連接條件隨機場的一元勢能.在道路分割中,路面通常是一塊較大的連通區域并且路面與背景的邊界的顏色通常會產生明顯的變化,因此,條件隨機場的二元勢能對小規模的孤立區域進行較大的懲罰,最終得到一個平滑的分割結果.

2 實驗與分析

2.1 實驗數據

本文使用文獻[8]中Alvarez 等收集的用于路面分割的數據集進行實驗.該數據集包括755 張含有路面的交通場景圖像,收集于黎明、上午、中午、下午等不同的時間段與陰天,雨天、晴朗等不同的天氣狀況下,每張圖片包含建筑物,綠化帶,交通工具,行人等背景信息.每張交通場景圖像的尺寸大小為640×480.標注圖的尺寸與原始圖像相同,并使用黑白兩種顏色表示不同的類別.由于受光照不均勻等拍攝狀況的影響,首先對圖像使用直方圖均衡化進行增強.其次,在實現過程中使用的一元勢函數源于SVM 分類器,訓練集使用數據集中50%的圖片,其余50%的圖片為測試集.

2.2 評價指標

基于圖像的道路分割問題的本質是對每個像素進行二分類.對于分割后的圖像,本文使用ROC 曲線下的面積(Area Under ROC Curve,AUC)和平均像素精度(Mean Pixel Accuracy,MPA)對模型的性能進行定量評價.對于每個像素,分類情況如表1 所示.

表1 分類結果的混淆矩陣

表1 將模型預測得到的像素所屬類別與該像素的標簽比對后可以得到:真陽性(True Positive,TP),假陽性(False Positive,FP),真陰性(True Negative,TN),假陰性(False Negative,FN)4 類結果.則MPA被定義為:

其中,i={1,…,N},N為分割的區域數,Nai表示在第i類區域中被正確分類的像素數,Nti表示第i類區域包含的像素總數.在道路分割問題中,N的值為2.MPA表示每一類像素的精度的平均值,取值范圍是0 到1,其值越大則表示分割精度越高,即有更多的像素被正確的分類,當MPA為1 時表示所有像素點均被準確分類.ROC 曲線的縱軸是“真正例率”(TPR),橫軸是“假正例率”(FPR),兩者分別定義為:

TPR與FPR的取值范圍為0 到1,TPR的值越大,FPR的值越小表示模型的性能越好.對應于AUC 值的取值范圍為0.5 到1,表示模型的平均分割準確率.當取值為1 時,模型的性能最好,表示所有的像素全部被正確的分類.

2.3 實驗結果

為確定條件隨機場中超參數θα,θβ和θγ對分割結果的影響,使用網格搜索法對參數值進行比選,最終確定其值分別為5,10,20.本文算法可以實現交通場景圖像的有效分割,可以較為精確的將圖像劃分為道路區域與非道路區域.首先,將本文算法與未使用條件隨機場的二元勢能的分割模型進行比較,分割結果如圖5 所示.其中第1 列為原始交通場景圖像,第2 列為標注圖,第3 列為本文方法的分割結果,第4 列為僅使用一元勢能的分割結果.

圖5 本文使用方法與僅使用一元勢能方法的分割結果比較

從圖5 可以看出,如果僅使用條件隨機場的一元勢能進行分割,即直接使用融合后的特征進行逐像素分類,可以實現交通場景中車輛及行人輪廓的粗糙分割.但由于未加入二元勢能的位置約束與顏色約束,導致分割邊緣不清晰,且存在零散的像素級的誤分割,不符合分割區域的連通特性.如圖5 的第4 列,背景區域中存在很多被認為是道路區域的零散像素點.本文提出算法的分割結果中的誤分割現象相對較少,對于圖像的細節部分,例如原始圖像中行人的四肢,車輪以及路燈等的對路面的遮擋等,本文算法可以實現這些區域的精細分割并且存在較為平滑的分割邊緣.實驗證明,在本文方法的分割結果中,孤立的小規模的區域減少,分割結果更加平滑,可以實現對一些細節的準確分割.

首先,為確定本文算法的有效性,使用本文方法與傳統的圖像分割方法進行比較.其次,為確定多特征融合相較于單一特征的優勢,將本文算法與僅使用單一顏色特征或單一紋理基元特征與條件隨機場模的分割型進行比較.表2 給出了本文方法與其他分割方法在同一數據集上的平均準確率和平均像素精度的比較結果.

表2 不同方法的平均分割準確率和平均像素精度

從表2 可以看出,本文方法獲得了最高的平均分割準確率和最高的平均像素精度,相較于基于閾值的分割方法,兩個評價指標分別提升了約15.2%和15.3%,相較于僅使用單一顏色特征作的方法,兩個評價指標分別提升了約4.0%和3.2%,相較于僅使用單一紋理基元特征的方法,兩個評價指標分別提升了約3.2%和4.1%,證明了本文提出的方法是一種有效的道路分割方法.

3 總結

本文結合多特征與全連接條件隨機場的優點,提出了一種基于多特征融合和條件隨機場的道路分割方法.首先,基于像素分別提取圖像的顏色特征與紋理基元特征,其次,將提取到的特征進行融合,使用SVM 分類器實現基于像素的道路區域與非道路區域的劃分,并將得到的后驗概率作為全條件隨機場的一元勢函數.最后,利用像素顏色與位置之間關聯性作為全連接條件隨機場的二元勢函數,得到最終的分割結果.實驗結果表明,條件隨機場可以很好的用于道路分割,針對真實條件下采集的交通場景數據集具有一定的有效性,獲得了95.37%的平均分割準確率和94.55%的平均像素精度,具有較為精細的分割結果,在道路分割方面具有有效性.但是,對于準確性要求較高的場景,本文提出的模型仍具有一定的局限性.需要進一步開展研究來解決這一問題.