基于多尺度特征表示的城市道路檢測

李駿揚 金立左 費樹岷 馬軍勇

?

基于多尺度特征表示的城市道路檢測

李駿揚①金立左*①費樹岷①馬軍勇②

①(東南大學自動化學院 南京 210096)②(光電控制技術重點實驗室 洛陽 471009)

基于圖像的車輛周邊場景分析是近來車輛主動安全的熱門研究方向，但對于復雜路況的道路識別目前依然是一個難題。該文提出一種適用于城市復雜道路場景的單目視覺路面識別算法。該方法結合多尺度的稀疏編碼，在大尺度上利用道路的局部紋理信息，在較小尺度，特別是中等尺度上利用空間上下文信息，對車輛的可行駛區域進行識別。實驗表明，該方法提高了道路與周邊環境中相似紋理的區分能力；在鋪設良好的結構化道路，或者車道線、路界缺失，光照復雜的道路場景中，該方法都取得了較好的檢測結果。

模式識別；路面識別；路面紋理；多尺度稀疏表示；K奇異值分解(K-SVD)；正交匹配追蹤(OMP)

1 引言

為了提高汽車駕駛的安全性，近年來，研究人員對各種輔助駕駛與無人駕駛系統展開了廣泛與深入的研究，車輛周邊環境的感知是該領域的關鍵技術難題，而基于圖像的車輛周邊環境感知，依然是目前研究的熱點[1]。本文基于車載單目攝像機拍攝的道路場景，針對城市道路的復雜環境，結合局部紋理與多尺度的特征，特別是中等尺度圖像中的上下文信息，對道路進行識別，并在多種環境的測試中取得了較好的結果。

車輛前方的可行駛區域識別是車輛周邊環境感知的重要問題。所謂可行駛區域，一般是指車輛周圍平坦且質地堅硬的區域[2]。道路可以分為結構性道路和非結構性道路。結構性道路一般由車道線明顯地標記出道路的走向，如高速公路和部分鋪設良好的城市道路。僅依靠平坦地勢或前車碾壓維持的野外道路稱為非結構性道路[2]。而位于城市或鄉村的半結構性道路則介于兩者之間，道路可能狹窄、龜裂，或崎嶇不平，鋪設材質多樣，缺少車道線或車道線模糊不清，且路邊常有障礙物遮擋。

常用的城市場景中的道路識別方法包括車道線檢測、道路紋理分類和場景分割等。在結構化道路場景中可以使用車道線的檢測來替代道路識別[3]。基于色彩信息[4]、紋理特征[5]、Gabor特征[6]等局部紋理信息的分類方法也經常被使用。場景分割則利用像素或超像素之間的相鄰關系，將場景劃分為包括道路在內的若干個區域，常用方法有分水嶺、譜聚類、條件隨機場、馬爾可夫隨機場等。另外，消失點[7]、地平線[4]、攝相機參數、GPS和地圖信息[8]等先驗知識的引入也能提高道路識別的準確率。

給道路場景識別帶來困難的一個重要因素是陽光、陰影，以及路面水跡等帶來的劇烈亮度變化。文獻[9]采用光照模型來去除這種干擾，在樹蔭和潮濕路面上取得了一定的效果，但是這種方法無法克服局部曝光過度與昏暗度場景下噪聲的影響。文獻[10]采用隨機游走圖像分割在一些苛刻的環境下對道路進行識別。文獻[11]將稀疏編碼和馬爾可夫隨機場相結合對道路進行無監督分割，但是該方法依然對光照敏感。道路識別的另一個困難在于路面與周邊環境可能具有相似的紋理，如建筑立面、隧道墻壁等。文獻[12]采用的方法注重于紋理的統計特征而忽略了道路的結構信息，在城市道路的識別上效果一般。文獻[13]則使用了多層卷積神經網絡對圖像中的超像素塊進行分類取得了一定的效果。

單純的紋理特征容易受到周邊環境的干擾，因此圖像在空間上的上下文特征將對道路邊界的準確劃分起到重要的作用。圖像的不同尺度會反映圖像的不同信息。大尺度圖像可以反映出圖像的局部紋理特征。而中等尺度的圖像在平滑了道路的細節紋理后，所展現出道路的上下文結構特征，是道路劃分的重要依據。例如，當道路和建筑的紋理相似，從圖像的中間到兩側邊緣，其場景的順序更有可能是道路、植被、建筑，而非道路、植被、道路。對道路局部區域稀疏表示可以反映道路的局部紋理。當圖像尺度縮小后，對較小尺度的圖像進行稀疏編碼則可以更好地反映道路的結構特性，因此，本文利用稀疏編碼，從多個尺度提取圖像特征，并結合局部紋理，對場景中的道路進行分割。

2 多尺度城市道路特征提取與檢測

本文首先對圖像進行金字塔結構的逐層高斯濾波與亞采樣，通過多個尺度的特征識別，逐層提取道路結構與紋理信息。在金字塔的底端，著重于路面紋理，越到金字塔的頂端，周邊信息就包含得越豐富，而在金字塔的中間層，則可以充分地利用道路的結構信息(見圖1)。在每一個不同的尺度中，通過信號重建和奇異值分解(Singular Value Decomposition, SVD)提取含有路面特征信息的字典，然后使用字典對本層圖像的各個分片進行稀疏表示，對多層特征進行聯合。稀疏表示對于道路結構特征的提取是有效的，但實驗表明，在對于城市道路的局部紋理特征的提取上，稀疏表示并不一定能得到最好的效果，本文將底層局部紋理特征與多層稀疏表示相結合，通過機器學習對圖像中的分片進行分類。最后，本文對分類結果進行后處理以確定道路邊界的細節。

2.1無監督路面特征學習

在多尺度的路面特征提取過程中，對每一個尺度的圖片進行隨機分片，并隨機抽取其中的分片，使其均值為0，正規化后進行K均值(K-Means)聚類，作為初始字典，然后通過K-SVD對各層字典進行更新。

2.2 路面的稀疏特征表示

將每一個路面樣本都分解為有限個字典的線性表示，通常可以采用匹配追蹤(Matching Pursuit, MP)算法[15]和正交匹配追蹤(Orthogonal Matching Pursuit, OMP)算法[16]，OMP較MP算法收斂更快。由于字典是過完備的，從數學意義上講，MP問題實際上是一個欠定方程組求解問題。為了滿足矩陣的0范最小(也就是矩陣盡可能地稀疏)，且分解后的誤差最小，該問題可以描述為

2.3 路面檢測器

道路分類的整體結構如圖1所示。

2.4 基于梯度與上下文信息的后處理

參數,和是對不同空間的敏感度的調節，本文實驗中。按照雙閾值的方法，將二值化，向外擴張2個像素，并細化，得到較為連續的邊緣響應E,。對分類器分類的結果F()進行高斯平滑，以模糊鋸齒狀的分類邊緣，并得到G。結合邊緣信息E對道路進行劃分

2.5 算法步驟

算法實現步驟示于表1。

表1算法步驟

3 實驗結果與分析

在實驗中，本文采用了4個數據庫，一個是本文作者創建的多場景道路圖像數據庫(MSRID)，另外3個公開數據庫分別是CVC[9], DIPLODOC[18]和CamVid[19]。MSRID從車載攝像機所錄制的各種場景的錄像中截取700張圖像，將圖片尺度縮小為480×320像素以用于道路識別，并用多邊形手動標記出路面和非路面區域。MSRID采集的圖片分為7個場景：寬幅路面、城市街巷小道、前方有車輛遮擋、日光與樹蔭、黃昏清晨低光照路面、交叉路口和城市隧道。

3.1 底層道路紋理分類

實驗表明，GLCM的分類效果要好于LBP。由于LBP側重于表達紋理的變化，而城市道路往往在紋理細節上并不明顯，使得LBP得到了較多的噪聲信息，所以基于統計的GLCM會得到更好的效果。而在4種不同的色彩空間上，HSV色彩空間會獲得更好的效果。通過實驗，本文選擇HSV空間GLCM特征作為道路底層紋理特征。HSV色彩空間中的LBP和GLCM分類的受試者操作特征(Receiver Operating Characteristic, ROC)曲線見圖2(b)。ROC曲線橫軸為假陽性率(False Positive Rate, FPR), FPR = FP/(TN + FP); ROC曲線縱軸為真陽性率(True Positive Rate, TPR), TPR=TP/(TP +FN)。

3.2 無監督道路特征提取

在每個尺度，對場景圖片提取10萬個隨機分片作為樣本，采用KSVD生成字典。字典僅保留灰度信息。本文采用了6個不同尺度的稀疏編碼，每個尺度都是前者的1/2，且包含150至300個原子。

圖3比較了兩個紋理相似的區域在多層稀疏編碼中的不同表現，并體現出中等尺度圖像在提供上下文信息中的作用。在底層紋理中，車道線和車身編碼相似。在1/2尺度中，車身的編碼基本保持了原樣，車道線則開始呈現。隨著尺度的縮小，車道線逐漸清晰，并在1/16尺度中消失，而1/16尺度的車身圖像編碼中可以看到車輛底部在地面上留下的陰影。在頂層尺度中則很難直觀地看到有用的信息。

3.3 路面分類結果

“SSSR”表示單尺度稀疏表示(Single-Scale Sparse Representation), “MSSR”表示具有個尺度的多尺度稀疏表示(Multi-Scale Sparse Representation)。前綴“T-”表示該方法結合了局部紋理(Texture)，后綴“-PP”表示后處理(Post- Processing)之后的最終結果。在不加入底層紋理時，我們采用逐層遞增的方式對多層稀疏表示的分類效果進行了10折交叉驗證對比，圖2(a)顯示了從單層到6層稀疏表示的分類ROC曲線，表2 SSSR~ MSSR6顯示了不同層數稀疏特征的分類效果，隨著層數的增多，分類效果有明顯提升。

將HSV空間中灰度共生矩紋理特征與6層稀疏表示特征結合，并進行10折交叉驗證，分類效果如圖2(b)和表3的T-MSSR6。與其它文獻的方法相比較，SSSR在道路識別上沒有優勢，MSSR6對道路的識別率有所提升，而底層紋理的引入(T-MSSR6)明顯改善了識別率。Boosting方法具有一定的抗過擬合特性，從圖2 (d)中可以看到，隨著訓練輪數的增加，訓練準確率接近于1，但是分類準確率保持在一個穩定值。表3中Acc高于其它指標的原因在于圖像中擁有大量的非路面區域(TN+FP)。道路識別的命中率Rec體現了路面識別的完整性，而預測率Pre則體現對道路區域的準確性，Pre越高，過檢的區域就越小。

表2 LBP與灰度共生矩在不同色彩空間的路面分類效果比較(%)

圖2 不同的路面分類器分類效果

圖3 相似區域在多層稀疏編碼中的對比(最左列圖像為原始圖像，右側6列圖像給出了不同尺度稀疏編碼中響應最強烈的原子)

表3不同層數的稀疏表示分類器10折交叉驗證(%)

方法AccFRecPre MeanStdMeanStdMeanStdMeanStd CB85.71±0.236.27±0.2457.57±1.6227.23±0.7359.18±3.6031.50±1.0065.09±1.5420.11±1.05 TB89.97±0.564.96±0.5776.90±0.6711.49±0.8879.51±2.6313.00±1.7577.35±2.2816.13±1.05 H-HBT89.62±0.844.38±0.4275.26±1.7811.70±1.6576.45±3.7212.69±1.7476.41±3.2815.05±0.80 SSSR85.13±0.145.78±0.1958.71±0.4323.08±0.9659.08±1.0128.66±0.6468.32±0.6815.77±0.30 MSSR286.09±0.114.79±0.2063.13±0.6016.54±0.7961.42±1.1322.47±0.6471.63±0.5013.61±0.62 MSSR387.70±0.183.82±0.2068.36±0.5511.92±0.6865.53±0.8516.71±0.7975.26±0.6811.79±0.73 MSSR489.61±0.192.87±0.1574.30±0.548.39±0.6072.54±0.7512.20±0.9378.31±0.7510.61±0.65 MSSR591.77±0.102.16±0.1280.09±0.326.52±0.4579.82±0.769.74±0.9681.70±0.648.84±0.77 MSSR693.50±0.071.56±0.1184.52±0.244.90±0.3985.36±0.546.77±0.7984.38±0.527.42±0.56 T-MSSR695.26±0.251.81±0.1388.58±0.585.13±0.3389.15±0.426.37±0.4088.48±1.006.78±0.74 T-MSSR6-PP97.03±0.072.18±0.2192.79±0.195.89±0.6590.80±0.388.64±0.8195.55±0.334.94±0.79

圖像的后處理過程(T-MSSR6-PP)可以對道路分割效果進行進一步的提升(詳見表3中的數據)。后處理是在HSV空間下完成的，實驗表明，周邊被植被覆蓋的道路，或空間可能提供較清晰的路界；而對于色彩差異不明顯的路邊界，空間能提供更好的劃界依據。T-MSSR6-PP較T-MSSR6和MSSR6，在其它指標有所提高的同時，Pre有明顯的提高，這說明后處理可以有效地去除路面的過檢區域。圖2(c)比較了5種不同路面識別方法的ROC曲線，分別為MSSR6, T-MSSR6，以及CB[4], TB[5]和H-HBT[13]方法，通過在MSRID上的對比實驗，本文的方法要優于文獻[4,5,13]提出的方法。

3.4 不同場景下道路識別比較

本文在MSRID的7個不同的場景下進行了10折交叉驗證，分類器是在所有場景下統一訓練得到的，驗證結果如圖4和表4所示。圖4第1行為陽光下的寬幅路面，由于路面色彩偏黃色，所以單純基于色彩的方法無法準確地識別路面；第2行是城市街巷，并結合了彎道；第3行圖片中有大面積的白色車身，在背光的情況下其局部特征與路面接近；在第4和第5行，樹蔭與清晨的濕滑路面造成了路面較大的亮度變化；第6行圖像中的路口左側有寬廣的路面區域，且有車輛遮擋；最后一行是在城市隧道中，隧道墻壁與頂面材質對路面識別有較強的干擾。從圖4的不同的場景中可以看到，本文方法T-MSSR6總體上比其他方法具有更好的識別效果。

表4的數據說明本文的方法適用于多種場景，并分別在這些場景上優于其它文獻提出的方法。本文的方法在寬幅路面、車輛遮擋和交叉路口獲得了最好的識別效果，隧道場景的識別效果次之，而在街巷小道、陽光樹蔭，以及昏暗環境的情況下，識別率略低。在狹窄的街巷，T-MSSR6-PP在Acc指標上與其它場景的平均值相當，但是指標F, Rec和Pre低于其它場景，主要原因是較小的路面面積導致FP和FN給這3個指標帶來更大的影響，而該場景FN+FP的平均值比其它場景平均值低2.5%。樹蔭場景和昏暗場景中路面的亮度變化，以及隧道場景中的隧道壁與路面紋理的相似性，對分類效果略有影響。盡管在不同的場景下有所差異，本文方法在不同場景下各項指標的標準差優于其它文獻提出的方法。

表4 本文方法與其它方法在不同場景下的平均道路分類效果比較(%)

圖4 MSRID數據庫中7類不同場景下，不同路面分類器的分類效果比較(白色區域表示分類器正確的路面分類(TP)，黑色區域表示分類器正確的非路面分類(TN)，紅色區域為分類器過檢測的區域(FP)，綠色為分類器的漏檢區域(FN))

3.5 在其它數據集上的比較

在其它公開的數據庫上，本文方法的實現結果與文獻中其它方法的實驗結果進行了對比。圖5為T-MSSR6-PP在不同數據庫，不同場景中的路面識別效果。對于這些復雜道路狀況，本文提出的方法，均能得到較好的識別效果，并好于文獻中提出的方法(見表5)。

4 結束語

本文通過路面樣本多尺度線性稀疏表示，結合路面底層紋理的識別方法，對路面進行識別，并對路界進行了劃分，該方法既適用于平行的結構化路面，也適用于路況復雜的城市道路。實驗表明，該方法能夠克服光照、陰影、樹蔭、水跡帶來的路面紋理變化，能夠在紋理相似的情況下通過中等尺度圖像中上下文特征對道路進行較為準確的識別。

圖5 本文方法在不同數據庫中的道路檢測效果(第1行為路面原始圖像，第2行為后處理后的最終效果。白色為正確檢測的路面區域(TP)，黑色為正確檢測的非路面區域(TN)，紅色區域為過檢測的區域(FP)，綠色為漏檢區域(FN))

表5本文方法與其它方法在不同數據庫中的識別效果比較(%)

數據集方法AccFQRecPre MeanStdMeanStdMeanStdMeanStdMeanStd CVC[9]I-I Based[9]N/AN/A89.510.0N/AN/AN/AN/AN/AN/A T-MSSR6-PP97.71.896.92.394.04.196.03.497.93.0 DIPLODOC[18]RWA[10]N/AN/AN/AN/A92.83.695.73.596.92.7 T-MSSR6-PP98.10.996.91.694.02.895.62.798.21.6 CamVid[19]App-SFM[20]95.3N/AN/AN/AN/AN/AN/AN/AN/AN/A CPF-CNN7[13]95.5N/AN/AN/AN/AN/AN/AN/AN/AN/A T-MSSR6-PP96.21.093.51.687.82.893.52.893.52.7

注：N/A表示文獻中該數據未提供

[1] Hillel A B, Lerner R, Levi D,.. Recent progress in road and lane detection: a survey[J]., 2012, DOI: 10.1007/S00138-011-0404-2.

[2] Guo C Z, Mita S, and McAllester D. Robust road detection and tracking in challenging scenarios based on Markov random fields with unsupervised learning[J]., 2012, 13(3): 1338-1354.

[3] Yenikaya S, Yenikaya G, and Duven E. Keeping the vehicle on the road - a survey on on-road lane detection systems[J]., 2013, 46(2): 1-43.

[4] Shinzato P Y, Grassi V, Osorio F S,.. Wolf. Fast visual road recognition and horizon detection using multiple artificial neural networks[C]. Proceedings of the Intelligent Vehicles Symposium, Alcalá de Henares, Spain, 2012: 1090-1095.

[5] Graovac S and Goma A. Detection of road image borders based on texture classification[J]., 2012, 9(242): 1-12.

[6] Espinoza R T and Torriti M T. Robust lane sensing and departure warning under shadows and occlusions [J]., 2013, 13(3): 3270-3298.

[7] Kong H, Sarma S E, and Tang F. Generalizing Laplacian of Gaussian filters for vanishing-point detection[J]., 2013, 14(1): 408-418.

[8] Shang E, An X J, Li J,.. Robust unstructured road detection: the importance of contextual information[J]., 2013, 10(179): 1-8.

[9] Alvarez J M and Lopez A M. Road detection based on illuminant invariance[J], 2011, 12(1): 184-193.

[10] Siogkas G K and Dermatas E S. Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection[J]., 2013, 14(2): 527-538.

[11] Liu Y C and Chen H T. Unsupervised scene segmentation using sparse coding context[J]., 2011, DOI: 10.1007/S00138-011-0401-5.

[12] Kang Y, Yamaguchi K, Naito T,.. Road image segmentation and recognition using hierarchical bag-of- textons method[C]. Proceeding of the 5th Pacific Rim Symposium on Image and Video Technology, Gwangju, South Korea, 2011, 7087: 248-256.

[13] Alvarez J M, Gevers T, LeCun Y,.. Road scene segmentation from a single image[C].Proceeding of the 12th European Conference on Computer Vision, Florence, Italy, 2012: 376-389.

[14] Aharon M, Elad M, and Bruckstein A. The K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation[J]., 2006, 54(11): 4311-4322.

[15] Mallat S G and Zhang Z. Matching pursuits with time- frequency dictionaries[J]., 1993, 41(12): 3397-3415.

[16] Tropp J A and Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]., 2007, 53(12): 4655-4666.

[17] Friedman J, Hastie T, and Tibshirani R. Additive logistic regression: a statistical view of boosting[J]., 2000, 38(2): 337-374.

[18] Zanin M, Messelodi S, and Modena C M. DIPLODOC road stereo sequence - FBK technical report Nr 164010[R]. Trento, Italy: Fondazione Bruno Kessler, 2013.

[19] Brostow G, Fauqueur J, and Cipolla R. Semantic object classes in video: a high-definition ground truth database[J]., 2009, 30(2):88-97.

[20] Sturgess P, Alahari K, Ladicky L,.. Combining appearance and structure from motion features for road scene understanding[C]. British Machine Vision Conference, London, UK, 2009.

李駿揚： 男，1980年生，講師，研究方向為模式識別與智能系統.

金立左： 男，1972年生，副教授，研究方向為模式識別與智能系統.

費樹岷： 男，1961年生，教授，博士生導師，研究方向為控制理論與控制工程.

Urban Road Detection Based on Multi-scale Feature Representation

Li Jun-yang①Jin Li-zuo①Fei Shu-min①Ma Jun-yong②

①(,,210096,)②(-,471009,)

Vision-based road detection is a popular area in research of driving security, however, detecting in complex road scenery is still a challenging topic. An approach is proposed to detect drivable road region from monocular images in urban environments. The algorithm is based on multi-scale sparse representation, with local texture in large scale, and context in medium scale. Experiments show that, distinguishing the similar texture of pavements from that of surrounding buildings and obstacles brings a well-performance in structured roads as well as the diverse road environments such as lack of lanes or clear boundaries but full of complex illuminations.

Pattern recognition; Road detection; Road texture; Multi-scale sparse representation; K-Singular Value Decomposition (K-SVD); Orthogonal Matching Pursuit (OMP)

TP391.41

A

1009-5896(2014)11-2578-08

10.3724/SP.J.1146.2014.00271

金立左 jinlizuo@gmail.com

2013-03-04收到，2014-06-13改回

航空科學基金(20115169016)，國家省部級基金和江蘇省自然科學基金(BK20131296)資助課題