基于序列圖像車道線檢測的自主導向方法

許艷偉, 李 建

(同方威視技術股份有限公司,北京 100084)

隨著電子技術的發展和經濟的增長,無人駕駛智能車輛已經在安檢、快遞等行業中得到了廣泛的應用[1]。

無人駕駛智能車輛通過搭載的各種傳感器感知附近的道路信息,并且能夠及時處理該信息,從而規劃出合適的行進路線[2]。視覺導向是指利用車載攝像機獲取當前環境圖像,通過機器視覺算法,計算出智能車的當前位置,并對其下一步行動做出規劃控制。隨著電子技術的發展,計算機運算性能和攝像機獲取圖像清晰度的提高成為智能車自主導向的優選研究方向;而且,視覺導向系統成本低,對行駛環境要求低,圖像可挖掘的信息量大,是無人智能車較為主流的導向系統。

基于機器視覺的車道線檢測技術為無人智能車行駛提供決策控制信息。車道線的位置信息[3]和形狀特征[4]是車道線提取的核心信息。通過機器視覺算法,提取圖像中的車道線區域,計算出車道線和智能車的相對位置,進而控制智能車的行駛。根據車道線提取算法的原理不同,車道線提取方法可以分為基于模型的方法和基于特征的方法兩類[5]。

基于模型的方法對常見車道線的幾何形狀進行建模,采用曲線模型來描述車道線,從而獲得準確的車道線區域。文獻[6]提出了直線結合拋物線模型的方法獲取車道線,該方法對遠景區域道路使用拋物線模塊,對近景區域道路使用直線模型,實現對車道線區域的提取。文獻[7]提出了基于雙曲線模型的車道線檢測方法,該方法將圖像中車道線區域分模塊處理,對每個模塊區域內的車道線像素進行聚類,結合車道線消失點的位置,進而計算出雙曲線模型參數,實現對車道線的檢測。文獻[8]提出了B樣條曲線模型方法,采用逆投影變換算法將車道線圖像轉換成鳥瞰圖,對圖像進行平滑濾波算法處理,采用隨機采樣一致性算法,擬合出車道線輪廓[8]。

基于特征的方法使用車道線區域的圖像信息[9],采用區域生長、閾值分割等算法檢測車道線,采集幾何形狀和顏色等車道線的特征。文獻[10]提出了一種基于逆透視投影法和自適應閾值的亮度變換方法提取車道線特征。文獻[11]提出了一種基于車道線邊緣特征的檢測方法,該方法對圖像處理算法進行了優化,提高了車道線檢測的精度,降低了算法耗時。在該方法中,車道線輪廓特征提取會受到輸入圖像噪聲的干擾。因此,當車道線輪廓特征提取忽略顏色特征時,容易受到各種不穩定因素的干擾,如光照、干擾物陰影等,從而導致車道線提取失敗。

基于上述問題,本文提出了一種基于序列圖像車道線檢測的自主導向方法。首先,將彩色攝像機安裝在車體的前方,采集地面彩色車道線的RGB圖像,將RGB圖像轉換成HSV圖像格式,設定車道線的感興趣區域(Region of Interest,ROI),對S和V通道的圖像采用提出的區域垂直斜分OTSU算法分割出車道線區域;然后融合H、S、V通道的二值化圖像,通過Canny算子對融合后圖像的車道線進行邊緣提取,結合提出的參數約束Hough變換辨識出車道標識線;最后,根據連續序列圖像中識別出的車道線位置,結合軌跡預測算法,計算出車體的位姿,依據建立的路徑跟蹤模型,輸出導向控制策略,進而控制無人智能車的左右打輪幅值,系統流程圖如圖1所示。該方法可以適用于不同的干擾和光照工況,增強車道線辨識的魯棒性,提高導向的精度。

圖1 基于序列圖像車道線檢測的自主導向方法流程圖

1 圖像車道線分割

1.1 圖像預處理

目前,在車道線導向方面,常用的方法仍是提取顏色信息和幾何特征方法[13]。在實際應用中,目標模塊提取的閾值會隨著檢測距離、天氣、時間等因素的不同而改變,特別是在光線突變時,檢測出的車道線丟失較多。因此,為提高基于顏色信息提取車道線的魯棒性,本文利用HSV模型的特點,對彩色車道線進行了檢測,較大程度地提高了車道線檢測的精度與穩定性[12]。

對于車道線,當光照發生變化時,其顏色的R、G、B分量值都將發生明顯變化,而其 H通道和S通道的灰度值幾乎保持不變(紅色除外),V通道灰度值發生較明顯變化。因此,將RGB彩色圖像轉換為HSV色彩模型的圖像,結合H、S、V這3個通道的圖像特征,進行彩色圖像分割,能提高車道線特征提取算法對光照變化的魯棒性。

在機器視覺領域中,根據目標出現范圍,將圖像中部分區域作為目標候選區域,稱該區域為ROI。

智能車前方包含車道線的圖像區域是檢測任務的重點區域,從該圖像區域中,選取合適的ROI,能有效排除遠處的干擾物,同時減小圖像尺寸,提高特征提取的魯棒性,減少計算量。

1.2 區域垂直斜分OTSU車道線自適應閾值分割

在傳統OTSU閾值分割算法中,對于大小為M×N的圖像f(m,n),使用向量[f(m,n),g(m,n)]表示時,定義并計算其二維直方圖。將其二維直方圖定義在一個大小為L×L的正方形區域內,其橫坐標f(m,n)代表圖像的像素灰度值,其縱坐標g(m,n)代表此像素的鄰域平均灰度值。直方圖上任意一點的值定義為Pij,它表示的是向量(i,j)出現的頻率,向量(i,j)表示的是[f(m,n),g(m,n)],且有0≤i,j

(1)

圖2為圖像的二維直方圖的定義域。利用門限向量(s,t)可將圖3所示的原始圖像的二維直方圖按定義域分割為4個區域。由于目標或背景內部像素之間有很強的關聯性,其像素灰度值和鄰域灰度平均值非常接近;而處在目標或背景邊界的像素點的灰度值和鄰域灰度平均值差異就很大。基于以上對圖像的認識,圖3中的區域0對應背景,區域1對應目標,而區域2和3代表邊界附近的像素和噪聲分布。在通常情況下,處于邊界附近的目標信息和噪聲像素點數量與單幅圖像的像素數量相比較少,因此假設在區域2和3中Pij≈0[14]。

圖2 圖像的二維直方圖的OTSU定義域

圖3 原始圖像及其二維直方圖

由圖3可知,二維直方圖中的像素點基本都分布在主對角線附近,由于傳統OTSU算法在區域分割時,忽略了區域2和3的邊界附近的像素和噪聲信息,導致在計算閾值時出現偏差,降低了目標區域分割精度。為了減少錯分像素點對圖像分割性能的影響,在進行區域分割時,應將有效的數據點劃分為目標和背景區域。

針對上述問題,基于二維直方圖區域分割方法,本文提出一種基于最優閾值點的區域垂直斜分OTSU算法。在該算法中,(s,t)是二維OTSU的最佳分割閾值,新的劃分方式是過閾值點(s,t)畫一條如圖4中虛線所示的直線AB,該直線與過(s,t)的直線OD垂直,將基于向量[f(m,n),g(m,n)]的二維直方圖劃分為目標和背景兩部分。該分割線的幾何方程為t2+s2-si=tj,(i,j)為直方圖中的點,最佳閾值線為直線AB。

圖4 二維直方圖OTSU區域斜分示意圖

將直線AB切割得到的直方圖兩側區域分別命名為C0、C1,C0與C1的類概率為

(2)

類均值為

(3)

(4)

二維直方圖上總的均值矢量為

(5)

顯然有

mt=ω0·m0+ω1·m1

(6)

在進行圖像二維閾值分割時,關于區域的類方差定義為

(7)

(8)

則關于圖像總的類方差可定義為

v=v0+v1

(9)

則求取最佳閾值的準則函數為

(10)

圖像的閾值分割方式為

(11)

式中:r(x,y)為分割圖像坐標(x,y)處的值。

通過傳統OTSU算法和本文算法分別對不同的原始圖像進行分割與比較,如圖5所示,從圖5中可見,針對黃色導向線和紅外汽車圖像的分割,由于圖像中存在噪聲和灰度中間值,導致圖5(b)和圖5(e)中的傳統OTSU算法不能有效地提取出目標區域。本文提出的算法,利用區域垂直斜分,很好地解決了目標和背景連接處的灰度中間值問題,可以有效提取目標區域。

圖5 不同分割方法效果圖

2 車道線檢測及導向策略

2.1 車道線的邊緣檢測

在視覺導向系統中,當攝像機在拍攝圖像時,光照不理想、存在場地隨機干擾物等情況都會使圖像質量變差,導致閾值分割后的圖像邊緣凹凸不齊。

使用形態學處理方法,從殘缺、畸形的形狀中獲取車道線幾何形狀特征,須先采用膨脹運算,為檢測到的

車道線區域邊界增添像素點,再使用腐蝕運算來刪除孤立多余的像素點。結合膨脹運算和腐蝕運算來執行閉運算,進而獲取完整的車道線幾何形狀特征。

針對形態學處理后的二值化圖像,采用基于雙閾值的Canny邊緣檢測算子,其中檢測值大于閾值上界的為強邊界,小于閾值下界的不是邊界,兩者之間的為弱邊界,通過弱邊界圖像對強邊界圖像進行檢測,填補缺失的邊緣。基于雙閾值的Canny邊緣檢測算子能有效地剔除噪聲干擾,獲取完整的邊緣,準確提取單像素寬的車道線邊緣特征。Canny 算子模板檢測效果如圖6所示。

圖6 Canny算子模板檢測效果

2.2 參數約束的Hough變換

Hough變換是從圖像中識別幾何形狀的基本方法,其將圖像坐標變換到參數空間,變換的實質是利用點與線的對偶性,將圖像空間內具有一定關系的像元進行聚類,進而求解參數空間中的峰值。

在直角坐標系中,直線的方程用y=kx+q表示,該形式的直線方程不能表示x=c形式的垂線 (此時垂線斜率為無窮大,即k→∞),因此采用參數方程:

ρ=xcosθ+ysinθ

(12)

式中:ρ為直線到原點的法線距離;θ為法線與對應的x軸夾角;車道線圖像的點映射到參數空間ρ-θ是直線。

Hough變換的幾何解析性簡單,魯棒性好,但也有一定的局限性:若ρ和θ量化的精度過高,則圖像的計算量增大,相反則參數空間的聚類效果較差;參數空間形成后,若閾值選取較大將造成漏檢,若閾值取值過小又會形成許多虛假直線。

利用Hough變換能夠提取出車道線,但也容易將人行橫道、道路減速帶、路邊圍欄等具有直線特征的對象檢測為車道線,因此必須剔除干擾因素,并準確提取車道線的端點坐標。

針對Hough變換的缺陷,結合視覺導向的需求,提出一種基于參數約束的Hough變換算法,改進方法如下:

(1) 累加最大點數約束。

在圖像坐標空間中,遍歷全部像素點(xi,yi),通過Hough變換,計算出對應的參數點(ρi,θi),建立參數空間下二維累加數組A(ρ,θ),遍歷所有的累加數組,依據設定的交點數量閾值,將累加值數量大于閾值的最大3組單元作為直線參數。

(2) 極角約束。

在設定的感興趣區域內,根據車道線在圖像中的特性,篩除斜率過大和過小的直線,即約束極角θ的范圍。本文將車道線參數極角約束為θ∈ [-45°,45°]。

圖7為改進后的參數約束 Hough算法檢測效果圖。通過對比,約束后的 Hough 變換剔除了橫向直線和短直線等的干擾,正確地提取了車道線特征。

圖7 參數約束Hough算法效果

2.3 導向控制模型

視覺導向的無人駕駛智能車輛行駛控制與駕駛員實際駕駛車輛行為相似,通過連續感知前方車道線信息,經過相應圖像算法處理,預測車輛將要行駛的路線,結合前方車道線信息進行不斷修正,使得車輛能按照規劃的軌跡行駛。

在自動導向中,利用車道線檢測算法,計算出行駛中車輛的當前位置坐標;然后采用線性回歸模型,結合前序時刻的車輛位置坐標,擬合出車體姿態,輸出車體的偏移狀態;同時預測下一時刻車輛的位置信息。

本文以檢測出的車道線位置為基礎,搭建導向控制模型,模擬駕駛員的駕駛行為,進行無人駕駛智能車輛的軌跡追蹤控制。

依據線性回歸模型預測的車輛下一時刻的坐標,計算出車頭與導向線的垂直偏差距離d;根據線性回歸模型擬合結果,計算出車頭與車尾的偏移量k,根據式(13),結合閾值參數p1和p2,輸出智能車打輪的角度,進而實現自主導向功能。

rank=k/p1+d/p2

(13)

在自主導向過程中,若需要車輛快速地逼近導向線,可增大車頭與導向線的垂直偏差距離的權重,減小參數p2;若需要車輛平穩地收斂于基準導向線,可增加車頭與車尾偏移量的權重,減小參數p1。依據不同的權重和參數值,實現不同的導向性能。

3 實驗與分析

本文實驗中用于導引的彩色車道線是一條黃色邊界線,分別采用正常光照和夜間補光燈工況下的直線以進行檢測;車載控制系統的工控機型號為 Nuvo-6108,工業攝像機型號為 DS-2CD2035。實車測試環境和現場情況如圖8和圖9所示,圖8為干擾物、正常光照工況和夜間補光燈工況測試環境,圖9為智能車、測試設備安裝圖和現場測試圖。

圖8 不同工況測試環境

圖9 智能車、測試設備安裝圖和現場測試圖

為充分論證本文方法的性能,分別從實時性、魯棒性和精度3個方面進行測試。通過分析不同光照條件下傳統OTSU閾值分割和Hough變換直線檢測方法、本文提出的區域垂直斜分OTSU閾值分割和參數約束Hough變換方法兩種方式,驗證方法的實時性、魯棒性和精度。分別對比兩種方式結合最小二乘法(Least Square,LS)的導向控制效果,將車輪控制結果輸入后續車體行駛環節,采用車輪與車道線的橫向距離來驗證車道線檢測方法的精度,實驗以偏離黃線10 cm為基準,20 m距離往返50次,測量在兩個端頭的偏移量,實驗結果如表1和表2所示。

表1 不同測試條件下算法性能對比

表2 車道線檢測準確性性能分析

由表1可知,在正常光照和補光燈兩種工況下,本文方法比傳統OTSU+Hough變換方法的識別率分別提升了5.2%和4.8%,平均算法執行時間減少了12.9 ms和13.3 ms。基于理論分析,本文提出的OTSU閾值分割算法能準確提取車道線區域,提高了車道線識別率,基于參數約束的Hough變換算法,剔除了干擾直線,減少了提取的直線數量,降低了算法執行時間。實驗結果表明,本文所提出的車道線檢測算法抗干擾性能良好,能有效適應存在的干擾物和不同的光照工況,具有較高的辨識準確率。

為了比較2種方法的性能,對視頻中檢測出的導向線的位置采用最大偏移量、偏移量絕對均值和均方差3個參數進行對比,表2顯示了3種指標的實際值。由表2可知,在相同光照條件下,本文所提出的軌跡預測算法的最大偏移量、偏移量絕對值和均方差較小,導向精度較高。

4 結束語

基于機器視覺的車道線檢測技術能夠為無人駕駛智能車輛提供行駛所需要的決策控制信息;通過機器視覺算法,將車道線從圖像中提取出來,計算出車輛相對車道的位置等信息,進而控制無人駕駛智能車輛自動行駛。

本文提出了一種基于序列圖像車道線檢測的自主導向方法。該方法采用區域垂直斜分OTSU算法,實現了圖像中目標的邊緣提取,依據提出的參數約束Hough變換,辨識出車道標識線;最后,結合序列圖像中車道線位置計算出車體的位姿,根據建立的導向控制模型控制智能車的左右打輪幅值。

理論分析和實驗結果表明,該方法中,基于HSV圖像的區域垂直斜分OTSU算法能準確實現車道線區域提取,提高了車道線檢測的魯棒性和精度,采用ROI和參數約束Hough變換,降低了計算量,提高了系統的實時性;本文提出的智能車自主導向方法,有效地增強了車道線辨識的魯棒性,提高了導向的精度。