智能車輛車道線識別方法研究

王源隆，井志強，張峻瑋，王亮國，季子杰，趙萬忠

(南京航空航天大學 能源與動力學院， 南京 210016)

車道線是道路中的基礎信息。良好的車道線檢測結果是實現無人駕駛技術[1-4]的保障。車道線邊緣[5]、幾何形狀[6]和紋理信息[7]是車道線檢測中顯著的特征。依據檢測算法不同的原理，車道線檢測算法可以分為三類：基于特征、基于模型和基于深度學習的檢測算法。

基于特征的車道線算法依據車道線的邊緣、顏色、紋理等特征，利用閾值過濾等一系列圖像處理得到車道線[8]。辛超等[9]提出了改進的Hough變換算法，并采用了自適應閾值Canny算法提取車道線。王智宇等[10]提出了一種區別于Hough變化算法的自適應模型參數估計算法，這種方法使在圖像噪點占比大時仍能保證較高的擬合精度。M.Bertozzi等[11]的GOLD系統采用透視變換法和自適應閥值的亮度變換法來識別車道線，但是圖像清晰度不高，存在干擾因素時容易得到不準確的邊緣特征信息。基于模型的車道線算法是依據車道線的幾何特征，采用直線、拋物線和雙曲線等曲線模型來擬合車道線。范寶正等[12]采用具有動態連接點的直線-拋物線模型方法檢測車道線。郭磊等[13]將雙曲線作為擬合車道線的曲線模型，使用聚類算法對分段的車道線進行聚類，根據計算出的車道線消失點位置計算雙曲線模型。M.Fairhurst等[14]運用了B-Spline的思路，使用透視變換將原始圖片轉變成鳥瞰圖，采用隨機一致性采樣(RANSAC)算法擬合車道線。此類方法不用考慮道路干擾，具有很好的自適應能力。區別于前面兩類傳統車道線檢測算法，深度學習的方法基于數據集讓神經網絡根據損失函數不斷進行“學習”總結，最終得到擬合精度最高的模型。姜立標等[15]采用了基于VGG-16卷積神經網絡結構代替人工設計的檢測方式來自主識別圖像中的車道線特征。深度學習方法在復雜場景中具有高精度、高準確度、魯棒性好等優點，但是需要結構優秀的卷積神經網絡以及大量的訓練數據。

針對基于特征的車道線識別算法識別不佳的問題，提出了一種基于OpenCV的車道線識別算法來改進車道線的識別。在檢測算法的基礎上，提出了一種當一側車道線模糊不清甚至消失時的車道線重構的解決方案，以及一種車輛偏移量的計算方法。

1 車道線圖像預處理

1.1 圖像灰度化

彩色圖像一般由RGB 3個通道組成，為了方便后續的圖像檢測工作，需要對圖像的三通道進行合并處理，轉化為灰度圖像。灰度化方式是將彩色圖像中的所有通道RGB的像素值重新分配權重[16]，最終合并成1個通道。由于車道線的顏色主要有白色(255，255，255)和黃色(255，255，0)。因此，綜合了白色和黃色車道線的灰度像素值特點，采用以下公式計算灰度值[17]：

Y=0.5R+0.5G+0B

(1)

式中：Y為灰度化后灰度值；R為紅色通道的灰度值；G為綠色通道的灰度值；B為藍色通道的灰度值。處理效果如圖1所示。

圖1 道路圖像灰度圖

1.2 感興趣區域劃分

車道線在車載攝像頭中基本保持在一個固定的區域，截取包含車道線的主要區域[18]。可以將天空、周圍的樹木和車輛等干擾因素剔除，提高算法的準確率，同時可以減少檢測數據量，加速算法的運行，提高算法的運行效率。圖2為行車記錄儀視頻中截取的一幀圖片，圖3中的綠色邊框區域為設定的感興趣區域。

圖2 行車記錄儀視頻中截取的一幀圖片

圖3 感興趣區域劃分示意圖

2 圖像二值化

2.1 邊緣檢測

采用閾值過濾的目的在于提取車道線特征并得到清晰的車道線像素，進一步獲取車道線的位置信息。考慮到處理過程的速度和處理結果的準確率兩方面因素，選擇OpenCV中的積分圖法進行圖像閾值過濾及圖像二值化。

Viola等[19]首先在目標檢測框架中使用了積分圖像原理。積分圖法能夠高效地獲得一張圖像中方形區域像素值之和，即基于獲得檢測圖像的積分圖，可以使用時間維度小的四則運算計算出圖像中需求的方形區域的像素值之和。因此，在計算機視覺圖像處理方面使用積分圖法能夠極大地提高程序的運行速度。積分圖的概念可用圖4表示：點A(x,y)的值等于該點左上區域的像素值之和，即灰色區域部分的像素值之和。

圖4 積分概念示意圖

積分定義如式(2)所示：

(2)

式中：ii(x,y)為某點的積分值，i(x′,y′)為某點的像素值。通過積分圖能快速地計算出特定區域的像素值之和，如式(3)所示：

ii(D)=ii(4)+ii(1)-ii(2)-ii(3)

(3)

式中：ii(1)為圖5區域A的像素值之和，ii(2)為區域A+B的像素值之和，ii(3)為區域A+C的像素值之和，ii(4)為區域A+B+C+D的像素值之和。

圖5 積分區域示意圖

使用積分圖得到圖像中感興趣區域(D區域)的像素值之和，從而可計算出D區域內像素值的平均值A(D)。車道線大部分為白色或黃色，其灰度值較高，而感興趣區域內車道線像素占整體路面像素的比例較小，因此，若D區域中一像素點的像素值大于等于1.25倍D區域內像素值的平均值A(D)，就把該像素點的灰度值重置為255，即該像素點被認定是車道線部分像素點。否則，當D區域中的一像素點的灰度值小于1.25倍D區域內灰度值的平均值A(D)，就將該像素點的灰度值重置為0，即該像素點被認定為背景部分像素點[10]，如式(4)所示。

(4)

式中：Pnew(x,y)為重置后的像素值，P(x,y)為重置前的像素值，A(D)為D區域內像素值的平均值。

在光照強度變化的干擾下，積分圖法一般具有比RGB、HLS顏色空間閾值過濾方法更好的抗干擾能力。原因在于在光照強度過大或者過小的路況下，RGB三通道的像素值會受到光照強度大小的影響，超出正常的白色閾值范圍，從而導致檢測效果較差。而積分圖法是根據區域內平均像素值設定車道線閾值，具有更好的抗光照干擾能力。積分圖法二值化后的效果如圖6所示。

圖6 積分圖法二值化效果示意圖

2.2 邊緣檢測形態學去噪

形態學去噪是針對圖像中像素區域的形狀而進行的一系列處理[20]。腐蝕和膨脹是2種常見的形態學處理方式。腐蝕的原理是將設定好的卷積核與圖像作卷積運算，當卷積核對應的區域中的所有灰度值都是255，則中心元素的灰度值保持不變，否則將其灰度值重置為0。膨脹的原理是將設定好的卷積核與圖像作卷積運算，當卷積核對應的區域中的所有灰度值中只要有一個是255，那么中心元素的灰度值就重置為255。根據不同的處理要求，還可以將這2種形態學操作結合起來，獲得所需求的目標效果。

根據形態學原理以及二值化車道線特征具有少量噪聲邊緣的特點，本文算法對二值化圖像先后進行OpenCV中的膨脹和腐蝕操作(開運算)，處理后效果如圖7所示，有效地去除非車道線的少量噪聲像素，只留下左右車道線的像素。

圖7 開運算效果示意圖

3 透視變換

由于車載攝像頭視角與路面存在一定的夾角，而且路面可能存在凹凸不平等情況，導致獲取到的圖像幾何特征變化很大和過高階次的曲線擬合。使用透視變換的方法將原圖像平面轉化為鳥瞰圖，可以以更加全面完整視角的圖像來檢測車道線。透視變換的原理是投影中心、原圖像平面上的點、新圖像平面的點三點共線，按沙爾定理將承影面繞跡線旋轉一定的角度，改變先前的投影關系，始終可以保持承影面上的幾何形狀不發生改變。透視投影能使原始圖像中原本不相平行的兩條直線在投影面后互相平行，改變一張圖像目標的形狀和尺寸，但不能精確地反應投影后的圖像中目標的真實形狀和尺寸。其原理如圖8所示。

圖8 透視變換原理示意圖

透視變換是根據光學原理將圖像投影到另一個平面，其變換公式如下：

(5)

式中:u，v為初始圖像坐標，w數值為1，經過透視變換后的表達式為：

(6)

式中:x、y表示經過逆矩陣變換后得出的圖片橫、縱坐標。OpenCV中的逆矩陣變換需要8個參數即4個點的坐標進行求解。經過透視變換轉變為鳥瞰圖的效果如圖9所示。

圖9 透視變換后的鳥瞰圖

由圖9可知，新圖像呈現出了正投影(垂直朝下)的效果。在這個視角中，左右兩車道線互相平行，與實際中攝像機垂直朝下的視角基本一致。因此，這就使圖像從三維透視角度轉變為二維投影的圖像，方便后續的車道線擬合工作。

4 車道線識別

4.1 基準點定位

通過圖像二值化獲得的鳥瞰圖仍然存在一定的干擾因素，為了更準確識別出車道邊界，需要進一步確定車道線像素點的位置，因此選用滑動窗口進行檢測，可有效減小噪點對整體擬合結果的影響。在滑動窗進行檢測之前需要確定車道線像素的基點位置，即圖像最下方車道線像素的橫坐標。因為車道線像素在鳥瞰圖上一般都會集中在x軸的一定范圍內，所以把圖片一分為二，檢測左右兩邊在x軸上的像素分布峰值。圖10為不同場景下鳥瞰圖的x軸像素分布。

由圖10(a)中的鳥瞰圖可以看出，當左右車道線是標準的雙實直線時，干擾像素少，在x軸像素分布圖中左右兩部分各有一個明顯的峰值。在圖10(b)的鳥瞰圖中，左邊車道線是實直線，經二值化處理后其邊緣變成2條曲線，右邊車道線是虛直線，經處理后形成多個長條形區域，因此在像素分布圖中左邊出現2個距離較近峰值，右邊出現一個較低的峰值。在圖10(c)的鳥瞰圖中，左右車道線是標準的雙實線，但是圖中仍存在較多干擾像素，所以在像素分布圖中左右兩邊均出現多個峰值。像素分布圖內兩側的最高峰值仍然對應著車道線像素的集中位置。圖10(d)的鳥瞰圖中，由于車輛在彎道中，左邊車道線為實曲線，右邊車道線為虛曲線，所以測試圖中峰值出現的位置相對分散，峰值處呈現上窄下寬的形狀，但車道線像素的位置仍大致與像素分布圖中，左右兩邊的峰值的橫坐標對應。綜合上述的多個場景，x軸像素分布圖中左右兩側最高峰值的橫坐標可以作為車道線初始基準的橫坐標。

圖10 不同場景下識別鳥瞰圖x軸像素分布圖

4.2 滑動窗多項式擬合

本文算法使用了滑動窗檢測法[21]采集車道線參數估計樣本點。圖11展示了滑動窗口檢測的整個流程，首先設定滑動窗的迭代數量n，根據滑動窗的數量計算滑動窗的高度，并根據上一步得到的基準點確定左右兩滑動窗的基點位置，然后設定滑動窗內獲取有效像素點坐標個數的最小值。在程序循環中，滑動窗自下而上進行滑動取樣，即對滑動窗內的像素點進行遍歷并記錄像素值為255的有效車道線像素點的坐標，將有效點的坐標存儲進入數組。當一次滑動窗記錄的有效點坐標個數大于預先設定的最小值，則以當前滑動窗內記錄的所有點橫坐標的平均值用作下一次滑動窗的基點位置。當一次滑動窗記錄的有效點坐標個數小于預先設定的最小值，則記錄一次不滿足條件次數，并進入下一個循環。循環結束后，使用最小二乘法進行曲線擬合。

圖11 滑動窗檢測的基本流程框圖

如圖12所示，黃色部分表示車道線像素點，紅色部分表示擬合出的左側車道線曲線，藍色部分表示擬合出的右側車道線曲線，綠色矩形框則是設定的滑動窗邊框。

圖12 滑動窗擬合曲線過程圖

圖12(a)中左右兩車道線為實直線，存在少量干擾像素，滑動窗滑動平順，基本滑動方向沿著車道線延伸方向，擬合結果較好。圖12(b)中左車道線為實直線，右車道線為虛直線，同時圖像幾乎不存在干擾像素，擬合結果良好。圖12(c)中左右兩車道為實直線，同時存在著大量的干擾像素。由于實直線的像素數量充足和對滑動窗的寬度的限制，因此也得到了理想的擬合結果。圖12(d)中左車道線為實曲線，右車道線為虛曲線，同時圖像幾乎不存在干擾像素。與左側相比，右滑動窗因車道線像素區域間隔較大而滑動不夠平順且最上方區域的一部分車道線像素沒有被采集，因此擬合結果一般。圖12(e)中左車道線為實直線，右車道線為虛直線，同時圖像存在大量的干擾像素。左車道線為實線，像素點充足，擬合結果優秀。右車道線周圍存在大量的干擾像素，上方滑動窗采集到了大量的干擾像素，因此擬合結果出現了偏差。最終將擬合出來的車道線再次通過透視反變換并與原道路圖像疊加，可得到車道線的最終檢測結果以及車道區域。

5 實驗結果及分析

5.1 車道線檢測

為驗證本文車道線識別算法的準確性與識別效率，用車道線識別算法對行車記錄儀拍攝的行車視頻進行車道線識別，并進行結果分析。本次實驗使用的PC機的配置為：Intel Core i5-6300HQ CPU 2.3 GHz。利用python3.5配置OpenCV4.0.0.21環境進行本算法的實驗。檢測的圖片截取自行車記錄儀視頻，其中的每一幀圖片大小為961×540，視頻的幀率為30幀/s。

本文算法在檢測雙實線時，視頻圖片效果優秀且穩定，原因在于實線車道線能檢測到的像素多，抗干擾能力強，如圖13(a)(c)(d)所示。

圖13 不同場景的實驗結果

在檢測虛線時，雖然可以較好地擬合出車道線，但由于攝像頭會有輕微的抖動等，識別效果的穩定性比實線稍差一點，不過抖動的范圍基本上處于車道線的像素范圍內。如圖13(b)(e)(f)中，右邊車道線屬于虛線的情況，圖13(g)左右車道線都為虛線。當一邊車道線是虛線時，能檢測出來的車道線像素較少，此時極易受到周圍非車道線因素的干擾。在圖13(e)中，右邊車道線緊靠著一輛黑色車輛，那么鄰近黑色車輛區域的車道線擬合受到一定的影響。

圖13(b)屬于有路面陰影的情況。圖片中左車道線處于橋面陰影下，這種情況下算法擬合效果不穩定，有可能出現誤檢。原因有兩點：① 處于陰影下的車道線光照較暗，Sobel邊緣檢測算法和顏色閾值過濾的方法會受到一定的限制，尤其是顏色閾值過濾的方法這種對光照敏感的算法；② 由于積分算法的原理是根據感興趣區域的像素平均值作為分割標準，當路面一部分有陰影，另一部分無陰影時，有陰影部分的車道線難以被檢測出來。圖13(c)(d)屬于亮度較低的情況，圖片中亮度分布均勻且車道線為實線，此時算法的檢測效果良好且穩定。圖13(h)中路面正中央有指示標識線，由于該標識線像素量較少，所以算法的檢測效果良好穩定。

為進一步驗證算法的泛化能力，選取了caltech車道線數據集中城市道路標準路況圖片進一步進行檢測。測試結果中(如表1所示)，路面光照充足條件下樣本量為602張，誤檢量為45張，算法的檢測正確率為92.52%，與文獻[22]相比，準確率提高了5.37%。實時性方面，由于劃定了感興趣區域，減少了車道線搜索時間，平均速度提升了33.08%。路面有陰影條件下樣本量為255張，誤檢量為46張，與文獻[22]相比，準確率從原來的76.33%提高到81.96%，平均耗時也較少了約33.2%。部分識別結果如圖14所示。算法各個步驟的用時如表2所示。

圖14 caltech數據集識別效果

表1 算法性能結果

表2 算法各步驟平均用時

5.2 特殊工況下的車道線重構

當車輛駛入十字路路口右轉彎道或者高速公路匝道匯入主車道時，會出現一邊的車道線突然消失的狀況。目前的算法是以采集到的大量車道線像素點為基礎擬合車道線，當某一邊車道線像素點不足時，那么這一邊車道線的擬合效果便會受到環境因素的極大干擾，甚至出現誤檢漏檢的情況。因此，本文針對這種情況提出了一種車道線重構的解決方案。

假定瞬時車輛的行駛方向平行于車道線方向，并且其中一側車道線是清晰連續的。根據車道線之間相互平行的幾何特性，當瞬時車輛的行駛方向平行于車道線方向時，一邊車道線一般情況下可以由另一邊車道線平移得到。當算法判定圖像處于此種情況時，就將視頻獲取的上一幀圖片所檢測出的車道線寬度進行保留，并作為此幀圖片的車道線寬度，即車道線在鳥瞰圖下的平移量。當算法擬合出一邊清晰連續的車道線后，以這邊車道線的擬合曲線為基礎，復制平移一個保留下來的車道線寬度，作為缺失邊的車道線擬合曲線。缺失邊的判斷標準：滑動窗記錄車道線像素點坐標個數小于最小值的次數≥設定值。因此，當某一邊車道線模糊不清的程度滿足條件值時，也被認定為消失邊。如圖15所示，右車道線為缺失邊情況。此時只有右上角的1個滑動窗內檢測到像素點，而有其余8個滑動窗內檢測出的像素點數量不滿足條件，右車道線屬于缺失邊。藍色曲線是以紅色曲線為基準，平移一個車道線寬度后得到的重構曲線。

圖15 重構車道線鳥瞰圖

圖16為無重構車道線效果，右邊車道線屬于缺失邊的情況，由檢測結果可知右車道線擬合效果受到遠處的車道線影響，導致檢測出的車道線區域突然變寬。如果算法在圖像中右車道區域檢測不出像素點，則會因為曲線擬合缺少參數估計點而導致算法檢測失敗。采用本文方法重構車道線后的效果如圖17所示。

圖16 無重構車道線效果

圖17 重構車道線效果

5.3 車輛偏移量分析

當算法準確地識別出車道線后，可通過所擬合的車道線曲線計算出一系列與之有關的路況信息，其中車輛處于車道線區域內的位置信息便是一個對車輛控制十分重要的條件。根據基準點定位中的圖10不同場景下識別鳥瞰圖x軸像素分布圖可以得出，在假定攝像頭位置處于車輛中間位置時，經過一系列運算就能計算出車輛相對于車道線區域中間位置的偏移量。原理如圖18所示。

圖18 偏移量原理示意圖

假定攝像頭的安裝位置，如圖18中O點位置。L、R點分別表示左、右車道線像素值在橫坐標上的峰值點，即實際左右車道線的中心點橫坐標。M點表示車道線區域的中間位置。則可以通過以下公式計算出車輛相對于車道線區域中間位置的偏移量：

(7)

式中:lOM表示從O點到M點之間的距離;lLM表示從L點到O點之間的距離;x表示車輛相對于車道線區域中間位置的偏移百分比。計算出偏移百分比后，將數據參數在結果圖上標注出來，效果如圖19所示。

圖19 標注偏移量效果

圖19(a)中車輛相對于車道線中間區域向左偏移量為9%，圖19(b)中車輛相對于車道線中間區域向右偏移量為34%，圖19(c)中車輛處于車道線區域的正中央，圖19(d)表示車輛處于壓在識別出的車道的右邊線的情況。

6 結論

針對目前基于特征的車道線識別算法識別不佳的狀況，提出了一種基于滑動窗口擬合的車道線識別算法來實現車道線的識別。首先對圖像進行感興趣區域劃分，其次根據RGB顏色空間將圖像三通道以5∶5∶0的比例轉化為灰度圖，經過高斯濾波后通過積分圖法將圖像轉換為二值化圖像，再使用一系列形態學去噪并將二值化圖像轉換為鳥瞰圖，最終使用滑動窗多項式擬合法，采集得到車道線像素點后使用最小二乘法擬合出曲線車道線。

實驗結果表明，本文算法能適應多種路況，達到了較好的準確率和實時性。車道線重構效果良好，基本滿足道路行駛安全的要求。本文根據車道線識別結果，能夠計算出車輛相對于車道線區域中間位置的偏移量，有助于提高智能車輛主動控制的安全性。