基于車道信息融合的車輛行為識別

宋士奇，樸 燕，王 健

(長春理工大學 電子信息工程學院，吉林 長春 130022)

1 引 言

智能交通系統作為國家信息化建設的重要組成部分，在城市道路智能監控、高速公路智能調度及車輛高級輔助駕駛系統等方面發揮著重要作用。其中車輛的行為識別作為智能交通系統的關鍵技術，在車輛的自動駕駛和輔助駕駛領域中受到了廣泛關注[1]。車輛的行為信息對于保障駕駛員的人身安全、避免交通事故的發生具有重要的參考價值和實際意義。

獲取車輛行為信息數據的方式總體上包括感知技術探測和視頻圖像處理兩大類[2]。感知技術探測主要利用傳感器探測車輛周圍的環境，根據道路交通兩側和監控上方的探測傳感裝置獲取所需參數，綜合判斷車輛的行為狀態，此類方法目前廣泛應用于智能汽車行業之中。視頻圖像因其包含豐富的數據，通過圖像處理手段對監控攝像頭和行車記錄儀獲取的視頻進行分析，已成為獲取車輛行為信息的主要方法。相比于感知技術探測，視頻圖像處理因其具有更好的魯棒性和實時性，已經成為研究車輛行為識別的熱點方向。目前在車輛行為識別領域，基于圖像處理算法的研究已取得階段性的成果。Kasper等[3]運用貝葉斯網絡的基本理論在結構化道路場景中識別車輛的行為。Gadepally等[4]在綜合考慮車輛動力學模型的基礎上，采用隱馬爾可夫模型描述車輛的行為。Song等[5]使用改進的Moravec算法提取特征點，構建車輛特征點的運動軌跡曲線判斷車輛的行為狀態，在復雜天氣條件下具有較高的魯棒性。潘登等[6]提出了車輛行為的時空演化模型，為復雜場景下車輛的行為建模和車輛的自適應控制奠定了基礎。黃鑫等[7]在車輛檢測和車輛跟蹤的基礎上，采用特征熵和特征標量兩個參數到聚類中心的歐式距離，判斷車輛的行為特征。但是，目前車輛行為識別算法處理的視頻很多都是基于道路監控高點固定獲得的，因此背景沒有變化，很難應用于背景變化的車輛自動駕駛領域。并且基于軌跡特征的車輛行為判斷很大程度上取決于車輛跟蹤的魯棒性，軌跡聚類的過程導致車輛行為識別實時性差。

本文針對車輛行為識別存在的問題，提出一種基于車道信息融合的車輛行為識別算法，應用于車輛的輔助駕駛領域。主要表現在：(1)在車道檢測過程中提出一種基于改進Robinson與LSD的模型，實現對不同場景下車道的高效檢測；(2)根據車道的檢測結果，提出一種基于滑動窗口的三次樣條數學模型，實現對車道的擬合；(3)通過車道的參數信息分析車輛的運動狀態，結合車輛位置綜合判斷車輛的偏離狀態。

2 算法原理

2.1 車道檢測

車道檢測是車輛輔助駕駛的基礎，并且在車輛的行為識別中發揮著重要作用，但光照條件、車道路面破損及路面陰影干擾等因素往往影響著車道檢測的效率和準確性。因此本文提出一種基于改進Robinson與LSD的模型實現車道的檢測。算法首先將獲取的視頻幀圖像進行感興趣區域分割、逆透視變換及色彩空間轉換等圖像的預處理，然后利用改進的Robinson算子建立插值公式求取最佳梯度幅值實現車道邊緣的提取，最后通過效率更高的LSD算法實現車道的檢測。

2.1.1 圖像預處理

通過行車記錄儀或者車載攝像機獲得的車道圖像通常包含天空、車道兩旁的樹木等一些環境信息，若直接對采集到的圖像進行處理，不僅降低了車道檢測的效率，而且無關信息的干擾也影響著車道檢測的準確性。通常在結構化道路中車道信息位于圖像的中下部，因此本文將圖像的中下部設定為感興趣區域，即圖像的預處理部分。

相機的圖像采集過程可以看作世界坐標系與圖像坐標系之間的映射，因此獲得的行車圖像具有近大遠小的透視效果。通過傳統的逆透視變換可以有效地矯正圖像，但需要借助相機位置參數、朝向參數等獲取逆透視變換矩陣，計算過程復雜。本文應用一種簡單的逆透視規則，即從感興趣區域中采樣4個位置點，在俯視圖中估算4個點的位置，直接計算逆透視變換矩陣。設(x,y)為感興趣區域中的坐標點，俯視圖中相應的坐標點為(u,v)，則對應的映射過程為式(1):

QW=HIWPI，

(1)

式中有：

PI=[x,y,1]T，

(2)

QW=[uλ,vλ,λ]T，

(3)

其中：λ為輔助參數，HIW為逆透視變換矩陣。通過4組對應的坐標點，即可對逆透視變換矩陣中的未知參數進行求解，通過不斷調節兩幅圖中對應點的坐標，獲取最佳映射矩陣，計算效率高、實用性強。

目前基于RGB色彩模型的車道檢測算法，對白天光線均勻的場景有較強的適用性，但在低照度環境中效果較差，而采用YCbCr模型可以對圖像的亮度和色度進行分離，能夠有效避免光照對車道檢測的影響。本文在逆透視變換處理的基礎上通過色彩轉化模型式(4)，實現低照度環境中車道的檢測。

(4)

2.1.2 改進Robinson車道邊緣提取

運用Canny算子、Sobel算子、Robinson算子等進行圖像的邊緣提取是目前的常用方法[8]，在車道檢測的過程中同樣也被廣泛應用。其中Robinson算子由8個理想的邊緣模板組成，對噪聲具有抑制的作用，算子的輸出值通過與被檢測區域最為相近的模板給出，使得圖像邊緣得到增強。但也存在著計算復雜、定位不準確等問題，本文對Robinson邊緣提取過程進行改進，使其在車道檢測的過程中效率更高。

利用邊緣模板與圖像進行卷積運算時，由于中心像素點到各領域點的距離差距，因此引入權重因子進行加權卷積運算。定義模板矩陣和圖像灰度值矩陣分別為

(5)

(6)

(7)

其中Gθ(i,j)為坐標(i,j)處θ方向的梯度幅值，w為權重因子。通過式(8)計算坐標(i,j)的梯度幅值G(i,j)

G(i,j)=max(|Gθ(i,j)|)，

(8)

定義最佳梯度區間α為梯度幅值G(i,j)在坐標(i,j)處方向角θ±22.5°范圍。

在實際圖像的計算過程中通常只能得到中心像素點A其8個鄰域的梯度幅值，而中心像素點的最佳梯度幅值可能在8個鄰域的臨近區間，因此在定義的最佳梯度區間α內求取最佳梯度幅值。若最佳梯度方向角為β，如圖1所示，為了得到最佳梯度幅值GrabTmp1引入式(9)進行插值運算：

GrabTmp1=2·GrabA1·GrabA2，

(9)

其中：GrabA1和GrabA2在滿足GrabA1+GrabA2=1的條件下，分別為式(10)和式(11);

(10)

(11)

圖1 最佳梯度方向Fig.1 Best gradient direction

對得到的最佳梯度幅值GrabTmp1進行非極大值抑制，以實現對車道邊緣的細化作用。

2.1.3 基于LSD車道檢測

Hough變換是進行車道檢測的重要步驟，但也存在著檢測效果不穩定的現象，而LSD(Line Segment Detector)算法[9]具有檢測速率快、魯棒性強的特點。因此，本文將經過車道邊緣提取的圖像利用準確性和效率更高的LSD算法實現車道的檢測。

圖2 line-support區域生成圖。(a)原圖像；(b)level-line區域；(c)line-support區域。Fig.2 Line-support region generation diagram. (a) Original image; (b) Level-line region; (c) Line-support region.

LSD直線檢測算法主要參考梯度大小和方向兩個因素計算局部直線輪廓，在線性時間內能夠獲得亞像素級精度的檢測結果。算法首先根據每個像素點的level-line角度生成level-line區域，再利用種子生長法尋找角度一致line-support區域，如圖2所示，通過最小外接矩形對line-support區域進行擬合，其中該區域的主軸方向由矩形的主軸方向確定；然后統計最小外接矩形內的像素點個數，即level-line角度與主軸角度之差在容錯區間2τ范圍內的像素點個數；最后計算基于獲取數據下的最小外接矩形的NFA(Number of False Alarm)值，并判斷NFA的值是否滿足閾值條件，由此決定最小外接矩形是否為直線。LSD直線檢測過程中的種子生長法定義為：在未搜索的區域內，把像素點中梯度幅值最大的點確定為種子點，并將該像素點標定為已搜索，搜索該像素點周圍未搜索過并與該像素點的角度誤差值在閾值范圍內的鄰域點，然后以新點作為起點并進行遞歸搜索。LSD算法在檢測的過程中由于不需要調節參數，因此能夠滿足幾何圖像的快速變換。

2.2 車道擬合

車道擬合作為車道檢測的后續步驟，通過對檢測的車道特征點進行擬合，可以獲取車道的參數信息。本文提出一種基于滑動窗口的三次樣條數學模型，實現對車道的擬合。

2.2.1 基于滑動窗口的車道特征點識別

按照x軸方向將車道檢測的結果劃分為左右兩個部分進行區域搜索，分別將兩個部分在x軸方向做直方圖統計，得到像素峰值分布圖如圖3所示，將最大峰值的位置確定為車道線搜索的基點。設置搜索窗口的寬度和高度參數，窗口寬度設定為車道寬度的2倍，以窗口寬度的3/4定義窗口的高度。以基點中心作為當前搜索的起點進行網格化縱向搜尋，對每個搜尋窗口分別進行x軸方向和y軸方向直方圖統計，獲取搜索窗口內非零像素的個數并濾除非零像素個數小于閾值的窗口，計算剩余窗口內非零像素的坐標均值作為當前搜索窗口的中心點，并將當前搜索窗口的中心點作為下一個備選基點。

圖3 像素峰值分布圖Fig.3 Pixel peak distribution

設第i個基點為Si(xSi,ySi)，第i個窗口的中點為Ci(xi,yi)，若基點Si和中心點Ci的坐標滿足式(12)及式(13):

xi=xSi-h，

(12)

(13)

其中:h為搜索窗口的高度，w為搜索窗口的寬度，yi1為窗口縱向自下而上搜索到第一個白色像素點的縱坐標值，yi2為窗口縱向自上而下搜索到第一個白色像素點的縱坐標值。則將第i個窗口的中點Ci(xi,yi)作為第i+1個基點Si+1(xSi+1,ySi+1)，否則將第i+1個基點Si+1(xSi+1,ySi+1)的坐標設定為(xi,ySi)，以此進行遍歷至窗口到達圖像的邊緣為止，獲取車道特征點的坐標集合。

2.2.2 基于三次樣條插值的車道擬合

相比于最小二乘多項式，三次樣條曲線的一階和二階導數連續且曲線具有連續光滑的特性，因此三次樣條插值法構建的車道數學模型更加符合車道的實際情況。

設通過滑動窗口獲取的車道特征點坐標集合為{(x1,y1),(x2,y2),...,(xn,yn)}，求解三次樣條的曲線方程即求解每一段樣條曲線的系數，算法首先計算點與點之間的步長hi：

hi=xi+1-xi,(i=1,2,...,n)，

(14)

然后將路徑特征點坐標和端點條件代入矩陣方程計算，得到二次微分值mi，由此求解每一段的三次樣條曲線系數：

ai=yi，

(15)

(16)

(17)

(18)

最后根據求解的曲線系數，得到在每一個子區間xi≤x≤xi+1內，三次樣條插值函數的數學模型f(xi)=ai(x-xi)3+bi(x-xi)2+ci(x-xi)+di。依次計算對應區間插值函數的表達式，至遍歷所有特征點，得到三次樣條插值車道擬合模擬如圖4所示。

圖4 三次樣條插值車道擬合模型Fig.4 Cubic spline interpolation lane fitting model

2.3 車輛行為識別

通過車道的擬合曲線可以獲取車道的參數信息，結合車輛相對于車道的位置，能夠綜合判斷車輛的行為狀態，本文根據車道的曲率半徑和方向兩個參數分析車輛的運動狀態，結合車輛的中心位置判斷車輛的偏離狀態。

將經過擬合的車道信息進行預處理，由于在結構化道路中車道線以直線為主，且彎道的曲率在一定的閾值范圍內，因此每隔一個子區間選擇樣條插值函數進行參數計算。設左車道特征點坐標集合為{(Lx1,Ly1),(Lx2,Ly2),...,(Lxn,Lyn)}，由此得到子區間內含參數的三次樣條插值函數數學公式為：fL(Lxi)=aLi(x-Lxi)3+bLi(x-Lxi)2+cLi(x-Lxi)+dLi，以此計算點(Lxi,Lyi)處的曲率半徑RLxi：

(19)

并由式(20)計算得出左車道的曲率半徑：

(20)

再利用左車道特征點計算左車道方向DLx：

(21)

同理計算出右車道的曲率半徑RRx及右車道方向DRx。利用左右兩車道的曲率半徑均值得到車道曲率半徑Rx，根據左右兩車道的方向均值得到車道方向Dx，同時進行車輛方向量化編碼如圖5所示，將180°的平面左右各67.5°范圍編碼設定為車輛左轉和右轉方向，中間45°范圍設定為車輛直行方向。綜合車道曲率半徑Rx和車道方向Dx兩個參數，通過式(22)判斷車輛的運動轉態，其中T為車道曲率半徑閾值。

(22)

圖5 車輛方向量化編碼Fig.5 Vehicle direction quantization coding

設某一運動時刻車輛和車道的位置關系如圖6所示，其中(Cxi,Cyi)為車輛的中心位置，(Lxi,Lyi)和(Rxi,Ryi)分別為對應于車輛中心位置(Cxi,Cyi)的車道左右邊界坐標，Lwd為車道中心到邊界的距離，根據式(23)計算車輛中心位置(Cxi,Cyi)到車道右邊界(Rxi,Ryi)的距離Dis：

(23)

將所得的距離Dis與車道中心到右邊界的距離Lwd進行比較，若所得的Dis值小于車道中心到右邊界的距離Lwd，則判定為車輛較車道中心位置偏右，若所得的Dis值大于車道中心到右邊界的距離Lwd，則判定為車輛較車道中心位置偏左，若所得的Dis值與車道中心到右邊界的距離Lwd值相等，則車輛位于車道的中心行駛。由此根據式(24)得出車輛的偏離狀態。

(24)

圖6 車輛車道位置模型Fig.6 Vehicle and lane position model

3 實驗結果與分析

3.1 數據集和實驗平臺

本次實驗的數據庫選用BDD100K數據集[10]和實驗室自建的數據集，其中BDD100K數據集是伯克利大學AI實驗室開發的內容最具多樣性的駕駛數據集，包括不同天氣、場景和時間的真實駕駛場景圖像，且圖像質量包括高清和模糊兩種。本文的自建數據集為車載行車記錄儀在長春城市道路中車輛行駛所獲得，包括不同場景下的實時道路場景圖像和視頻。

實驗基于Anaconda3平臺，通過Python3.6語言實現編程，所有實驗均在配置Intel Xeon E5-2678v3 CPU及NVIDIA 1080Ti GPU，操作系統為Windows Server 2016 64 bits，內存為64 GB的實驗室服務器終端上完成。

3.2 車道檢測結果與分析

車道檢測作為車輛行為識別的基礎，其檢測結果往往影響著車輛行為識別的準確性。目前車道檢測的主要方法包括基于Haar特性的圖像匹配法[11]、基于貝塞爾曲線模型的檢測算法[12]、基于Hough變換[13]以及Hough變換改進的檢測算法[14]，因此，選擇上述文獻的方法與文本提出的算法對車道檢測的性能進行評估，其中選擇的測試數據為BDD100K數據集中白天、傍晚、夜晚和雨天4種場景下各600幀圖像。參考文獻[15]中的評估指標，引入準確率(Cor)和橫向偏移(LD)兩個參數指標，其計算公式分別為式(26)和式(27)：

(25)

(26)

(27)

其中：Gt為車道標定的真值點，X為算法檢測點，W為車道線的寬度，f為視頻幀數，δ為誤差補償像素值。同時選擇傳輸速率(TR)、誤檢率(FDR)和漏檢率(MDR)對算法的檢測車道效果進行綜合評價，誤檢率為場景中錯誤識別車道線的幀數占總幀數的百分比，漏檢率為車道線漏檢的幀數占總幀數的百分比，車道檢測算法評估結果見表1。

表1 車道檢測算法評估結果Tab.1 Result of lane detection algorithm evaluation

從表1中可以看出，文獻[11]通過提取Haar特征能夠準確地識別車道信息，但算法計算復雜度高導致傳輸速率較低；文獻[12]采用貝塞爾曲線模型利用車道的連續性特征進行搜索，提高了檢測效率和實時性；文獻[14]通過改進的Hough變換進行車道檢測，相比于文獻[13]的Hough變換檢測法具有較高的檢測效率和檢測精度，同時算法在誤檢率和漏檢率上有所降低；本文算法在車道檢測的過程中，通過改進的Robinson算子建立插值公式，相比于上述算法處理的數據量較少，速度更快，提高了算法的運行效率，在復雜環境下避免了車道檢測過程中的誤檢和漏檢現象，優化了檢測過程，提高了算法檢測的準確率。不同場景中車道檢測識別結果如圖7所示，從圖中可以看出本文算法在白天、傍晚、夜晚及雨天的不同環境下，車道檢測取得了較高的檢測精度，為后續車道的行為識別奠定了良好的基礎。

圖7 車道檢測識別結果。(a～d)原始圖像；(e～h)車道檢測結果。Fig.7 Lane detection recognition results. (a～d) Original image; (e～h) Lane detection result.

3.3 車輛行為識別結果與分析

為了更有效地評估本文車輛行為識別算法的各項性能，分別在BDD100K公開數據集和實驗室自建的數據集中進行測試。根據車道檢測的結果選取車道檢測準確率較高的文獻[11]、文獻[12]和文獻[14]算法分別與本文采用的滑動窗口三次樣條車道擬合算法進行組合，同時在本文車道檢測算法的基礎上引入最小二乘車道擬合算法進行車輛的行為識別，并與本文算法進行對比。

3.3.1 公開數據集結果與分析

車輛的行為識別在BDD100K公開數據集的實驗，選取白天、傍晚、夜晚和雨天4種場景下各800幀視頻圖像進行測試。引入準確率(Cor)、錯誤率(Err)、傳輸速率(TR) 3個參數指標對車輛的行為識別算法進行綜合評價，其中錯誤率包括誤檢率和漏檢率，評估結果見表2。

表2 車輛行為識別公開數據集結果Tab.2 Result of vehicle behavior recognition in public data sets

從表2的實驗結果可以看出，方法1、方法2和方法3與本文算法相比，由于在車道檢測時檢測準確率的差異，導致其在車輛行為識別時結果的不同，其中本文算法與其他3種算法相比具有較高的檢測精度，并且能夠滿足實時性的要求。在方法4中車道擬合的方法選取了最小二乘法，與本文的滑動窗口三次樣條擬合算法相比數據擬合精度較差，因此本文的車輛行為識別結果的準確率與方法4相比有所提高。

通常車輛的偏離狀態是影響車輛行為識別準確率的主要因素之一，因此本文在表2實驗結果的基礎上對車輛的偏離狀態進行進一步分析，選取準確率(Cor)和橫向偏移(LD)兩個參數對不同車輛行為識別算法進行評價，其中橫向偏移(LD)表示標定的真實點與算法檢測點之間的差值，車輛的偏離狀態行為識別結果見表3。

表3 車輛偏離狀態行為識別結果Tab.3 Result of vehicle deviation state behavior recognition

通過表3的實驗數據可以得到，本文算法與其他算法相比具有較高檢測準確率以及較小的橫向偏移，因此在對車輛的行為進行分析時，本文算法可以對車輛的運動狀態和車輛中心的偏離狀態給出較為準確的信息。

針對不同場景下車輛行為識別的結果略有不同，綜合表2和表3的實驗數據，選擇準確率較高的方法2和方法4以及本文的算法，對車輛的行為識別算法在白天、傍晚、夜晚和雨天4種場景下進行評估，每種場景各800幀視頻圖像，不同場景下車輛行為識別結果見表4，且在公開數據集中本文算法在不同場景下的識別結果如圖8所示。

表4 不同場景車輛行為識別結果Tab.4 Result of vehicle behavior recognition in different scenes

圖8 不同場景車輛行為識別結果。(a～b)白天場景；(c)傍晚場景；(d)夜晚場景；(e～f)雨天場景。Fig.8 Vehicle behavior recognition results in different scenes. (a～b) Daytime scenes;(c)Nightfall scenes; (d) Night scenes; (e～f) Rain scenes.

根據表4的實驗結果，在不同場景下本文算法與其他兩種算法相比均具有較高的識別準確率和傳輸速率，結合圖8的實驗結果可以看出，在不同場景下本文算法能夠分辨出車輛的左轉如圖8(d)、右轉如圖8(f)和直線行駛3種行為，并對車輛的偏離狀態給出了有效的信息。

3.3.2 自建數據集結果與分析

為了使實驗的結果更具有實際意義，對車輛的行為識別算法在實驗室自建數據集進行測試。與在公開數據集中同樣選取白天、傍晚、夜晚和雨天4種場景下各800幀視頻圖像進行測試，并引入準確率(Cor)、錯誤率(Err)、傳輸速率(TR) 3個參數指標對車輛的行為識別算法進行綜合評價，評估結果見表5，在自建數據集中本文算法在不同場景下的識別結果如圖9所示。

表5 車輛行為識別自建數據集結果Tab.5 Result of vehicle behavior recognition in self-built data sets

根據表5實驗數據，在自建的數據集中本文算法與其他方法相比，同樣具有較高的識別精度，并且每秒的傳幀速率能夠滿足實時性的要求。結合圖9的實驗結果，在不同的實驗環境下本文算法可以有效地識別車輛直行、左轉和右轉3種狀態，并給出車輛偏離車道中心位置的信息。綜合車輛行為識別在公開數據集和實驗室自建數據集的實驗結果，本文算法與其他算法相比具有較高的準確率和傳輸速率。

圖9 自建數據集車輛行為識別結果。(a～d)原始圖像；(e～h)實驗結果圖像。Fig.9 Self-built data set vehicle behavior recognition results. (a～d) Original image; (e～h) Experimental result image.

4 結 論

本文提出一種基于車道信息融合的車輛行為識別算法，對車輛輔助駕駛領域中車輛的行為狀態進行判斷。首先在圖像預處理的基礎上，運用改進的Robinson算子獲取最佳梯度幅值，實現對車道的邊緣提取，再利用LSD算法完成車道的檢測；然后通過一種基于滑動窗口的三次樣條插值法對車道進行擬合；最后根據車道的曲率半徑和方向2個參數分析車輛的運動狀態，結合車輛的中心位置判斷車輛的偏離狀態。在公共數據集和自建數據集中分別進行測試，實驗結果表明本文方法在不同場景下可以有效地區分車輛的運動狀態并給出車輛的偏離信息，與其他算法相比，本文方法的準確率為93.04%，每秒傳輸幀數達到42.37，基本滿足交通場景的實際要求。