王新勝,卞震
?
基于貝葉斯模型的駕駛行為識別與預測
王新勝,卞震
(江蘇大學計算機科學與通信工程學院,江蘇 鎮江 212013)
針對智能駕駛系統處理大量駕駛數據時出現的效率和精度不足的問題,提出一種基于貝葉斯模型來處理駕駛數據,識別和預測人類駕駛行為的方法。該方法可以無監管地通過駕駛數據對應地推斷出具體駕駛行為,共分為2步:第一步,通過貝葉斯模型分割算法將慣性傳感器收集到駕駛數據分割為近線性分段;第二步,通過LDA拓展模型將線性分段聚集為具體的駕駛行為(如制動、轉彎、加速和慣性滑行)。離線實驗和在線實驗結果表明,在處理大量駕駛數據的情況下,該方法效率和識別精度更高。
駕駛數據;貝葉斯模型;慣性傳感器;線性分段
隨著科技的快速發展,車載傳感器的數量與日俱增,帶來了汽車駕駛數據量的快速增長[1]。從低層次的機械診斷信息如發動機的狀態到更加高層次的防抱死制動系統和電子穩壓數據,基于不同傳感器技術的駕駛員輔助系統(ADAS)在不斷快速發展[2]。先進的ADAS可以提供車道偏離警告、交通信號識別、自適應巡航控制、自動停車和碰撞規避等功能[3]。雖然這些數據是分析駕駛員行為、交通狀況和開發未來安全系統的重要來源,但其生成速度快且數據量過大,專家們無法在有效時間或成本效益內對這些數據進行分析[4,5]。在大規模的車輛駕駛行為研究的情況下,這種問題更加突出[6,7]。
同樣,智能車輛面臨的問題是必須能夠及時地將大量駕駛數據處理成簡明而有意義的結果。而目前的ADAS無法形成對環境的高度了解。相反,它們僅限于車輛及其周圍環境數據的處理和反饋。單靠這種做法,對于長期、預期的駕駛來說是不夠的。為了使車輛對潛在風險做出全面的反饋,并避免與駕駛員的直覺相沖突,ADAS未來的發展必須全面考慮駕駛員的行為、意圖以及道路交通環境信息[8]。本文的目的就是通過分析低層次的自然數據形成對世界的高層次了解。因此,無論是處理大量歷史數據還是分析實時數據,都需要一個無需人為監管就能夠處理大量復雜數據的方法。目前,該方法面臨著許多需要解決的問題,主要包括處理數據所需的準確性、車輛速度帶來的時間限制和數據處理過程帶來的時延以及道路環境等問題。其中,道路環境是必須要重點解決的問題,因為當環境與獲取的實驗數據的測試環境不相同時,往往容易得出錯誤的結果。此外,該方法必須能夠適應各種少見的道路狀況,滿足長期使用的需求[9]。
通過研究發現,使用貝葉斯模型[10]來進行駕駛行為的識別和預測可以很好地解決上述問題。貝葉斯模型具有以下優點:1) 使用貝葉斯模型能對信息的價值或是否需要采集新的信息做出科學的判斷,能對實驗結果的可能性加以數量化的評價,而不是像一般的決策方法那樣,對結果完全肯定或完全否定,提高了結果的準確性[11];2) 貝葉斯模型將先驗概率或主觀概率這2種信息巧妙地結合起來;3) 便于對3層貝葉斯概率模型(也稱為LDA, latent Dirichlet allocation)進行拓展[12];4) 貝葉斯模型可以在處理數據的過程中根據具體情況做出相應的變化,逐步完善數據模型,使得出的結果更加科學,能夠滿足長期使用的需求[13];5) 使用貝葉斯模型無需人為監管且只需要少量的數據預處理,計算效率高,能滿足駕駛信息處理問題中實時性的需要。
為此,本文提出一個基于貝葉斯模型的方法來解決智能駕駛系統處理大量駕駛數據時出現的效率和精度不足的問題。

表1 駕駛行為識別與預測方法比較
研究表明,人類在駕駛時,傾向于使用多個簡單的操作而不是執行單一復雜的操作[14]。基于這一原則發現,當駕駛員在駕駛車輛的過程中,對應車輛在短時間內是線性或近線性狀態運動的。根據這一發現,大量研究工作得以展開并且構建了相應的數學模型,已達到將自然駕駛數據序列同時劃分為多個非重疊的線性分段,并將這些分段聚集成對應的高級駕駛行為的目的。
文獻[15,16]中都提出了基于分段自回歸模型分析駕駛數據以推斷駕駛行為的方法。但是這2個文獻都只是使用模擬數據對它們的模型進行相應的測試,無法保證在線實驗環境中對應算法的實時性。文獻[17]使用貝葉斯非參數模型來分析駕駛數據。在文獻[18]中,也使用了文獻[17]中提出的模型,并且將該模型與LDA模型相結合,以此來將抽象的線性分段與具體的駕駛行為相聯系。盡管得出的結果比較理想,但是該模型在計算上有著相當大的固有復雜性。此外,測試的結果還受到測試環境的影響,不同的測試環境導致其測試的結果也不相同。
文獻[19]提出了使用慣性測量單元(IMU)來收集數據,結合照相機的圖像來推斷駕駛行為的方法。該方法由2個部分組成:首先,使用了文獻[20]中提出的變點檢測方法,將IMU收集的數據分割成不重疊的線性分段;然后,將線性分段和相機圖像片段相關聯,以此得出具體的駕駛行為。而文獻[21]提出了一種通過區分不同的駕駛風格,以識別對應駕駛人員信息的方法。同樣,該方法還是需要分割慣性數據。但與文獻[19]中提出的方法不同的是,分割過程是通過使用閾值和車輛信號,如剎車燈來完成的。類似地,文獻[22]中也是使用閾值和移動的平均值來分割車載傳感器收集的慣性數據。表1給出了上述方法的比較結果。
針對上述方法中存在的問題,本文在文獻[17]和文獻[18]的基礎上,提出一種不需要監管的、高效的方法來識別與預測駕駛行為,即基于貝葉斯模型的方法。與文獻[21,22]提出的方法不同的是,本文所提方法不依賴于閾值或外部信號;與文獻[19]中提出方法相比較,本文所提方法有著完全貝葉斯、不需要監管的優點;與文獻[15,16]中提出的方法不同的是,本文所提方法不受測試數據的影響,并且可以推廣到新的環境中。此外,本文方法考慮了坡度對駕駛數據的影響,對駕駛員行為的識別更加準確。
在統計學領域,有許多關于變點檢測與序列分割模型的研究[23]。本文所提基于貝葉斯模型的駕駛行為識別與預測方法,其基本思想是引入統計學中的變點檢測方法并結合貝葉斯多元線性回歸模型來實現車輛運動數據序列的分割,進而使用LDA拓展模型,對分割序列與具體的駕駛行為之間進行映射。
首先,通過樣本數據得到似然函數,給出先驗分布;然后,結合先驗分布得到數據模型的后驗分布并且計算出數據的邊緣似然估計;最后,對于給定的新測試數據,利用之前得到的后驗分布作為權重,在整個參數空間里計算加權積分,得到預測分布,實現貝葉斯多元線性回歸模型的構建。
3.1.1 似然函數



3.1.2 參數的共軛先驗分布


在給定條件下,關于和的共軛先驗分布服從矩陣正態—逆分布,其密度函數描述如式(3)所示。


3.1.3 參數的后驗分布
根據貝葉斯定理,共軛先驗分布密度正比于似然函數,即


由于共軛,所以參數和的后驗分布具有對應的先驗分布(3)相同的數學形式。所以后驗分布為

3.1.4 數據的邊緣似然估計
通過對似然函數中模型參數邊緣化,得出數據的邊緣似然估計,其密度函數為

上述的積分可以計算求值,其結果可以用2個常數的比值來表示,其中,分子和分母分別與超參數先驗和后驗分布相關聯,數學計算式為


3.1.5 預測分布



本節將應用多元線性模型的理論來解決數據序列分割的問題。
為此進行以下假設:1) 在每個分段內,模型系數和噪聲均遵循高斯分布;2) 在每個分布中,條件均值都為線性函數,并且協方差恒定。通過以上假設,數據序列的分割問題容易處理且易于擴展。
序列分割問題具體的方法過程如下。首先,使用構建的多元線性模型并結合所給出的變點檢測算法計算出變點參數的先驗分布以及風險函數;然后,定義出在線分割算法的邊界條件;最后,根據初始數據、風險函數和邊界條件,推算出分段長度的概率密度函數。3.2.5節將給出具體的分割算法。
3.2.1 變點檢測


其中,后驗分布為

其聯合分布就可以遞歸地表示為


2) 在給定了前一個變點的基礎上,可以得出最新數據的預測分布。
3.2.2 風險函數
圖1展示的是消息傳遞算法的過程。其中,圓圈代表運行過程中所有可能的狀態;圓圈之間的連線顯示的是時間步長之間的遞歸傳遞質量;實線表示概率數值正在上升,運行長度在下一個時間段增長;虛線表示當前的運行狀態被停止并且數值下降到0的可能性。

圖1 消息傳遞算法的過程


3.2.3 邊界條件
通過運行長度的分布函數和觀測的數據遞歸地寫出聯合分布。遞歸算法不僅要定義遞歸關系,還要定義初始化條件,包含以下2種情況。
1) 在第一個基準之前發生變化,例如,在觀察數據時,可將初始運行長度的所有概率密度函數重置為0。
2) 更新測試數據發生變化,如在運行長度上升時,根據歸一化常數將運行長度重置為0,其數學計算式為


3.2.4 多元線性模型序列分割



根據式(7)和式(9)可知

3.2.5 貝葉斯模型分割算法
算法1給出了用于分割數據序列的算法。在該算法中,首先,初始化數據;然后,根據3.2.2節求出的風險函數計算線性分段運行長度的分布函數;接下來更新充分統計量,計算出運行長度邊緣預測分布;重復上述過程實現序列分割。
算法1 貝葉斯模型分割算法
1) 初始化


3) 根據式(7)推演后驗預測密度函數
4) 根據式(9)計算增長概率密度函數
5) 計算變點密度函數

6) 確定運行長度分布

7) 更新充分統計量

8) 進行預測
9) 重復步驟2)
3.2.6 線性分段粒度分析


LDA模型也被稱為3層貝葉斯概率模型,可以提供方法聚集數據。這些模型常用于文檔內容的信息檢索,例如,根據每個文檔的詞匯為該文檔指定對應的主題。在本文情況下,文檔就是線性分段,而主題是具體的駕駛行為。
與文檔中的單詞不同的是本文的數據是連續的。為了解決這個問題,本文對傳統LDA模型進行了拓展。LDA拓展模型確定主題的過程也是一個分類的過程,具體過程如下,給定駕駛數據序列,使用算法1對數據序列變點進行檢測,分割駕駛序列;然后將每個分段當作文檔,對其使用LDA拓展模型;根據那些經常出現的詞匯歸納出主題,然后可以與語義標簽相互關聯。
和LDA模型類似,本文給出的LDA拓展模型同樣根據線性分段的比例對具體駕駛行為進行預測,同時使用Matlab對該模型進行了驗證,結果表明該方法準確性高。
本節將分別討論離線實驗和在線實驗這2種情況下分割和聚集駕駛數據序列的實驗結果。首先,收集駕駛數據,利用第3節介紹的方法將實驗數據分成近似線性的分段;然后,利用LDA拓展模型聚集線性分段,將其與具體的駕駛行為相映射。
4.1.1 數據的預處理
本文使用慣性傳感器來收集駕駛數據。在汽車上利用3軸陀螺儀和線性加速度傳感器來測量汽車的慣性數據。傳感器被水平地放置在車輛中間位置,軸朝上,軸面向前進方向。在10 min的車程內,平均每秒鐘收集5次數據,共收集了超過3 000個數據,如表2所示。

表2 駕駛數據參數
其中,數據預處理涉及提取傳感器軸的分割問題。關于軸的旋轉被用來作為衡量車輛偏航度,軸的旋轉被用來作為衡量測量車輛行駛的坡度,軸的線性加速度被選擇為車輛的行駛方向。除了這些針對車輛框架的預處理,該方法唯一的預處理就是消除部分由于傳感器不靈敏而收集到的錯誤的駕駛數據信息。式(21)和式(22)為傳感器收集到的數據。


4.1.2 離線駕駛數據分割
整個離線行為分析通過使用算法1中提出的貝葉斯模型分割算法進行序列分割,使用3.3節中提出的LDA拓展模型對線性分段進行聚集。
1) 分段結果
分割算法一共花費11.8 s的時間處理13 m的駕駛數據,平均每個數據花費的時間為86.1 μs,實時性好。共生成170個線性分段,平均每個線性分段持續時間為3.4 s,該數值在3 ~7 s之間變化。
圖2所示為120 s內駕駛數據的貝葉斯模型分割算法實驗結果,按順序分別為加速度、軸偏轉度、軸偏轉度以及線性分段長度隨時間的變化。通過變點檢測算法,計算出加速度,軸和軸的偏轉度數據中的變點,圖2(d)中的粗線表示線性分段持續的時間長度,其線性遞增,遇到變點歸零。通過該實驗,成功地檢測出駕駛序列中的變點,將駕駛數據序列分割成近線性的分段。
圖3(a)為3值航位推測算法的軌跡。該圖通過加速度和軸與軸偏轉度進行航位推測計算,可以描述車輛的運行軌跡以及道路地形,其中,軌跡上標注的圓圈表示算法計算出的分段邊界。可以發現,分段的邊界主要集中在拐角和上坡下坡處,直觀地說明轉彎和爬坡的操作比直線操作更加復雜。
圖3(b)為2值平面軌跡,與本文的圖3(a)方法相比,缺少軸偏轉度(坡度)的數據。在駕駛過程中,地形對駕駛行為的影響是顯著的。例如,下坡過程中,就算駕駛員執行滑行的操作,車輛在數據上仍然呈現加速的狀態。所以只有消除地形的影響,才能提高聚集數據的精確度。

圖2 120 s內駕駛數據的貝葉斯模型分割算法實驗結果

圖3 利用加速度和陀螺儀測量的數據進行的航位推測的軌跡
2) 聚集結果
在完成駕駛序列的線性分割后,使用3.3節提出的LDA拓展模型進行數據聚集。
分段通常由一些不同的主題組成,就像文檔通常包含幾個不同的主題。本文提出的LDA拓展模型得到分段數據后返回的是每個分段的主題比例,因此可以得出每個文檔中有多少主題。其中,5個主題模型的比例如圖4所示。

圖4 按主題繪線的航位軌跡推算
圖4為按主題繪線的航位推測軌跡。每一條線對應著一個分段,其線段圖形是5個基本圖形的凸組合,每個主題對應一種圖形。凸組合中的系數就是主題的比例,而主題是由擴展LDA模型進行選擇和分配的。然后可以以直觀駕駛行為(如滑行、制動和轉向的方式)來標注分段。
圖5是對LDA模型聚集法與簡單的閾值方法所得出結果進行比較。用于表示閾值數據的規則如下

為了降低閾值輸出中的噪聲,慣性數據使用的是20個樣本數據的平均值。
圖5展示的是由測試車輛經過2個十字路口執行轉彎操作時收集到的慣性數據。車輛以穩定的速度朝向路口行駛,制動減速完成右轉彎,然后回到正常速度。再次執行同樣的操作,完成左轉彎。其中閾值法很容易受到噪聲數據的影響。只有對數據進行除噪和調整閾值的級別才能獲得理想的結果。但即使有微調,結果仍然容易受到閾值附近的噪聲影響。這將導致駕駛數據出現從一個駕駛狀態到另一個駕駛狀態不正常的快速波動。由圖5(b)可以發現,當= 283 s和= 405 s左右時駕駛行為出現快速變動。

圖5 LDA模型聚集法與簡單的閾值方法結果比較
由于閾值法嚴格的規范,導致其提供的簡單規則無法正確地模擬局部數據變化對應的主題,例如,在= 283 s到轉向加速的過程中,可以發現使用閾值法處理確定駕駛數據分段更加單一。而在這個過程中,本文提供的方法對局部數據處理時生成了更加詳細的分段。即使數據的復雜性增加,添加新的規則變得越加困難,該方法還可以進行擴展。只需要添加新數據或增加檢測行為的數量,不需要對該模型本身進行其他的修改。
圖6和圖7分別為在線實驗軌跡與校園實驗軌跡。本文的在線實驗是通過慣性傳感器進行駕駛數據的收集,然后利用手機4G網絡即時傳輸到云平臺進行計算。云平臺通過運行算法1提出的分割算法和3.3節提出的分類方法,將其軌跡圖分段以路徑的形式顯示出來。圖6顯示的4個圖分別對應4個時間段內通過分割和聚集算法推算出的軌跡,圖中圖形與駕駛行為主題相對應,圖中的條形圖表示的是在當前駕駛數據情況下的所有主題的后驗概率,根據后驗概率確定當前主題。圖7顯示的是根據不同的主題對車輛軌跡進行圖形編碼的軌跡。可以發現,圖6與圖7的部分軌跡一致。實驗表明,在對應時間內,后驗概率最高的駕駛行為主題與觀察到的駕駛員正在執行的駕駛行為一致。

圖6 在線實驗軌跡

圖7 校園實驗軌跡
此外,根據在線實驗的結果,可以預測三角形線段區域多的路口交通狀況不好,因為三角形線段區域多表明車輛多次減速,可見其路況不是很好。下一步的工作是進一步分析圖形背后包含的現實含義。
本文提出了識別和預測駕駛行為的方法,實現了如何將分段聚集到與具體駕駛行為相對應的主題中,從而獲得有意義的數據。同時,還展示了在線進行分段和聚集。該方法是完全無監管的,而且只需很少的預處理。本文貢獻主要有以下3點。
1) 對貝葉斯先驗參數進行改進,考慮參數為非零和非對角矩陣的情況,與傳統的假設參數為0和對角矩陣相比,算法適用性更高、更可靠。
2) 對LDA模型進行拓展,使用該模型對數據進行聚集,擺脫了傳統的閾值帶來的決定是肯定或否定,結果以概率的形式顯示。同時考慮了道路坡度對駕駛數據的影響,避免因為路況而影響結果的準確性。準確性和適用性較一般算法更好。
3) 通過大量仿真實驗驗證了所提出的基于貝葉斯模型的算法優于傳統算法,從實驗結果上可以看出,本文方法結果準確性更高,特別是在道路狀況復雜的區域。
未來的研究將進一步考慮道路環境等問題,由于實驗條件和算法只允許考慮慣性傳感器收集到的數據,在道路環境部分只考慮坡度這一因素,未來將在模型中加入其他道路環境因素,進一步提升算法的適用范圍。此外,本文只是識別和預測出駕駛員具體的駕駛行為,但是這些行為背后包含的規律還有待進一步的研究。
[1] FRANKE U, PFEIFFER D, RABE C, et al. Making bertha see[C]// IEEE International Conference on Computer Vision Workshops. 2014: 214-221.
[2] WINNER H, HAKULI S, LOTZ F, et al. Handbook of driver assistance systems: basic information, components and systems for active safety and comfort[M]. Springer Publishing Company, Incorporated, 2015.
[3] CHEN Y, JIANG X H, LIAO L C, et al. Driving behavior motivation model research based on vehicle trajectory data[C]//International Conference on Smart Vehicular Technology, Transportation, Communication and Applications. 2017: 36-44.
[4] DOSHI A, MORRIS B, TRIVEDI M. On-road prediction of driver’s intent with multimodal sensory cues[J]. IEEE Pervasive Computing, 2011, 10(3):22-34.
[5] SATZODA R K, MARTIN S, LY M V, et al. Towards automated drive analysis: a multimodal synergistic approach[C]//International IEEE Conference on Intelligent Transportation Systems. 2013: 1912-1916.
[6] STUBING H, BECHLER M, HEUSSNER D, et al. SIM TD : a car-to-X system architecture for field operational tests[J]. IEEE Communications Magazine, 2010, 48(5):148-154.
[7] ALEXANDER P, HALEY D, GRANT A. Cooperative intelligent transport systems: 5.9-GHz field trials[J]. Proceedings of the IEEE, 2011, 99(7):1213-1235.
[8] LI Z, BAO S, KOLMANOVSKY I V, et al. Visual-manual distraction detection using driving performance indicators with naturalistic driving data[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, PP(99):1-8.
[9] MAYE J, TRIEBEL R, SPINELLO L, et al. Bayesian on-line learning of driving behaviors[C]//IEEE International Conference on Robotics and Automation. 2011:4341-4346.
[10] YAN X, SU X G. Bayesian linear regression[J]. Security Ticket Control, 2009, 15(1):1052-1056.
[11] KIRCHNER M R, RYAN K, WRIGHT N. Maneuvering vehicle tracking with Bayesian changepoint detection[C]// IEEE Aerospace Conference. 2017:1-9.
[12] KRESTEL R, FANKHAUSER P, NEJDL W. Latent dirichlet allocation for tag recommendation[C]//ACM Conference on Recommender Systems. 2009: 61-68.
[13] HARLé F, CHATELAIN F, GOUY-PAILLER C, et al. Bayesian model for multiple change-points detection in multivariate time series[J]. IEEE Transactions on Signal Processing, 2016, 64(16):4351-4362.
[14] KIM J H, HAYAKAWA S, SUZUKI T, et al. Modeling of driver's collision avoidance maneuver based on controller switching model[J]. IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics, 2005, 35(6):1131-1143.
[15] SEKIZAWA S, INAGAKI S, SUZUKI T, et al. Modeling and recognition of driving behavior based on stochastic switched ARX model[C]//IEEE Conference on Decision and Control, 2005 and 2005 European Control Conference. 2006: 5095-5100.
[16] TERADA R, OKUDA H, SUZUKI T, et al. Multi-scale driving behavior modeling using hierarchical PWARX model[C]//International IEEE Conference on Intelligent Transportation Systems. 2010: 1638-1644.
[17] TANIGUCHI T, NAGASAKA S, HITOMI K, et al. Semiotic prediction of driving behavior using unsupervised double articulation analyzer[C]//Intelligent Vehicles Symposium. 1931:849-854.
[18] BANDO T, TAKENAKA K, NAGASAKA S, et al. Unsupervised drive topic finding from driving behavioral data[C]//Intelligent Vehicles Symposium. 2013:177-182.
[19] JOHNSON D A, TRIVEDI M M. Driving style recognition using a smartphone as a sensor platform[C]//International IEEE Conference on Intelligent Transportation Systems. 2011:1609-1615.
[20] PAUL F, ZHEN L. On-line inference for multiple changepoint problems[J]. Journal of the Royal Statistical Society, 2007, 69(4):589-605.
[21] LY M V, MARTIN S, TRIVEDI M M. Driver classification and driving style recognition using inertial sensors[C]//Intelligent Vehicles Symposium. 2013:1040-1045.
[22] MAYE J, TRIEBEL R, SPINELLO L, et al. Bayesian on-line learning of driving behaviors[C]//IEEE International Conference on Robotics and Automation. 2011:4341-4346.
[23] STEPHENS D A. Bayesian retrospective multiple-changepoint identification[J]. Journal of the Royal Statistical Society, 1994, 43(1): 159-178.
Driving behavior recognition and predictionbased on Bayesian model
WANG Xinsheng, BIAN Zhen
School of Computer Science and Communication Engineering, Jiangsu University, Zhenjiang 212013, China
Since the existing intelligent driving systems are lack of efficiency and accuracy when processing huge number of driving data, a brand new approach of processing driving data was developed to identify and predicate human driving behavior based on Bayesian model. The approach was proposed to take two steps to deduce the specific driving behavior from driving data correspondingly without any supervision, the first step being using Bayesian model segmentation algorithm to divide driving data that inertial sensor collected into near-linear segments with the help of Bayesian model segmentation algorithm, and the second step being using extended LDA model to aggregate those linear segments into specific driving behavior (such as braking, turning, acceleration and coasting). Both offline and online experiments are conducted to verify this approach and it turns out that approach has higher efficiency and recognition accuracy when dealing with numerous driving data.
driving data, Bayesian model, inertial sensor, linear segmentation
TP393
A
10.11959/j.issn.1000-436x.2018043
2017-10-25;
2018-02-10
國家自然科學基金資助項目(No.U1764263)
The National Natural Science Foundation of China (No.U1764263)
王新勝(1972-),男,江蘇宿遷人,博士,江蘇大學副教授,主要研究方向為無線傳感器網絡等。

卞震(1992-),男,江蘇淮安人,江蘇大學碩士生,主要研究方向為車聯網安全結構。