基于CRF的駕駛員意圖在線識別

李雪涵，陳煥明，華 航

（青島大學 機電工程學院，山東 青島 266071）

自動駕駛是汽車發展的熱門領域，2018年，德國就允許L3級別的自動駕駛車上路，并且允許駕駛員雙手放開方向盤。眾多汽車廠商也紛紛加大對自動駕駛汽車的研究力度。

按照美國汽車工程師學會（Society of Automotive Engineers, SAE）于2021年提出的《SAE J3016推薦實踐：道路機動車輛駕駛自動化系統相關術語的分類和定義》一文中定義，當前大部分商用車加裝的駕駛自動化系統只能提供L3級及以下的功能；部分公司制造的搭載L4級及以上的駕駛自動化系統的車輛已投入實車測試，但許多因素制約使其短時間內無法真正投入商用。

目前大部分商用的駕駛輔助系統主要包括車道保持輔助（Lane Keeping Assist, LKA）、自動泊車輔助（Auto Parking Assist, APA）、電子控制制動輔助（Electronic Brake Assist, EBA）和牽引力控制系統（Traction Control System, TCS）等，依靠車載智能系統，根據各式傳感器數據增強駕駛安全性和駕駛體驗。但目前機器決策的安全性和準確性還難以得到大眾的認可，且有時智能系統根據傳感器數據做出的安全的決策可能會給駕乘人員帶來不適的體驗，背離駕駛員想要的駕駛目標，潛在降低大眾本就對自動駕駛的信任度。除了提升智能系統決策的安全性與準確性并使其能夠照顧到駕乘人員的情感要求，將駕駛員的操作意圖引入控制系統，作為新的決策者，也不失為一種有效的解決方法。

駕駛員在正常開車過程中除了對前方道路的觀察，還會不時觀察四周環境，尤其是在左換道（Lane Change Left, LCL）、右換道（Lane Change Left, LCR）的準備階段，會通過左右后視鏡觀察后方來車，判斷換道的安全性。許多研究人員對駕駛意圖識別進行了深入研究，采用了長短期記憶[1-3]、神經網絡[4-5]、貝葉斯理論[6-8]、支持向量機[9-10]、隱馬爾科夫[11-13]和條件隨機場[14-16]等算法，在模型中輸入車輛狀態，和通過眼動儀[4,13]等設備采集駕駛員的觀察信息，識別駕駛員的換道意圖。

文章提出一種基于條件隨機場的駕駛意圖在線識別系統，在駕駛模擬器上采集駕駛數據，總結駕駛員操作習慣，識別駕駛意圖，并在駕駛模擬器上實現在線識別。

1 實驗數據采集

1.1 駕駛模擬器

駕駛員的操作意圖需要根據大量數據進行分析從而得出其規律。數據采集需要在保證真實性和安全性的前提下盡可能高效，并減少對他人的影響。

XIE等人[8]采取實車實驗的方式采集駕駛員數據，需要加裝多種傳感器及其配套設施，其對駕駛員操作，實驗的道路、天氣、環境都有較高要求；LIU等人[12]采用駕駛模擬器的實驗方式，選用達索公司6 自由度SCANER Ⅱ駕駛模擬器，可以方便地對實驗各項模擬數據進行調整，而且相比實車實驗，效率更高，安全性更好。

綜合考量，文章選用駕駛模擬器方案采集數據。文章將兩臺普通臺式電腦作為上下位機，其中下位機安裝PharLapETS工業強度實時操作系統，以便于接收連接方向盤、油門與制動踏板等部件的傳感器傳回數據，上位機采用Windows操作系統，并安裝CarSim、MATLAB和Veristand等仿真軟件用于實時仿真。駕駛模擬器的圖像輸出由5塊屏幕組成，其中3塊水平布置，用于輸出CarSim創建的實驗場景，為實驗人員提供盡可能接近真實駕駛體驗的視覺觀感；3塊屏幕的左上方屏幕顯示下位機的運行狀態，右上方屏幕顯示Veristand的工作空間，其可以控制仿真并實時展示部分輸出。駕駛模擬器整體如圖1所示。

圖1 駕駛模擬器

1.2 圖像采集設備

駕駛員在駕駛過程中會利用后視鏡關注側后方車輛的動態，尤其是在更換車道時，觀察行為會更加頻繁。目前能夠記錄駕駛員觀察行為的圖像采集設備無外乎眼動儀、深度攝像頭和普通光學攝像頭。DAVID等人[4]采用眼動儀采集駕駛員的視線點區域，以此為基礎分析駕駛員的觀察目標。其能夠精確測算頭部的三維位置和方向，通過對虹膜和瞳孔的檢測和定位，并參照已經標定過的眼睛幾何模型來確定觀測者的視線的方向，精度高，但費用昂貴，難以投入實際汽車使用中。深度攝像頭主要有結構光、飛行時間法（Time Of Flight, TOF）、雙目成像三種方案，但其處理速度慢，對車載電子控制單元（Electronic Control Unit,ECU）的運算速度提出了很高的要求，潛在增加了汽車成本。普通光學攝像頭價格低廉、體積小、運算量小。

文章采用普通光學攝像頭，采用深度標簽分布學習（Deep Label Distribution Learning, DLDL）識別駕駛員在駕駛過程中頭部橫擺角的變化和區間，以頭部轉向確定駕駛員的觀察目標。

1.3 用于頭部姿態識別的DLDL

目前頭部姿態的算法主要分為3D和2D兩種。3D即通過深度信息[17-18]或人臉關鍵點[19-20]來建立3D臉部模型，以此求取歐拉角，準確率高，但對光學設備的要求較高，一般要求深度相機或多目攝像頭，而且計算量大，耗時長。2D即模型訓練的方式，在頭部姿態數據庫如300W-LP的基礎上訓練和測試，并最終得到一個優秀的識別效果。一般多采用神經網絡[21-24]進行模型訓練，訓練要時較長，但訓練完成后的識別用時短。

DLDL[25]是在卷積神經網絡的基礎上發展而來，為解決有精確標簽的訓練圖像不足的問題，將圖像的標簽轉化為離散標簽分布，并通過使用deep ConvNet最小化預測和地面真實標簽分布之間的Kullback-Leibler散度來學習標簽分布，即使訓練集較小也能有優秀的識別效果。

在給定輸入圖片x1和x2，其對應標簽分別為y1和y2，若y1和y2之間具有相關性，則x1和x2之間也具有相關性。因而，對于一個輸入X，其輸出并不是一個確定的y，而是將可能的y值范圍量化為多個標簽，DLDL給出每個可能的y值的對應概率，由此，深度學習機就會被迫照顧標簽之間的模糊性。

若X為輸入，y為對應標簽分布，設x=?(X;θ)是激活深度網絡中最后一個完全連接的層的輸出，其中θ為DLDL中參數，使用Softmax函數得到預測的概率分布為

給定一個訓練數據集D, DLDL的目標是生成一個與y相似的分布y。采用Kullback-Leibler散度來衡量相似性，則訓練目標為

損失函數定義為

隨后采用隨機梯度下降算法將損失函數最小化。完成最小化，則可輸出根據輸入X的標簽分布y。

構造標記分布方面，對于頭部姿態估計，需要同時預測pitch和yaw，故需要DLDL學習聯合概率分布。設標簽集為

式中，ljk是一對值；n1和n2為 pitch 和yaw 可能的數量，由此y能夠被n1×n2的矩陣表示。給定輸入X，其真實均值μ和協方差矩陣∑，則其標簽分布為

1.4 實驗模擬環境

文章主要針對駕駛員換道意圖進行研究，按照駕駛安全要求，車輛在彎道和隧道等特殊車況下不允許換道，故文章搭建實驗模擬道路為直線車道。為提高實驗數據的隨機性和真實性，在駕駛方向的同向車道內放置多輛汽車，相互車道間的汽車車速不同，這樣每次實驗時實驗車與放置車的相遇位置不同，放置車之間的縱向方向距離也不同，在由實驗人員自主決定是否換道、換道時間點和換道目標的情況下，每次換道都具有獨特性，避免了固定障礙物導致換道決策的雷同，更貼近真實駕駛決策。

1.5 受試人員和數據總量

招募受試人員14名，均滿足近五年內未發生過交通事故的要求。進行正式實驗前，受試人員都接受了駕駛模擬器的培訓，以適應駕駛模擬器的操作手感，避免出現異常數據。為便于實驗順利進行和實驗數據的保存，提高實驗效率，實驗配備一名操作員，負責實驗仿真軟件的操作和實驗過程的指導。

文章中，由12名駕駛員在70 km/h至100 km/h的速度區間內采集了45組駕駛數據，包含 155次有效換道行為，其中77次左換道，78次右換道。

2 數據預處理與意圖識別模型

2.1 選取特征參數

駕駛過程中隨著駕駛員的操作，車輛的工況會改變，車輛的各種參數會隨之發生變化，選取適當的參數能夠準確表明駕駛員的操作意圖。

CarSim軟件可以在仿真中輸出車輛車身狀態、車輛位置等參數，將之傳遞給Simulink。文章根據研究內容的需要，針對行駛狀態下車輛各項參數的變化，選取了車輛車身狀態、縱向參數、橫向參數和車輛坐標等共51個參數。光學設備能夠記錄駕駛員在駕駛過程中頭部在橫向、縱向和垂向的轉動角度，提供由CarSim無法獲取的駕駛員部分觀察參數。

過多的參數會增大數據總量，降低意圖識別模型的訓練和識別速度，因此，對兩類參數都進行篩選。車輛換道是橫向位置變化，和車道保持階段相比，橫向參數變化較大，在LCL、LK和LCR各階段的取值區間都差別較大，其取值和變化趨勢能表征車輛的橫向變化，即換道行為；駕駛員在換道時，會直接操作方向盤，方向盤相關參數也和車輛的橫向變化息息相關；DLDL可以輸出駕駛員頭部在橫向、縱向和垂向的位置，而駕駛過程中，駕駛員主要集中在自身所在的水平面內，對左右后視鏡的觀察基本是頭部橫向角度的變化。

圖2 各參數箱式圖

綜上，車輛參數中選擇車身橫擺角（°）、方向盤轉角（°）、方向盤角速度（°/s）、橫向速度（km/h）、橫向加速度（m/s2）；觀察參數選擇駕駛員的頭部橫擺角（°）。圖2為各特征參數的箱式圖。

如圖所示，各參數在LK、LCL和LCR階段的取值空間有明顯差異，滿足選取要求。此外為方便劃分換道區段，還額外增加車輛質心的橫向位置（m），用以判斷車輛是否進行換道以及換道完成時間。

2.2 劃分換道區段

由于換道數據占數據整體比例較小，大部分為車道保持階段，故將整體數據按照換道區段進行拆分。現實中汽車上一般通過光學設備識別車道線，根據車輛位置和車道線的相對關系判斷換道。文章將其簡化，CarSim可以輸出車輛質心點的坐標，將質心點越過車道線作為換道行為的終止點，即駕駛員已基本完成換道所需操作且換道行為難以終止。

隨機取一段換道時車輛質心點橫坐標和方向盤轉角變化圖如圖3所示，以車輛質心越過車道線點為中點向時間軸前后各取400個采樣點，總時間為8 s。

圖3 方向盤轉角與車輛橫向位置

圖中A點為車輛方向盤轉角突變點，時間為56.19 s，B點為車輛質心越過車道線點時間為59.24 s。

參考相關文獻[4,13]，在劃分換道區段時一般將車輛質心越過車道線前4 s作為換道行為識別開始點，前1 s作為換道行為識別終止點。根據多次實驗數據記錄和CarSim實驗錄像分析，將車輛質心越過車道線前4 s作為換道行為識別開始點能夠囊括換道階段的數據，并能夠包含一定長度的車道保持階段數據，方便數據訓練；同樣根據多次實驗數據記錄和CarSim實驗錄像分析，將車輛質心越過車道線前0.5 s作為換道行為識別終止點和前1 s相比，車輛的邊界更靠近車道線，換道行為更難終止。最終確定的車輛參數識別換道區段即圖3中CD段。

換道時，駕駛員為保證駕駛安全，會在換道前提前觀察，具體方式即通過兩側后視鏡查看臨近車道是否有危險車輛。在這個過程中，駕駛員的頭部橫擺角會發生變化，而根據實驗數據分析，多數情況下頭部橫擺角會在方向盤轉角突變之前終止，即駕駛員對臨近車道的觀察行為會在正式換道前轉換為對前方道路的觀察。取圖3換道區段中頭部橫擺角如圖4所示，以車輛質心越過車道線點為中點向時間軸向前取1 000個采樣點，向后取400個采樣點，總時間為14 s。

圖4 頭部橫擺角與車輛橫向位置

圖中A點為頭部橫擺角突變點，時間為55.27 s；B點為頭部橫擺角突變結束點，時間為56.13 s；C點即圖3中B點。

由此，文章確定觀察參數換道區段起始點為車輛質心過車道線前10 s；終止點和車輛參數區段劃分相同，為車輛質心過車道線前0.5 s。圖4中DE段即為觀察參數識別換道區段。

綜上，最終換道區段如圖5所示。其中AC段為觀察參數區間，長度為9.5 s；BC段為車輛參數區間，長度為3.5 s；CD段為從車輛越過車道線到車輛質心過車道線區間，長度為0.5 s。

圖5 換道區段

2.3 條件隨機場

條件隨機場（Conditional Random Field,CRF），由LAFFERTY等人[26]于2001年提出。

一般的條件隨機場需要枚舉所有的最大團，不易計算，線性鏈條件隨機場（Linear Chain Conditional Random Field, LCCRF）作為它的一種特殊情況，其狀態變量形成一個線性鏈，每個節點只與前一個節點（如果存在）與后一個節點（如果存在）有關，即在時間序列中每個變量只和前一時刻、后一個時刻的變量有關。其數學定義：設X=(X1,X2,...,Xn)和Y=(Y1,Y2,...,Yn)均為線性鏈表示的隨機變量序列，在給定隨機變量序列X的情況下，隨機變量Y的條件概率分布構成條件隨機場，即滿足馬爾科夫性：

則稱為線性鏈條件隨機場。現實中一般要求X和Y有相同的圖結構，其示意圖如圖6所示。

圖6 X和Y有相同的圖結構的線性鏈CRF示意圖

對于此類無向圖，定義特征函數Φ為

而對于第k維的特征函數值則記錄為

通過定義，使得全局特征等于局部特征的和，從而使特征函數掌握更多信息量，增強表達能力。

條件隨機場通過定義特征函數和權重系數來轉換成機器可以學習的模型。狀態序列y的條件概率為

式中，Z(x)為歸一化因子，是對標簽序列所有可能取值求和；tk為轉移特征函數；λk為其權重系數；依賴于當前節點與前一個節點（如果存在）；sl為狀態特征函數；μl為其權重系數，只依賴于當前節點。

CRF可以使用多種學習算法，文章應用BFGS法進行模型學習。對于條件隨機場模型：

其學習的優化目標函數為

其梯度函數為

3 模型訓練與實驗驗證

3.1 數據預處理

由于CRF算法特性，在訓練時需要明確各類數據的分類，故對劃分后的數據按照駕駛行為進行標記，標記內容如表1所示。

表1 數據標記內容

3.2 模型訓練

CRF對數據長度有限制，要求所有訓練樣本長度相同，故兩類參數分別輸入CRF模型訓練，并單獨檢驗，其流程示意圖如圖7所示。

圖7 CRF訓練與識別流程示意圖

CRF算法是在隱馬爾科夫模型（Hidden Markov Model, HMM）算法基礎上，打破觀測獨立性假設和齊次性假設改進而來，二者在算法上比較接近，將數據同時導入CRF算法模型和HMM算法模型進行訓練，并在訓練后對相同數據進行測試，對比結果。

3.3 單工況測試

首先針對僅左換道或右換道這類單工況進行識別測試。從測試樣本中隨機抽取左換道和右換道樣本各一個進行識別，其中左換道識別結果如圖8所示，右換道識別結果如圖9所示。

圖8 CRF和HMM對左換道識別結果

圖9 CRF和HMM對右換道識別

兩種算法對各種駕駛行為的識別準確率如圖10所示。

圖10 兩種算法對三種工況的識別準確率

圖中VP為車輛參數（Vehicle Parameters），OP為觀察參數（Observation Parameters）。除了在左換道工況下觀察參數的識別率，CRF的識別率均高于HMM，達到96%以上，而且對LK識別率達到100%。車輛參數最早能夠在車輛質心越過車道線的1.88 s前識別到駕駛員的換道意圖，而觀察參數在車輛質心越過車道線的5.83 s前識別到駕駛員的換道意圖。

通過圖8和圖9可以分析二種算法對數據變化的不同識別特性。車輛參數方面，二者差別不大，但在概率上升階段，HMM上升更快，在0到1之間的點更少，作為判別式模型的CRF對數據變化反應更早，相比HMM更能反映數據的變化趨勢。觀察參數方面，二者呈現出明顯不同的結果。LK階段，HMM相比CRF抖動更劇烈，而且取值都明顯更大一些，中間多處出現異常增高，而反映到識別結果上，就是出現有取值為0的地方，即算法判斷某一點或某一段不屬于LCL、LK或LCR中的任意一種。在概率上升階段，和車輛參數相同，CRF上升時機更早，但上升速度更慢，在0.4～0.8分布的點更多。HMM對換道階段的識別則相對穩定，沒有過大的震蕩。而在圖8(d)中，對換道部分CRF識別率低于HMM，在0.8附近。顯然對兩種算法而言，與多參數相比，單參數情況下的識別概率要更不穩定。

除了識別的準確率，識別所用時間也十分重要，尤其是若要運用于實時系統上，單次識別時間過長會導致實時性很差。MATLAB自帶計時函數，利用該函數記錄兩種算法對駕駛意圖識別的時間，結果如表2所示。

表2 識別用時

無論車輛參數還是觀察參數，CRF算法的識別用時都比單次采樣時間短，滿足實時性要求。與HMM算法對比，CRF算法用時基本占HMM用時的10%以下，優勢明顯。此外，對比兩列數據，盡管左列數據量比右列更多，但識別用時更短，顯然數據長度對識別用時的影響比數據總量影響更大，可以通過減少數據長度、增加特征參數數量的方式來進一步壓縮采樣時間，提高系統效率。

3.4 復雜工況測試

為證明該識別系統在包括多種復雜工況的情境下依然有較好的識別率，隨機取一原始樣本，行駛路徑長度為743 m，總時間為30 s，識別結果如圖11所示。

圖11 復雜工況下識別結果

CRF識別結果整體和原數據標記基本一致，在包含多種駕駛行為的復雜工況下依然保持有良好的識別效果。

圖11(a)中，換道區段后又識別出一段反向換道，是因為駕駛員在換道完成后反向轉動方向盤使車輛回正，駕駛操作和車輛動態都接近換道行為，因而被識別出來。而且由于換道標記截止到車輛質心越過車道線前0.5 s，而車輛可能之后依然保持明顯的換道姿態，故圖中CRF識別區域在后端明顯多于數據標記。

在兩段換道行為中的車道保持階段，駕駛員有三次明顯轉動方向盤使調節車輛位置的行為，但均未被識別為換道行為，不影響最終識別結果。

4 在線識別

前文是在對收集的數據在離線狀態下訓練和識別，驗證了算法識別的可行性但無法應用，故對其進行改進，實現在線識別。

4.1 軟件設置

硬件方面，駕駛模擬器的已安裝硬件能夠滿足實時采集數據的要求，無需進行改進。

文章采用CRF Toolbox進行數據訓練和識別，其源代碼中訓練和識別一體，訓練耗時長且占用大量電腦性能，無法應用于在線識別，故將其識別部分拆分出來，實驗前在原采集數據的基礎上進行離線訓練，并將訓練成果保存為mat文件，在線識別時由CRF識別模型讀取。

盡管在單工況測試中利用計時函數證明CRF單次識別時間低于采樣間隔時間，但為保證長時間實驗中能始終保持較好的實時識別效果，故將單次識別樣本長度定為車輛參數100個采樣點，觀察參數200個采樣點。數據儲存矩陣設置成最開始為0矩陣，實驗開始后接收輸入數據，每次采樣用最新的100個或200個采樣點的數據替換原數據，導入識別模型中進行識別，并實時將識別結果輸出。

4.2 識別流程

駕駛員的直接操作和觀察行為由方向盤、油門與制動踏板和攝像頭記錄下來，其中方向盤和油門與制動踏板的數據由CarSim讀取傳輸到CRF識別模型；DLDL識別攝像頭拍攝到的幀中駕駛員的頭部橫擺角，將其輸入到CRF識別模型。CRF識別模型讀取兩者數據，并實時輸出駕駛意圖。整個識別流程如圖12所示。

圖12 在線識別流程

識別結果由Matlab輸入Veristand，并在工作空間上實時輸出，在進行駕駛模擬時能夠直接觀察到識別結果。

4.3 識別結果對照

為證明在線識別的有效性，隨機取一段在線識別數據保存下來，進行離線識別，在線與離線的識別結果如圖13所示。

圖13(a)中，在線與離線識別結果基本一致，相差最大處不超過0.05 s；而在圖13(b)中，在線識別結果對左換道識別開始相比離線識別結果滯后了0.31 s，識別結束延遲了0.57 s，對比車輛參數相差較大。顯然單參數對短區間識別效果相比多參數或長區間都要略差一些，但仍可以在車輛質心越過車道線的4 s前識別出駕駛員的換道意圖。

圖13 在線識別與離線識別結果對比

5 總結

文章為解決駕駛輔助系統可靠性問題，引入駕駛員駕駛意圖，在軟件上搭建實驗環境，采集實驗人員在駕駛過程中車輛和人的行為數據，并用DLDL將采集圖像轉化為駕駛員的頭部轉動數據。隨后對各類參數進行篩選，分析其在各個行為時的取值，并對原始數據按照換道區段進行分割和分組，導入條件隨機場算法訓練并在多種工況下進行識別測試，與HMM算法相比，識別效果較好，識別速度有明顯優勢，在此基礎上搭建駕駛意圖在線識別系統，能夠有效識別駕駛員的換道意圖。