基 于 Transformer - ESIM 的高速公路交通狀態識別模型

薛相全，龐明寶 （河北工業大學 土木與交通學院，天津 300401）

0 引 言

高速公路交通狀態的精準識別是提升其運行效率的關鍵，早期的研究集中于雙指數平滑法、McMaster 和貝葉斯算法等數理統計算法[1-3]，后集中于模糊聚類、人工神經網絡、支持向量機等機器學習方法[4-6]，以上研究多為利用單一參數或同等對待多元參數，但高速公路交通流時空分布不均使不同參數的影響程度不同[7]，如純主線路段干擾少，速度參數影響程度高；而匝道附近路段分、合流使車輛加減速頻繁，則流量參數的影響程度高，若不加以區分，會使狀態識別結果存在一定誤差。

為區分多元交通流參數影響差異性，如李曉璐等[7]和余慶等[8]引入熵權法區分參數的影響權重以改進模糊聚類算法并建立相應的高速公路交通狀態識別模型。但熵權法需要人為設置評價指標閾值以供其計算參數指標權重，這使其存在一定主觀因素，且聚類算法參數設置敏感可能會出現特征提取遺漏問題，使多元參數特征不能有效融合，無法提供更多有效信息，狀態識別準確性有待提升。

而考慮多元交通流參數的狀態識別算法關鍵在于特征的有效提取和融合。Transformer 模型利用自注意力機制強大的學習和表示能力能夠自主給予多元參數以合適權重，使其在特征提取過程中信息損失減少，精準性高[9-12]，同時并行化處理也可節約時間，近年來成為圖像、文本分類的最新方法；且增強序列模型（Enhanced Sequential Inference Model, ESIM） 可以強化多元參數特征的相似性和差異性，進一步加強了信息的有效融合，提高了分類效率[13]，但其不涉及多元交通流參數的高速公路狀態分類識別研究。基于此，本文考慮多元交通流參數對于交通狀態影響差異性，基于Transformer-ESIM 模型強大的自適應學習能力給予多元交通參數以合適權重并實現有效融合，建立高速公路交通狀態分類識別模型，通過實際交通流數據予以驗證。

1 狀態識別系統結構

1.1 系統結構

本文構建的多元交通流參數高速公路狀態分類識別系統結構如圖1 所示。其中描述交通流特性的參數指標包括車流量、平均速度和占有率。

圖1 狀態識別系統結構

1.2 系統原理

基本原理如下：（1） 信息采集子系統采集的流量、速度和占有率等參數數據存儲在數據庫中，并對數據進行預處理以滿足交通狀態分類識別和其他交通管理控制的需要。（2） 將處理后的多元交通流參數輸入到Transformer 編碼層并行化提取有效特征，其中編碼層主要由多頭注意力機制層和前饋神經網絡層組成。（3） 將編碼后的序列輸入到交叉注意力層，基于ESIM 強化各交通流參數特征的相似性和差異性，緩解由于直接融合參數特征而忽略參數彼此間影響的問題。（4） 將經過池化的有效信息特征輸入到分類層中完成交通狀態的分類識別。

2 基于Transformer-ESIM 交通狀態分類識別模型

2.1 Transformer 編碼層

為實現多元交通流參數數據的并行化特征的有效提取，減少訓練時間，本文通過構建Transformer 編碼層解決。Transformer編碼層由多頭自注意力機制層和前饋神經網絡層組成。

2.1.1 多頭注意力機制。多頭注意力機制利用自注意力操作可以給予不同特征以不同的權重來有效獲取信息，流程如下：

其中：SoftMax()·為非線性函數；dk為Kn的維度。

（2） 對第m 個注意力頭進行自注意力操作，見式（5），每個頭對輸入的交通流序列數據信息的關注程度存在差異，學習到的關系不同，待各頭注意力計算完成后進行多頭拼接可防止過擬合現象如式（6） 所示，對比簡單加權平均準確性更高。

其中：LayerNorm()·為歸一化函數，Res()·為殘差網絡函數，yn為輸入序列，f yn()為映射關系，Yn為完成層殘差和歸一化的序列數據。

2.1.2 前饋神經網絡層。由于前饋神經網絡層的輸入和輸出不存在依賴關系，其一般由全連接層和激活函數層組成，全連接層增加模型的線性學習能力，激活函數增加非線性學習能力，將經過多注意力機制處理后的向量Yn輸入到前饋神經網絡層，見式（8），并進行層殘差和歸一化完成最終編碼，見式（9），以避免過擬合現象。

其中：SoftMax()·為全連接層所用函數，Relu()·為激活函數層所用函數，W1、W2為前饋神經網絡層的權重矩陣，b1、b2為前饋神經網絡層的偏置。

2.2 ESIM-交叉注意力層

多元交通流參數融合可提高狀態識別準確性。但現有研究主要是對多元交通流參數分別提取特征再輸入到一個特征融合層進行直接融合，而忽略多元交通流參數間的狀態影響差和彼此間的相互作用。而ESIM 交叉注意力機制可以強化不同交通流參數間的相似性和差異性，其流程如下：

（1） 相似性計算。計算不同交通流參數數據特征的相似度矩陣，獲取多元參數間的相似信息如式（10） 至式（15）。

其中：za、zb、zc分別后經過信息差異化增強的流量、速度和占有率的特征。

（3） 池化操作。對增強后的流量、速度和占有率序列數據進行池化操作來完成特征融合以提升模型魯棒性，見式（19）。由于拼接后可能會存在對序列長度敏感，適應能力降低，因此，對三個序列進行平均池化和最大池化，并將最后的結果放入一組定長向量中來獲得更好的效果。

其中：pa,average、pb,average、pc,average分別為流量、速度和占有率的平均池化向量；pa,max、pb,max、pc,max分別為流量、速度和占有率的最大池化向量。

2.3 分類層

充分考慮多元參數間差異性，在完成流量、速度和占有率的特征信息加強后進行暢通、穩定、擁堵和擁塞4 種交通狀態分類識別，采用SoftMax 分類器輸出特征融合數據pi每個狀態類別的概率值，最后選擇其中數值最大者的對應類別為預測的狀態類別，見式（20）。

其中：si為模型預測類別的輸出概率；W3為全連接層的權重矩陣；b3為全連接層的偏置。

選擇交叉熵為損失函數如式（21），來完成模型參數訓練及動態更新。

3 實驗分析

3.1 實驗背景及設置

以京港澳高速保定互通→清苑為實驗路段，該路段含5 對出入口匝道和2 座與其它高速互通立交橋，主線單向4 車道，小、大車限速值分別為120km/h、100km/h，該路段為保定市繞城高速東環段，人們出行頻繁，有明顯高峰期特征，能呈現各種交通狀態。利用河北高速公路公司預處理后提供的2019 年10 月的流量、速度和占有率數據進行實驗。選擇每周一到周五6:00～21:00 其中2 周的交通流參數數據，數據采集時間間隔為5min，參數數據正常，無異常點，利用成熟的狀態評價體系，構成由暢通、穩定、擁堵和擁塞組成的4 種狀態數據庫[15]，每種類別交通流參數包含1 800 條數據，共包含5 400 條數據，其中各類別數據分布情況如表1 所示，并將數據集按4:1 分為訓練集和測試集。實驗基于TensorFlow1.15 框架完成，Anaconda 版本為5.1.1，Python 版本為3.8，CUDA 版本為11.3，Keras 版本為2.1，設置學習率為0.001，Dropout 為0.5，迭代100 次。本文選擇正確率Accuracy 作為模型的評價指標，見式（22）。

表1 不同類別狀態數據分布數

其中：Acc 為準確率；T 為類別被預測正確的個數；F 為類別被預測失誤的個數。

3.2 實驗結果及分析

為驗證本文提出的狀態識別模型的有效性，將多元交通流參數進行有效融合后的狀態識別結果和利用不同參數融合后進行狀態識別的結果進行對比，結果如表2 所示。

基于本模型，利用流量數據進行實驗為情景1，利用流量、占有率數據為情景2，利用流量、速度與占有率數據為情景3，得到不同情景下的損失曲線變化情況如圖2 所示。

由表2 和圖2 可以看出：（1） 不同類型的交通流參數對于狀態影響程度存在差異性。識別精度占有率最高，流量其次，速度最低。這是因為在一定的時間間隔內，相對流量和占有率而言，速度的波動情況較頻繁，對于模型的學習能力產生一定干擾，但識別準確性均在合理范圍內，表明了方法的有效性。（2） 隨著融合交通流參數的類別增加，模型的準確性也在逐漸增加，對比單一參數數據，多元參數數據能夠給予模型更多的有效信息，而Transformer 模型利用多頭注意力機制給予合適權重實現并行化提取多元參數的特征信息，且多元參數的特征進行相似性和差異性增強后，特征信息實現了有效融合，狀態識別的準確性得以提升。（3）三種情景下，迭代開始時，損失函數值迅速下降，達到一定代數，損失函數下降速度變緩，最后趨于穩定，達到收斂，這表示本模型在不同情景下均有效，表明了模型的適應能力較強；情景1 收斂速度最慢，約于50 代實現收斂，期間波動次數較多，情景2 收斂速度適中，情景3 收斂速度最快，約于40 代收斂，波動次數少，這是因為多元參數能提供更多有效信息給予模型，且本方法充分考慮到不同交通流參數的相似性和差異性，信息特征能夠得到充分利用，因而能迅速達到收斂，減少了訓練時間，這進一步證明了本方法的有效性。

圖2 不同情景下損失函數曲線

表2 不同融合參數的交通狀態識別準確率

3.3 與其他方法對比分析

為進一步驗證本方法的有效性，本文基于上述設置的三種情景，分別利用不同的方法進行分類識別。其中方法1 為模糊聚類算法；方法2 為BP 神經網絡算法；方法3 為支持向量機算法；方法4 為本方法未進行信息增強僅簡單拼接；方法5 為本方法。表3 為不同情景下不同方法的狀態識別準確率。

由表3 可以發現：（1） 在不同情景下，隨著交通流參數類別增加，不同方法的交通狀態的識別準確度呈現增加趨勢，這是因為隨著交通流參數類別增加，各方法獲取更多有效信息的機會增加，機器學習的能力得以進一步發揮，各方法能夠更充分理解不同交通流參數數據中的特征信息，有利于得出精準的判別。（2） 在不同情景下，對比模糊聚類、BP 神經網絡和支持向量機等傳統的機器學習算法，基于深度學習的Transformer 模型的狀態識別精度較高，充分體現了Transformer 模型的優越性，其所用的注意力機制給予不同特征以合適權重使得信息傳遞的過程產生的損耗較少，學習能力更強，并行化處理使更多有效信息被利用，訓練時間更短，能夠滿足工程實際的需要。（3） 對比方法4和方法5 可以發現，將多元交通流參數進行簡單拼接的狀態識別效果稍差，這是因為不同類別的交通流參數的影響程度并不同，若僅是簡單拼接，雖然模型接收的信息量增加，但不能使模型接收到的有效信息量增加，Transformer 模型處理非線性問題的強大能力沒有得到充分發揮，而經過ESIM 交叉注意力層進行信息相似性和差異性增強后進行有效融合后使得該問題得以解決。

表3 不同情景下不同方法的狀態識別準確率單位：%

4 結束語

利用實際的多元交通流參數數據進行實驗，本文提出基于Transformer-ESIM 的高速公路交通狀態識別模型，實驗結果表明：（1） 在不同交通需求情景下，本方法的識別準確性均在有效范圍內，特別是融合流量、速度和占有率后的準確性最高，充分體現了本方法能夠充分利用多元交通流參數對狀態影響的差異性；（2） 在不同交通需求情景下，對比其他傳統機器學習方法，本方法充分發揮Transformer 對于非線性數據的處理能力，狀態識別的精準度最高，充分體現了本方法的優越性，能夠滿足工程實際需要。

本研究僅是初步研究，對大規模高速公路網絡的狀態預判以提升運行效率有待進一步研究。