基于時空特征的公交站點短時客流量預測

姚思佳，桂智明，郭黎敏

(北京工業大學 信息學部，北京 100124)

0 引 言

隨著城市化進程的腳步不斷加快，機動車保有量快速增加，隨之而來的尾氣污染及交通事故等問題頻發[1]。大力提倡乘坐公共交通成為緩解上述問題的重要舉措。公交車作為地面公共交通工具，是公共交通中的一個重要組成部分。吸引更多的人乘坐公交出行，是實現城市可持續發展的一條必由之路。近年來，不斷增加的公交數據為公交客流的分析和預測帶來了技術支持。許多客流預測的方法也從傳統的數據淺層預測[2]方法轉變為基于數據的深層次挖掘的深度學習方法[3-4]。但是大多數的客流預測方法只考慮了時間維度的特征，未考慮空間維度的相關特征。

目前，時間序列預測最常用的模型是循環神經網絡(recurrent neural network，RNN)以及其變體，即長短期記憶網絡(long short-term memory，LSTM)[5]和門控循環單元網絡(gated recurrent unit，GRU)。楊文淇[6]提出利用LSTM模型對最新建設的城市軌道線路周邊的公交客流進行預測，并改進激活函數來提高預測精度。李梅等人[7]利用多種類型數據進行數據特征構造，并用深度長短期記憶網絡方法預測地鐵進站客流量。

由于LSTM模型更關注的是時間序列，所以此模型在預測客流量時忽略了道路的拓撲結構帶來的空間信息。因此對時空特征進行挖掘的模型相繼被提出。馮碧玉[8]結合卷積操作和循環操作提取軌道交通客流量的時空特征，并提出了CNN-LSTM組合預測模型，該模型提高了軌道交通進站客流的預測精度。

近年來，圖卷積神經網絡(graph convolutional network，GCN)被廣泛應用于社交網絡[9]、計算機視覺[10]、推薦系統[11]以及自然語言處理[12]等領域。圖卷積神經網絡與傳統的卷積神經網絡相比，其對于不規則的圖結構有著出色的挖掘能力[13]。由于交通路網的復雜性，有時不能將其表示為一個規則的二維結構。此時，圖卷積神經網絡發揮出其優勢，可以挖掘復雜交通路網的空間信息。Liu等人[14]用多種不同的拓撲結構圖為軌道交通系統建模，提出一個統一的物理-虛擬協作圖網絡(PVCGN)，其結合GCN和GRU等網絡進行時空特征的學習，實驗表明在上海和杭州兩地的軌道交通客流預測中，該方法均能展現其優越性。

隨著深度學習技術的發展，注意力機制成為學者們關注的熱點。注意力機制能夠關注更重要的特征。Guo等人[15]提出將注意力機制引入時間和空間特征的提取模塊中，并結合圖卷積和一維時間卷積來捕捉動態空間和時間的相關性，從而提高交通流量的預測精度。

基于上述分析，可以看出交通領域預測方法正在逐步發展，但是同樣也存在不足之處。針對公交客流預測方法缺少對空間特征的運用，該文運用GCN、LSTM以及注意力機制技術，提出了基于注意力機制的圖卷積長短期記憶網絡預測模型(AGLSTM)。主要貢獻如下：

(1)提出AGLSTM模型，該模型利用GCN對復雜公交線網的空間特征進行提取，用LSTM提取時間特征，并利用注意力機制來區分不同時刻特征的重要性。

(2)在北京公交數據集上進行實驗驗證，并對比了其他傳統模型，實驗表明提出的模型能夠提高公交客流量的預測精度，為公交客流預測提供一定的借鑒意義。

1 基于注意力機制的圖卷積長短期記憶網絡

AGLSTM組合模型的整體結構如圖1所示，該模型主要分為五個部分。第一部分為圖的鄰接矩陣以及節點的特征矩陣組成的輸入部分。第二部分是由圖卷積對輸入的鄰接矩陣以及特征矩陣進行客流量空間特征提取的部分。第三部分將第二部分每個時刻的輸出作為輸入，通過長短期記憶循環神經網絡進行客流量的時間特征提取。第四部分為對LSTM網絡各個隱藏狀態進行注意力機制變換，充分考慮每個隱藏狀態對輸出狀態的影響。第五部分是全連接層，通過全連接層對提取的數據進行變換，得到最終預測值。

圖1 AGLSTM組合模型結構

1.1 輸入層構造

根據圖卷積神經網絡的特點，本模型的輸入需要構造公交線網的鄰接矩陣以及各節點的特征矩陣。以下分別為兩個矩陣的構造過程。

(1)鄰接矩陣的構造。

根據公交路線信息和站點信息對公交站點構造道路拓撲結構圖，其中圖表示為G，V表示所有站點的集合，E表示站點相鄰關系的集合。以鄰接矩陣的形式存儲，鄰接矩陣是一個s*s的二維矩陣，鄰接矩陣的值為0或1。其中s代表公交站點的數量，行和列分別代表按照公交站點編號順序排列的站點，鄰接矩陣的值中，0代表兩個站點不相鄰，1代表兩個站點相鄰，并且鄰接矩陣為對稱矩陣，這里鄰接矩陣記為A。鄰接矩陣如公式(1)所示：

(1)

其中，eij取值為1時，表示站點vi與站點vj在某條線路上相鄰，eij取值為0時，表示站點vi與站點vj在某條線路上不相鄰。

(2)特征矩陣的構造。

針對原始數據進行特征提取，統計得到每個公交站點在每個時段的客流量。為了加快模型訓練速度，對公交客流量數據進行最大最小歸一化，歸一化計算如公式(2)所示：

(2)

其中，x表示歸一化后的客流量數據，f表示原始客流量數據，fmax表示原始客流量中最大值，fmin表示原始客流量中最小值。f被歸一化到0到1的閉區間。

構建交通數據的特征矩陣X，將歸一化后的數據表示成特征矩陣的形式，它描述了每個公交站點的客流量隨時間的變化，每行代表一個站點所有時刻的客流量，每列代表同一時段不同站點的客流量。特征矩陣中站點的排列順序與鄰接矩陣中站點特征矩陣的排列順序相同。

X構建如公式(3)所示：

(3)

其中，橫向表示一個公交站點的客流量隨時間的變化，t表示時刻的個數，縱向表示所有公交站點在一個時刻的客流量數據，s表示公交站點的個數，矩陣中的元素xst表示第s個公交站點在第t個時刻的客流量。預測模型需要輸入鄰接矩陣A和特征矩陣X的輸入矩陣進行模型訓練來輸出公交站點在t+1時刻的客流量。

1.2 空間特征提取單元

某個公交站點的客流量不僅僅與其自身的歷史客流量有關，還可能與其他站點的客流量有關。公交線網是一個不規則的拓撲圖結構，因此選用能提取不規則圖結構特征的圖卷積神經網絡來挖掘交通數據的空間特征。為了加強網絡學習時的數值穩定性，引入拉普拉斯矩陣，可以有效防止多層網絡優化時出現的梯度消失或爆炸的現象[16]。使用公式(4)表示圖卷積操作：

(4)

文中模型采用兩層GCN結構，如公式(5)所示：

(5)

1.3 時間特征提取單元

雖然循環神經網絡能夠建立長時間間隔狀態之間的依賴關系，但是由于梯度彌散或梯度爆炸問題，在實際應用中，只能學習到短周期的依賴關系，這就產生了所謂的長期依賴問題。長短期記憶循環單元引入門限機制來控制信息的積累速度，并可以選擇遺忘之前部分累積的信息，實現了信息的長時間傳遞，使之前時刻的信息可以一直參與訓練。公式(6)～公式(11)為長短期記憶循環單元的計算過程：

ft=σ(Wfxt+Ufht-1+bf)

(6)

it=σ(Wixt+Uiht-1+bi)

(7)

(8)

(9)

ot=σ(Woxt+Uoht-1+bo)

(10)

ht=ot⊙tanh(Ct)

(11)

1.4 注意力機制單元

長短期記憶循環神經網絡每個記憶單元都只與前一時刻隱藏狀態有關，在時間序列預測中，距離當前預測時間遠的時間點也很有可能對當前預測節點有影響，所以引入注意力機制來對前面各時刻的信息進行權重劃分，選擇出對當前影響重大的時刻。此時，最后一個時刻的輸出狀態就取決于前面所有隱藏狀態的加權組合，而不僅僅是最后一個隱藏狀態。對于長短期記憶循環單元輸出的t時刻的隱藏狀態ht，采用以下注意力機制的運算邏輯進行計算，注意力機制運算過程如公式(12)～公式(14)所示：

et=Vetanh(Weht+be)

(12)

(13)

(14)

其中，Ve，We為需要學習的參數，be為需要學習的偏置，et表示第t個時刻隱藏狀態ht對應的注意力評分值，tanh為激活函數，T表示時刻總個數，αt為通過Softmax函數對所有的et歸一化后得到的權重系數，c為對長短期記憶循環單元各個時刻輸出的隱藏狀態進行了加權，作為最終隱藏狀態的輸出。

1.5 AGLSTM組合模型構造

根據上述幾個小節對各模型單元的介紹，結合AGLSTM組合模型的設計結構，可以得到GLSTM組合模型的運算邏輯，如公式(15)～公式(20)所示：

ft=σ(Wfgc(Xt,A)+Ufht-1+bf)

(15)

it=σ(Wigc(Xt,A)+Uiht-1+bi)

(16)

(17)

ot=σ(Wogc(Xt,A)+Uoht-1+bo)

(18)

(19)

ht=ot⊙tanh(Ct)

(20)

其中，gc(·)表示圖卷積操作，其余參數的含義與長短期記憶循環神經網絡單元相同，此處不再贅述。Xt表示在t時刻輸入的特征矩陣，A表示鄰接矩陣。

根據GLSTM組合模型的運算邏輯可以得出GLSTM組合模型單元的內部結構，如圖2所示。

圖2 GLSTM組合模型單元內部結構

對于每個GLSTM組合模型單元輸出的隱藏狀態，注意力機制單元會根據其運算邏輯對每個隱藏狀態進行評分，得出每個隱藏狀態重要性的比例，進而得到用Softmax函數歸一化后的權重系數{αt-n,αt-n+1,…,αt}，此權重系數對應于每個隱藏狀態。最后將各隱藏狀態的權重系數進行相乘相加操作，則得到狀態的最終輸出。圖3為AGLSTM組合模型的內部結構示意圖。

該文使用的損失函數如公式(21)所示：

(21)

圖3 AGLSTM組合模型內部結構

2 模型驗證與分析

2.1 實驗數據集

為了驗證所提出的AGLSTM組合模型的效果，實驗選取北京公交4條線路的站點作為研究對象。該數據集包含了北京公交973路、985路、605路、535路 4條存在相同站點的線路數據，其中包含上車刷卡數據、公交線路數據以及公交站位數據。4條線路區分上下行，共8條行駛路線，237個公交站點。圖4為4條公交線路的線路圖。

圖4 4條公交線路

實驗數據集為2017年11月的北京公交刷卡數據，選取2017年11月中前20個工作日進行實驗，并將前16天工作日的刷卡數據作為訓練集，后4天的刷卡數據作為測試集。該實驗中選取每天5：00至22：30時間段內刷卡數據，并以15分鐘為時間間隔統計刷卡數據，劃分后每天得到70個時間段。

2.2 模型相關參數設置

本實驗用前7個時間單位的公交客流量對下一個時間單位的客流量進行預測。根據1.1節中對輸入矩陣的描述，需要對公交站點按照其相鄰情況構造鄰接矩陣，以及構造每個站點的由歷史時間客流量組成的特征矩陣。

為了更客觀地對模型預測結果進行比較，實驗采用了兩種回歸評價指標來評估預測模型的性能，分別為平均絕對誤差(mean absolute error，MAE)以及均方誤差(root mean square error，RMSE)，計算公式可以表示為公式(22)及公式(23)：

(22)

(23)

神經網絡的訓練效果與神經網絡的隱藏層的層數以及隱藏層節點數有很大關系。隱藏層節點數是導致過擬合的直接原因，隱藏層節點數與輸入輸出維度相關，并且每個模型都是不一樣的。本實驗設置圖卷積層與LSTM層的隱藏層節點數相同。首先控制網絡中其他超參數不變，改變LSTM隱藏層節點個數，尋找最優節點數。圖5展示了LSTM隱藏層個數變化對預測效果的影響。

圖5 不同LSTM隱藏層節點個數對模型的影響

其次，批尺寸會直接影響到模型的優化程度和速度，也影響GPU的顯存利用率，對于模型預測準確率有明顯影響。因此，控制其他超參數不變，LSTM隱藏層個數為48，調整批尺寸大小，以達到模型最優。圖6展示了不同批尺寸對模型預測結果的影響。

圖6 不同批尺寸大小對模型的影響

通過觀察圖5以及圖6可以發現，LSTM隱藏層節點個數為48，批尺寸為48時，模型的誤差最小，因此，最后將AGLSTM模型的實驗參數設置為LSTM隱藏層節點個數為48，批尺寸為48，初始學習率為0.001，學習衰減率為0.9，迭代次數為2 000，并采用Adam優化器[17]。

2.3 模型預測結果對比

將提出的AGLSTM模型與HA模型、SVR模型、CNN模型[18]、LSTM模型以及GLSTM模型進行預測效率對比。HA(history average)模型是歷史平均模型，其將前幾個時間序列取平均作為下一個時間序列的預測值。SVR(support vector regression)模型是支持向量機回歸模型，其利用核函數來實現回歸預測。CNN(convolutional neural networks)模型是卷積神經網絡模型，其利用卷積操作和池化操作進行特征的提取。LSTM模型是長短期記憶網絡，是一種常用的時序預測模型，其對前面時刻的信息進行保留或遺忘，以克服長期依賴問題。GLSTM模型是AGLSTM去掉注意力機制的模型。表1為各模型的預測結果誤差。

表1 模型預測性能對比

通過分析表1可知，AGLSTM模型的RMSE和MAE相對于其他對比模型都要小，對比效果較好的LSTM模型，AGLSTM模型的RMSE和MAE分別降低了2.99%和1.60%。相較于其他對比模型，AGLSTM模型預測效果更好。LSTM預測模型對時間序列的預測效果表現較好，但是其忽略了空間上的一些特征，所以預測效果不如AGLSTM模型。CNN模型更善于挖掘空間上的特征，但是公交客流更多的是在時間上有一定規律，所以預測效果不如LSTM模型。對比基于統計學理論的HA模型及機器學習方法SVR來說，深度學習的方法能夠挖掘深層次的特征，所以其預測效果更好一些。提出的GLSTM模型和AGLSTM模型對比其他模型都有較好的效果，這兩個模型對比，可以說明引入注意力機制能夠提高模型的預測精度。

3 結束語

針對以往公交客流量預測中不能充分利用時空特征的問題，提出了一種能夠同時考慮時間和空間兩個維度特征的AGLSTM模型，來預測公交站點短時客流量。該模型首先利用圖卷積神經網絡能夠提取不規則圖結構特征的特點，來捕獲復雜的公交線網中各站點的空間聯系。其次，將圖卷積神經網絡提取出的空間特征輸入LSTM中，進一步進行時間維度特征的提取。由于循環神經網絡單元只輸出最后一個時刻的隱藏狀態，所以引入注意力機制來計算不同時刻特征對輸出時刻特征影響的重要性。經過分析該模型與其他對比模型的預測結果，證明該模型能夠提高預測精度。