基于Spark 的交通流預測方法*

俞 煥 劉 萍 趙國強

（陸軍炮兵防空兵學院 合肥 230031）

1 引言

21 世紀以來，伴隨著科技的飛快進步和經濟的高速發展，工業制造的成本急劇下降，尤其是汽車制造行業，在車輛價格不斷下調的背后是汽車銷售量的持續性爆發。截至2019 年底，全國汽車保有量已經達到2.6 億輛，這給城市管理帶來了巨大的壓力。智能交通系統［1］是綜合考慮了人、車、路，并運用信息技術、電子傳感器技術、數據通信技術、計算機技術及控制技術等進行有效集成，運用于整個地面的交通管理系統。實時交通流量預測作為城市智能交通系統誘導和控制的關鍵技術［2］，是指利用當前和歷史的交通流量信息對未來的交通流量進行預測，從而幫助出行者進行路徑規劃，緩解交通擁堵和減少環境污染等［3］。在交通數據步入大數據時代的背景下，利用大數據技術來優化交通管理控制系統，實現交通流的實時預測，具備著重要的現實意義。

目前，國內外學者在交通流預測領域已經取得了許多重大的研究成果。常用的預測方法有平均值法、ARMA、線性回歸、非參數回歸、神經網絡等［4～5］，這些模型雖然在一定程度上實現了交通流的預測，但是在預測精度上仍存在一定的差距。20世紀90年代Vapnik等提出的一種新的網絡預測模型，即支持向量機［6～7］，有效地克服多維度、非線性和局部最值等復雜問題，得以廣泛應用于多個領域。賀國光等人同時構建神經網絡模型與數學模型來進行交通流預測，較大地提升了預測的精確度［8］。李松、劉力軍等提出一種使用粒子群算法來優化BP 神經網絡的新模型，使得模型更適應對國內現實交通問題的預測［9］。在提升算法計算速度方面，李雙雙提出了建立在MapReduce編程模型的并行分布式方法，優化了計算效率，有效縮短了交通流預測的時間［10］。王凡等在將神經網絡預測模型與并行計算結合的基礎上，提出一種廣義的神經網絡預測模型，減少了迭代次數，提升計算資源的利用率［11］。針對多層的復雜神經網絡，梁珂等實現了基于KNN 與遺傳算法的交通流預測模型，同時利用分布式集群的優勢來減少算法的運行時間［12］。以上學者們的研究成果基本實現了交通流預測的功能，但很多預測方法只適用于特定的應用環境，距離投入實踐仍有較大的差距。伴隨著交通數據采集技術的進步，海量生成的交通數據對算法性能又提出了新的要求。

交通系統是一個復雜多變、影響因素較多的非線性系統，傳統的線性預測模型只能擬合一部分的特征，存在著一定的局限性，本文采用BP神經網絡模型來實現交通流的預測，由于其本質是利用梯度下降法來進行模型訓練，易陷入局部最優解，因此提出使用遺傳算法來優化神經網絡的相關參數。同時，借助Spark分布式處理技術，來加快模型訓練的速度，確保模型在交通流預測上的高效性與準確性。

2 基于Spark的交通流預測分析架構

本文主要采用經典的主/從架構進行交通流的預測，將海量的交通數據通過并行化預測模型來實現高效地分析預測。具體的架構組成，如圖1所示。

圖1 基于云計算的交通流預測分析架構

道路交通數據主要來源于歷史收集、道路傳感器采集和人工采集等，這些交通數據實時傳輸到云計算平臺中的主控服務器進行數據的預處理，篩選出有價值的數據組成訓練數據集，數據管理系統將數據集合理地分配到相應的從服務器，在從服務器上進行數據集的具體處理，同時在其他從服務器中設置副本，記錄下數據集的處理日志。預測算法模型庫中包含著神經網絡、灰色預測和多元線性回歸等多種預測算法，依據實際的交通流預測需求，選取相匹配的一種或者多種算法，將整個任務進程進行合理的分解，然后分配給各個從服務器，憑借著從服務器中的數據處理與任務執行模塊互相配合，實現海量數據下交通流預測的可行性與實時性。

3 基于云計算的BP神經網絡模型

3.1 BP神經網絡

BP 神經網絡屬于多層感知器的范疇，是一種多層前向網絡，其中包含多個隱含層的網絡，主要用來解決單個感知器難以解決的線性不可分問題。BP 神經網絡實質上是一種按照誤差反向傳播算法訓練的多層前饋網絡，他可以學習和存儲大量的輸入—輸出模式映射關系，而無需事前描述這種映射關系的數學模型。BP 神經網絡模型的算法一般步驟如下所示［13］：

設X1，X2，…Xn為輸入向量；Y1，Y2，…Ym為期望輸出向量；輸入層至隱含層的連接權值為ωij；隱含層至輸出層的連接權值為ωjk；輸入節點數和輸出節點數分別為m和n。

1）初始化神經網絡。隨機賦予各層之間的連接權值ωij、ωjk以及相應的閾值a、b在-1～1之間的初始值。

2）正向計算隱含層、輸出層的輸出。通過輸入向量X，連接權值ωij和閾值a，計算出隱含層的輸出H。

式中，f為激勵函數，l為隱含層包含的節點數。

通過隱含層的輸出H，連接權值ωjk和閾值b，計算出輸出層的預測輸出C。

式中，f為激勵函數，k為輸出層包含的節點數。

3）計算網絡的預測誤差。

通過期望輸出Y 與網絡預測輸出C 來計算預測誤差e。

4）依據誤差優化權值與閾值。

通過預測誤差e來修正連接權值ωij和ωjk。

通過預測誤差e來修正閾值a和b。

式中η 為學習率；i=1，2，…m；j=1，2，……l；k=1，2，……n。

5）重復上述步驟，直到誤差滿足一定的精度要求。

3.2 遺傳算法優化的BP神經網絡

遺傳算法將“優勝劣汰，適者生存”的生物進化理論引入到優化參數形成的編碼串聯群體中，非常適合用來解決復雜問題的優化，具備著自我學習、自我適應、自我優化的優點［14］。遺傳算法優化的BP 神經網絡主要是利用遺傳算法的全局搜索能力，通過對樣本進行迭代訓練得到神經網絡中連接權值與閾值的最優解［15］。其具體流程如下所示：

1）生成初始種群。將BP神經網絡中的連接權值與閾值作為初始群體隨機進行生成，用二進制編碼符號串的形式來表示每個個體中的連接權值與閾值。設種群大小為N，交叉概率為Pc，變異概率為Pm。

2）建立適應度函數。將神經網絡學習誤差e的倒數作為適應度函數F，用來評價個體的優劣程度。

式中，C為神經網絡的實際預測值，Y為期望值，p為個體編號，k為輸出節點編號。

3）選擇操作。個體的適應度越高，表明其自身基因越優良，因此有較大的概率被選中作為遺傳中的父代，有利于產生更為優秀的子代。第i 個個體被選中作為父代的概率如下。

4）交叉操作與變異操作。在進行下一代繁殖的過程中，將挑選出的優秀個體進行單點交叉操作，得到新的個體，同時對該個體進行變異操作，選取合適的基因位置點進行取反操作，從而產生一個新的群體。

5）重復上述步驟，直到滿足初始設定的迭代次數或者預測精度。將最終得到的優化解進行解碼得到相應神經網絡的權值與閾值，提升模型訓練的效率。

3.3 基于Spark 的遺傳優化BP 神經網絡算法實現

交通流預測與其他預測領域有所不同，因為交通流預測的結果將直接作為整個智能交通系統調度分配的重要依據，必須確保預測結果的實時性與準確性，而BP 神經網絡算法雖然具備著很多的優勢，但其自身仍存在著很多局限性，例如全局搜索性能較差、容易陷入局部最優以及收斂效率低等。為了滿足交通流預測對于實時與準確方面的需求，將遺傳算法優化后的BP 神經網絡在Spark 的框架下實現并行化，得到一個更為高效的BP神經網絡，可以較好地彌補上述的缺陷。

在Spark中，并行化設計有一點區別于多線程，就是要充分協調各個任務之間的通信。在Hadoop中，一個任務需要編寫一個相對應的MapReduce程序，MapReduce 程序的編寫次數必須與其操作次數一一對應，而Spark 則沒有這么嚴格的Map 與Reduce 的要求，直接在RDD 中進行Map 與Reduce 等函數進行調用即可，極大地提高了算法并行化的效率。為了使得交通流預測結果能夠兼顧實時性與準確性，在訓練中使用的數據集規模應該足夠大，而如此大規模的數據顯然無法用單機模式來進行處理，因此本文將Spark 分布式計算平臺和BP神經網絡相結合，有機融合兩者的優勢來進行交通流預測。改進后算法在Spark 平臺下的多個節點同時進行訓練，綜合決策各個節點得出最后的預測值Y，計算公式如下所示：

式中，yi表示第i個節點的預測值，ai表示第i個節點的權重值。

每個節點中的標準差公式如下所示：

式中，T表示輸出算法各個訓練集的目標值，E表示標準誤差函數。

依據梯度下降法則，Δαk的計算公式如下所示：

結合上述三個公式，利用鏈式求導法則，可以得到公式如下所示：

式中，η表示學習率，本文將學習率設定為0.15，ak通過以下公式進行更新：

改進后的算法具體實現流程如下：

1）將存儲在分布式文件系統中的海量交通流預測數據提取到Spark 中，利用Spark 中的MapParition 函數將獲取到的數據集N 劃分為P 個部分（P為Spark中的節點數）。

2）在各個Spark 節點中，相應的Map 函數通過運行BP 神經網絡算法得到預測值，這個過程等價于P個神經網絡在同時進行訓練。

3）依據Map 函數中得到的預測結果，Reduce函數對P 個節點進行權值的統籌分析，得出最精確的預測結果。

模型的具體流程如圖2所示。

圖2 基于Spark的遺傳優化BP神經網絡預測模型

4 實驗結果與分析

4.1 實驗環境與性能評價指標

目前國內沒有詳細的開源交通流數據分享平臺，因此本文采用的數據來自美國加州的PeMS 數據庫，將I-5 路段與716921 號監測點相鄰的三個監測點3 年共315360 組的交通流量數據做為歷史數據，將對該路段716921號監測點2019年10月11日的交通流量使用本文提出的模型進行預測。

實驗中利用4 臺配置相同的服務器來搭建Spark分布式平臺，每臺服務器的配置均為Intel XeonE5-2640 2.6 GHz，8 核，32G 內存。其中1 臺服務器作為管理節點，負責各個分節點的數據統籌，其他；3 臺服務器作為分布式運算節點，負責相應部分交通數據的處理任務。

綜合考慮影響交通流的相關因素，將天氣、節假日情況和上一時間節點的交通流數據作為BP神經網絡的輸入。實驗采用3 層BP 神經網絡結構，參數設定如下：輸入層節點數為3，輸出層節點數為1，隱含層采用Sigmoid 函數，訓練次數為100，訓練目標為0.0001，學習率為0.1。遺傳算法的參數設定如下：交叉概率為0.3，變異概率為0.03，迭代次數為100。

道路交通復雜的運行環境，使得傳感器采集的數據中夾雜著許多沒有價值的“臟數據”，因此需要對數據進行清洗和標準化處理。利用估值法來彌補缺失的數據，消除數據中的噪聲，同時對數據進行Min-Max 的標準化處理，使得所有數據都落在0～1這個區間內。

為了評價模型預測的性能，本文采用均方誤差作為評價標準，設交通流的實際值與預測值分別為F和f，則相對誤差E為

為了確保誤差為正值，引入均方誤差e 對模型的性能進行評價：

4.2 實驗結果分析

實驗一：為了驗證本文所設計的并行算法相較于遺傳算法優化BP神經網絡在海量交通數據的背景下具有較大的性能優勢，在兩臺配置相同的計算機中，分別進行算法預測，通過對于4 組不同大小數據集的測試來對比運行的效率。重復5 次，取平均值作為最終結果，如表1所示。

表1 模型處理效率匯總

實驗結果表明，隨著數據集大小的增加，傳統算法的效率急劇下降，但是基于Spark 分布式并行計算展現出明顯的優勢，更加適合用于海量數據的處理分析。

實驗二：通過本文提出的基于Spark 平臺的遺傳優化BP 神經網絡模型對于交通流進行實時預測，結果如表2所示。

表2 預測結果匯總

通過預測值與實際值計算出均方誤差，均方誤差曲線如圖3所示。

圖3 均方誤差曲線

通過圖3 可以發現，其均方誤差基本穩定在0.06 之內，屬于可接受的誤差范圍。通過此次實驗，可以驗證基于Spark的遺傳優化BP神經網絡模型是可行的。

5 結語

本文在遺傳算法優化BP神經網絡模型的基礎上，借助Spark分布式平臺來實現交通流的預測，將神經網絡強大的學習能力與Spark平臺高效可擴展的特性相結合，實現了較為高效的交通流預測效果。以后的工作，主要是進一步優化Spark 平臺中各個分節點的權重配置。