基于自編碼和門控回歸單元網絡的軌跡預測研究

張浩 劉大明

摘? 要：針對傳統的軌跡預測存在精度低和計算較復雜的問題，文章提出一種基于自動編碼器（AE）和門控循環單元（GRU）模型的數據驅動方法，利用歷史信息和各種軌跡屬性預測軌跡位置。該方法將數據預處理層、AE層和GRU層與定制的批處理過程融合在一起。該模型在真實軌跡數據集上訓練。通過與現有預測方法進行比較，結果驗證所提模型性能相比于RNN，AE-RNN，LSTM和GRU有顯著的提高。

關鍵詞：軌跡預測;自動編碼器;門控循環單元;數據驅動

中圖分類號：TP183? ? ? 文獻標識碼：A 文章編號：2096-4706（2021）02-0149-05

Abstract：Aiming at the problems of low precision and computational complexity in traditional trajectory prediction，a data driven method based on auto encoder（AE）and gated recurrent unit（GRU）model was proposed，which used historical information and various trajectory attributes to predict trajectory location. This method fuses the data preprocessing layer，AE layer and GRU layer with the custom batch process. The model is trained on real trajectory data sets. Compared with the existing prediction methods，the results show that the performance of the proposed model is significantly better than that of RNN，AE-RNN，LSTM and GRU.

Keywords：trajectory prediction;AE;GRU;data driven

0? 引? 言

城市公共出行是非隨機和周期性的，人們總是頻繁地出現在特定的地點。同時，隨著移動定位技術[1]和通信傳輸技術[2-4]的發展，越來越多的移動軌跡數據被記錄下來，這使得分析人類在城市中的移動模式成為可能[5]。車輛軌跡預測作為移動數據管理的一個重要研究分支，在智能交通系統中發揮著重要作用[6]，在真實的交通環境中具有很高的應用價值。

目前關于車輛軌跡預測的研究主要分為兩步。第一步是根據原始軌跡數據建立交通網絡模型[7]。軌跡數據是時空數據，由語義相關的點組成。每個點都記錄了運動物體的位置和時間信息，反映了物體在一定時空環境中的運動模式。交通網絡的基礎是軌跡預測模型，包括軌跡分割、地圖匹配[8]等問題。該過程將軌跡數據轉換為符合預測模型輸入的規范化數據。交通網絡模型可以在一定程度上反映運動物體的運動模式。然而，目前的研究往往只是對軌跡數據進行簡單的格式化，忽略了軌跡數據所包含的深層信息，給基于位置的數據服務分析帶來了困難[9]。因此，選擇一種高效的交通網絡建模方法會影響預測模型的效率[10]。此外，選擇合適的預測模型也非常重要。模型驅動方法通過尋找軌跡數據的規律來建立數學模型，將軌跡數據歸納成公式來預測軌跡，并通過一系列的組合來擬合真實模型。然而，這些方法需要大量有代表性的數據來完善模型。同時，以這種方式建立的模型往往是單調的，不能反映運動模式的多樣性。因此，預測模型需要基于真實軌跡數據建立數據驅動的預測模型。隨著計算機計算能力的提高[11，12]，深度學習算法得到了迅速的發展[13-15]，在處理大量復雜數據方面表現出了顯著的優勢。一方面，深度學習算法可以對含有大量變量的數據集進行隱藏特征提取，提高泛化能力，使用自動編碼器（auto-encoder，AE）網絡提高模型訓練效率。另一方面，深度學習算法在處理大型時序數據集時效率更高。門控循環單元（Gated Recurrent Unit，GRU）網絡可以提取時間特征并在下一個時間對軌跡做出預測。因此，通過對模型的訓練和調整，深度學習算法可以達到最優的性能，從而減少預測誤差，適合解決軌跡預測問題。

在本研究中，我們提出了一種新的基于深度學習算法的數據驅動預測方法，它結合了一個AE層和一個GRU層來預測軌跡。提出了AE層的模型學習和壓縮預處理數據減少復雜性，而AE層的輸出作為輸入數據到GRU層進行訓練，提高預測效率和準確性。針對GRU模型的非均衡輸入數據集，提出了一種新的定制批處理方法。在一個真實的數據集上實現了AE-GRU模型，實驗結果表明，該模型優于現有的一些傳統方法和深度學習方法。

1? 相關理論

AE是一種神經網絡，其目的是實現維數的減少和數據去噪。近年來，AE在模式識別[16]、故障診斷[17]和特征學習[18]中的應用取得了較好的效果。AE層可以學習從輸入數據集中壓縮原始數據并生成原始數據的表示（編碼），然后將表示解壓縮（解碼）為與原始數據緊密匹配的東西。在本研究中，我們提出利用AE從時空矩陣中提取隱式數據特征，這些從AE層提取的特征將作為GRU層的輸入數據。

給定軌跡數據T={tc1，tc2，…，tcn}，我們的第一個目標是通過對數值數據進行歸一化處理并且記錄非數值數據來預處理每個tci∈X。下一個目標是減少數據維數，并通過自動編碼器提取隱式特征，隨后是定制的批處理過程，以使特征序列達到相同長度。最后，利用定制的批數據進行基于GRU模型的預測層訓練。

式中tci中的行表示軌跡數據，列表示一組有序的時間戳T={t1，t2，…，tm}。

GRU神經網絡以門控循環單元代替傳統的循環單元來解決RNN（Recurrent Neural Network）中容易出現的梯度問題，相比于LSTM（long-short term memory）神經網絡的門控循環單元，GRU神經網絡僅需要兩個門控循環單元便可解決梯度問題，在一定程度上節省了內存，加快了運行速度，GRU神經網絡循環單元的結構如圖1所示。

其中ht-1為上一時刻隱含層狀態，rt為重置門，zt為更新門，σ為sigmoid激活函數。 為當前時刻隱含層的激活狀態，ht為當前時刻隱含層輸出狀態，GRU神經網絡的循環單元中有兩個門，即重置門rt和更新門zt。

GRU主要通過兩個門對輸入信息進行更新，重置門rt主要影響上一時刻信息的保留情況，更新門zt主要對當前時刻隱含層狀態進行更新。GRU循環單元最大的改進就是僅通過一個更新門zt以及1-zt就能同時實現對信息的遺忘和保留，從而提高了訓練速度。

2? 預測模型

本文提出了一種基于AE神經網絡和GRU神經網絡的軌跡預測深度學習模型。模型由三個部分組成，首先數據進行預處理，然后將預處理后的數據輸入AE層，其次AE層可以提取特征并生成特征向量。第三部分以AE層生成的特征向量作為數據輸入，訓練GRU預測層，流程圖如圖2所示。

預測時間序列數據最簡單的方法是直接訓練預處理的矩陣X′。然而，這種方法有兩個缺點。首先，經過擴充軌跡數據的原始特征很大且難以判斷特征之間的相關性，訓練速度會變慢，性能會顯著降低。其次，當使用具有多個特征的數據預測幾個參數時，模型可能會出現過擬合的問題，導致泛化能力差。而AE神經網絡可以自適應地發現數據特征，并有效地表示復雜數據，提高訓練速度和精度。因此，我們在預測模型中提出AE層，從預處理數據X中提取特征。AE層的具體工作機制如圖3所示。

它包含一個編碼器過程和一個解碼器過程。這兩個過程是具有相同結構的神經網絡。輸入和輸出層具有相同的含義和相同的節點數量。編碼器層可以將輸入數據X的維數減少到一個隱藏層，解碼器層將隱藏層解碼到 ，其中 和X之間的誤差需要盡可能小。編碼器過程的數學表示為：

此外，解碼器過程的數學表示為：

式中（ω1，ω2，…，ωn）和（b1，b2，…，bn）為編碼器編碼過程中的權重和偏差，和 為譯碼過程中的權值和偏差，n為譯碼層數和解碼器層數。為了訓練出合適的參數，目標函數如式（3）所示，其中N為批量處理的輸入數據個數。最后，在接下來的過程中，將隱含層En作為GRU層的輸入。

針對軌跡預測，我們針對GRU層設置了定制的批量技術。在一般的深度學習算法中，采用小批量技術對輸入數據進行處理，不僅可以提高模型的訓練速度，還可以通過在訓練過程中引入隨機性來處理過擬合問題。一般的小型批處理技術是不合適的。為此，本文提出了一種新的基于文獻[19]的定制批處理技術，以適應軌跡數據特征。

每一批次的數據集由多段數據組成且每一段的數據長度皆不同，需要將其轉化成統一長度的數據段，然后將定制的批處理數據作為輸入數據應用到GRU層進行模型訓練。GRU層有一個更新門和一個重置門，見圖1。在本實驗中采取正向傳播的運算方法，具體結構如圖4所示。更新門是LSTM模型的輸入門和遺忘門的組合，用于保留以前狀態的歷史信息。重置門決定了多少先前的信息需要與新的輸入相結合。

更新門由式（4）計算，其中σ為一個sigmoid激活函數，En，t為時間戳t的輸入向量，ht-1為t-1時最后一個GRU細胞的輸出向量。uz，wz，bz為線性變換的權值和偏差參數。En，t和ht-1經過線性變換后，信息通過一個更新門相加，再由一個sigmoid激活函數激活。最終，信息被壓縮在0和1之間。

復位門通過式（5）計算。這個方程與更新門相似，只是線性變換的參數wr，ur，br不同。

計算出復位門的輸出rt后，可由式（6）得到候選狀態 ，其中時間戳t-1處的隱藏狀態和時間戳t處的復位門信息通過Hadamard積進行處理。然后，乘積被時間戳t處的輸入向量En，t加上權重w，再加上偏置的b。最后，利用tanh激活函數對-1到1之間的信息進行壓縮，生成? 。

最后，利用更新門zt進行Hadamard積，得到歷史狀態ht-1和候選狀態 。然后將結果相加，如式（7）所示。在此基礎上計算得到當前時間戳t的狀態信息ht。

3? 實驗結果及分析

本文實驗采用微軟研究GeoLift項目的真實軌跡數據集。該數據由經緯度、瞬時速度、偏移角、時間等要素組成。預測算法均采用Python語言實現，在Keras深度學習框架下實現，所有實驗均在CPU為Intel Core i5-8250和內存為8 GB的計算機上運行。

3.1? 評價指標

本文分別通過RMSE和準確率MAPE對模型預測效果進行定量評價。

式中，yi和分別為實際值和預測值。

3.2? 實驗分析

實驗所使用的軌跡數據集，其中70%作為訓練數據、20%作為驗證數據、10%作為測試數據。為了驗證本文模型的效果，對實驗迭代過程所產生的誤差進行分析。如圖5所示。

從圖5中可以看出隨著迭代次數的增加預測模型所產生的預測誤差逐漸減小至平穩，可以驗證本文所提模型的適用性。

為了驗證本文所提模型的精度，在隨機抽取的10，50，100條軌跡中分別與RNN、AE-RNN、LSTM、GRU進行誤差比較。

如表1和表2所示，RNN的預測誤差最大，AE-RNN相對于RNN添加了AE環節，從而優化了對冗余信息的選擇。LSTM預測模型克服了RNN神經網絡的梯度爆炸問題，在原有的預測精度上有了進一步的提升，GRU預測模型的誤差由于門結構的減少使得誤差相對LSTM神經網絡更加小，加入AE結構的預測模型的預測誤差相對GRU模型更小。從中發現本文采用的預測模型的精度顯著提高。從表中可以看出隨著軌跡條數的增加誤差略有增大，到達一定數目后誤差趨于穩定，可以體現出本文算法具有強大的泛化能力，更加適用于預測。

圖6和圖7是不同模型的預測曲線圖，本文所提出的AE-GRU算法的預測曲線圖波動幅度更小。在長序列時間數據的問題上可以克服現存算法的不足，優化后的模型預測性能明顯提升，說明AE-GRU模型能夠發掘軌跡的深層規律，在預測結果的穩定性和精準性上有明顯的提升。

4? 結? 論

在本文中，我們提出了一種基于AE和GRU的深度神經網絡融合的軌跡預測方法。該模型的AE層可以從預處理數據中提取一些屬性因子和軌跡特征。消除了數據冗余，提高了模型的泛化能力。然后利用GRU層從時間序列數據集中提取非線性和復雜的時間特征，進而預測軌跡。但是該預測模型仍存在計算耗時長的問題，仍需不斷地優化模型。

參考文獻：

[1] ALAHI A，GOEL K，RAMANATHAN V，et al. Social LSTM：Human Trajectory Prediction in Crowded Spaces [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：961-971.

[2] 尹博南，艾元，彭木根.霧無線接入網：架構、原理和挑戰 [J].電信科學，2016，32（6）：20-27.

[3] PENG M G，LI Y，JIANG J M，et al. Heterogeneous cloud radio access networks：a new perspective for enhancing spectral and energy efficiencies [J].IEEE Wireless Communications，2014，21（6）：126-135.

[4] ZHANG Z F，ZHANG P R，LIU D，et al. SRSM-Based Adaptive Relay Selection for D2D Communications [J]. IEEE Internet of Things Journal，2017，5（4）：2323-2332.

[5] ZHANG F S，JIN B H，WANG Z Y，et al. On Geocasting over Urban Bus-Based Networks by Mining Trajectories [J].IEEE Transactions on Intelligent Transportation Systems，2016，17（6）：1734–1747.

[6] SCHWARTING W，ALONSO-MORA J，RUS D. Planning and Decision-Making for Autonomous Vehicles [J] Annual Review of Control，Robotics，and Autonomous Systems，2018（1）：187–210.

[7] ZHU L，XU C Q，GUAN J F，et al. Finding top-k similar users based on Trajectory-Pattern model for personalized service recommendation [C]//2016 IEEE International Conference on Communications Workshops（ICC）.Kuala Lumpur：IEEE，2016：553–558.

[8] ZHENG Y. Trajectory data mining：an overview [J].ACM Transactions on Intelligent Systems and Technology，2015，6（3）：1-41.

[9] HOUENOU A，BONNIFAIT P，CHERFAOUI V，et al. Vehicle trajectory prediction based on motion model and maneuver recognition [C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems.Tokyo：IEEE，2013：4363–4369.

[10] GIACOMETTI A，SOULET A. Frequent Pattern Outlier Detection Without Exhaustive Mining [C]//Advances in Knowledge Discovery and Data Mining.Berlin：Springer-Verlag，2016：196–207.

[11] LI Y，LIU J，CAO B，et al. Joint Optimization of Radio and Virtual Machine Resources With Uncertain User Demands in Mobile Cloud Computing [J].IEEE Transactions on Multimedia，2018，20（9）：2427–2438.

[12] PENG M G，ZHANG K C，JIANG J M，et al. Energy-Efficient Resource Assignment and Power Allocation in Heterogeneous Cloud Radio Access Networks [J].IEEE Transactions on Vehicular Technology，2015，64（11）：5275–5287.

[13] CAO B，XIA S C，HAN J W，et al. A Distributed Game Methodology for Crowdsensing in Uncertain Wireless Scenario [J].IEEE Transactions on Mobile Computing.2020，19（1）：15–28.

[14] CAO B，ZHANG L，LI Y，et al. Intelligent Offloading in Multi-Access Edge Computing：A State-of-the-Art Review and Framework [J].IEEE Communications Magazine.2019，57（3）：56–62.

[15] ZHANG Z F，ZOU Y，GAN C Q. Textual sentiment analysis via three different attention convolutional neural networks and cross-modality consistent regression [J].Neurocomputing.2018，275：1407–1415.

[16] LIU T，LI Z R，YU C X，et al. NIRS feature extraction based on deep auto-encoder neural network [J].Infrared Physics & Technology，2017，87：：124-128.

[17] SHAO H D，JIANG H K，ZHAO H W，et al. A novel deep autoencoder feature learning method for rotating machinery fault diagnosis [J].Mechanical Systems and Signal Processing，2017，95：187-204.

[18] MENG Q X，CATCHPOOLE D，SKILLICOM D，et al. Relational autoencoder for feature extraction [C]//2017 International Joint Conference on Neural Networks（IJCNN）.Anchorage：IEEE，2017：364–371.

[19] HIDASI B，KARATZOGLOU A，BALTRUNAS L，et al. Session-based Recommendations with Recurrent Neural Networks [J/OL].arXiv：1511.06939 [cs.LG].（2016-03-29）.https：//arxiv.org/abs/1511.06939.

作者簡介：張浩（1996—），男，漢族，安徽蚌埠人，碩士研究生在讀，研究方向：軌跡預測，物聯網技術;劉大明（1971—），男，漢族，上海人，副教授，博士，研究方向：物聯網技術，嵌入式系統與設計，智能工業機器人等。