面向交通事故預測的時空多模態點過程

摘 要：交通事故預測對于構建智慧城市具有重要意義。然而發生在連續時間域上的交通事故數據同時包含具有不同語義特征的時間、空間模態信息，且這兩種模態的不確定性存在差異，因此傳統的序列建模方式無法全面描述交通事故的時空相關性，很難實現準確的交通事故預測，對此提出了一種面向交通事故預測的時空多模態點過程模型MSTPP。該模型設計了一種具有雙解碼器的seq2seq框架。在編碼器中提出了衰減感知長短期記憶網絡DLSTM用于編碼在連續時間域中的交通事故事件序列，有效地融合不同模態信息以及建模事件序列的異步性。在解碼階段，使用兩個特殊設計的解碼器去處理模態間差異性。在兩個真實的交通事故數據集上的實驗結果表明，MSTPP在預測下一個交通事故發生的時間和區域任務上相比于其他基準模型具有最優的預測能力。

關鍵詞：交通事故預測；事件建模；神經點過程；時間模態；空間模態

中圖分類號：TP183 文獻標志碼：A 文章編號：1001-3695（2023）08-015-2340-06

doi： 10.19734/j.issn.1001-3695.2022.12.0799

Multimodal spatial-temporal point processes for traffic accident event prediction

Peng Wenchuang Guo Shengnana Wan Huaiyu Lin Youfang

（a. School of Computer amp; Information Technology， b. Beijing Key Laboratory of Traffic Data Analysis amp; Mining， Beijing Jiaotong University， Beijing 100044， China）

Abstract：Traffic accident event prediction is of great importance to build intelligent transportation systems. However， traffic accident event data occurring in the continuous time domain contains temporal and spatial modal information with different semantic characteristics and different uncertainty， so the traditional sequence models cannot fully describe the spatial-temporal correlation of traffic accident events， and it is difficult to achieve accurate traffic accident prediction. So this paper proposed a multimodal spatial-temporal point process （MSTPP） model. And the model designed a seq2seq framework with dual decoders. It proposed decay-aware long short-term memory networks （DLSTM） in the encoder for encoding traffic accident event sequences in the continuous time domain， effectively fusing different modal information and modelling the asynchronicity of event sequences. In the decoding stage， it used two specially designed decoders to handle the difference between the two modalities. Extensive experiments on two real-world datasets demonstrate the superiority of MSTPP against the state-of-the-art baseline methods with regard to both the next accident happening time prediction and region prediction tasks.

Key words：traffic accident prediction; event modeling; neural point process; temporal modality; spatial modality

0 引言

交通事故的發生給社會帶來了巨大的生命財產損失。準確的交通事故預測可以為交通管理部門和交通參與者提供提前預警服務，對于保障人身財產安全、調配應急資源均具有重要意義。交通事故預測的研究方向主要分細粒度級別的事件預測和粗粒度級別的交通風險指數預測。

其中：μ為預定義的基礎強度；υ（·）為核函數。但這種簡單的預先定義形式嚴重限制點過程的表達。隨著神經網絡的發展，Du等人［3］提出了神經點過程方法，使用循環神經網絡從歷史事件序列中學習條件強度函數對應的參數，將點過程中的基本思想與深度學習方法相結合，從而構建更加靈活高效的點過程模型。Zuo等人［4］利用注意力機制建模事件序列，解決了循環神經網絡無法有效學習長程依賴以及梯度不穩定問題。Zhang等人［5］為神經點過程模型提出新的條件強度函數形式，與通常點過程僅僅建模歷史事件的促進作用不同，其同時建模了已發生事件對后續事件的正向促進作用以及反向抑制作用。Shchur等人［6］改變了神經點過程的建模對象，直接使用混合對數正態分布建模條件概率密度函數，可以直接給出期望值的閉式解，這種建模方式使得計算預測的時間期望更加高效，避免了復雜的積分過程。同時Li等人［7］將事件序列構建成事件圖，利用圖卷積神經網絡建模事件序列，同時提出一種新的損失函數用于解決性能飽和問題。但神經點過程在對歷史事件序列建模中多采用的是循環神經網絡［3，6，8］或者自注意力機制［4，5］，這種做法沒有考慮到事件間的時間差對事件序列建模的影響。而使用時間差構建事件圖［7］，無法解決變長序列建模問題，因此高效利用時間差建模事件序列仍然需要研究。

本文研究的內容與一些關注粗粒度級的交通風險指數預測的工作［9～13］有所不同。這些工作是通過對歷史交通事故進行統計，計算出一段時間間隔內區域發生交通事故風險指數，然后根據歷史時間步的風險指數值構建回歸模型去預測未來時間步的風險指數，其中風險指數越高，代表該區域內發生交通事故的概率越大，但交通事故發生的概率較小，因此統計出的風險指數多為零值，即該類研究會面臨零膨脹問題［14］。與上述研究不同，本文關注細粒度級的交通事故事件預測，根據歷史發生的交通事故事件直接準確地預測下一個事件發生的時間和區域，可以更好地為城市交通參與者、管理者和規劃者提供更加精細化的決策支持，保證了人身財產安全。但實現準確的交通事故事件預測十分具有挑戰，原因如下：

a）交通事故事件包含具有不同的語義特征的時間、空間模態信息，且每個模態間存在的不確定性有所差異。交通事故事件序列是一組事件按時間先后順序排列且每個事件包含時間與空間信息的序列，這類事件序列包含的時間模態和空間模態信息具有不同的語義特征。通常時間模態需要體現交通事故發生的周期性特征，空間模態則體現交通事故所在區域的地理屬性與功能特點等信息。除此之外，交通事故事件對應的時間模態與空間模態中信息的不確定性也有所不同［15］。在交通事故發生之后，事故發生的空間相關信息記錄是明確的，但事故發生時間記錄信息會受到采集動作反應速度的影響，產生不確定時長的滯后，所以交通事故數據的時間模態相對于空間模態具有更大的不確定性。對于上述兩類模態相關數據的處理主要分為兩個部分，首先是根據不同模態數據的特點獲取其對應的向量表示，之后是融合不同模態對應的表示用于獲得更具表達能力的高層語義信息。對于時間模態，采用離散化的時間片［3］或者使用可學習的三角函數［5］來表示。對于空間模態，常使用可學習的嵌入向量來表示每一個區域。在獲取事故不同模態的向量表示后需要融合這些表示。融合表示的方法分別有早期融合、后期融合和混合融合等［16］，但這些多模態融合方法都會面臨模態間表示不匹配以及信息不確定性差異等［15］問題，交通事故事件預測同樣面臨著這樣的問題。如何建模具有不同模態信息的交通事故序列，以及充分考慮時、空模態間的差異性，對準確預測下一個交通事故事件發生的時間和區域有重要影響。

b）交通事故事件發生在連續的時間域中，事件間的時間差是不均勻的，即具有異步性，且建模具有異步性的事件序列十分困難。通常使用時序點過程［1］方法對其建模。對于傳統的點過程，其表征方式是定義條件強度函數，但如果預定義的強度函數參數不符合真實數據分布情況，傳統點過程可能無法建模真實數據［17］。為了應對上述限制，神經點過程（深度點過程）應運而生。其使用神經網絡從歷史事件序列中學習條件強度函數或條件分布函數的參數，借助于神經網絡強大的表達能力，有效提升了點過程模型的建模能力。在神經點過程中，通常使用循環神經網絡［3，6，8］或自注意力機制［4，5］對歷史事件序列進行建模， 但它們缺乏對事件之間時間差的充分利用，無法有效建模時間差對交通事故之間的影響作用。

針對以上問題，本文提出一種面向交通事故預測的時空多模態點過程模型MSTPP（multimodal spatial-temporal point process）用于同時預測下一個交通事故發生的時間和區域。本文的貢獻總結如下：

a）設計了時空雙解碼器的seq2seq框架去融合不同模態表示，同時處理模態間不確定性差異性問題。該框架采用特殊設計的編碼器去融合不同模態表示，再根據時、空模態的特點，設計了不同的解碼器去解碼用于不同預測任務的相關模態表示。

b）提出了一種衰減感知長短期循環神經網絡DLSTM將交通事故之間的時間差考慮到事故序列編碼中，有效建模了交通事故序列的異步性。

c）在兩個真實交通事故數據集上的實驗結果表明，本文模型均展現出最優的預測性能。

1 問題定義

2 時空多模態神經點過程

2.1 交通事故事件的時空模態表示

2.2 時空雙解碼器seq2seq框架

時空雙解碼器seq2seq框架的主要作用是在建模交通事故事件序列時，既要合理地融合時、空模態表示，同時又要考慮到不同模態間差異性。圖1為本文提出的雙解碼器seq2seq框架示意圖。該模型以上一層得到的時、空模態表示作為輸入，通過由衰減感知長短期記憶網絡構建的編碼器后得到交通事故事件表示后，再使用時、空解碼器分別以事件表示作為輸入去解碼時間模態和空間模態用于后續的點過程表征與交通事故預測任務。

2.2.1 衰減感知編碼器

上述編碼器是一個長短期記憶網絡LSTM（long short-term memory）［18］基礎的編碼器，該編碼器在融合交通事故事件、空模態表示的同時，能夠感知事件間的時間差，并利用時間差有效建模交通事故事件序列，獲得更加合理的事件表示。交通事故事件序列屬于時間序列的一種，對于時間序列建模，通常使用長短期記憶網絡完成。傳統的長短期記憶網絡在更新每一步輸入對應的隱藏狀態時，不考慮當前輸入與上一步輸入之間的時間差信息，因此長短期記憶網絡常用于建模等時間間隔的序列或只關注相對位置順序的序列。可是交通事故事件間的時間差是不均勻的，且時間間隔是衡量交通事故間影響的重要指標；直接使用長短期記憶網絡去編碼交通事故事件序列，無法利用其異步性，使得編碼結果存在偏差。對此本文設計了衰減感知的長短期記憶網絡（DLSTM），在編碼交通事故事件序列的過程中充分考慮事件間時間差的影響，有效建模序列的異步性。圖2展示了DLSTM和LSTM對于隱藏層更新的不同之處。對比兩者可以看出，LSTM更新隱藏狀態不受更新動作的間隔影響，對于DLSTM而言，更新動作的時間間隔越大，上一步更新動作對下一步產生的影響越小。

2.2.2 時空雙解碼器

2.3 交通事故事件預測

交通事故事件預測過程主要是利用解碼器解碼出的時間模態表示和空間模態表示去表征點過程模型，從而給出下一事件發生對應的時間與區域。

2.4 模型訓練

3 實驗

3.1 數據集

這里使用從紐約市的布魯克林區和曼哈頓區收集得到兩個真實的交通事故數據集（https：//opendata.cityofnewyork.us/），每個事故都包含發生的時間和經緯度信息。對于事故的時間信息，將其精確到分鐘。對于事故所屬區域，首先將每個城區按照街區/社區屬性劃分為若干區域。然后根據事故所在經緯度將每一個事故映射到對應的區域中，從而獲取到事件的區域標簽。兩個數據集的統計信息如表1所示。

3.2 實驗設置

3.3 實驗指標及基準模型

3.4 實驗結果

本文模型以及其他基準模型都是同時預測下一個交通事故事件發生的時間和所屬區域。表2、3展示了本文設計的模型與其他基準模型在布魯克林數據集和曼哈頓數據集兩個真實交通數據集上的區域預測結果。

在區域預測中，命中率HR@R越大越好，所以可以看出MSTPP模型在兩個數據集上的下一個交通事故發生所屬區域預測任務上，與之前最好模型IFTPP的預測性能相比，均有較大幅度的提升，且當區域預測結果的容錯率增加時（即增大對應的R值），各個模型的預測準確率也會上升。表4展示了本文模型與其他基準模型在兩個真實交通數據集上的時間預測結果。

在時間預測任務中，RMSE的值越小越好，從表格中展現的實驗結果來看，MSTPP模型在兩個數據集上的下一個交通事故發生時間預測任務上，比之前最好的模型IFTPP預測性分別能提升了4.62%和2.17%。同時為了更加直觀地比較不同神經點過程模型對事件序列建模情況，本文對一些在布魯克林數據集中的樣本預測結果進行分析，將不同神經點過程模型學習得到的p（τN+1）展示在圖3中。圖中橫坐標為時間差大小，縱坐標為概率值大小。在本文中，使用豎虛線標識出對應樣本中下一個交通事故事件與歷史最近事故事件的時間差（即真實的時間標簽）。從圖中可以看出，MSTPP模型給出時間預測值與真實值最為貼近，條件強度函數為指數函數形式的神經點過程模型對應的預測結果都與真實值有較大的差距。

整體上看，本文提出的時空多模態點過程在兩個預測任務上均取得不錯的性能。其次使用混合對數正態分布直接建模條件分布函數可以更好地表征交通事故序列對應的點過程，從而實現更加精確的交通事故預測。使用注意力機制的模型和使用循環神經網絡的模型在編碼交通事故事件序列上，兩者都沒有絕對的優勢。可能的原因在于兩者都沒有有效考慮時間差對序列建模的影響。

3.5 消融實驗

因為尺度問題，在展示區域預測消融實驗中，本文展示為各個模型與-DandDD的差值。通過對比模型-DandDD和-DualDecoder的結果可以看出，DLSTM對于事件序列建模有很大的幫助，充分利用交通事故事件間的時間差去建模事件間的影響，是建模異步交通事故序列的一種有效的方法。通過對比本文MSTPP和-DualDecoder的實驗結果可以得出，在處理交通事故時空多模態時，考慮它們之間的差異性有助于提升對下一個交通事故發生時間和區域的預測準確度。

3.6 超參數實驗

本節對超參數進行實驗來以此驗證模型的優越性主要是來源于模型的創新。這里選擇對模型表達能力影響最大的兩個超參數進行超參數實驗。

首先研究混合對數正態分布中組件數量對于其表達能力的影響，組件數量Q的備選取值為2、4、6和8。實驗結果展示在圖5（a）中。可以發現當組件的數量過小時，對應的條件分布表達能力下降，但組件數量Q并不是越多越好，組件數量Q的增加會增大模型訓練的難度。但無論組件數量的取值為多少，MSTPP模型在時間預測任務上的性能都超越了之前最好的基準模型IFTPP。

接著探究向量維度d對模型表達能力的影響，d的備選取值為32，64，126和256。實驗結果如圖5（b）所示，可以看出d的取值不同對模型預測能力有些許影響，但影響作用甚微。

4 結束語

本文提出了時空多模態神經點過程用于下一個交通事故預測，設計了一個雙解碼器的seq2seq框架在融合交通事故事件時、空模態表示的同時兼顧兩類模態信息的表示不匹配、不確定性存在差異的問題。同時針對交通事故事件序列的異步性，設計了一種衰減感知的長短期記憶網絡，有效地利用事件間的時間差信息。但當前研究也存在局限性，只考慮交通事故事件相互間影響，而對于交通事故的影響，還存在車流量、天氣和區域興趣點等影響因素，這些多源數據的融合將會是未來研究的重點。

參考文獻：

［1］Daley D J，Vere-Jones D. An introduction to the theory of point processes： volume I： elementary theory and methods［M］. New York： Springer，2003.

［2］Hawkes A G. Spectra of some self-exciting and mutually exciting point processes［J］. Biometrika，1971，58（1）： 83-90.

［3］Du Nan，Dai Hanjun，Trivedi R，et al. Recurrent marked temporal point processes： embedding event history to vector［C］// Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016： 1555-1564.

［4］Zuo Simiao，Jiang Haoming，Li Zichong，et al. Transformer Hawkes process［C］// Proc of the 37th International Conference on Machine Learning. ［S.l.］： JMLR.org，2020： 11692-11702.

［5］Zhang Qiang，Lipani A，Kirnap O，et al. Self-attentive Hawkes process ［C］// Proc of the 37th International Conference on Machine Lear-ning. ［S.l.］： JMLR.org，2020： 11183-11193.

［6］Shchur O，Bilo M，Günnemann S. Intensity-free learning of temporal point processes ［EB/OL］. （2020-01-23）. https：//arxiv.org/ abs/1909.12127.

［7］Li Tianbo，Luo Tianze，Ke Yiping，et al. Mitigating performance saturation in neural marked point processes： architectures and loss functions［C］// Proc of the 27th ACM SIGKDD Conference on Know-ledge Discovery amp; Data Mining. New York： ACM Press，2021： 986-994.

［8］Mei Hongyuan，Eisner J M. The neural Hawkes process： a neurally self-modulating multivariate point process［C］// Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2017： 6757-6767.

［9］牛國宏. 基于神經網絡的交通事故預測［D］. 西安： 長安大學，2006. （Niu Guohong. Forecasting model of road traffic accident based on neural network［D］. Xi’an： Chang’an University，2006.）

［10］楊文忠，張志豪，吾守爾·斯拉木，等. 基于時間序列關系的 GBRT 交通事故預測模型［J］. 電子科技大學學報，2020，49（4）： 615-621. （Yang Wenzhong，Zhang Zhihao，Wushouer·Silamu，et al. GBRT traffic accident prediction model based on time series relationship［J］. Journal of University of Electronic Science and Technology of China，2020，49（4）： 615-621.）

［11］張志豪，楊文忠，袁婷婷，等. 基于 LSTM 神經網絡模型的交通事故預測［J］. 計算機工程與應用，2019，55（14）： 249-253. （Zhang Zhihao，Yang Wenzhong，Yuan Tingting，et al. Traffic accident prediction based on LSTM neural network model［J］. Computer Engi-neering and Applications，2019，55（14）： 249-253.）

［12］王彥浩. 基于圖神經網絡的交通事故預測方法研究［D］. 北京： 華北電力大學（北京），2021. （Wang Yanhao. Research on traffic accident prediction based on graph neural network［D］. Beijing： North China Electric Power University（Beijing），2021.）

［13］劉志，王錦夢，孔祥杰. 基于時空圖卷積網絡的交通事故預測研究［J］. 浙江工業大學學報，2022，50（2）： 128-135，155. （Liu Zhi，Wang Jinmeng，Kong Xiangjie. Research on traffic accident prediction based on spatio-temporal graph convolutional network［J］. Journal of Zhejiang University of Technology，2022，50（2）： 128-135，155.）

［14］王貝貝，萬懷宇，郭晟楠，等. 融合局部和全局時空特征的交通事故風險預測［J］. 計算機科學與探索，2021，15（9）： 1694-1702. （Wang Beibei，Wan Huaiyu，Guo Shengnan，et al. Local and global spatial-temporal networks for traffic accident risk forecasting［J］. Journal of Frontiers of Computer Science amp; Technology，2021，15（9）： 1694-1702.）

［15］Gaonkar A，Chukkapalli Y，Raman P J，et al. A comprehensive survey on multimodal data representation and information fusion algorithms［C］// Proc of International Conference on Intelligent Technologies. Piscataway，NJ： IEEE Press，2021： 1-8.

［16］任澤裕，王振超，柯尊旺，等. 多模態數據融合綜述［J］. 計算機工程與應用，2021，57（18）： 49-64. （Ren Zeyu，Wang Zhenchao，Ke Zunwang，et al. Survey of multimodal data fusion［J］. Computer Engineering and Applications，2021，57（18）： 49-64.）

［17］Yan Junchi. Recent advance in temporal point process： from machine learning perspective［EB/OL］. （2020-09-23）. https：//thinklab.sjtu.edu.cn/src/pp_survey.pdf.

［18］Sak H，Senior A，Beaufays F. Long short-term memory based recurrent neural network architectures for large vocabulary speech recognition ［EB/OL］. （2014-02-05）. https：//arxiv.org/abs/1402.1128.

［19］Vaswani A，Shazeer N，Parmar N，et al. Attention is all you need［C］// Proc of the 31st International Conference on Neural Information Processing Systems. 2017： 6000-6010.

［20］Bai Lei，Yao Lina，Li Can，et al. Adaptive graph convolutional recurrent network for traffic forecasting［C］// Proc of the 34th Internatio-nal Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2020： 1494.

［21］劉長虹，關永亮，壽卓佳，等. 蒙特卡洛法在數值積分上的應用［J］.上海工程技術大學學報，2010，24（1）： 43-46. （Liu Changhong，Guan Yongliang，Shou Zhuojia，et al. Application of Monte Carlo method in numerical integral problem［J］. Journal of Shanghai University of Engineering Science，2010，24（1）： 43-46.）

［22］Robert C P，Casella G，Casella G. Monte Carlo statistical methods［M］. New York： Springer，1999.

［23］鄭華盛，唐經綸，危地. 高精度數值積分公式的構造及其應用［J］. 數學的實踐與認識，2007，37（15）： 141-148. （Zheng Hua-sheng，Tang Jinglun，Wei Di. Constructions of high accurate numerical integration formula and its applications［J］. Journal of Mathematics in Practice and Theory，2007，37（15）： 141-148.）

［24］Stoer J，Bulirsch R. Introduction to numerical analysis［M］. New York： Springer，2002.

［25］Kingma D P，Ba J. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）. https：//arxiv.org/abs/1412.6980.