面向城市人群時空熱點預測的混合神經網絡

游 蘭,張涵鈺,韓凡宇,金 紅,崔海波,何 渡,汪坤鈺,鄭巧仙

(1.湖北大學 計算機與信息工程學院,湖北 武漢 430062;2.湖北省科技信息研究院,湖北 武漢 430071)

0 引 言

城市人群熱點指的是一個相較其他區域具有更多的人類活動、居民出行次數以及交通流量較大的地理區域[1],相關預測研究對于城市感知和公共安全應急決策具有重要的實際意義[2]。

近年來,許多國內外學者圍繞基于出租車軌跡的城市熱點區域展開研究。這些方法大多使用空間聚類方法進行城市熱點區域的空間規律分析,主要預測較短時間范圍內的熱點趨勢[3-4]。城市人群熱點區域往往伴隨時空環境變化而快速演化,存在典型的空間相關性和時間相關性特點[5]。如何發掘利用熱點區域的時空相關性是精準預測城市人群熱點變化趨勢的關鍵。

傳統時空數據預測研究常常采用單一卷積神經網絡(convolution neural networks,CNNs)或循環神經網絡(recurrent neural networks,RNNs)進行建模,忽略了時空同時相關性。同時,也未考慮生活作息、天氣和環境等因素對城市人群活動可能造成的影響[6]。通過結合卷積網絡和循環網絡模型,可用于捕捉時空演變規律[7]。

近年來,混合神經網絡已經被廣泛應用在各個研究領域,如游戲策略、語音識別等[8-10]。如何將城市人群的作息規律用于時空熱點預測是研究的難點。因此,該文提出了一種面向城市人群時空熱點預測的深度混合神經網絡模型(CNN-Seq2Seq-Attention,CSA)結合生活作息規律的時空相關性對人群熱點分布進行預測。

貢獻包括3個方面：

(1)提出一種基于城市人群生活作息的不等長時間片段劃分方法。通過在數據中區分不同作息時間片段中人群熱點的空間分布差異,幫助預測模型更準確地捕獲不同作息片段間的人群流動規律,從而提高城市熱點預測的準確性。

(2)針對城市人群活動中存在的高度時空相關性現象,提出了一種深度混合神經網絡模型(CSA)用于城市人群熱點預測。該模型通過CNN提取不同區域網格間的空間相關性特征,并結合Seq2Seq和Attention注意力機制,對人群熱點在連續特征日中同等時間片段的時間相關性進行建模。通過對人群熱點的時空屬性進行多維建模,從而有效避免神經網絡模型在預測時考慮因素不全的問題。

(3)采用了大規模真實的出租車軌跡數據進行實驗,與傳統模型及其他預測神經網絡模型進行了對比實驗,驗證了CSA模型的有效性和優越性,并對城市人群熱點變化規律進行相關分析。

1 相關工作

對于未來時空人群熱點預測,大多數學者常使用時序模型來處理時空數據。常見的時序預測模型包括移動平均自回歸模型(ARMA)及其變種,如差分整合移動平均自回歸模型(ARIMA)等[11-12]。上述模型難以發掘時空數據中的空間相關性規律。

在城市熱點預測研究中,越來越多的學者通過多種神經網絡的結合來得到更為高效、準確率更高的模型。Ma等人[13]通過二維時空矩陣將時空交通動力學轉化為能夠描述交通流時空關系的圖像,并將CNN應用到該圖像上提取出交通特征。Zhang等人[14]提出了基于CNN的深度時空模型(Deep-ST),該模型將時空數據網格化,并將模型分為最近、近期和遠期三個模塊進行卷積操作,后通過通道進行數據連接,還加入了天氣、節假日特征進行特征融合來進行城市交通量的預測。 Zhang等人[15]在原有模型基礎上,提出了時空殘差網絡(ST-ResNet)。ResNet殘差模塊的加入使模型還能對遠空間相關特征進行卷積挖掘。 Deep-ST和ST-ResNet模型若要對未來多個時間片段的城市熱點情況進行預測,需要通過迭代的方式完成。

基于CNN和RNN的各自特點,越來越多的研究者在城市交通數據的預測中將兩種神經網絡結合使用。Srivastava等人[16]提出使用RNN來對時空數據進行預測。由于LSTM節點內部的門結構較為復雜,數據中相當一部分信息在壓縮過程中被丟棄。Rodrigues等人[17]提出了一種結合字嵌入、一維CNN、RNN和注意力機制的模型來預測出租車需求量。Du等人[18]提出一種基于卷積LSTM和注意力機制的深度學習模型(STATF)來處理城市交通流預測任務,考慮了交通流數據中的時空相關性,能更好地預測城市交通流。Lai等人[19]提出一種基于卷積LSTM和Stack-LSTM的模型(STPM),能夠同時捕捉事務時間依賴性、空間相關性與外部影響因素,對公交車到站時間的預測較準確。這些研究已經開始關注交通預測中的時間或空間相關性.

Wang等人[20]借助百度熱力圖,并結合Arc GIS,分析了武漢主城區人口在工作日和休息日流動的時空特征。Wang等人[21]對傳統基于DBSCAN算法進行了改進,更好地實現了出行熱點的聚類分析,為緩解交通壓力、改善居民出行體驗提供一定參考。Liu等人[22]使用圖卷積算子來探索區域之間的相關性以建立多模態,并將帶有注意力機制的基于圖卷積神經網絡應用于模型,以更好地建立相關區域關聯。

該文提出的CSA模型結合了RNN中的Seq2Seq神經網絡,動態地呈現出軌跡數據的長期時間特征。通過Seq2Seq提取的長期時間特征,再將Attention融入模型中來學習連續多天之間的城市熱點變化關系。采用基于城市人群生活作息的時間片段劃分方法,將一天內的24小時劃分成不等長的時間片段。并通過特征融合,提高模型的準確性。

2 CSA城市熱點預測模型

該文提出的CSA模型采用城市人群分布的歷史時空特征對未來一段時間的城市人群分布進行預測,充分考慮了城市人群的空間相關性、時間相關性、生活作息規律等特征。

CSA模型包括四個部分,模型結構框架如圖1所示。模型利用城市熱點分布的近期歷史數據預測后續連續多天的城市熱點變化趨勢。

圖1 CSA模型框架

在圖1中,①顯示了CSA模型的CNN部分。CSA模型利用CNN中的濾波器提取熱點區域的局部區域信息,并通過迭代卷積和池運算提取較遠區域的空間相關特征。

②是時間劃分的語義特征部分。該文將時間段特征分開劃分,在CNN提取特征向量后,將時間段特征作為特征向量的一個維度,對每個特征向量所處的時間段進行縫合和標記。

在③中,Seq2Seq編碼器通過對卷積網絡提取的城市空間特征進行時間序列特征提取,通過LSTM的可記憶性提取該時間段的最近趨勢特征。解碼器使用LSTM對下一時期的城市熱點區域進行明確的時間序列預測。

④為注意力機制部分。該文將一周7天標識為不同的特征日,并在模型中引入注意機制,以自適應地獲取特征日之間的關系。

2.1 問題定義

(1)

(2)

未來m天的人群流量為該文的預測目標。設學習函數為h(·),該函數使用歷史n天的流量預測未來m天的流量,如公式(3)。

(3)

2.2 城市人群熱點空間相關性建模

城市不同區域人群熱點之間可能存在某種空間模式下的聯系,這種模式可能是并發關系,也可能是前后關系。比如,某個繁華的商圈附近的區域會由于緊鄰該商圈而出現人流量、交通量較多的情況,因此不同的熱點區域之間可能存在空間模式下的并發關系。上下班高峰期時,由于人們是從工作區域回到生活區域,因此在高峰期前半段時間,工作區域及其附近的區域人流量大、交通密度高,后半段時間則是生活區域以及附近的區域人流量大、交通密度高,因此熱點區域之間可能存在空間模式下的先后關系。所以城市熱點區域的分布具有空間相關性。

當CNN在圖像處理上應用時,能夠通過濾波器最大程度地利用圖片的局部信息對事物進行特征提取,然后根據提取出來的特征對該事物進行分類或者預測[23]。

CNN通常由N層組成,假設在CNN第l層的輸入為M*N*K的矩陣,那么第l層用來提取空間特征的濾波器可以被描述為M*N*K的矩陣,故第l層的輸入可以由以下式子表示：

(4)

其中,l∈{1,2,…,N},W為l-1層濾波器中的權重值。

圖1中①為文中模型的CNN部分,利用CNN中的濾波器提取熱點區域的局部區域信息,并通過反復的卷積和池化操作,提取出較遠地區的空間相關特征。

2.3 基于居民生活作息的時間片段劃分

該模型將時間分為不同的特征日,同時根據人們的作息時間特點將一天劃分為不同的時間片段。在CNN提取特征向量后,將時間片段特征作為特征向量的一個維度,對每個特征向量所處的時間片段進行拼接標記,以此來提高模型的預測準確率。

基于城市人群的時空活動規律分析,考慮一天中不同時間片段下城市熱點區域分布不同的情況,根據人們的作息時間特點將一天的24小時進行了時間片段劃分,共分為表1中的8個時間片段。若將24小時視作集合D,D可表示為：

表1 時間分段

D={ti|0≤i≤7}

時間分段見表1。

表1展示了一天24小時劃分成的8個時間片段以及各時間段的作息特點。其中,由于t0時段人們的出行流量較低,故未對該時間段的熱點區域進行分析。

對于一周7天而言,人們的出行規律也有差異,城市的熱點區域分布在一周7天內也會存在差異。為了進一步提高對未來一周的熱點區域分布的預測準確性,將一周劃分為7個特征日。一周7天用集合W表示為：

W={Mon,Tue,Wed,Thu,Fri,Sat,Sun}

因此,W可被描述為：

W={Di|1≤i≤7}

2.4 城市人群熱點時間相關性建模

為了捕獲人群熱點的時間相關性以及預測未來一段時間的熱點區域分布,使用Seq2Seq[24]作為熱點預測模型。其中,LSTM[25]和GRU[26]常用作Seq2Seq模型的編碼器和解碼器。

Seq2Seq模型利用兩個RNN,其中一個RNN作為encoder,即編碼器,負責將輸入序列壓縮成中間狀態向量C,生成的狀態向量C稱作是這個輸入序列的語義。另一個RNN作為decoder,即解碼器,負責將中間狀態向量C進行解碼。

通常情況下,Seq2Seq只會產生一個語義向量。該文使用的Seq2Seq模型中的RNN單元為LSTM。

CSA模型通過在Seq2Seq模型的編碼器與解碼器之間加入Attention機制考慮特征日對人群熱點預測的影響,使得捕獲的時間相關性符合人群每周的出行規律,提高了預測準確度。

公式如下：

P(yt|{y1,y2,…,yi-1},X)=g(yi-1,si,ci)

(5)

si=f(si-1,yi-1,ci)

(6)

(7)

式中,g函數代表的是非線性激活函數,si表示解碼器i時刻的隱藏狀態,這里的條件概率與每個目標輸出yi相對應的內容向量ci有關。在Seq2Seq模型中,只有一個語義向量c·s為隱藏層輸出。式7中ci是由編碼時的隱藏向量序列(h1,…,hTx)按權重相加得到的。

將隱藏向量序列按權重相加,表示在生成第j個輸出時的注意力分配是不同的。aij的值越高,表示第i個輸出在第j個輸入上分配的注意力越多,在生成第i個輸出的時候受第j個輸入的影響也就越大。

aij的權重值由第i-1個輸出隱藏狀態si-1和輸入中各個隱藏狀態共同決定,即：

eij=b(si-1,hj)

(8)

(9)

si-1先與每個h分別計算得到一個數值eij,然后使用softmax函數得到i時刻的輸出在Tx個輸入隱藏狀態中的注意力分配向量。這個分配向量也就是計算式(7)中ci的權重。

3 實驗及分析

3.1 實驗數據集

城市出租車不受線路和時間的約束,是最靈活、覆蓋范圍最廣的軌跡數據,且精度較高、較少涉及隱私問題,常被作為軌跡數據研究和應用的主要數據集。

軌跡點g具有T_TargetID(車牌號)、T_UTCTime(時間戳)、T_Longtitude(經度)、T_Latitude(緯度)、T_Speed(行駛速度)、T_Heading(行駛方向)、T_Status(搭客狀態)等屬性。由于建立的模型只需要考慮軌跡點所在的時間和所處位置,因此只保留了T_UTCTime 、T_Longtitude 和T_Latitude 這三個屬性特征值。

該文使用了中國武漢某區域內三個月的出租車數據進行實驗,數據集的統計信息如表2所示。

表2 數據集概況

3.2 數據預處理

將武漢市緯度在30.515 224至30.630 852,經度在114.254 328至114.379 643的區域劃分成為14×15的網格,每個網格的長和寬大約為1.0 km。

此外,由于RNN算法對數字較為敏感,直接將軌跡點數帶入訓練會導致誤差較大。在代入訓練前,采用Min-Max方法將區域軌跡點數歸一化到[-1,1]范圍內,最終在比較預測值和真實值時,再將預測值重新還原到原來的數字。歸一化算法如下：

(10)

其中,p為歸一化前的任一時間區域網格軌跡數目,pmax為所有時間區域網格軌跡點數目的最大值,pmin為所有時間區域網格軌跡點數目的最小值,p'為歸一化后的網格點軌跡數目。

3.3 實驗對比模型

文中模型對比方法如下：

(1)PreHA：將上一周某個時間片段該區域的軌跡點個數,作為下一周該時間段該區域下的軌跡點個數。

(2)HA：將前幾周該時間片段下該區域的軌跡點個數平均值,作為下一周該時間片段該區域下的軌跡點個數。

(3)ARIMA模型：是一種廣泛應用的時間序列預測方法。

(4)Seq2Seq：不考慮空間相關性,訓練Seq2Seq模型利用前兩周數據對下一周的區域軌跡點個數進行預測。

(5)CNN_Seq2Seq：考慮空間相關性和時間相關性,使用CNN和Seq2Seq聯合預測。

該文使用均方根誤差RMSE(Root Mean Square Error)作為模型預測效果的評價指標：

(11)

3.4 實驗參數設置

在訓練集上驗證模型的準確性,對比實驗中使用的濾波器數目分別為16、32和64,每個濾波器都為3*3的大小。其中Seq2Seq模型編碼器和解碼器的步長分別為14和7。模型訓練時的學習速率大小為0.001。卷積操作后的激活函數和輸出層的激活函數分別為ReLU和Tanh。

模型的超參數設置如表3所示。

表3 超參數設置

3.5 實驗結果分析

3.5.1 不同參數影響對比

針對CSA模型中各種參數設置對時間預測的影響進行一系列實驗,選取實現平均誤差最低的模型參數,具體包括CSA中LSTM_num、卷積層數等對特征日、時間片段的影響。將實驗結果繪制成圖2和圖3。其中,圖像的橫軸代表特征日(W1～7定義見2.3節)和特征時間片段(t1～7定義見2.3節)。圖像的縱軸代表均方根誤差(RMSE)。圖像繪制的曲線代表各模型參數對特征日、特征時間片段的均方根誤差影響。

(a)LSTM_num對特征日的作用效果

(a)卷積層數對特征日的作用效果

圖2展示了CSA模型中LSTM個數對特征日、特征時間片段的均方根誤差影響效果。比較3種LSTM個數參數,當參數值為250時,平均RMSE最小。

圖3展示了CSA模型中卷積層數對特征日、特征時間片段的均方根誤差影響效果。比較4種卷積層數參數,當參數值為2時,平均RMSE最小。

綜上所述,在CSA模型中時間特征維度為20,濾波器數目為32,LSTM_num為250和卷積層數為2時,模型訓練出的效果達到最佳狀態,RMSE=73.265 542 5。

3.5.2 與不同模型對比

將CSA模型與3.3節提到的5種基準模型進行對比。如圖4所示,較為傳統的PreHA、HA和ARIMA時序模型沒有神經網絡算法(CNN、CNN-Seq2seq)的實驗效果好。在對比實驗的3個神經網絡模型中,CSA模型較Seq2Seq而言,不僅能夠利用CNN提取空間特征,還能夠在Attention機制的作用下,較CNN_Seq2Seq模型而言,又提高了準確率。因此,在6個模型中,CSA模型效果最好。

圖4 模型實驗結果

3.6 城市人群熱點時空分析

為了驗證人們每周的出行規律以及每日的生活作息規律能夠被CSA模型學習并產生作用,隨機采用了一組城市人群流量熱點的預測結果進行了城市熱點的時空熱力分析及可視化對比。

圖5中(a)～(d)是2014年3月4日周二7：00-8：59、18：00—20：59以及前一周周二2月25日相應時間段的時空熱力分布。其中,序號①對應的是漢口火車站及周邊區域。序號②對應的是武漢市洪山區光谷廣場及周圍住宅區。從四張圖可以看出,序號①區域即漢口火車站附近在大多數時間片段下人流量遠遠高于其它區域。對比圖(a)(b)與圖(c)(d)可以看出,相同特征日的人流量熱點分布具有很大相似性。由此證明,CSA模型通過劃分每周的特征日以及每日的不等長時間片段考慮了出行規律和作息規律對人群流量的影響。并且這些規律能被CSA模型學習并產生作用。這是CSA模型預測準確度高于其余模型的重要原因。

(a)2014年3月4日7：00-8：59

4 結束語

挖掘和利用熱區的時空相關性是精準預測城市人群熱點變化的關鍵難點。基于城市熱點區域的時間相關性、空間相關性特點以及城市居民生活作息規律,提出了一種面向城市人群時空熱點預測的深度混合神經網絡模型CSA。CSA模型結合了Seq2Seq神經網絡以動態呈現軌跡數據的長時時間特征,通過Seq2Seq提取的長期時間特征反映熱點區域的近段時間的趨勢變化。根據Attention機制能夠有效得到Seq2Seq中編碼器序列各時間點對解碼器序列各時間點的不同重要程度,將其融入模型。

實驗采用中國武漢某區域內三個月的真實出租車軌跡數據進行實驗,展開了大量對比實驗和分析,驗證了CSA模型的效果和優勢。但CSA模型仍有不足,例如天氣、節假日對居民出行有一定影響,城市熱點區域會有不同的變化。在后續研究中,會繼續將天氣、休假等因素加入考慮。