基于ST-DCGAN的時序交通流量數據補全

袁瑤瑤，康 雁，李 浩，牛瑞丞，梁文韜，李晉源

云南大學 軟件學院，昆明 650500

1 引言

近年來，隨著共享經濟和智慧城市的發展，一系列新型時序城市數據應運產生，如出租車軌跡數據、共享單車軌跡、人群流量行為等[1]。利用車載GPS實時對當前車輛采集的軌跡數據不僅記錄當前車輛的經緯度、時間、速度、方向以及載客信息[2]，同時也反映了城市人群流量的特點。如何從歷史軌跡數據中獲取有價值的信息，已成為海內外學者關注的熱點[3]。

現實生活中，對出租車進行軌跡數據實時采集時，會因為車載GPS的暫時故障、地區偏遠、區域新建、施工或者人為的處理錯誤使得收集的區域交通流量數據是不完整的。數據缺失通常包括三種，完全隨機缺失、隨機缺失和非隨機缺失。完全隨機缺失指的是缺失數據是隨機發生的，與自身和其他變量之間沒有關系；隨機缺失指缺失數據與數據集中無缺失數據的取值有關；非隨機缺失指缺失數據同時與數據集中無缺失數據和自身的取值有關，由于交通流量數據變化之間是相互影響的，缺失流量數據受到其他無缺失流量數據的影響，所以交通流量數據的缺失屬于隨機缺失，包括隨機點的流量數據缺失（圖1（a）、（b））和集中區域的流量數據缺失，論文主要討論集中區域的中心流量數據缺失（圖1（c））和邊緣流量數據缺失（圖1（d））[4-8]，灰色方塊表示缺失數據。

圖1 交通流量數據缺失方式

交通流量缺失數據的補充，對實現智能交通、城市規劃、環境和能源的管理有重要意義。最近，GAN模型在生產高質量的圖像上顯示出強大的生產能力[9-10]，基于該思想，本文將交通流量數據的缺失補全看成數據生成的問題，提出基于時空特征的ST-DCGAN缺失交通流量數據補全，本模型有以下創新點：

（1）ST-DCGAN是融合了交通流量時間相關性和空間相關性的DCGAN網絡，將歷史數據放到多個通道中，有效地融合DCGAN的補全特性和交通流量的時空相關性。

（2）模型中引入了基于交通流量的補全損失和判別損失作為新的目標函數，同時考慮補全流量圖片的局部相似和全局相似。

（3）引入Mask二值掩碼，模擬任意區域流量缺失情況，生成缺失流量數據時只需設置相應的掩碼區域范圍，不需重復訓練網絡，最終達到流量補全，提高了補全精度，擴展了GAN的應用。

2 相關研究

時序數據缺失是數據處理普遍存在的問題。它對實驗效果質量和結果穩定性的影響較大，是進行數據挖掘之前所要考慮的首要問題。目前國內外時序缺失數據處理的方法包括有補全法和刪除法，由于刪除法可能刪除有價值的信息，導致實驗結果的誤差[11-13]，所以補全法日益受到重視。對于時序交通缺失流量數據的補全方法主要包括基于統計學方法、基于機器學習方法。

2.1 基于統計學方法的數據補全

基于統計學方法的數據補全主要包括均值補全法、最大值補全法、期望值最大法，以及指數平滑法等[5，14]。文獻[5]總結常用的交通流量修補方法以及優缺點，為交通流量數據缺失補全提供理論依據。文獻[14]對交通流量缺失數據處理方法比較分析，并利用美國加州I-880高速公路交通流數據的實驗結果驗證，得到基于指數平滑法和相鄰車道數據加權平均法的缺失值修復結果最優。

2.2 基于機器學習方法的數據補全

隨著計算機科學技術和人工智能的發展，利用機器學習預測對時序交通流量缺失數據補全方法逐漸被應用，文獻[15]提出基于最小二乘支持向量機的交通流時間序列數據修補模型，并將其與RBF神經網絡模型和非線性回歸模型比較。文獻[16]提出了一種基于聚類分析的最鄰近補全算法（GMKNN）對缺失流量數據補全。文獻[17]結合了最小二乘法的局部修補模型和最大熵的交通狀態概率分布估計模型提出一種自適應的權重兩階段缺失交通流量數據修補組合模型，實驗結果表明該方法能夠減少隨機因素對交通流量變化的干擾。目前大多數據補全方法達到了對缺失流量補全的效果，但在補全缺失數據時忽略了交通流量變化的時空特征，特別是當流量數據連續缺失或者路況復雜時，很難獲得準確的插值填充缺失的流量數據，算法的補全效果很差[18]。

2.3 基于GAN網絡的數據補全

近年來，生成對抗網絡被廣泛應用在缺失人臉圖片的補全，并取得了很好的效果[19-22]，文獻[19]提出基于深層生成網絡的語義修復模型，并在CelebA、The SVHN和Stanford Cars dataset數據集上得到了很好的驗證。文獻[20]提出一種使用深度生成模型有效完成面部補全算法，模型通過定義一個重建損失，兩個對抗損失和語義解析損失確保補全面部缺失的真實性。文獻[21]提出了基于GAN的多上下文生成對抗網絡，使網絡自適應地學習不同層次損壞圖像的特點并從多角度補全缺失圖片區域。文獻[22]提出基于上下文編碼器GAN網絡直接對圖片缺失區域進行生成，實驗結果表明該網絡能很好地預測圖片缺失信息。目前基于GAN網絡的缺失時序數據補全逐漸成為下一個研究熱點，如文獻[23]提出利用GAN網絡對含有大量缺失值的多變量時間序列進行缺失值補全。文獻[24]提出基于生成對抗網絡的路網交通流量數據補全方法，利用GAN網絡分析實現對路網二維信息圖缺失部分的補全。

3 ST-DCGAN數據補全

相比較傳統的交通流量缺失數據補全模型，由于交通流量時空特征，即某時刻某區域交通流量的變化受其他時刻流量變化以及該區域周圍路段流量變化的影響[25]，本文使用ST-DCGAN網絡模型結合交通流量的時空特性和DCGAN網絡。

3.1 ST-DCGAN模型

GAN模型的思想來自于博弈論[26]，模型定義判別器和生成器，通過最大最小博弈過程優化網絡的參數，其中判別器希望學習真實樣本的分布，對生成器輸出的樣本判斷為假；生成器希望生成的樣本盡可能與真實樣本相似，使得判別器判斷不出來，優化過程公式如下：

公式（1）表示優化判別器，公式（2）表示優化生成器，其中Pdata是真實樣本的概率分布，Pz是生成器G(z)從輸入隨機概率分布的采樣，z為潛在空間的隨機編碼分布[27-28]。

ST-DCGAN模型中DCGAN網絡結合GAN和CNN，將生成器和判別器用兩個改變結構的卷積神經網絡代替，利用網絡對缺失流量數據補全時，將流量圖片看作是從一個高維概率分布中的采樣，當生成器從隨機噪聲分布中選擇的概率分布不同時，就會產生不同的流量圖像，判別器通過學習真實流量圖片的特征從而對生成器生成的圖片進行判斷，目的是生成的假圖片盡可能地接近真實的流量圖片。訓練好的ST-DCGAN模型可以學習流量圖片的整個數據集的分布特征以及流量數據之間的隱式關系[29-30]，ST-DCGAN網絡結構如圖2所示。

為了能夠抽取交通流量時間維度上的相關性，本文將輸入流量圖片的通道數設置為3，代表某時刻T與相鄰時刻T-1和T+1的流量圖片，設置不同的輸入通道數，實驗結果表明當輸入的流量通道為3時，能更好地抽取流量圖片時間維度上的相關性，其中判別網絡（D）和生成網絡（G）訓練過程的參數變化如表1所示。

圖2 ST-DCGAN網絡結構圖

表1 判別網絡和生成網絡訓練過程參數變化

3.2 模型目標函數

實驗引入Mask二值掩碼模擬交通流量數據的缺失，其中Mask掩碼是與輸入圖片大小相同的0，1矩陣。為了找到最佳的z分布使生成器補全的流量圖片更加接近真實圖片，ST-DCGAN網絡要確保補全圖片局部真實性以及圖片全局的一致性。定義ST-DCGAN目標函數由兩部分組成[19-22]。

（1）補全損失：第一部分盡量使得真實流量圖片X未缺失流量與生成器輸出的補全圖片對應部分流量數據相近，此時認為生成器對圖片缺失部分的補全效果很好，定義補全損失Lcorrelation()z如下：

（2）判別損失：為了使得補全的圖片與真實的圖片整體相似，判別器需要對生成器輸出的補全圖片進行判定，將生成器的輸出作為判別器的輸入，定義公式判別損失Ldiscriminate()z如下：

其中，D(G(z) )是判別器對生成器補全的圖片進行判斷，生成器希望生成的補全圖片盡量真實，從而使得判別器判斷錯誤。

其中，m是控制補全損失和判別損失的比例函數，實驗的目的是通過最小化Lloss()z，得到最佳的補全缺失分布z，公式如下：

此時網絡生成的補全圖像Xcomplete表達Xcomplete公式如下：

3.3 算法流程

基于ST-DCGAN的時序交通流量數據補全算法流程如下。

算法輸入：區域T-1時刻、T時刻和T+1時刻大小為32×32×3的流量圖。

算法輸出：缺失區域補全流量均方根誤差（RMSE）。

步驟1區域流量圖像化。

將TaxiBJ數據集進行圖像化處理生成32×32×3的流量圖像，將GPS獲取的城市人流量數據映射到流量圖像網格中，網格中的像素點對應某區域某時刻的實際流量數據。

步驟2構造ST-DCGAN網絡算法結構。

南方鄉土建筑營造技藝思考中依據建筑“原”形，劃分營造之“圈”，梳理營造之“流”，解析營造之“變”是對于整體性研究的總體框架。對鄉土營造技藝研究來說，回答關于源流變遷的問題有助于理清營造的發展脈絡、科學劃分區系、積極傳承工藝；對鄉土建筑的保護來講，辨析譜系源流、選取合理的修復保護材料、工藝等有理論指導及參考作用；對建筑史研究而言，深入研究南方鄉土建筑的整體技藝有助于定義南方地區營造在宏大背景下的地位與作用，完善對其營造技藝的認知。

訓練判別器，學習真實流量數據概率分布pdata，訓練生成器從輸入隨機噪聲分布[0，1]中生成潛在空間概率分布pz，使得pz盡可能地接近pdata。在tensorflow環境下運行ST-DCGAN，利用卷積操作和反卷積操作獲取交通流量數據的時空特征。

步驟3定義Mask二值掩碼。

定義三種不同類型的Mask掩碼，與真實流量圖進行矩陣運算，模擬交通流量的數據缺失。

步驟4數據補全。

利用步驟3處理好的缺失數據流量圖作為步驟2構造的ST-DCGNA網絡輸入，最終找到使生成器補全的流量圖片更加接近真實流量圖片的概率分布。

步驟5結束。

算法終止。

4 實驗結果與分析

4.1 實驗數據

TaxiBJ開源數據集：利用北京TaxiBJ開源數據集，該數據集包括34 000多輛出租車的軌跡數據，每半個小時統計一次流量的變化情況，一共有22 459張可以用的時間間隔[25]，實驗過程中數據描述如表2（實驗數據下載網址：https：//github.com/lucktroy/DeepST/tree/master/data/TaxiBJ）。

表2 實驗數據描述表

4.2 實驗設置

實驗細節：實驗過程中，利用離差標準化將流量數據映射到[0，1]，目的是可以最大程度地降低數據值對結果的影響；設置迭代次數為100次，學習率為0.000 2，采用Adam作為優化函數；判別器利用Sigmoid作為最后輸出的激活函數，輸出值在[0，1]之間，目的是對當前的輸入進行真假圖片的判斷；生成器利用tanh作為最后輸出的激活函數，保持所有的取值都在[?1，1]區間內。

模型評估函數：實驗通過均方根誤差（RMSE）來測試模型，公式定義如下：

其中xi表示一個batch中第i個實際的交通流量圖，x?i表示神經網絡的預測值，n是測試模型的總次數。

4.3 實驗對比

實驗用熱力圖表示北京開源TaxiBJ數據集的分布情況，在熱力圖中黃色越亮表明某時刻該區域流量數據越大。流量圖片的隨機缺失率表示某時刻缺失流量數據的概率，實驗設置流量圖片的隨機缺失率由小到大分別為0.1、0.2和0.4，實驗分別與基于統計學方法、機器學習方法和GAN網絡方法對比。

（1）與基于統計學方法和機器學習方法對比

其中圖3表示基于統計學方法的最大值補全法和平均值補全法的補全流量圖，其中Input、Mask和Complete分別表示真實的流量圖片，模擬缺失的流量圖片和不同方法補全的流量圖片。

從圖3補全流量圖可以看出，隨著流量數據缺失率的增加，最大值補全法和平均值補全法補全圖片與真實流量圖片相差很大，這是因為現實生活中城市區域是由不同的功能模塊組成的，比如辦公區、休閑娛樂區、學校區域、住宅區域等，不同區域在不同的時間段的流量差別很大且相互影響，比如在辦公區域的人流量變化主要集中在工作日的上班早高峰以及下班晚高峰，而此時休閑娛樂區的人流量相對較少，到了夜晚，休閑娛樂區域的受到辦公區、學校區域和住宅區域人流量的涌入流量增加，如果此時利用區域最大流量數據或者平均流量數據補全某區域缺失流量，會因為不能抽取不同時刻交通流量變化特點和遠近區域流量相關性，導致補全圖片與真實流量圖片相差很大。

實驗同時對比不同缺失率下機器學習方法Linear Regression（LR）、Random Forest Regressor（RFR）、Ada-Boost Regressor回歸（ABR）、線性SVR回歸（LSVR）、嶺回歸（Ridge）、Gradient Boosting Regressor回歸（GBR）、KNN方法以及文獻[8]對時序缺失數據補全的粗粒度插值方法（CG-ST-2SMR）對缺失流量數據的補全RMSE的變化，實驗結果如表3及圖4。

從表3的RMSE變化可以看出，ST-DCGAN網絡優于其他對比方法，并且在缺失率0.1時，RMSE為0.019 9，網絡補全效果最好。其次是Gradient Boosting Regressor方法，Boosting是機器學習中典型的將若干個弱學習器提升為強學習器的集成學習方法，Gradient Boosting Regressor在使用Boosting的基礎上讓損失函數在其梯度下降方向上下降，從而不斷改進模型[31]。

（2）與GAN網絡補全方法對比

利用GAN網絡的生成思想對時序缺失數據補全逐漸受到學者們的關注，實驗對比近年來基于GAN網絡對時序缺失數據的補全方法[23-24]，在不同缺失率下GAN網絡和ST-DCGAN網絡對缺失流量補全效果如圖5。

圖3 （a） 缺失率0.1時最大值補全流量圖

圖3 （b） 缺失率0.1時平均值補全流量圖

圖3 （c） 缺失率0.2時最大值補全流量圖

圖3 （d） 缺失率0.2時平均值補全流量圖

圖3 （e） 缺失率0.4時最大值補全流量圖

圖3 （f） 缺失率0.4時平均值補全流量圖

表3 不同缺失率RMSE變化表

圖4 不同缺失率RMSE變化圖

圖5 （a） 缺失率0.1GAN網絡和ST-DCGAN補全流量圖

圖5 （b） 缺失率0.2GAN網絡和ST-DCGAN補全流量圖

圖5 （c） 缺失率0.4GAN網絡和ST-DCGAN補全流量圖

從補全結果可以看出，隨著流量數據缺失率的增加，GAN網絡和ST-DCGAN網絡補全效果逐漸變差，GAN網絡在缺失率為0.1時，補全圖片與真實流量圖片最相似，缺失率為0.4時，GAN網絡補全效果最差。相較于GAN網絡，雖然流量圖片缺失率在增加，ST-DCGAN網絡生成的補全圖片與真實流量圖片仍有很大的相似度。這是因為利用GAN網絡和ST-DCGAN網絡對缺失流量數據補全時需要學習大量真實流量數據，隨著流量圖片缺失率的增加，可供GAN網絡和ST-DCGAN網絡學習的存在流量數據變小。

從表4不同缺失率下GAN網絡和ST-DCGAN網絡RMSE變化可以看出，ST-DCGAN網絡優于GAN網絡，其中0.1缺失率RMSE超越GAN網絡50.49%，0.2缺失率RMSE超越GAN網絡48.69%，0.4缺失率RMSE超越GAN網絡52.99%。其原因是ST-DCGAN網絡在GAN網絡的基礎上添加了深度卷積網絡結構并改變GAN網絡的目標函數，使得網絡能更好地學習真實流量數據樣本集的時空特征分布。

表4 不同缺失率GAN和ST-DCGAN網絡RMSE變化表

除了隨機點的流量缺失，現實生活中由于地區偏遠、區域新建、施工可能造成集中區域流量缺失，實驗分別對GAN網絡和ST-DCGAN網絡在集中邊緣區域和中心區域流量缺失補全效果進行探討，RMSE變化如表5、圖6所示。

表5 集中區域流量缺失RMSE變化表

圖6 GAN網絡和ST-DCGAN網絡集中區域流量缺失RMSE

從表5 RMSE變化可以看出，ST-DCGAN網絡補全效果優于GAN網絡，邊緣缺失補全時超越GAN網絡56%，中心缺失補全時超越GAN網絡54%。其中GAN網絡和ST-DCGAN網絡集中區域缺失流量補全時中心區域缺失補全優于邊緣區域，其原因是網絡對中心區域流量缺失補全時，可學習的四周存在流量數據相較于邊緣區域更加充足，網絡可更好地學習周圍存在流量數據分布特征從而對缺失流量數據進行補全。

5 結束語

本文針對基于統計學補全法、基于機器學習補全法以及傳統的GAN網絡交通缺失流量數據補全的不足，提出一種基于ST-DCGAN的時序交通流量數據補全方法。該方法結合DCGAN網絡和交通流量的時空特性，能更好地抽取交通流量數據在時間維度上和遠近區域上的相關性，通過對比實驗可以看出本文的方法優于所比較的模型，但仍有很大的提升空間，如何更好地抽取交通流量數據時間維度上的相關性是下一步工作的重點。