一種面向公路交通情況調查信息的數據質量控制方法研究

王英平 孫碩 申雷霄 王強 撒蕾

[摘 ? ?要] 公路交通情況調查（以下簡稱“公路交調”）數據可為政府部門、研究機構及社會公眾提供決策依據，因此數據的完整性和可靠性至關重要。研究基于江蘇省普通交調數據，分析了交通流量數據完整性，并提出了一套完整的異常數據判別規則，最后通過實際數據驗證結果表明：插值比預測更適用于公路交調異常數據的修復，拉格朗日插值算法更適用于公路交調數據的修復工作。

[關鍵詞] 公路交調;數據質量控制;判別規則;數據修復

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2019. 23. 065

[中圖分類號] U491 ? ?[文獻標識碼] ?A ? ? ?[文章編號] ?1673 - 0194（2019）23- 0152- 04

0 ? ? ?引 ? ?言

公路交通情況調查工作是指通過對公路的交通情況進行統計、調查和監測以掌握公路交通情況，進而為宏觀政策制定、交通運輸行業經濟運行分析、公路網規劃與調整、公路建設投資評價、路網運行監測與評價、公路養護計劃于管理、公路應急處置、公眾出行等提供有力支撐[1]。但由于設備質量問題（目前市場上對交調設備準確率要求是90%）、網絡傳輸問題、天氣氣候等因素，經常會導致最終匯總的公路交調數據存在缺失、錯誤等數據質量問題。因此對公路交調數據的數據質量控制研究是非常必要的[2]。

研究提出針對公路交調數據質量控制策略：分析江蘇省普通公路實際數據，總結提出異常數據判定規則，將數據分成正確數據、錯誤數據和缺失數據。正確數據進入數據庫進行分析應用，錯誤數據進行剔除，并針對缺失數據采用插值法、預測法等修復算法進行數據修復。圖1所示為位數據質量控制路線。

1 ? ? ?數據質量完整性分析

研究以2017年江蘇省連續式交調站全年分小時分方向數據為分析對象，進行數據質量現狀分析。針對連續式公路交調站點，一天24小時，一月共有31天，分上下行，則一個連續式觀測站一個月要有1 488條小時流量數據，經統計，目前江蘇省交調報送管理系統中普通公路共有362個連續式站點有小時數據，全年分小時分方向數據共計5 784 829條，數據完整率91.21%，可以支撐研究需求。

2 ? ? ?異常數據判別規則

異常數據指不在期望的范圍內或不滿足已有的原理與規則（如交通流理論），在檢測周期中發生突變，不符合客觀事實和邏輯的無效數據。異常數據的判別是對原始數據中交通流參數記錄值進行檢驗，由于無效的概念比較模糊，相對不易判別。異常數據判別方法有交通流參數合理閾值原理、交通流機理及閾值原理和交通流機理結合的3種，此外，還需判別異常數據是否為事件數據（事故、道路維修等），若為事件數據則無需識別修正[3]。

通過交調設備獲取的交通流參數由于受到外界因素的影響，會存在缺失、突變、錯誤等異常情況，不能直接作為交通管理系統的數據輸入，針對交調數據，研究采用多種判別方法相結合的方式判別異常數據。

2.1 ? 有效性檢驗

有效性檢驗主要目的是檢測上傳的記錄數據格式是否規范、是否存在數據缺失、是否出現錯誤代碼等最基本的檢驗，具體檢測內容包括：①是否存在錯誤代碼;②是否存在數據缺失;③各字段是否有效;④時間間隔是否正確;⑤是否存在重復記錄。

以上檢驗項結合具體的通信協議即可確定，屬于最基本的數據有效性檢驗，規則簡單明確，執行速度快，應當作為基本的檢驗首先進行。

2.2 ? 交通流單參數閾值檢驗

交通流參數閾值檢驗主要通對交通流參數中的流量、速度、占有率分別確定閾值區間，篩除明顯不符合實際情況的記錄。

2.2.1 ? 流量閾值

國內外根據不同的采集周期，對單車道的流量上限和下限進行了研究，并計算出了折算上限，且由于較短的采集周期由于波動性較大，通常采用較高的閾值。采集周期為5 min時，流量的閾值上限基本都集中在250到260輛（即3 000～3 120輛/小時），部分實際應用中對于較短的采集周期也采用接近的值。由于可能會出現5分鐘內無車輛通過的情況，流量的閾值下限可以直接取為0。

針對江蘇普通公路交調數據的分析，單車道流量上限的閾值建議定位3 100輛/小時。

2.2.2 ? 速度閾值

考慮到擁堵的可能性，國外已經研究的速度閾值下限一般都采用0或者較小的值，同時采樣周期越短，考慮到個體車輛對于周期平均速度的影響越大，速度閾值上限設置的也相對較大。采樣周期為5分鐘的速度上限閾值通常設置為130～160 km/h。

2.3 ? 基于交通流規律的檢驗

基于交通流規律的檢驗在部分文獻中又稱為多參數閾值規則，即基于交通流等理論，利用交通多個參數間的相關性，設定相應的閾值區間檢驗以識別異常數據。

2.3.1 ? 0值檢驗

根據國外應用經驗，在實時處理階段通常采用較為保守的0值檢驗。0值檢驗是基本的多參數檢驗，主要特征是在考慮交通流基本規律的同時，圍繞流量、速度、占有率三參數的基本關系，聯系在實際中設備對數據的處理方式設定一系列邏輯檢驗，共同特點是對某一參數為0與否時的情況進行判斷，具體包括：

若速度v=0，流量Q=0，則檢測數據無效

若速度v=0，流量Q=0，則檢測數據無效

若占有率O>0，流量Q=0，速度v=0，則檢測數據無效

若占有率O=0，則流量Q應當小于一定的閾值

2.3.2 ? AEVL檢驗

僅采用0值檢驗可能會造成漏檢部分不符合交通流規律的數據。為了對參數間相互關系進行進一步的檢驗，可以利用檢測得到的流量、速度、占有率參數估算平均有效車輛長度，如下式：

AEVL=■（1）

式中，AEVL是平均有效車輛長度，單位米，檢測結果應在適當的允許取值范圍以內，超過該范圍則可認為數據存在異常;v是平均速度，單位km/h;O是占有率，百分數;Q是小時交通自然量。

由于檢測會存在誤差等因素，根據數據分析結果，推薦AEVL取值區間為2.6～20米。

2.4 ? 連續性檢驗

連續性檢驗是對采集到的多組數據進行時間、空間上連續性、一致性的檢驗。由于實時異常數據識別需要實時查詢，要求盡量反映變動的道路交通情況，為了能夠較好地反映突發事件，宜采用較保守的處理策略，僅進行基本的處理。

2.4.1 ? 時間連續性檢驗

時間連續性檢驗是將采集到的數據與基礎歷史數據進行比較，判斷是否差異過大。基礎的歷史數據可以是前一年、前幾個月同一天、前幾個星期同一天等數據。這里為了突出動態檢驗的特點，出于盡量保留數據特征反映交通實時交通情況的考慮，采用前幾個沒有被判斷為數據錯誤的數據采集周期的數據作為基礎歷史數據進行數據時間連續性的檢驗。

2.4.2 ? 空間連續性檢驗

空間連續性檢驗是將采集到的數據結合相關聯的基礎空間數據進行比較，判斷是否差異過大。相關聯的基礎空間數據可以是上下游檢測站數據等，其中如果上下游檢測站相距較遠還應當考慮時間上的延后。

這里為了突出動態檢驗的特點，出于盡量保留數據特征反映交通實時交通情況的考慮，采用相同斷面同方向同一時間鄰近車道的數據作為相關聯的基礎空間數據進行數據空間連續性的檢驗。因此該方法僅適用于多車道道路。

2.5 ? 連續相同記錄檢驗

2.5.1 ? 流量為0的檢驗

在低流量情況下，車輛可視為隨機到達，到達的規律將近似服從泊松分布。對于單個0流量檢測值的記錄，可以采用泊松分布計算在當前交通需求情況下單個記錄流量為0 的概率。泊松分布如下式：

P（x）=■ ? ? x=0，1，2，…（2）

式中，P（x）是采集周期內到達x輛車的概率;M是采集周期內平均流量，可取為前幾個周期流量的均值;x取為0。

根據泊松分布，若流量均值大于6.9而流量在某一時刻為0，則該時刻的流量即為異常。

2.5.2 ? 連續相同不為0記錄的檢驗

根據國內外經驗，檢測數據中可能出現連續記錄的流量、速度和占有率完全相同的情況，因此應當設置連續相同記錄數量的上限閾值，若連續相同記錄超過該值則認為存在數據異常。

可以看出，雖然采集周期不同，但國外應用系統對連續相同記錄上限的閾值均設定為8。考慮到實際交通情況隨機波動的性質，多個不為0的參數連續完全相同的可能性很小，出于較保守檢驗的考慮，參照連續0流量的最大記錄數規律，考慮到國外應用系統取值，根據不同位置，連續相同記錄取值區間為4～8小時。

2.6 ? 交通狀態異常檢測

交通狀態異常值標定的核心是對一次標定中的交通特殊狀態（擁堵、超速、無車）進行分析，從而對其進行二次標定。對于在某一固定時段的路段而言，若某一特殊狀態在連續的n天或者連續的上下時刻中只出現一次，則被認為是一條異常記錄。圖2為異常值分析的具體流程。

一種面向公路交通情況調查信息的數據質量控制方法研究

插值結果MAPE值為9.15%，即數據準確率為90.85%，算法可以很好地使用于交通流量調查數據的修復工作。為了證明拉格朗日插值算法更適合公路交調數據的修復工作，研究對比了不同插值算法和預測算法的MAPE值，如表1所示。

結果表明，相較于預測算法，插值更適用于交通流量數據的修復工作，構建的函數更貼合交通流的實際規律，插值的結果更符合交調數據的真實值，誤差因此較小。

4 ? ? ?結 ? ?論

研究通過分析江蘇省普通公路交通流量情況調查數據，對公路交調數據提出了一套完整的數據質量控制流程。針對交通流數據中的異常數據提出了一套完善的判別流程，并使用多種插值及預測算法對缺失的數據進行修復。結果表明相較于預測，插值能更好地修復交通流量數據，同時拉格朗日插值算法更能反映交通流的內在規律，從而為缺失數據完成更好的插值。研究結果為交通流量調查數據修復工作提供決策依據，對于交通流量數據質量控制的發展具有重要意義。

主要參考文獻

[1]王英平，楊建國，顧明臣等.公路數據調查與融合[J].中國公路，2016（3）：94-98.

[2]王珺，吳兵，王靖陽，等.ITS實時檢測交通數據的質量控制技術探討[J].交通與運輸：學術版， 2005（1）：30-32.

[3]徐程，曲昭偉，陶鵬飛，等.動態交通數據異常值的實時篩選與恢復方法[J].哈爾濱工程大學學報， 2016，37（2）：211-217.

[4]姜桂艷，江龍暉，張曉東，等.動態交通數據故障識別與修復方法[J].交通運輸工程學報，2004， 4（1）：121-125.

[5]丁閃閃，季錦章，刁含樓，等.基于小波分析和拉格朗日的交通異常數據處理[J].公路與汽運， 2015（4）：59-63.