基于多源數據的公里級路網數據采集方法研究

薛盤芬

安徽省交通運輸綜合執法監督局 安徽省合肥市 230041

1 引言

隨著我國汽車保有量的逐步上升，普通國省道路網交通狀況隨著車流量的增多和交通需求的增長而每況愈下，常發性交通擁擠問題的不斷惡化，交通高峰的不斷持續，交通擁擠路段的不斷增加，都對路網交通的運行管理能力造成嚴重的影響。路網運輸監測數據是衡量路網運行管理能力的基本標準。通過對路網數據的采集和分析處理，從而進一步改善公路路網的交通擁堵狀況。

目前，普通國省道主管部門主要通過交調站采集的數據來衡量路段的交通運行狀況，然而由于交調站布設間距5-30km不等，交調站的數據無法準確反映路段的交通量。此外，已有研究對于ETC門架數據在普通國省道上的采集應用較為缺乏，只考慮到高速公路方面的數據采集。為了提升普通國省道感知能力，本研究運用公里級劃分法并參考以往研究的多源數據采集方法，構建集成多源數據的多樣化、分層次、綜合性的路網運行數據體系。

2 數據現狀

普通國省道交通狀態多源數據主要是指動態的交通參數，具體為時間和空間上不斷變化的交通流信息，可劃分為點參數與區間參數，前者主要是指某一指定地點的交通存在狀態，包括流量、地點車速、時間占有率、車頭時距等，后者特指某一區域內的車輛運行狀況，例如車輛的行程時間、交通流密度、車輛排隊長度、區間速度等。

2.1 公路系統內數據

通過在全國的國、省、縣、鄉、專公路上設置固定或臨時的交調站來獲取公路交調數據，從而掌握公路網交通流的運行特征以及公路網的適應性程度，并進行統計、分析和預測，為公路規劃建設、路網運行管理、交通應急處置、科研及社會公眾服務提供公路交通信息。

交調檢測數據主要包括速度、流量兩大類。具體參數包括平均車頭時距、小貨交通量、小貨平均速度、中貨交通量、中貨平均速度等，具有全天不間斷采集，覆蓋廣、直接、精度較高等優點，布設間距少則3-5km，多則30km以上，但難以有效支撐路網路況的準確判別。

在應用方面，利用交調數據，結合軸載、車型組成等，確定養護計劃；利用交調數據，測算養護經費；利用車輛高峰時間，確定養護時段。同時交調數據用于重大活動分析，如重大活動路網保暢工作、新路開通對區域路網的影響、交通管制政策實施效果評價、旅游服務項目對路網的影響等。

2.2 第三方導航平臺數據

目前的第三方導航平臺數據主要有高德、百度等手機導航數據，其數據源主要來自兩個方面：一是公眾數據，包含手機地圖APP的導航回傳和車載導航設備回傳的定位數據；二是行業數據，包含通過置換和購買的方式主要是出租車數據，還有一部分是物流車和長途客車數據。互聯網地圖最基礎的格式是定位點，一般隔幾秒鐘上傳一次，是連續點的序列信息，能夠完整地復現一個用戶出行軌跡。將點位匹配到地圖上，可以深入了解路網運行情況，根據用戶需求提供多元信息，數據量大且覆蓋面廣，數據實時傳輸，穩定性強，能在一定程度上反映路網的運行情況。

3 公里級劃分方法

通過對路網現狀的調研分析，發現現有公路主管部門路網運行監測手段存在比較單一，監測路段劃分不合理等問題，擬考慮結合現有數據（車檢器、交調點等）、交通系統內其它數據（如ETC數據）、第三方（高德、百度等）導航系統數據、手機信令數據等，采用公里級路段劃分算法，將路網運行監測數據以公里級粒度進行劃分，以百度地圖為底圖，搭建全路網公里級多源數據融合應用與共享平臺，為路段級路網運行狀態監測、路網事件檢測、路況短時預測、節假日流量預測等業務應用提供數據支撐。

3.1 公里級劃分原則

公里級劃分法主要以2km為標準對示范路段進行劃分，并將重要交通場景，包括大型交叉口、橋梁等納入獨立的路段。

圖1 公里級劃分示意圖

3.2 百度地圖數據獲取

百度公司提供路段劃分軟件平臺功能，支持在地圖上自由打斷點的功能，斷點確定后，自動生成所有細分路段的擁堵指數、擁堵里程和平均速度等數據。通過接口的方式進行對接，開發相應的程序主動捕捉百度共享數據，按照《百度數據對接協議文檔》，解析完數據后，把數據保存到數據庫中。以下為數據獲取具體方式：基于百度調用權限獲取重點道路路段詳情接口，進而查詢指定道路id的道路詳情，即某一天從零點到二十四點內每5min粒度的指標。

表1 輸入參數信息

表2 輸出參數含義

4 采集方法

本研究主要以交通系統相關的企業單位為調研與對接對象，進行數據采集總體路線分析。通過制定數據交換與管理策略，包括數據管理交換策略、數據交換標準方法、數據存儲規則、數據共享規則等將數據需求總體目標按數據歸口單位進行分解，達到數據采集的目的。

4.1 數據交換標準方法

路網運行監測數據抽取是利用不同的工具、腳本等計算機程序，從各個相關系統中獲取所需數據而同時不影響原有系統的正常運行的數據采集過程之一。數據抽取需考慮到數據的需求內容、傳輸網絡、安全保密等，通過對公路體系內現有的數據以及外部支撐數據調研和協調，按數據提供方式，可將數據抽取方式分為數據庫抽取與接口（API）抽取兩大類。

1）數據庫抽取

數據庫抽取，是指原數據生產系統可開放已有的數據庫或公路管理與應急指揮系統中已匯聚的數據庫，利用ETL工具進行抽取的一種方法。存儲于庫表的數據，已經具備一定的結構化組織屬性，關聯性較強，基本可以被上層應用所使用。這類數據包括道路基礎數據、公路設施數據、交通調查數據、“兩客一危”數據、橋梁健康監測數據、路網事件數據、應急資源數據等。

2）API抽取

API抽取，是數據采集系統在考慮源系統數據安全性的前提下無法直接通過數據庫獲取數據時，只能經過源系統所開放的對應接口程序來傳輸數據的一種方法。目前，也是主流系統之間數據交互的重要方法之一。

API（Application Programming Interface，應用程序接口）是一些預先定義的函數，或指軟件系統不同組成部分銜接的約定。用來提供應用程序與開發人員基于某軟件或硬件得以訪問的一組例程，而又無需訪問源碼，或理解內部工作機制的細節。良好的接口設計可以降低系統各部分的相互依賴，提高組成單元的內聚性，降低組成單元間的耦合程度，從而提高系統的可維護性和可擴展性。

4.2 數據共享規則

數據在經過抽取匯聚、清洗處理、存儲管理后，最終回歸到具體應用中時，共享這一環節，顯得尤為重要。一方面，需要為上層應用提供足夠豐富的數據，另一方面，還需考慮數據的安全性，具體是指在提供數據的過程中保證數據不篡改、隱私不泄露和服務不宕機。

數據庫共享，是上層應用獲取數據最為直接的方式。通過SQL直接讀取庫表中所需數據字段，能夠大大減少中間轉化過程，從而縮短開發周期以及實際應用中所存在的數據傳輸延遲。

對于上層應用，數據采集系統只需要根據不同應用的數據需求，開通使用者賬戶，配置管理數據庫中的只讀權限，即可保障數據安全的前提下進行數據交互與應用。

通過該共享方式，路網運行狀態評價模型可直接使用匯聚清洗后的道路基礎數據、交通調查數據、“兩客一危”數據等，路網信息發布應用可直接使用匯聚清洗后的公路設施信息數據、路網事件信息數據等，應用不必再對接不同系統來獲取數據，取而代之的是通過數據采集系統來獲取包括靜態、動態數據在內的所有需求數據，使之更專注于應用功能，實現數據與多元功能的靈活匹配與自定義。

圖2 互聯網數據交換方法邏輯圖

具體地，針對不同網絡下所部署的應用，分為內網數據庫共享和外網數據庫共享。應用部署于與數據采集系統在同一局域網內且組網中具備高等級信息安全保障機制，如路網運行狀態評價、信息發布等，采用內網數據庫共享；而應用部署于公網時，由于內外網隔離，無法直接訪問本地數據庫，如云控平臺，因此需在雨花中心部署共享服務器，將內網數據庫同步至該服務器上，而后外網應用通過訪問此服務器，來獲取數據，數據獲取內容、頻次等取決于數據同步。在具體實施中，將采用頻率最小間隔、所有數據項同步的方式進行同步，來保證外網應用所得到的數據滿足實時性、完整性、易用性等原則。

圖3 數據共享規則邏輯圖

5 結論

本研究基于百度地圖對普通國省道進行公里級劃分，并通過對既有數據（車檢器、交調點、兩客一危）以及其他交通系統內數據、第三方導航平臺數據等進行分析，研究采取標準接口數據庫直連和ETL工具來實現多源數據采集，搭建了全路網多源數據融合交換與共享體系，實現公里級公路數據采集，同時在普通國省干線創新應用了ETC門架數據，探索了ETC除收費功能外作為數據采集設備的應用，為路網運行狀態監測、路網事件檢測、路況短時預測、節假日流量預測等業務應用提供數據支撐。