廣西ETC車道日志分析的實踐與應用

覃慶勇

(廣西捷通高速科技股份有限公司，廣西 南寧 530022)

0 引言

我國高速公路電子不停車收費(ETC)系統從2014年開始全國聯網，其暢通、高效、低碳的通行方式受到社會車輛的普遍歡迎，截至2017年12月份，全國ETC用戶總量已接近5 800萬，其中廣西ETC用戶已超過40萬。

隨著ETC用戶的快速增長，對ETC發行方及車道管理者提出了更高的服務質量要求，要求能夠實時監控ETC車道的設備狀態、交易情況，對突發事件快速響應。基于車道日志分析的實踐與應用在一定程度上是解決這個問題的有效方式。

1 ETC車道日志利用現狀及大數據特征

1.1 ETC車道日志利用現狀

ETC車道收費控制程序是ETC車輛通行、交易的關鍵軟件，在ETC車輛通行過程中產生了豐富詳細的日志信息，并存放于車道管理終端服務器中。然而目前這些日志信息只有在稽查、扣費爭議處理時才會通過下載日志文件進行查詢，利用程度較低、查詢效率不高，造成了一定的資源浪費。雖然基于傳統的信息系統管理軟件，例如各省份已投入上線運行的ETC車道監測評價系統，提供了統計車道交易數量、交易成功率、通過率等信息，但時效性低，不能實時反映車道的狀態。同時，傳統的關系數據庫，查詢緩慢，影響了用戶體驗及工作效率；功能單一，不能自動識別逃費等惡意行為。

根據統計，廣西區內目前有近500個ETC車道，按每個車道日志每年200 M的數據量，共計近100 G的數據量，而且逐年隨著用戶的增長，車道日志量將不斷增加。車道日志是非結構化的數據，價值密度較低。由于車道管理終端服務器存儲空間有限，車道最多保存半年時間的車道日志，對于沒有原始交易記錄的事后爭議處理和查證比較困難。解決以上問題的根本途徑就是利用大數據技術，建立一個功能完善的車道日志數據平臺，統一收集、存儲、分析和加以利用。

1.2 ETC車道日志大數據特征

大數據是指具有“大量化、多樣化、快速化、價值密度低”等特點，且無法使用傳統流程或工具處理或分析的信息[1]，按照此定義，目前ETC車道日志已經明顯有了大數據的特征。近年來，隨著技術的發展，建立大數據處理平臺的成本越來越低，在大數據融合的背景下，未雨綢繆，將ETC車道日志大數據從言語上落到實際的運營管理體系當中，實現精細化管理，才能更好的服務用戶，獲取更多的延伸收益。

本文首先對ETC車道交易流程進行分析，利用開源技術，構建ETC車道日志數據平臺，并結合實際數據研究分析ETC車道日志大數據處理分析過程中的關鍵技術，應用于企業日常管理。

2 ETC車道交易流程及車道日志數據分析

2.1 ETC車道交易流程分析

ETC車道交易的基本流程如圖1所示，以出口車道為例，基本過程為ETC車輛進入檢測線圈范圍后，天線開始讀取OBU和卡片信息，進行OBU、CPU卡的有效性判斷，讀取行駛路徑，根據出入口及費用標準進行寫卡扣款，清除CPU卡片中指定的路徑信息，記錄交易明細到數據庫中，同時記錄詳細的設備交互信息、交易明細到文本文件中。

ETC車道交易后產生的車道日志文本主要有以下數據：

(1)OBU信息：OBU號、發行方、序列號(印在OBU外殼)、OBU有效期、OBU狀態、車牌號碼、車牌顏色、車型、用戶類型。

(2)卡片信息：卡發行方、卡序列號、卡片類型、卡內車牌、卡有效期、交易前余額。

(3)入口信息和交易后信息，交易時間信息：入口收費站及時間、狀態、車牌、交易時間、交易序列號及類型、交易后余額及耗時等。

(4)車牌信息：為圖像識別車牌。

(5)交易失敗信息：未識別到OBU或者OBU無卡或者卡未插好。

圖1 ETC出口車道交易流程圖

2.2 車道日志數據分析

從ETC車道日志中可統計出車道單位時間內的交易次數、成功率、失敗原因、交易金額等。另一方面可通過數據平臺采集、清洗(去除重復的信息)、壓縮合并(減少日志文件大小)存儲車道日志文件，進行統計分析，并以圖形化展現，實時反映車道交易信息的變化和趨勢，主要可以實現以下幾方面的功能：

(1)基于交易成功率信息，發現數據之間的關聯規律，從而可預測相關ETC關鍵設備的健康狀態。例如通過車道通過率，判斷車道天線的質量，設備是否正常，如果車道通過率突然下降，則天線可能出故障，應及時修復設備，提高用戶體驗。

(2)基于數據挖掘分類和聚類模型，建立模型，自動識別和統計逃費交易信息。例如通過車道日志區分車載兩個OUB試圖逃費的車輛，從而減輕人工參與工作量，減少高速公路通行費損失。

(3)提供決策依據，如統計各OBU廠商設備交易成功率，判斷產品質量，為ETC發行方采購提供決策，提高OBU發行質量。

(4)提高查詢效率，建立文本索引，快速定位到所查車輛的原始交易記錄。

(5)及時應對突發事件，例如系統中實時反應同一品牌、同一批次的OBU車道交易失敗情況，可預警發行方及時聯系客戶進行設備的召回處理，避免引起更大范圍的影響。

(6)車輛引流，實時反應車道通行情況，為智慧交通提供參考。

3 ETC車道日志數據平臺關鍵技術

目前活躍的開源社區提供了各種數據處理框架、工具及方法，極大降低了大數據平臺建設的成本，推動了大數據的發展。車道日志數據平臺架構如圖2所示，系統采用了開源成熟的技術框架進行建設。數據平臺通過FileBeat實時采集數據到消息隊列Kafka中，并通過Kafka進行數據格式化(Log Consumer)、實時計算(Storm)、離線存儲分析(HDFS)的分流，計算結果存儲于ElasticSearch和InfluxDB，并可通過Kibana實現數據可視化的查詢和搜索，Stat Service則提供監控報警和電子大屏的展示。

圖2 ETC車道日志數據平臺架構圖

(1)Filebeat，資源消耗非常低的日志采集客戶端程序，負責將ETC車道日志實時傳入到消息隊列(Kafka)中，高效率的日志收集保證了日志傳輸的時效性，避免影響宿主機主程序的運行。

(2)Kafka是一種開源、高吞吐量的分布式流處理平臺，作為消息隊列接收Filebeat采集到的日志，可分流數據到離線存儲平臺(HDFS)，離線計算平臺，實時流水計算(Storm，Spark)，及時查詢ElasticSearch等。Kafka持久化、單機數百萬每秒的高吞吐量保證了平臺數據收集的可靠性。

(3)Log Consumer，自定義日志消費處理模塊，從Kafka中讀取非結構化的日志消息，并轉換成結構化數據，通過ElasticSearch提供的存接口創建索引、存儲，便于快速查詢和統計。

(4)Elasticsearch，一個基于Lucene的分布式、可擴展、實時的搜索與數據分析引擎。在數據平臺中用于日志結構數據、部分計算結果的存儲和搜索，并通過Kibana提供數據可視化和查詢。

(5)Storm是個實時、大吞吐量、分布式以及具備高容錯的計算系統，在數據平臺中用于實時日志的計算分析和風險控制，可實時統計車道流量、平均交易時間、交易失敗率等，并將結果存入Elasticsearch或時序數據庫。

(6)Stat Service，自主研發的數據統計服務，可定期查詢Elasticsearch，并將結果存入時序數據庫InfluxDB中，同時提供大屏展示、自動預警和報警。

(7)InfluxDB，時間序列數據庫，用于存儲帶時間標簽的數據，有效彌補了關系型數據庫無法滿足對時間序列數據的有效存儲與處理[2]。在數據平臺中用于存儲單位時間內車道交易數量、交易金額、平均通行時間、通行失敗率等數據，并能夠快速的反映到電子大屏。

(8)HDFS用于存儲原始的車道文件，可通過Hadopp MapReduce或Spark進行歷史車道數據的離線計算。

4 ETC車道日志數據分析關鍵流程

4.1 非結構化數據的轉換

如圖3所示，Log Consumer實時消費消息隊列中的數據，對每條數據進行分解、去重、轉換、過濾等，并將格式化的數據通過Elasticsearch提供的接口存儲。原始的ETC車道文本日志為非結構化的格式(見圖4)，每行信息包含了時間、消息來源、消息名稱、消息值。數據平臺Log Consumer通過文本切割分離的方法，轉換成JSON格式(如圖5所示)存入Elasticsearch中。相比與原始數據，格式化后的數據更容易閱讀，同時提高了數據的查詢與統計效率。

圖3 ETC車道日志轉換過程圖

圖4 ETC車道原始日志文件格式示意圖

圖5 格式化后JSON格式數據示例圖

4.2 ETC車道日志數據的實時分析

數據平臺采用Storm進行車道日志的數據實時分析，如圖6所示。Storm將所有ETC車道的日志作為數據來源，Spout從消息隊列中獲取數據，并轉換為數據流傳輸至Bolt，Spout保證了消息傳遞的可靠性，保證每條車道日志都能處理，從而能夠得到正確的分析結果。Bolt是數據運算處理單元，對車道日志進行文本分隔、計算，最終將通行時間、交易額、失敗率等計算結果存入InfluxDB和Elasticsearch中。系統可通過查詢InfluxDB實時展示車道流量、交易額等情況，當失敗率超過一定閥值時，則進行報警。

圖6 ETC車道日志實時分析流程圖

通過分析處理的ETC車道日志大數據平臺上線運行如圖7所示，廣西全區ETC車道通行交易情況可實時顯示。

圖7 廣西全區ETC車道實時交易熱點圖

5 結語

經過分析處理的車道日志數據具有重要的價值，通過關鍵技術構建的車道日志大數據處理平臺在上線運行后，車道日志得到了很好的分析利用，取得了良好的效果。企業能夠通過電子大屏實時掌握廣西區內所有ETC車道的交易狀況，原有的車道日志查詢時間從原有的半個小時縮短為毫秒級別，極大地提高工作效率；另一方面，系統能夠實時將ETC車道通行狀況通過移動應用或微信公眾號為用戶提供出行參考，及時預警突發情況，問題處理變被動為主動，提高了問題處理的效率。車道日志大數據分析平臺提高了用戶體驗，有助于ETC的推廣，從而創造出更大的經濟、社會、環境效益。