基于大數據分析的鐵路自動售檢票監控系統研究

王 成，史天運

（1.中國鐵道科學研究院 電子計算技術研究所， 北京 100081 2.中國鐵道科學研究院， 北京 100081）

基于大數據分析的鐵路自動售檢票監控系統研究

王 成1，2，史天運1

（1.中國鐵道科學研究院 電子計算技術研究所， 北京 100081 2.中國鐵道科學研究院， 北京 100081）

本文提出鐵路自動售檢票監控系統總體框架由基礎層、管理層、分析層和應用層組成。利用多維數據分析、分布式文件系統存儲和MapReduce計算、復雜事件處理、數據挖掘等技術，實現對鐵路自動售檢票系統的故障預警和故障率分析、設備利用率分析、業務優化分析以及OD熱點分析、異常旅客識別、設備易用性分析等以旅客行為分析為基礎的增值業務，為鐵路自動售檢票系統的未來發展提供一種新思路。

信息技術；監控；大數據分析；鐵路自動售檢票系統；復雜事件處理

中國高速鐵路（簡稱：高鐵）自動售檢票系統的軟硬件復雜度較高。自動售票機發售的是符合ISO7816標準尺寸的磁介質車票，支持現金和銀行卡支付，同時設紙幣和硬幣找零；自動售票軟件系統支持旅客自助獲取車次、發到站、乘車日期、票種、席別，為旅客提供流程化購票服務，并為管理人員和操作員提供交互式管理界面和維護向導。自動檢票系統通過接口服務器連接客票系統，獲取車次目錄、列車停靠站、電子票等信息，通過專用接口連接旅服系統，獲取進出站開停檢時間、列車早晚點等信息，自動檢票機支持讀取磁介質車票、二代身份證電子票、中鐵銀通卡儲值票過閘[1～3]。

隨著自動售檢票設備裝機量的增加，自動售檢票系統在高鐵客運作業中發揮的作用也越來越明顯，系統的可靠、穩定運行也越來越重要。通過建設鐵路自動售檢票監控系統和鐵路自動售檢票監控系統大數據分析平臺，采用大數據分析技術，實現對系統交易數據、狀態數據、用戶操作數據、日志數據、視頻數據的分析，進一步從這些海量數據中找出故障規律，挖掘出故障與系統環境、用戶行為間的關系，從而提高系統的監控水平，保障自動售檢票系統的正常運行[1]。

1 鐵路自動售檢票監控系統總體框架

基于大數據分析的自動售檢票監控系統可自下而上分成的4層：（1）基礎層。包括：以計算虛擬化、存儲虛擬化和網絡虛擬化為基礎的云資源池，通過采集代理收集數據庫中的交易數據、狀態數據，操作系統主機運行環境數據，日志文件以及視頻數據，形成自動售檢票系統的多維大數據源；（2）管理層。在多維數據源基礎上，提供基于海量并行處理架構（MPP）和MapReduce的離線數據的處理和基于復雜事件處理模型的流數據管理；（3）分析層。建立大數據分析平臺，并在其上執行針對監控數據的聚類分析、關聯規則發現、分類預測等數據挖掘和機器學習算法，建立故障樹和事件樹分析模型、統計分析模型、輔助決策模型等；（4）應用層。提供鐵路自動售檢票監控管理平臺，集成運行環境監控、關鍵業務監控、設備監控、統計分析、輔助決策等多項應用，并且支持多樣化應用間的無縫集成。大數據自動售檢票監控系統總體框架圖如圖1所示[4～5]。

圖1 基于大數據分析的自動售檢票監控系統框架圖

2 大數據分析平臺的搭建

傳 統 數 據 分 析 平 臺 通 過ETL（Extract, Transform, load）等集成技術將多種結構數據源導入到基于傳統關系數據庫的數據倉庫中，可采用多種手段分析并展現數據，如圖2所示。

圖2 傳統數據分析平臺

大數據分析平臺設計原則要滿足4V（即：數據量大，數據類型繁多，價值密度低，處理速度快。）需求，完成海量數據解析，需要部署分布式并行處理架構。面向實時處理和批處理需求，需要采用不同的技術，對于實時數據，采用key-value數據存儲（NoSQL數據庫）可提供高效分析；對于批處理數據，通過MapReduce技術根據特定業務對數據進行過濾，過濾完成后可直接在本地分析，也可以加載到數據倉庫中，關聯其他業務數據一起執行分析業務，如圖3所示。

圖3 非結構化數據分析平臺

在很多情況下，需要將大數據和傳統的結構化數據聯合才能開展分析工作，因此，大數據分析平臺不僅要滿足快速應用和快速數據解析需求，還要和原有的結構化數據做關聯分析。采用Hadoop的障礙之一就是缺少和現有BI生態系統之間的集成。為解決鐵路自動售檢票監控系統和原有的客票監控系統、自動售票監控系統之間的融合，將結構化的大數據分析結果和原有數據倉庫數據合并，及時高質量的完成針對不同數據源、不同處理需求的數據分析的能力。整合原有架構和大數據分析能力的鐵路自動售檢票集成大數據分析平臺如圖4所示。

對于系統采集的基礎數據、交易和狀態數據、設備日志、多媒體數據，可存儲在關系數據庫、文件、分布式系統（如NoSQL和HDFS）中。

中間的組織層不僅要組織所有的數據類型和域，縮小傳統數據采集、數據處理框架與大數據采集和處理框架之間的差異，還要具有處理高速、高頻數據的能力、具有處理大量數據的能力，彌補不同數據結構間的差距，實現Hadoop/MapReduce與傳統數據倉庫和交易數據庫之間的雙向業務集成。

圖4 大數據集成分析平臺

分析層將大數據分析結果加載到數據倉庫或交易數據庫中執行進一步的分析和展現。復雜事件處理可針對實時的流數據執行有針對性的實時業務分析。

決策層通過采用庫內統計分析、數據可視化、高級分析（數據挖掘等）等方法提供報表、儀表盤、預警、決策建議等信息。

3 鐵路自動售檢票監控系統大數據應用

根據自動售檢票監控系統的業務目標和數據結構，采用數據倉庫、分布式計算、MapReduce、復雜事件處理、數據挖掘分析理論和方法等，建立故障樹和事件樹分析模型、統計分析模型、輔助決策模型等，利用大數據分析的成果，結合日志數據分析和故障分析的通用方法，可開展鐵路自動售檢票系統故障快速定位及故障率分析、設備故障預警及預處理、設備利用率分析、業務優化分析、旅客行為分析等。

3.1 故障快速定位及故障率分析[6]

針對自動售檢票系統維護作業中復雜問題定位困難、過分依賴維護人員經驗人工處理的問題，通過對系統響應時間數據做聚類分析，可由稠密簇找出自動售檢票業務正常性能指標的邊界值，對應一組性能指標項形成的序列，可用作故障樹模型的參數輸入。系統建設初期，可根據訓練數據和經驗值建設初步故障樹模型，系統運行一段時間，積累了足夠的數據后，再由聚類分析和關聯分析得到的邊界值、閾值作為參數重新調整故障樹的分類規則，從而形成一個動態調整的故障樹模型。

3.2 故障預警和預處理

對某些故障的預處理，需要有豐富的維護經驗。根據系統當前運行狀態，來制定相對應的預處理措施，是實現自動化故障處理目標的主要步驟。利用事件樹分析模型找出系統事件之間的關聯關系，推斷出事件發生引起的后續結果，設計故障預測算法，設計自動化的故障預處理流程，對于無法自動完成的任務，向維護人員發出預警通知。預處理的故障內容包括清理日志、整理磁盤、重啟程序、部件復位等。圖5為事件樹模型，圖6為故障預處理流程的示例。

圖5 事件樹示例

圖5描述的是服務器磁盤空間 “磁盤將滿”這一事件的事件樹。按照規定處理流程，維護人員在發現監控系統檢測到“磁盤將滿”時：（1）下發自動清理日志命令，啟動服務器日志清理腳本開始清理日志；（2）檢查命令執行結果，查看磁盤空間使用率；（3）如果腳本執行不成功，則手工清理日志，整理磁盤空間。圖6描述的是典型的故障預處理流程。

圖6 故障預處理流程示例

3.3 設備利用率分析[6]

為便于評估鐵路自動售檢票設備在實際鐵路客運組織作業中發揮的作用，需要對車站內設備的布局情況、設備的利用情況進行綜合分析。鐵路自動售檢票系統的交易等數據、狀態數據等存放在Sybase ASE關系數據庫中，通過ETL等工具將這些數據導入數據倉庫，并執行分析處理。

通過數據傳輸中間件（DBCS）定期將存儲在Sybase ASE中的自動售票存根表、自動檢票存根表轉儲至Sybase IQ數據倉庫中，建立區域、機器、型號、時間段等不同的維度表，分析設備的售、檢票量在不同區域、不同機器、不同時間段的分布，得出設備利用率情況，為設備在車站的布局和工作時間調度提供建議，最大限度發揮自動化設備的作用。

通過DBCS將Sybase ASE中的自動售檢票設備狀態表轉儲至Sybase IQ，建立服務時間維度表，分析設備的正常服務時間、暫停服務時間、維修時間分別占的比例，得出設備忙閑率，進一步分析暫停服務的原因，為設備運營維護、巡檢保養制度的制定提供建議。

3.4 業務優化分析

自動售票系統購票界面主要考慮城際鐵路和高鐵線路車次密集，到站集中的特點，隨著多數的既有線也已經開通使用，如何既能滿足原高鐵線購票便利要求，又能很好的兼顧既有線線路多、到站多，車次分散的特點，是自動售票系統購票界面的優化方向。

購票首界面共有6個部分，各部分的位置標注圖如圖7中所示。旅客通過售票界面選擇自己要購買的車票信息并通過自動售票機進行交易。通過詳細記錄旅客每一步操作過程。挑選全路高鐵線和既有線典型車站的設備，將設備日志轉儲于大數據分析平臺的HDFS中，執行MapReduce分析，得出選票過程中發站、到站、乘車日期、車次、票種、席別、張數、確認購票等不同功能按鈕的點選次數和點選順序，得出設備易用性指標，為選票流程優化提供決策建議。同時，通過分析日志中每筆購票取車次、取票、讀取證件、支付、制票各環節分別所用的時間，找出影響售票效率的瓶頸。對于旅客選擇造成的低效問題，考慮優化界面提示，加快旅客操作速度；對于系統或設備響應低效問題，分析問題原因，改善接口方式，提出優化思路。

圖7 自動售票系統購票首界面

3.5 旅客行為分析

鐵路服務的自助化為捕捉用戶行為軌跡提供了基礎條件，從旅客操作軌跡中發現潛在的出行計劃，為旅客推出個性化的鐵路產品推薦信息，實現客運精準營銷，將是大數據在鐵路應用的研究熱點。另一方面，可以通過對旅客的行為分析，幫助鐵路實時改進和創新鐵路產品，并根據旅客的實時反饋信息，改進服務，預測面臨的經營風險。針對旅客過去和現在的實時數據有針對性的確定風險類別，及時的采取措施，減少損失。

行為分析的數據源來自自動售檢票設備的操作日志，鐵路車站的監控視頻等，這些數據量龐大，規律發掘困難，必須利用大數據處理分析平臺來進行數據的存儲、計算以及分析結果可視化展現。通過CEP技術對鐵路自動售檢票系統的運行數據進行實時或者準實時處理，使用當前或過去的數據對未來的事件作出預測。對于高速的流數據，通過建立分布式的流計算平臺，提高數據處理的實效性。行為分析包括幾個方面。

3.5.1 起止點的熱點分析

通過收集旅客選擇的發到站信息，分析在查詢熱點區間可售票額能否滿足旅客購買需求，并分別針對有車無票、無車等不同情況，采取相應的票額分配方案、列車開行方案等，在運輸淡季實現客運效益的最大化。

3.5.2 異常旅客識別及告警

鐵路旅客常攜帶大件行李，為便于旅客通行，鐵路自動檢票機采用了半高拍打式閘門，但拍打式閘門對尾隨的控制無法達到三桿式閘門的精度。電子票檢票業務開通以來，互聯網購票的旅客可直接持二代身份證檢票。但通過分析電子票檢票日志，發現有一小部分的旅客經常在沒有購票的情況下，刷二代證尾隨過閘。利用CEP平臺，捕獲“刷證-檢票失敗-尾隨”這一關聯事件，識別出尾隨旅客，并通知閘機發出警告，維護鐵路客運公平秩序。

3.5.3 設備易用性分析

自動售檢票設備均為開放式自助設備，旅客操作的易用性決定了設備使用的效率。通過對站內設備監控視頻的分析，觀察不同類型旅客在操作自動售票機觸摸選票界面，操作識鈔器、讀卡器，使用找零口、出票口等部件時的連貫性，提出面向不同類別人群的設備結構改進和旅客操作引導優化方案，如開發針對輪椅旅客和兒童的自動購票設備等。同樣，通過觀察旅客在使用右手持票規則的自動檢票機時動作的流暢度、持大件行李旅客通過閘機時是否存在障礙等，可針對性改善自動檢票機結構設計，或增加更明顯的操作提示，通過這些措施實現設備利用率最大化。

3.5.4 設備安全監控

除了車站設有設備視頻監控外，自動售票機內安裝有視頻錄像機，可詳細記錄旅客的購票行為，通過對這些視頻數據的分析，可識別旅客異常購票、檢票行為，以及檢測對設備的人為破壞，當發生安全事故時通過告警系統及時通知管理人員采取措施，最大限度保障設備安全。

4 結束語

通過充分利用現有自動售檢票業務數據，采用故障分析和預警手段，提高系統穩定性，減少維護時間和成本，是目前自動售檢票系統下一步的主要發展方向。基于本文提出的大數據分析平臺和大數據分析方法，構建面向全路自動售檢票系統的信息挖掘和增值服務系統，將實現系統功能的自檢自愈，故障的預警預處理；為設備制造、部件選型以及軟件優化提供參考；為鐵路車站內設備布局、工作時間調度、機型配比提供建議；識別特殊旅客，識別風險，檢測異常等。

[1]王 成,張家峰,蔣秋華.鐵路自動售票監控系統研究與實現[J].中國鐵路，2013（6）：51-55.

[2]潘浪濤,王 成,李 超.軟件故障樹分析在自動售票系統服務中的應用[J].鐵路計算機應用，2011，20（9）：24-30.

[3]王 珊,王會舉, 覃雄派, 周 烜. 架構大數據:挑戰、現狀與展望[J].計算機學報, 2011，34（10）： 1741-1752.

[4]宋亞奇,周國亮,朱永利. 智能電網大數據處理技術現狀與挑戰[J].電網技術, 2013, 37（4）：927-935.

[5]湯玲麗.復雜事件處理引擎關鍵技術研究[D].哈爾濱：哈爾濱工程大學，2012：5-15.

[6]Jiawei Han, Micheline Kamber,Jian Pei . Data Mining Concepts and Techniques (3rd Ed)[M]. The Morgan Kaufmann Series in Data Management Systems, 2011.

責任編輯 徐侃春

Railway Automatic Ticketing and Gate Monitoring System based on big data analysis

WANG Cheng1,2, SHI Tianyun1
( 1. Institute of Computing Technologies, China Academy of Railway Sciences, Beijing 100081, China; 2. China Academy of Railway Sciences, Beijing 100081, China )

This article proposed the general frame of Railway Automatic Ticketing and Gate Monitoring System(RATGS). The System was consisted of 4 layers, which were the infrastructure layer, the management layer, the analysis layer and application layer. The System was introduced technologies such as multidimensional data analysis, the distributed fi le system storage MapReduce, Complex Event Processing(CEP), data mining and etc., to implement the value added services based on passenger behavior analysis, such as fault early warning, analysis of failure rate, the utilization rate analysis of equipments, business optimization analysis, OD hotspot analysis, abnormal passenger recognition, usability analysis of equipment. All of these pointed out a new method for the future development of RATGS.

information technology; monitoring; big data analysis; Railway Automatic Ticketing and Gate System(RATGS); Complex Event Processing(CEP)

U293.22∶TP39

A

1005-8451（2015）11-0042-05

2014-04-10

王 成，副研究員；史天運 ，研究員。