基于MPP和Hadoop的城市軌道交通線網指揮平臺設計

宋大治，張 浩，徐鐘全，劉光杰

（1．南京地鐵建設有限責任公司，南京 210017；2．北京全路通信信號研究設計院集團有限公司，北京 100070；3．南京信息工程大學電子與信息工程學院，南京 210044）

近些年來，各大城市軌道交通基本已實現網絡化和信息化，軌道交通涉及多種服務，包括日常運營、生產、管理等，這些服務的擴增帶來了海量的數據積累。然而數據形式多種多樣，數據結構錯綜復雜，如何利用統一的管理中心實現數據治理，從海量數據中挖掘有價值的指標數據，進而指揮生產運營，是當前城市軌道交通研究的一個重點和難題。以部分大城市為例，軌道交通通常建立傳統的數據中心。在數據中心中，數據按照來源/主題/規則的形式存儲，這種形式能夠實現數據資源的采集和存儲。然而隨著數據規模的擴大，存儲硬件、軟件程序為適應數據量的增加應同步更新適配和增容。一方面，傳統的數據存儲形式難以擴展，且擴展成本較高；另一方面，數據庫存儲形式在業務數據擴增后數據查詢效率明顯降低，而且不同類型的數據難以關聯分析。

傳統數據存儲和計算形式難以適應海量數據，大數據技術和云計算的發展帶來了海量數據存儲和計算方式的革新[1-4]。文獻[5-6]總結了當前基于大數據Hadoop技術的應用及創新。池亞平[7]等設計了一種基于大數據Hadoop平臺的海量數據資源存儲和計算效率的改進措施。李敏[8]等提出了一種應用于物聯網領域的大數據分析處理的改進架構，該方法主要是基于海量異構數據的時間和空間特點改進。這些方法是大數據分析處理、應用實施、優化改進的不同嘗試。除了理論研究，一些城市的數據中心也逐步應用了大數據技術，包括基于MPP結構、基于Hadoop大數據架構、基于虛擬化技術平臺的形式。這些方法通常規避了傳統數據庫在應對海量數據時的不足，重點關注了架構擴展時的成本因素和數據處理分析的便捷應用。

為解決城市軌道交通中海量數據在存儲、計算、分析時快速、便捷、實用的需求，針對當前城市軌道交通數據形式多樣化、異構性、多源性的特點，設計采用基于MPP和Hadoop的城市軌道交通線網指揮平臺。通過建立大數據處理平臺，根據數據流分級分層處理的特點，深入挖掘海量數據之間的內在關聯，形成一套適用于當前城市軌道交通海量數據的綜合解決方案，從而為業務決斷、運營管理、生產優化提供技術支撐和數據依據。

1 數據特征分析

1.1 數據現狀

城市軌道交通各業務系統生產的數據還存在很多問題，主要表現在以下幾個方面。

數據關聯性差：城市軌道交通各系統各自為政，獨立建設，數據共享不夠，集成較弱。

數據結構差異大：數據管控力度薄弱，數據標準化程度不高，存在數據不一致、不準確問題，數據質量有待提高。

數據處理方式落后：技術手段薄弱，仍采用傳統的數據庫技術、數據處理技術開展大數據的應用分析，缺乏專用技術及工具支撐，數據處理的時效性、可用性不強。

缺少數據挖掘方法：對于數據的利用還停留在初級階段，深層次的數據分析、數據挖掘較少；對于數據的利用仍以專業為界限，缺乏跨部門、跨業務系統之間的數據綜合分析。

數據共享模式不成熟：為實現數據綜合分析，需采集不同業務系統的數據。但不同部門在合作模式不清晰情況下，不愿意提供專業業務數據，需先解決不同業務部門之間合作的“共贏”模式。

1.2 數據復雜性

各業務系統產生的數據結構形式不同，包括結構化數據、非結構化數據和半結構化的數據，數據類型繁多，包括文本、圖像、音頻、表格等。不同類型和形式的數據結構需要對應的存儲方式和存儲大小。除此之外，數據存儲時間要求也有所區別，例如關鍵事件、報警事件等數據保存時間較長，以便在需要時隨時調出使用；而普通的視頻類文件存儲時間通常是一個月左右。數據在形式、存儲時間上的差異性決定了其需要定制化的存儲策略。

除了數據形式外，數據的來源和采集方式也不盡相同。根據數據采集周期，數據可分為實時數據、近實時數據、離線數據和非固定數據。根據數據類型和數據傳輸要求，數據傳輸接口也有多種形式，包括協議傳輸、文件傳輸、報文傳輸、消息隊列傳輸、Webservice傳輸等。

通過采用共享數據的形式實現海量異構數據的統一化管理，不同類型的數據通過數據采集、數據清洗、數據抽取、數據加載等步驟形成規范化的數據形式。業務系統通過數據訂閱形式實現數據訪問，數據共享方式能夠解決業務之間存在的數據壁壘，避免數據孤島現象的出現。海量數據的關聯有利于從更宏觀、更全面的視角去把握當前城市軌道交通運營、生產、管理等業務中存在的問題，為推進線網協會指揮、實現智能決策分析提供強有力的技術保障。

1.3 建設需求

線網指揮平臺（NCC）采集各線路行車數據（ATS）、客流數據（ACC）、供電、風水電等設備及運行數據（ISCS）、能耗數據（EMS）、圖紙文檔及視頻、外部數據（包括氣象信息系統、地理信息系統、互聯網數據、公共服務部門數據）等，大量運行數據日益呈現體量大、類型多、價值高等特征。數據量爆炸式的增長，數據分析處理能力落后與數據快速增長之間的矛盾將更加突出。隨著數據量、數據類型的不斷增多，也出現數據分析性能瓶頸、缺少數據分析挖掘的高級方法、非結構化數據尚缺乏有效利用等問題。

線網大數據平臺定位為數據共享平臺、數據分析應用平臺、大數據應用開發運行平臺，從數據采集、存儲、預處理、計算、分析、可視化等多個層面為數據分析人員、大數據應用開發人員提供服務，并為業務應用開發和運行提供支撐平臺。各異構的業務源系統數據通過數據采集與交換平臺進行數據抽取、清洗和轉換后存儲到高性能數據存儲平臺。為軌道交通的客流預測、數據挖掘、應急指揮、能耗分析預測、信息發布等業務提供數據分析支持。

2 線網指揮平臺構建

2.1 設計思路

城市軌道交通線網指揮平臺在架構上重點研究適用于海量異構數據的系統框架、數據接入和交互、數據組織、數據分發、數據流控制、數據質量管理等。在功能上重點研究對外數據服務接口等數據融合及綜合管理服務、實時監控系統及應用系統，其中實時監控系統的數據接口規范，包括數據的傳輸機制、采用協議、采集周期、重傳與補傳等。在業務上重點研究實時和歷史數據在MPP數據倉庫中如何存儲、數據如何組織、如何分發、數據流控制以及數據質量管理等；在設計架構上研究Hadoop歷史結構化與非架構化數據的存儲、檢索、以及MPP數據倉庫與Hadoop歷史數據平臺的數據傳輸和轉換。

基于數據中心的分析及應用服務由統一的數據發布平臺完成數據共享對外發布，以J2EE體系和面向服務的架構(SOA)為基礎采用中間件技術、Web服務及企業ESB完成松散耦合的服務集成及數據發布。通過數據發布平臺將數據存儲計算層與應用層有機地結合在一起。各業務應用系統與軌道交通NCC數據交換中心相連，通過數據共享交換中心來實現數據共享和路由。這種連接方式實現了數據的無縫交換和共享訪問，保證各業務系統的有效協同，同時又能保證各應用系統的相互獨立性和低耦合性，從整體上提高了系統運作效率和安全性。

2.2 架構設計

2.2.1 平臺架構

基于MPP和Hadoop的城市軌道交通線網指揮平臺是一套綜合的業務信息管控平臺，在平臺上實現各業務系統數據集中訪問、資源同步更新，在數據流上包括數據資源收集、數據存儲、數據關聯、數據清洗、挖掘分析等步驟。基于業務系統數據統一接入和訪問的應用需求，設計采用基于MPP結構的數據倉庫、基于Hadoop的大數據存儲模型和常規關系型數據庫混合應用的數據管控模式，多種存儲模式共存滿足各業務系統數據在存儲形式、結構、采集頻率、更新時間上的特定需求。通過構建分層多級的數據中心實現線網指揮平臺基礎數據訪問。如圖1所示，線網指揮平臺依據數據流分為5個層面，分別是數據接入層、數據持久層、數據清洗層、數據挖掘層和數據應用層。

圖1 平臺架構Fig.1 Platform architecture

1）數據接入層

數據接入層負責采集從各個專業系統的源數據，包括ISCS、SIG、AFC、PIS以及其他數據。ACC與信息化系統數據直接由數據中心ETL作業接入近/離線數據。數據類型主要分為3種：一是近線數據，滿足查詢和分析處理當天30 min之內的業務類別的數據；二是離線數據，在當天生產系統結束后統一采集并處理分析的數據；三是實時數據，滿足查詢當前業務狀態或將實時業務數據提供給在線監察、應用的業務類別的數據。

2）數據持久層

數據持久層是NCC數據中心數據資源的系統管理環境與核心平臺，其在功能上包括數據狀態監控、數據監控、數據維護等功能組件，并通過對這些組件的綜合管理，實現NCC數據中心所有數據處理流程的存儲和監控管理。

數據持久層通過實時數據庫將其他專業數據接入到MPP倉庫和Hadoop歷史倉庫中，使用Kafka消息組件做為數據傳輸的中間件。MPP數據倉庫保留指定周期的貼源層數據，Hadoop保留全量貼源層數據，Hadoop存儲數據分為結構化和非結構化數據，結構化數據存儲在HIVE數據倉庫中，非結構化數據直接存儲在HDFS中，再通過結構化數據進行調用查詢功能。Hadoop集群的多節點，保證了數據的穩定與安全。

3）數據清洗層

數據清洗層實現數據的統一化管理，通過規范化的訪問接口、通用組件、模型工具等形成數據模板庫。通過將業務服務化、數據接口統一化、服務標準化、計算模型化、數據規范化等組件集成并按照函數調用的形式提供訪問接口。數據清洗后形成上層系統直接調用的數據資源，數據資源根據業務類型被劃分成多層級的數據單元，通過對數據單元組合關聯和建模匯聚形成業務單元。

4）數據挖掘層

數據挖掘層主要包含了與數據管理和統計分析相關的業務工具，包括指標管理、基礎信息管理、統計分析、OD分析、調查管理、票制票價管理、報表管理、報告管理、配置管理等。

5）數據應用層

數據應用層作為城市軌道交通日常運營、決策、管理等方面數據應用服務的標準化工具，實現信息共享，構建便捷安全的數據資源訪問系統。數據應用層分為業務核心板塊、業務高級分析和信息共享服務3類。其中業務核心板塊包括生產調度類系統、運營管理類系統、管理辦公類系統、資源能耗類系統等；業務高級分析包括運營相關主題、設備管理主題、調度管理主題、監控管理主題等；信息共享服務包括分析視圖組件化服務、數據集成組件化服務、共享技術統一化服務、公用數據規范化服務等。

2.2.2 數據流規劃

各線路側實時業務系統的實時數據通過線網側的接口服務器匯集到實時監控系統中，由實時監控系統完成對關鍵業務的歷史數據存庫工作。實時數據庫用于存儲從實時監控系統中接入的數據，并支撐應用系統實時業務，包括線網行車檢察、報警警告管理等。MPP數據倉庫作為數據中心的核心，用于存儲一定時間段的結構化數據，分為緩沖層（數據處理）、基礎層（數據分析）與訪問層（數據輸出），基礎層又包括核心層與通用匯總層。包括客流、行車、設備、票務等不同主題的數據。Hadoop數據倉庫用于數據中心的歷史數據存儲，包括結構化與非結構化數據，將數據分布在不同的節點之中，通過主節點進行訪問和更新。結構化數據存儲于Hive數據倉庫中，非結構化文件直接存放在HDFS分布式文件系統中。Hadoop集群的多節點，保證了數據的穩定與安全。

數據的存儲與計算由關系型數據庫和MPP和Hadoop混合架構的高性能數據存儲系統構成。其中：

1）實時監控系統關鍵業務的歷史數據、信號系統的歷史數據需要存入到關系型歷史數據庫中，另外一些業務系統，如應急指揮系統、統計分析業務系統、可視化展示等業務系統的配置信息、參數信息等存儲到關系型數據庫；

2）MPP平臺和Hadoop平臺主要用于處理海量高價值密度的結構化數據，對于數據維度關聯性強的業務數據存放到MPP數據平臺，對于數據維度關聯性較弱或可通過寬表、高表等技術手段對數據模型進行合理處理的業務數據存放到Hadoop平臺；

3）Hadoop平臺主要用于處理其他非結構化數據及低價值密度的結構化數據，如存儲軌道交通視頻分析資料、建設圖紙、影像資料、標準等非結構化內容數據。對于實時客流計算、短期客流預測準實時計算業務可通過Hadoop計算框架進行分布式計算；

4）MPP平臺和Hadoop平臺可通過數據交互接口完成數據擺渡；

5）關系型歷史數據庫可通過定制的ETL JOB抽取到MPP平臺或Hadoop平臺安裝數據分層分級存儲的策略進行存儲。

2.2.3 數據服務標準化

在傳統的存儲模式中，數據采集后直接按照設定的數據結構存儲在數據表中，數據通過向數據庫發送請求來訪問數據。在數據量較小時，傳統的數據存儲模式能夠滿足業務需求。然而，城市軌道交通業務繁多，業務數據錯綜復雜，數據累積時間長，這種傳統的存儲模式可能會面臨數據前后不一致、數據讀取效率低、數據關聯性差等問題。

為避免數據存儲帶來的業務瓶頸，設計采用數據服務標準化思想來應對城市軌道交通復雜的數據形式。在數據接入后，按照基本數據單元的形式保存，為上層業務系統直接提供數據單元。建立一套通用的數據統一模型，將接入數據經過準實時的運算和架構化形成模型化的數據單元，極大地減少后續業務處理數據的復雜性，更便捷地使用業務數據。通過對數據采集后實現統一的數據標準化處理，從數據處理的流程、效率、準則等角度對數據標準化模型進行細化，保障數據單元的可用性、可靠性、準確性和完整性。數據標準化服務包含3個步驟，分別是數據接入服務、數據模型化、數據應用。

1）數據接入服務

數據接入服務通過NCC系統接口服務器與源數據層的各業務系統進行通信，在收到數據后根據數據表達式將數據轉化為統一的數據單元，將各專業數據單元接入到數據倉庫和實時數據庫中。

在Hadoop大數據結構中，數據接入服務定義為Producer，數據持久服務定義為Consumer。如果有數據訪問請求，數據接入服務接收則為Consumer，數據持久服務則為Producer。

2）數據模型化

數據模型化實現數據表的規范化管理，在數據倉庫中啟動數據模型化服務，數據模型化服務被加入到服務容器中，服務容器開啟對數據進行計算，在計算后將數據發送至后續的存儲系統中。

通過數據模型化，將各業務數據定制化形成規范的表達式形式，并按照數據表的形式保存。根據業務數據的需求，數據表中的數據單元被應用到對應的數據計算流程中。

3）數據應用

數據應用主要是實現上層業務，比如監控系統、應急事件處置協調系統等。通過定義規范化的數據處理模型，將不同業務系統的數據信息統一格式并完善，對數據編碼便于標準識別。監控系統結合調度員各自業務，根據不同的應用場景對路網全局信息展示、路網行車監視、線路行車監視、行車告警、客流監視、路網設施設備監視及路網視頻監控等進行不同的組合，形成不同的可視化信息聚合，以便支撐調度員日常調度業務。應急事件處置協調系統主要包括路網運營信息監視業務、路網應急管理業務、突發事件數字化處置業務以及日常工作管理業務。其中路網運營信息監視業務有日常運營信息展示、突發事件信息展示；路網應急管理業務有應急資源管理、預案電子化管理。

3 平臺應用

3.1 基本方法

MPP架構和Hadoop大數據處理技術是城市軌道交通數據處理的重要解決手段，對客流預測、規律總結、決策調控等多個應用需求都有關鍵的數據支撐作用。通過大數據技術對數據處理和關聯分析，不僅能實現基本的業務數據解析和數據統計歸檔，還能夠挖掘數據背后的價值。通過探索對各類數據以及現有各控制中心各線路不同監控平臺數據源的抽取、轉換和加載，按照統一的數據標準存儲；通過搭建各種共享服務平臺為應用層面服務，支持生產管理指標分析、應急指揮、信息報送及發布等基本功能。

3.2 應用舉例

客流是為了實現各類出行活動，乘客借助地鐵形成的有目的流動。客流描述的乘客進入交通路網后的乘車軌跡，即描述乘客的進站、出站、及進入交通路網后的換乘、乘車途經的車站路徑及時間信息。城市軌道交通客流數據的保存時間是1～3年，它是線網指揮平臺大數據存儲和分析的重要數據資源，客流數據是軌道交通編制列車運營方案、指定列車運營計劃的主要數據支撐。客流數據主要包括周期性地采集進出站、上下行區間、換乘、乘客路徑OD等數據。

通過大數據技術對客流量數據進行分析，利用Hive將一定周期內的客流資源數據轉化為數據表，便于從中查找和抽取客流特征數據。抽取某個時間區間內的客流特征，形成客流數據模型和業務數據資源集合。通過將業務數據資源集合應用到客流數據模型得到客流特征值。將客流特征定義為基本數據和進階數據兩種不同的數據類型。基礎數據包括列車線路、車站名稱、車站區域、車票類型、乘客OD路徑、進站名稱、出站名稱、換乘路線、換入路線、換出路線；進階數據包括乘車高峰起止時間、超出乘車閾值的車站名、乘客量最大的車站名稱、乘客區間最大的方向和時間段等。

通過對選定時間段內的數據關聯分析，提取與城市軌道交通關聯程度高的因素作為客流特征的影響要素，對相關要素按照分級關系進行聚類，然后根據不同業務目標下的業務傾向設計各因子的權重。經過客流信息統計分析，并設定統計特征的權重系數，得到當前時期內客流的畫像。在數據聚類中，將車站換乘客流量、乘車區間的客流量、進出站點的客流量作為均值聚類的中心點，設定聚類中心個數，應用均值聚類算法和收斂系數，最終得到目標數據并輸出結果。

4 結論

本文提出一種混合式的基于MPP和Hadoop的城市軌道交通線網指揮平臺架構，探索對各類數據以及現有各控制中心各線路不同監控平臺數據源的抽取、轉換和加載，按照統一的數據標準存儲。搭建各種共享服務平臺為應用層面服務，支持生產管理指標分析、應急指揮、信息報送及發布等基本功能。通過該平臺的建設，挖掘數據潛在價值，實現對運營優化和決策預警的技術支撐。