基于運統(tǒng)1電子化傳遞系統(tǒng)的數(shù)據(jù)共享方案

黃圣文，周 通，王天龍

（1.中國鐵道科學研究院集團有限公司 電子計算技術(shù)研究所，北京100081；2.北京經(jīng)緯信息技術(shù)有限公司，北京100081）

確報信息是鐵路運輸組織和行車指揮所需的核心基礎數(shù)據(jù)，也是鐵路運輸統(tǒng)計的主要原始資料，準確、及時、可靠地采集、傳遞和共享確報數(shù)據(jù)，是鐵路信息化的一項重要任務。

隨著鐵路信息化的快速發(fā)展，交通運輸管理逐步向現(xiàn)代化、便捷化、智能化方式轉(zhuǎn)變[1]，為保障鐵路行車安全和提高運輸生產(chǎn)效率，從源頭上保證數(shù)據(jù)質(zhì)量尤為重要。近年來，大數(shù)據(jù)技術(shù)在鐵路信息化中的應用日益深化，促進了鐵路內(nèi)外部數(shù)據(jù)資源的有效整合，是鐵路信息化發(fā)展的新機遇[2]，有助于加快推動鐵路創(chuàng)新發(fā)展和全面變革。

2021年5月，運統(tǒng)1電子化傳遞系統(tǒng)投入試運行，系統(tǒng)運行穩(wěn)定，性能滿足設計要求，實現(xiàn)了全路客貨運統(tǒng)1信息的電子化傳遞，從源頭上初步保證了確報數(shù)據(jù)的完整性[3]。另外，該系統(tǒng)為機車乘務員配備了支持定位及移動通信的手持終端，通過機車乘務員手持終端的司機報單App，可采集全國鐵路網(wǎng)上正在運行的列車的準實時位置數(shù)據(jù)，為列車運行追蹤與安全預警等確報數(shù)據(jù)的增值應用提供較為準確、可靠的數(shù)據(jù)支持[4]。

為進一步提升確報數(shù)據(jù)質(zhì)量，有效支持新的應用功能開發(fā)，改善相關(guān)應用系統(tǒng)中確報數(shù)據(jù)的使用率和便利性，提出基于運統(tǒng)1電子化傳遞系統(tǒng)的數(shù)據(jù)共享方案 。

1 既有鐵路信息系統(tǒng)對確報數(shù)據(jù)的使用需求分析

目前，使用確報數(shù)據(jù)的既有鐵路信息系統(tǒng)主要有：鐵路局集團公司計劃調(diào)度系統(tǒng)、車站站調(diào)系統(tǒng)、貨運站作業(yè)系統(tǒng)、十八點統(tǒng)計系統(tǒng)，表1概括了這些系統(tǒng)中確報數(shù)據(jù)的使用情況、存在問題及改進要求。

表1 既有鐵路信息系統(tǒng)中確報數(shù)據(jù)使用情況、存在問題及改進要求

2 基于電子運統(tǒng)1系統(tǒng)的數(shù)據(jù)共享方案

2.1 目標

（1）全面提高確報數(shù)據(jù)質(zhì)量，夯實運統(tǒng)1電子化傳遞系統(tǒng)的基礎

基于運統(tǒng)1電子化傳遞系統(tǒng)，匯集全路客貨運確報數(shù)據(jù)，實現(xiàn)司機報單與確報數(shù)據(jù)的匹配分析，對確報數(shù)據(jù)的合規(guī)性、及時性及完備性等質(zhì)量指標進行分析與監(jiān)測；實現(xiàn)對車站上報的確報數(shù)據(jù)的校驗、考核及綜合管理，實施從數(shù)據(jù)源頭到數(shù)據(jù)服務的全鏈路數(shù)據(jù)治理，進一步有效提升確報數(shù)據(jù)質(zhì)量。

（2）實現(xiàn)確報數(shù)據(jù)與相關(guān)數(shù)據(jù)的有效集成與融合，為多系統(tǒng)提供安全可靠的數(shù)據(jù)共享服務

在保證全路客貨運確報數(shù)據(jù)質(zhì)量的基礎上，進一步整合確報數(shù)據(jù)、列車調(diào)度指揮系統(tǒng)（TDCS，Train Dispatching Command System）的列車運行線數(shù)據(jù)、機務運用安全管理信息系統(tǒng)的機車數(shù)據(jù)等相關(guān)數(shù)據(jù)，通過信息集成和數(shù)據(jù)共享服務的開發(fā)，為鐵路局集團公司計劃調(diào)度系統(tǒng)、車站站調(diào)系統(tǒng)、貨運站作業(yè)系統(tǒng)、十八點統(tǒng)計系統(tǒng)等相關(guān)系統(tǒng)提供高效、便捷的數(shù)據(jù)共享服務。

（3）支持列車運行追蹤及安全預警等新的擴展應用的開發(fā)，深化運統(tǒng)1電子化傳遞系統(tǒng)的應用

利用機車乘務員手持終端收集的全路在線運行客貨列車的準實時位置數(shù)據(jù)，結(jié)合確報數(shù)據(jù)中包含的本務機車車號、車型、車列載重數(shù)據(jù)及機務運用安全管理信息系統(tǒng)的機車數(shù)據(jù)（含機車制動性能數(shù)據(jù)），可以計算列車制動距離，為列車運行追蹤及安全預警提供數(shù)據(jù)支持。

2.2 數(shù)據(jù)共享平臺總體架構(gòu)

基于云原生應用技術(shù)及大數(shù)據(jù)應用技術(shù)，在中國國家鐵路集團有限公司（簡稱：國鐵集團）主數(shù)據(jù)中心搭建基于運統(tǒng)1電子化傳遞系統(tǒng)的數(shù)據(jù)共享平臺，總體架構(gòu)如圖1所示。

圖1 基于電子運統(tǒng)1系統(tǒng)的確報數(shù)據(jù)共享平臺架構(gòu)示意

數(shù)據(jù)共享平臺匯集運統(tǒng)1電子化傳遞系統(tǒng)采集的全路客貨運確報數(shù)據(jù)，完成確報完整性檢查，通過數(shù)據(jù)交換服務（即數(shù)據(jù)接口）與TDCS、機務運用安全管理信息系統(tǒng)等交換數(shù)據(jù)，完成數(shù)據(jù)集成與融合，面向國鐵集團、鐵路局集團公司、站段層面的多個業(yè)務系統(tǒng)提供共享數(shù)據(jù)服務，為車流預測、運輸分析、車報匹配、車流推算、自動上流等功能提供數(shù)據(jù)支持。

2.3 技術(shù)架構(gòu)

數(shù)據(jù)共享平臺以高可靠、高可用、低延時為目標，核心業(yè)務及基礎服務采用微服務架構(gòu)，從整體上降低系統(tǒng)負載和耦合度[5]，技術(shù)架構(gòu)如圖2所示。

圖2 數(shù)據(jù)共享平臺技術(shù)架構(gòu)

數(shù)據(jù)共享平臺采用微服務架構(gòu)，所提供的各類服務按業(yè)務類型分解為具有單一職責的微服務，這些微服務記錄在服務注冊表中，服務消費者可通過服務發(fā)現(xiàn)組件查詢服務提供者的網(wǎng)絡地址，使用該地址調(diào)用微服務訪問接口。數(shù)據(jù)共享平臺通過微服務網(wǎng)關(guān)，向多個系統(tǒng)提供數(shù)據(jù)共享服務；對不支持微服務的傳統(tǒng)系統(tǒng)（如鐵路局集團公司計劃調(diào)度系統(tǒng)），通過增設適配器來實現(xiàn)微服務連接。考慮到未來的業(yè)務增長及應用拓展，微服務采用獨立部署的方式，可采用隔離、熔斷等措施提高微服務的可靠性，保證數(shù)據(jù)共享平臺穩(wěn)定運行。

利用平臺即服務（PaaS，Platform-as-a-Service）平臺[6]提供的分布式消息隊列、分布式業(yè)務監(jiān)控、分布式事務等，實現(xiàn)高性能數(shù)據(jù)共享服務。

利用PaaS平臺健康與應用性能監(jiān)控組件，提供統(tǒng)一的可視化監(jiān)控界面，對核心組件運行狀態(tài)實行7x24 h健康監(jiān)控與異常預警，保證平臺持續(xù)穩(wěn)定運行。

2.4 數(shù)據(jù)安全防護措施

數(shù)據(jù)共享平臺匯集了全國鐵路客貨運確報數(shù)據(jù)，并與多個業(yè)務應用系統(tǒng)通過接口實現(xiàn)數(shù)據(jù)共享。為實現(xiàn)安全的數(shù)據(jù)管理和可信的數(shù)據(jù)服務，平臺采用身份鑒別、訪問控制、安全審計、數(shù)據(jù)防刪除、數(shù)據(jù)備份等技術(shù)提供完善的數(shù)據(jù)安全防護。

（1）身份鑒別：用戶身份認證采用雙因子認證機制，認證成功后方可訪問數(shù)據(jù)共享服務。

（2）訪問控制：確立數(shù)據(jù)管理制度，并基于用戶角色和權(quán)限模型，為國鐵集團、鐵路局集團公司、站段的用戶設置不同權(quán)限，并實行嚴格的訪問控制。

（3）安全審計：支持完善的安全審計，包括主機審計、數(shù)據(jù)庫審計、日志審計等，阻止主機敏感信息泄露，對數(shù)據(jù)庫訪問危險操作進行告警，提供設備與系統(tǒng)日志管理分析和實時告警。

（4）數(shù)據(jù)防刪除：對用戶信息、確報信息等關(guān)鍵數(shù)據(jù)設置防刪除機制。

（5）數(shù)據(jù)備份：根據(jù)不同的業(yè)務需求，建立完善的數(shù)據(jù)備份與恢復機制，實現(xiàn)業(yè)務數(shù)據(jù)的統(tǒng)一副本管理，定期對全量數(shù)據(jù)進行備份、歸檔，對關(guān)鍵數(shù)據(jù)提供連續(xù)性保護。

3 數(shù)據(jù)共享服務設計

3.1 確報數(shù)據(jù)完整性檢查

對全路客貨運確報數(shù)據(jù)的合規(guī)性、及時性及完備性進行檢查與核對，保證確報數(shù)據(jù)的完整性，從而為國鐵集團、鐵路局集團公司及站段提供不同范圍的確報數(shù)據(jù)查詢，為鐵路運輸分析提供準確的統(tǒng)計資料。

（1）確報合規(guī)性檢查：在匯集全國鐵路客貨運確報數(shù)據(jù)的基礎上，通過數(shù)據(jù)交換接口獲取現(xiàn)在車動態(tài)數(shù)據(jù)，將車站發(fā)出的數(shù)據(jù)與現(xiàn)在車動態(tài)數(shù)據(jù)進行比對檢查；并對確報信息檢查結(jié)果進行統(tǒng)計分析，及時發(fā)現(xiàn)數(shù)據(jù)采集、傳輸和處理諸環(huán)節(jié)中存在的問題，指導數(shù)據(jù)治理策略的制定，持續(xù)提高確報數(shù)據(jù)質(zhì)量。

（2）確報發(fā)送及時性監(jiān)測：結(jié)合列車調(diào)度指揮系統(tǒng)的列車運行線數(shù)據(jù)，對比列車運行線由計劃轉(zhuǎn)為實際的時間點，檢查車站是否及時（至少在發(fā)車前10 min）完成確報數(shù)據(jù)的發(fā)送。

（3）完備性考核：根據(jù)列車調(diào)度指揮系統(tǒng)的列車運行線數(shù)據(jù)，對列車始發(fā)站的確報數(shù)據(jù)發(fā)送情況進行檢查，核實始發(fā)站是否按規(guī)定發(fā)送全部確報數(shù)據(jù)。

3.2 面向車站作業(yè)系統(tǒng)的車流數(shù)據(jù)服務

面向車站作業(yè)系統(tǒng)提供車流預測所需數(shù)據(jù)，使車站站調(diào)員在編制車站作業(yè)計劃時可獲得更為準確、全面的參考資料，提高車站作業(yè)計劃編制質(zhì)量及兌現(xiàn)率，促進車站作業(yè)效率及機車周轉(zhuǎn)效率的提升。

（1）接車股道自動判定：根據(jù)確報數(shù)據(jù)中包含的車輛車種、貨物品名、危險品標識等與車站作業(yè)緊密相關(guān)的數(shù)據(jù)，結(jié)合列車階段計劃，遵循“重車按方向，空車按車種”原則，對車站確報數(shù)據(jù)進行處理，自動判定到達列車對應的接車股道，便于車站提前安排組織工作。

（2）密集車流方向標識：自動判斷和識別車站某一方向是否存在密集車流，對存在密集車流方向的數(shù)據(jù)進行標記；車站作業(yè)系統(tǒng)可通過調(diào)用數(shù)據(jù)服務接口獲取標記的數(shù)據(jù)，方便車站站調(diào)員根據(jù)車流情況及時調(diào)整作業(yè)計劃。

（3）有流無機車提醒：結(jié)合機務運用安全管理信息系統(tǒng)的本務機車信息，對缺失本務機車（有流無機車）的確報數(shù)據(jù)進行標記和提醒；車站作業(yè)系統(tǒng)可通過調(diào)用數(shù)據(jù)服務接口獲取標記的數(shù)據(jù)，方便車站站調(diào)員及時了解停站列車的本務機車配備情況。

3.3 面向貨運站作業(yè)系統(tǒng)的到卸作業(yè)任務預測數(shù)

據(jù)服務

在計算出車流數(shù)據(jù)的基礎上，匯集并篩選出貨運站待作業(yè)車輛信息，生成貨運站作業(yè)系統(tǒng)所需的貨運站到卸車清單，并提供列車到達時間預測，方便車站提前制定作業(yè)計劃，進一步提高貨運站作業(yè)效率與質(zhì)量。

（1）貨運站到卸車清單：從貨運確報數(shù)據(jù)中抽取列車即將到達的貨運站的相關(guān)到卸車數(shù)據(jù)，包括當前站、分界口、司機、機車、車種、載重、發(fā)站名、貨物品名等數(shù)據(jù)，對數(shù)據(jù)進行歸并、整理后，生成貨運站到卸車清單。

（2）貨運站到達列車預測：利用機車乘務員手持機采集的列車位置信息，結(jié)合列車運行徑路及鐵路網(wǎng)基礎數(shù)據(jù)，計算生成列車當前位置與前方貨運站的距離及預計到達時間，貨運站站調(diào)可據(jù)此制定較為準確的車輛到卸作業(yè)計劃。

3.4 列車運行追蹤與安全預警數(shù)據(jù)服務

集成確報數(shù)據(jù)、機車乘務員手持機報單數(shù)據(jù)及機車制動性能參數(shù)，為列車運行追蹤及安全預警應用功能提供基礎數(shù)據(jù)支持，增強鐵路行車安全保障能力。

（1）列車動態(tài)位置計算：機車乘務員手持終端定時（目前設置為10 s/次）收集在線運行列車的衛(wèi)星定位數(shù)據(jù)，數(shù)據(jù)共享平臺結(jié)合鐵路線路基礎數(shù)據(jù)，利用計算模型將列車衛(wèi)星定位數(shù)據(jù)轉(zhuǎn)換成列車正在運行的鐵路線路上的里程位置數(shù)據(jù)，以實現(xiàn)在鐵路線路網(wǎng)底圖上展示列車運行追蹤及安全預警信息。

（2）機車制動安全預警：數(shù)據(jù)共享平臺收集機車車型相關(guān)性能參數(shù)信息，通過列車制動過程的初速度、終止速度（緊急制動時，終止速度為0 km/s）及機務運用安全系統(tǒng)提供的列車制動系數(shù)等，計算生成機車制動距離數(shù)據(jù)字典，可依據(jù)該數(shù)據(jù)字典確定列車追蹤運行的安全預警級別。

4 大數(shù)據(jù)處理關(guān)鍵技術(shù)

大數(shù)據(jù)在鐵路信息化中的應用，能有效整合鐵路內(nèi)外部數(shù)據(jù)資源，推動鐵路創(chuàng)新發(fā)展和全面變革。針對數(shù)據(jù)共享平臺數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)復雜、數(shù)據(jù)多源等特點，采用大數(shù)據(jù)采集、大數(shù)據(jù)預處理、大數(shù)據(jù)存儲及管理技術(shù)，保障數(shù)據(jù)服務滿足應用性能要求。

4.1 大數(shù)據(jù)采集

（1）增量更新：僅對數(shù)據(jù)中有變動的部分進行更新操作，提高數(shù)據(jù)共享平臺的運行性能；與列車調(diào)度指揮系統(tǒng)及機務運用安全管理信息系統(tǒng)等交互時，根據(jù)列車車次獲取對應列車運行線、機車機型等數(shù)據(jù)，避免短時間內(nèi)大量的數(shù)據(jù)讀寫操作，保證數(shù)據(jù)共享平臺運行的穩(wěn)定性。

（2）數(shù)據(jù)及時比對：在列車發(fā)車前，車站通常會將確報數(shù)據(jù)上傳至數(shù)據(jù)共享平臺，發(fā)車后還會再次上報確報數(shù)據(jù)；數(shù)據(jù)共享平臺會將發(fā)車前后的確報數(shù)據(jù)進行比對，避免發(fā)車前臨時調(diào)整編組導致確報數(shù)據(jù)采集不準確問題，保證確報數(shù)據(jù)采集的完整性。

4.2 大數(shù)據(jù)預處理

（1）異步數(shù)據(jù)處理：數(shù)據(jù)共享平臺記錄請求信息，先返回請求所需的基礎數(shù)據(jù)，并根據(jù)記錄的請求信息，異步處理相關(guān)數(shù)據(jù)并存儲處理結(jié)果，并將存儲的處理結(jié)果及時返回，以提高用戶請求的響應速度；基于記錄的請求信息，當同時整合多個請求的數(shù)據(jù)時，為避免同一用戶的重復請求，后臺調(diào)用數(shù)據(jù)采用用戶加鎖方法（即同一用戶一次只允許一條請求調(diào)用數(shù)據(jù)的整合方法），以保證在業(yè)務高峰時，可在短時間內(nèi)完成數(shù)據(jù)整合。

（2）分布式消息隊列：采用分布式消息隊列，為數(shù)據(jù)共享平臺各業(yè)務能力之間提供異步解耦服務；提供普通消息、順序消息、延時消息、定時消息等多種消息類型，確保在業(yè)務高峰時段也能提供高可靠、高性能的數(shù)據(jù)共享服務。

（3）分布式事務：采用分布式事務方法處理事務并發(fā)問題，保證微服務架構(gòu)中多個服務、消息以及數(shù)據(jù)庫組合操作等事務的一致性。

4.3 大數(shù)據(jù)存儲及管理

（1）分表、分庫存儲模式：將需要整合處理的數(shù)據(jù)存儲在動態(tài)數(shù)據(jù)表中，動態(tài)數(shù)據(jù)表僅存儲3天之內(nèi)的數(shù)據(jù)，將超出3天的數(shù)據(jù)轉(zhuǎn)儲至歷史數(shù)據(jù)表，以此提高數(shù)據(jù)查詢及處理性能；根據(jù)各類數(shù)據(jù)的具體業(yè)務留存時間，將歷史數(shù)據(jù)表中的數(shù)據(jù)定期轉(zhuǎn)儲到歷史備份數(shù)據(jù)庫中，歷史備份數(shù)據(jù)庫按日期劃分數(shù)據(jù)存儲分區(qū)。

（2）分布式業(yè)務監(jiān)控：采用分布式業(yè)務監(jiān)控，實現(xiàn)數(shù)據(jù)共享平臺基礎資源、緩存、任務調(diào)用等監(jiān)控與告警，保障數(shù)據(jù)共享平臺的穩(wěn)定運行。

5 結(jié)束語

通過數(shù)據(jù)共享平臺的建立，在匯集運統(tǒng)1電子化傳遞系統(tǒng)采集的全國鐵路客貨運確報數(shù)據(jù)的基礎上，結(jié)合TDCS的列車運行線數(shù)據(jù)、機務運用安全管理信息系統(tǒng)的機車數(shù)據(jù)等相關(guān)數(shù)據(jù)，通過信息整合及基于微服務架構(gòu)的數(shù)據(jù)服務的開發(fā)，為計劃調(diào)度系統(tǒng)、車站站調(diào)系統(tǒng)、貨運站作業(yè)系統(tǒng)、十八點統(tǒng)計系統(tǒng)等相關(guān)系統(tǒng)提供高質(zhì)量的業(yè)務數(shù)據(jù)服務，支持列車運行追蹤與安全預警應用開發(fā)，有助于促進鐵路運營提質(zhì)增效，提高行車安全保障能力。

下一步，將利用現(xiàn)有數(shù)據(jù)資源和機車乘務員手持終端設備，結(jié)合行車指揮與客貨運管理業(yè)務需求，開發(fā)更多增值應用。同時，隨著業(yè)務范圍的擴大及數(shù)據(jù)量的不斷增長，著重開展大數(shù)據(jù)分析研究，為鐵路相關(guān)業(yè)務賦能。