周宇
摘要:近年來,經濟快速發展,社會不斷進步,鐵路電務專業數據復雜、種類繁多、實時性較強,通過大數據平臺對數據進行整合匯集、即時共享、可視化交互展現,可以更直觀地分析數據,更有效地利用數據,進而及時發現并處理問題。基于大數據平臺的鐵路電務專業數據可視化交互系統基于大數據技術架構,利用前端可視化圖形庫,結合地理信息服務組件,為鐵路電務專業不同類別的用戶提供多維度、多層級、多種形式的可視化展示。提出系統整體架構與前后端交互設計方案,闡述多個大數據技術架構與前端展示相結合的典型應用場景,能夠實現數據從采集到展示的全流程綜合處理與應用。
關鍵詞:大數據平臺;鐵路電務;數據;可視化;交互系統
引言
近年來,隨著大數據技術和應用的不斷發展和演進,以數據集中和共享為途徑,建設全國一體化的國家大數據中心已成為國家級戰略決策,以技術融合、業務融合、數據融合為特征,實現跨層級、跨地域、跨系統、跨部門、跨業務的協同管理和服務,提高社會治理社會化、法制化、智能化、專業化水平,提高預測、預警、預防各類風險的要求也不斷提升。如何完善社會治安綜合治理體制機制,加快建設立體化、信息化社會治安防控體系,用信息化手段更好的感知社會態勢、暢通溝通渠道、輔助決策施政成為擺在政法系統面前的挑戰。從公安行業的建設與應用實踐來看,不同警種間的壁壘正逐漸被打破,全量互通的數據中心初步形成,信息數據作為新型核心資源的重要性也不斷凸顯。為了有效地利用海量信息并挖掘內在更大的價值,提升鐵路公安實戰應用能力、建立立體化綜合防控體系。
1數據可視化簡述
關于數據可視化的定義有很多,通常我們在大數據分析應用中所提到的可視化是指,利用包括圖像和人機交互等在內的計算機技術,將已被采集的和需要被模擬的數據映射為更加直觀的、滿足人們需要的圖形和圖像。所以我們認為,“可視化”就是將人們感興趣的信息數據轉化為更加便于人們欣賞的圖式化過程。顯然更加側重人對數據、信息和知識自上而下的加工處理過程。相對于繁雜的數據,圖表不僅能更加簡潔地表述信息,還適用于大量信息的描繪,即對大量數據的承載。這也是數據可視化成為大數據分析工具不可或缺的功能模塊的主要原因。數據可視化包含三個分支,科學可視化、信息可視化和可視分析,其中可視分析是本文主要所討論的一個分支。可視分析是隨著人工智能的興起而出現的一個新學科,它被定義為由可視交互界面為基礎的分析推理科學,將圖形學、數據挖掘、人機交互等技術融合在一起,形成人腦智能和機器智能優勢互補和相互提升。
2大數據平臺的鐵路電務專業數據可視化交互系統
2.1數據庫設計
運條基礎線站信息與客票系統路網信息密切相關,運條信息為基礎,客票系統應用運條信息規范的線站信息,在業務流程上具有上下工序關系,運條信息為客票基礎信息的數據源,在數據存儲層設計需要考慮運條信息與既有客票系統數據的便捷互通,綜合分析運條信息的業務特點。①運條信息中包含線路、車站、里程、所屬區域等表達規范的業務信息,此類信息設計采用與客票系統基礎數據管理業務相同的關系型數據庫方式存儲。②運條信息中的接續線、客運價格執行說明、線附注等信息具有包含大量文本信息的特點,選擇具有高性能、易部署、易使用的文檔類數據庫MongoDB作為輔數據庫,采用MongoDB方式描述,可以充分利用其可擴展特性,當出現運條信息項增加時,只需要增加key-value對即可,適合運條信息日常業務存在不定期新增附錄的特點。
2.2地理信息應用
鐵路地理信息平臺是鐵路數據服務平臺的重要組成部分,統一管理國家基礎地理信息數據、鐵路專業公用地理信息數據。利用鐵路地理信息平臺提供的電子地圖服務,以2種方式實現地理信息應用:①直接訪問鐵路地理信息平臺提供的電子地圖服務,在網頁上以遙感圖、矢量圖、3D圖、實景圖等方式展示機房、鐵塔等設備的地理信息;②通過二次開發,定義設備及其及其異常狀態(告警、障礙、故障)的自定義圖符,這些自定義圖符作為一個圖層在電子地圖上顯示,當用戶點擊自定義圖符時,可以展示對應設備的靜態和動態數據,并可關聯該設備所有相關功能。
2.3數據可視化
通信智能運維應用基于CSS、JavaScript、HTML5原生前端開發方式,利用ECharts組件實現數據可視化展示。在實現數據可視化展示時,考慮以下3個要點。①合理選擇可視化展示形式,力求視覺效果直觀、易于理解;如設備全壽命周期功能中,采用瀑布流形式,在時間軸上展示設備出廠、安裝、上線、告警、故障、檢修等事件,揭示設備“全壽命”過程;比較事物/現象的不同分類時采用柱狀圖,同一數據不同分類的展示采用餅狀圖,展示事物/現象變化趨勢時采用折線圖,展示定性數據采用熱力圖。②靈活運用形狀、色彩、尺寸、位置等可視化元素來展示數據;如在地理信息應用功能中,為機房和鐵塔等設備設施設計了自定義圖符,用戶從圖符外觀就能分辨出設備種類;在展示設備告警信息時,嚴重告警使用紅色標記,一般告警使用黃色標記;用熱力圖展示設備數量時,設備數量多時用深藍色,設備數量少時用淺藍色;在設備健康管理中,設備質量總評分顯示在頁面正中,且字體加粗加大,各分項評分則排列在總評分的下方,且字體較小。③提供多層次、多路徑鏈接展示數據,方便用戶瀏覽和查看感興趣的數據;如在展示全局的設備時,點擊設備圖符即可鏈接到站段、車間、工區的設備統計頁面;在全壽命周期功能中,點擊設備的每一個事件圖符可進入詳細信息頁面;在作業卡控功能中,月計劃完成情況頁面上的熱點可鏈接到日工單完成情況統計頁面,進而鏈接至每日檢修詳情頁面。
2.4實時數據
①實時數據采集與存儲,電務專業實時業務數據具有實時性要求高、時延容忍度小、準確度要求高、可靠性需求高等特點,對此類專業數據的采集與存儲過程如下:系統通過Kafka消息隊列完成總線多線程處理,并創新性地采用數據獨立線程、隨進隨出、同步存儲的技術架構,較好地滿足了實時性要求高、時延容忍度小的業務需求。對于準確度要求高的業務數據,在流處理過程中增加入庫存儲前有效字段校驗流程,以確保數據完整性、有效性與準確性。對于可靠性需求高的業務數據,在Kafka分布式隊列的設計實現中,利用備份策略增加副本數,當Kafka集群中的部分服務出現異常時,其他服務中留存有數據副本,實現數據冗余備份,防止數據更改或丟失。此外,適當延長Kafka消費數據有效期長度,在時間維度上增加了備份冗余數據的存在時長,確保數據可查驗、可比對、可追溯。②實時數據更新,對于實時業務數據,在可視化之前除了要對數據進行高實時性低時延的有效采集與存儲,還需對其進行及時更新,以確保可視化呈現的準確。在電務專業數據中,比較典型的實時性數據包括:告警數據、列車位置信息數據、設備接口狀態數據等。
結語
經過一期大數據可視化分析平臺的建設,已經形成了對海量數據的分析計算能力,在打擊違法犯罪中取得了一定的成效。然而,在建設與應用過程當中,也顯露出了一些亟待完善的問題,如缺乏前端信息采集和后端模型計算結果輸出環節,沒有形成大數據應用閉環;缺乏對數據的掌控能力,不穩定風險高;缺乏完善的移動端警務應用等。未來還將努力實現“縱向到底、橫向到邊”的數據聯通、情報共享、全域感知、全時預警,將鐵路公安工作由傳統被動型應對處置向主動預判、預警、預防轉變,實現鐵路公安基礎業務信息采集管理、線索梳查、鐵路風險分析研判和情報預警、指揮調度支撐等實戰應用,融合云技術、人工智能和大數據分析等新技術,真正做到“平安鐵路、智慧鐵警”。
參考文獻
[1]張震.鐵路公安大數據建設及分析應用探究[J].法制博覽,2020(04):171-172.
[2]李曦,周嵩岑.等保架構下移動警務系統安全評估研究[J].網絡空間安全,2017,8(12):13-16.
[3]王生玉.構建網絡智能安全運維平臺承載智慧警務未來安全發展[J].網絡空間安全,2016,7(Z1):82-87.
[4]馬克.破壞鐵路案件偵查要點實證研究[J].鐵道警察學院學報,2019,29(02):97-103.
[5]潘輝,張千洪,馬亞洲.淺談數字IP互聯無線通信技術在鐵路公安中的應用[J].數字通信世界,2018(11):27+142.
中交二公局鐵路建設有限公司,陜西西安? 710100