鐵路信息系統智能運維數據采集方案研究

劉宇，張鵬，王朝暉，孫強，周翔豪

（中國鐵路信息科技集團有限公司，北京 100038）

鐵路信息化經過數十年發展，取得了顯著成績，鐵路信息系統在運輸組織、安全生產、客貨服務、經營管理、建設管理等領域發揮著重要的支撐作用，已成為鐵路各單位、各部門不可或缺的重要手段[1]。近年來，隨著鐵路主數據中心的投入使用、鐵路云計算平臺的應用以及“互聯網+”行動計劃的推進，鐵路信息技術（IT，Information Technology）環境日趨復雜，由中國鐵路信息科技集團有限公司（簡稱：國鐵集團信息中心）承擔運維服務的信息系統資源數量正在成倍增長。面對日趨復雜繁重的信息系統運維任務，如何改善和優化運維手段，提升運維工作效率，改善運維質量，提供更加高效快捷的應急服務能力成為國鐵集團信息中心的當務之急。

信息系統運維是信息系統運營維護人員根據業務需求來規劃信息、網絡、服務，通過網絡監控、事件預警、業務調度、排障升級等手段，使信息系統處于長期穩定可用的狀態。目前，鐵路信息系統運維工作已使用多種工具來實現大規模、批量式運維自動化，大幅消減了人力成本，有助于降低操作風險，提高運維效率。然而，這些自動化運維工具仍在以分散、孤立的方式來部署，即便使用多種自動化技術組合產品，應急處理以人工為主，導致信息系統運維部門疲于奔波、分身乏術。這種自動化運維方式的本質依然是人與自動化工具相結合的運維模式，受限于人類自身的生理極限及認知局限，無法持續地面向大規模、復雜的系統提供高質量運維服務。鑒于鐵路各項業務對信息系統的高度依賴，為保證鐵路關鍵業務系統不間斷運行和鐵路正常運營，實現鐵路信息系統智能運維是必由之路。

智能運維（AIOps，Artificial Intelligence for IT Operations）是指通過機器學習等人工智能算法，自動地從海量運維數據中學習并總結規則，并做出決策的運維方式。將人工智能技術融入運維系統中，以大數據和機器學習為基礎，從多數據源中采集海量運維數據（主要包括配置數據、監測數據、日志數據和事件數據等）進行實時或離線分析，通過高效率數據處理和智能分析，自動檢測信息系統異常狀態，主動發現隱患和缺陷，提供集成化、可視化運維管理工具，顯著增強信息系統運維能力。

海量運維數據的采集、存儲和處理是實現智能運維的基礎。為此，本文立足于當前鐵路信息技術環境演化和運維現狀，通過對鐵路信息系統資源進行系統分類，全面分析各類監控對象運維數據采集需求，提出鐵路信息系統智能運維監測數據采集方案，為鐵路IT 智能運維管理系統[2]的開發奠定基礎。

1 鐵路信息系統運維現狀

近年來，隨著鐵路主數據中心的投入使用以及鐵路云計算平臺的應用，鐵路信息化步入云計算時代。從企業數字化轉型和信息技術環境的演變過程來看，云計算、移動互聯應用的快速發展，導致鐵路企業傳統內外網邊界模糊化。盡管云計算和 移動互聯應用可以為鐵路信息化技術創新提供強勁驅動力，同時也帶來了額外的挑戰、復雜度和風險。

傳統的信息系統運維工作范圍主要包括：服務器管理（操作系統層面，比如重啟、下線）、軟件包管理、代碼上下線、日志管理和分析、監控（區分系統、業務）和告警、流量管理（分發、轉移、降級、限流等），以及一些日常的優化、故障排查等。典型的企業云環境通常包含私有云、云下物理機、云下虛擬化等多種平臺、不同供應商產品的組合，云上云下、內外網、跨平臺的系統交互和集成都加劇了鐵路IT 環境的復雜度和關聯度。由于引入各種容器、開源框架，信息系統運維工作進一步擴展到容量管理、彈性擴縮容、安全管理、故障分析和定位等范圍。

如果企業信息系統架構設計不夠健壯，系統中任何一個小故障都可能導致企業信息系統整體性能下降、宕機，甚至致使業務中斷。因此，實施高效的信息系統運維管理已成為國鐵集團信息中心預防宕機和業務中斷的關鍵所在，這主要涉及到3 個方面的任務：

（1）優化企業信息系統和業務流程，為業務發展提供更多的創新支持和擴展能力；

（2）提升企業信息系統運維水平和能力，加快處理業務中斷和系統故障的應急能力，降低事故造成的經濟損失；

（3）降低企業信息系統運維的開銷，實現信息系統運維的標準化、自動化、高效化。

為此，亟需研究和開發一套鐵路IT 智能運維管理系統，能夠全面支撐運維單位高效地實施基于人工智能（AI，Artificial Intelligence）的信息系統運維自動化技術，通過細粒度運維數據的采集和智能分析，模擬運維工程師的故障處理操作，實現故障自動識別和用例自動化執行，甚至能夠評估已部署的自動化用例并做出改進。除了自動完成大量人工運維操作外，AI 運維工程師還能自動識別故障、優化系統設置，消除系統缺陷，避免系統隱患，高效處理故障，極大地降低系統風險。

2 鐵路信息系統資源分類

鐵路IT 智能運維管理系統需要實現各類鐵路信息系統資源的統一管理、實時監測、主動預警和自動化故障處置。當前鐵路IT 資源種類繁多，根據鐵路IT 智能運維監控對象的特性，將鐵路IT 資源劃分為場地基礎、物理設備、系統軟件、云資源4 大類別。

（1）場地基礎類監控對象主要包括機房環境中的空氣調節、消防、給排水、消防及電力設施。

（2）硬件類監控對象主要包括計算和存儲設備、網絡和安全設備，其中計算和存儲設備主要有服務器、小型機、存儲，網絡和安全設備主要有交換機、路由器、防火墻、VPN 設備、堡壘機等。

（3）系統軟件類監控對象主要包括各類中間件、應用負載均衡、操作系統和數據庫等。

（4）云資源類監控對象主要包括VMware 云平臺、鐵路云平臺、虛擬機等。

3 鐵路IT 智能運維管理系統的技術架構

為了適應當前鐵路信息系統虛擬化、云化的發展趨勢，研究開發一套鐵路IT 智能運維管理系統，為鐵路信息系統智能運維工作提供統一的集成化管理工具。該系統采用B/S 架構，運維人員可以在客戶端對系統功能進行訪問[3]，支持在x86 服務器上運行，能夠在虛擬化和云化環境中部署，各功能模塊支持水平擴展以及集群化的部署方式，確保該系統的高性能和高可靠性。

鐵路IT 智能運維管理系統總體架構劃分為3 個層次，分別為數據采集層、數據服務層和業務應用層，如圖1 所示。

圖1 鐵路IT 智能運維管理系統總體架構示意

（1）數據采集層：包括代理和運維數據采集控制平臺，主要負責從各類監控對象采集原始運維數據；代理可以駐留在監控對象一側，也可以部署在運維數據采集控制平臺一側；部署在監控對象一側的代理除了從監控對象中抽取配置信息、監控數據外，還具備運行自動化腳本命令的功能；部署在運維數據采集控制平臺一側的代理可以實現運維人員遠程監控，支持在遠端進行腳本的運行，并能提供對來自不同局域網數據匯聚能力，集中管理多個網絡；另外，代理按照統一口徑進行統計分析，從收集各類監控對象的運行狀態數據（即原始運維監控數據），生成運維監控指標數據，與原始運維監控數據一起上傳給采集控制平臺；采集控制平臺負責接收代理上傳的運維數據，并對代理進行調度管理。

（2）數據服務層：完成運維數據的存儲、處理、分析，包括從監控對象采集得到的原始運維數據，以及經分析處理后的運維監控指標數據。為保證較高的數據存儲和處理性能，除采用傳統數據庫外，還采用文檔型數據庫MongoDB[4]和ElasticSearch[5]非關系型數據庫；MongoDB 用于存儲配置數據、事件數據和工單數據等具有靈活數據結構的數據，ElasticSearch 用于存儲監控指標、日志和運維知識等體量大、需高效檢索的數據；對系統中訪問頻率較高的運維數據，采用Redis 數據緩存[6]提升數據訪問響應的及時性。運維數據的處理與分析主要通過Spark[7]實現，基于歷史運維數據，采用智能算法實現各種監控對象運行狀態的趨勢預測。

（3）業務應用層：完成運維指標數據的關聯分析和智能分析，提供運維數據可視化展示和運維統計報表，支持靈活的告警分類及分派策略，將不同級別、類別的告警分配給最合適的運維人員，通過排班和自動化升級機制，組織起高效的階梯式團隊[8]（包括運維管理人員及一線、二線、三線運維人員），為異常檢測、故障分析、運維輔助決策等運維業務提供強有力支持，建立起7×24 h 應急響應機制。

4 智能運維數據采集

信息系統資源監控對象類型和數量眾多，每一類監控對象的運維數據主要包括4 類：配置數據、監控數據、日志數據和事件數據[9]。其中，配置數據描述資源對象的配置屬性，包含資源對象本身的屬性以及資源對象間關聯關系，這類數據僅在監控對象的屬性或對象間關聯關系發生變更時才有變化；監控數據主要是各類監控對象運行過程中產生時序指標數據，主要表征系統和業務的運行狀態及性能，隨著時間積累快速增長；日志數據一般是文本類型數據，通常包括監控對象的運行日志和業務應用的運行日志，可通過關鍵字或正則匹配從中發現關鍵信息；事件數據是運維過程中發生的特定事件的相關信息，如報警、異常、上線變更、任務調度等。

4.1 場地基礎類運維數據采集

場地監控類監控對象通常包括電力設施、消防設施、空調、給排水設備等，代理通過SNMP 協議連接數據中心基礎設施管理（DCIM，Data Center Infrastructure Management）[10]系統，從DCIM 系統提供的接口獲取運維數據，對應的運維數據采集內容如表1 所示。

表1 場地基礎類運維數據采集內容和采集方式

4.2 物理設備類運維數據采集

物理設備類監控對象劃分為網絡設備、計算與存儲設備；其中，網絡設備主要包括交換機、路由器、防火墻、VPN、堡壘機，計算與存儲設備主要包括服務器、小型機和存儲設備，對應的運維數據采集內容如表2 所示。

表2 物理設備類運維數據采集內容

4.3 系統軟件運維數據采集

系統軟件類監控對象主要包括中間件、應用負載均衡、操作系統和數據庫，對應的數據采集內容如表3 所示。

表3 系統軟件運維數據采集內容

監控代理通過SNMP、HTTP、TCP 等協議對Weblogic、HTTP 服務、IBM MQ 等中間件進行數據采集，使用TCP 協議對操作系統和負載均衡運行數據進行采集，使用JDBC 協議對數據庫數據進行采集，監控代理使用TCP 協議將數據上傳至監控代理接收組件。

4.4 云資源運維數據采集

云資源監控對象主要包括VMware 云平臺、鐵路云平臺、虛擬機，對應的運維數據采集內容如表4所示。

表4 云資源運維數據采集內容

5 結束語

鐵路IT 智能運維管理系統旨在實現鐵路各類信息系統資源的統一管理、實時監測、主動預警和自動化故障處置，開展全域、細粒度運維數據的采集是鐵路IT 智能運維管理系統研發中最為基礎性的工作；按照4 類運維數據（即配置數據、監控數據、日志數據和事件數據）劃分，全面、細致地分析鐵路信息系統資源各類監控對象的數據采集內容及采集方式。

下一步，將結合各類監控對象運維數據的采集任務，開展相應的運維大數據分析和智能算法研究，實現故障自動定位、故障自愈、智能閾值配置等功能，以提高運維工作的整體效率，提升鐵路信息系統運維水平。