鐵路信息系統(tǒng)自動化運維平臺方案研究

劉 宇，王曉莉，高明星，王景艷

（中國鐵路信息技術(shù)中心，北京 100844）

鐵路信息系統(tǒng)運維經(jīng)過多年發(fā)展取得了顯著成績，以信息技術(shù)服務(wù)管理（ITSM）為代表的監(jiān)控系統(tǒng)建設(shè)相對成熟，基本建立了以信息技術(shù)架構(gòu)庫（ITIL）為指導(dǎo)的規(guī)范化、流程化的運維體系，監(jiān)控管理、配置管理、性能管理、流程管理等關(guān)鍵領(lǐng)域均通過自動化工具輔助運維，以保障業(yè)務(wù)可用性與運維服務(wù)管理[1]。隨著互聯(lián)網(wǎng)+、數(shù)字化轉(zhuǎn)型的深入發(fā)展以及云計算、大數(shù)據(jù)等新技術(shù)的廣泛應(yīng)用，鐵路信息系統(tǒng)資源規(guī)模急劇增長，企業(yè)業(yè)務(wù)模式呈現(xiàn)敏態(tài)與穩(wěn)態(tài)融合的趨勢，信息系統(tǒng)運維工作面臨巨大挑戰(zhàn)[2]。信息系統(tǒng)基礎(chǔ)設(shè)施規(guī)模的迅速發(fā)展，催生孤島式的運維腳本、運維工具，并逐步積累形成體系化的自動化執(zhí)行能力，通過服務(wù)的方式統(tǒng)一發(fā)布，形成規(guī)范化的自動化服務(wù)體系，依靠人工智能（AI）技術(shù)在運維領(lǐng)域的實踐，迎來智能化運維的新時代，實現(xiàn)自動化的監(jiān)控預(yù)警、配置采集、更新維護、分析預(yù)測等[3]。目前，鐵路信息系統(tǒng)運維自動化手段各自分散獨立，自動化、智能化水平不高，端到端的可視化程度不高，自動化操作未覆蓋全部運維流程，故障定位難度大，運維效率低，難以適應(yīng)大規(guī)模數(shù)據(jù)中心集中安全運維的需要[4-5]。本文基于平臺即服務(wù)理念，設(shè)計適應(yīng)鐵路需求的自動化運維平臺，通過構(gòu)建運維自動化協(xié)同能力，提高運維質(zhì)量，實現(xiàn)敏捷交付，提升數(shù)據(jù)中心整體運維工作的自動化水平。

1 總體架構(gòu)

鐵路信息系統(tǒng)自動化運維平臺屬于鐵路綜合運維管理平臺的核心組成部分，按照平臺即服務(wù)（PaaS）的設(shè)計理念[6]，統(tǒng)一運維的基礎(chǔ)采控、數(shù)據(jù)計算、服務(wù)組件，使得上層的各類運維工具、場景、應(yīng)用實現(xiàn)無縫打通和擴展，為運維管理的持續(xù)良性發(fā)展奠定基礎(chǔ)。

鐵路信息系統(tǒng)自動化運維平臺需要充分考慮與其他運維管理工具的聯(lián)動，實現(xiàn)監(jiān)控管理、配置管理、流程管理與自動化的合理融合，遵循分布式、實時性、水平擴展等原則，采用分布式、實時計算、大數(shù)據(jù)分析等技術(shù)，解決傳統(tǒng)運維系統(tǒng)的性能瓶頸，滿足功能易于擴展、部署快速、彈性擴容等要求。

平臺總體架構(gòu)如圖 1所示。

圖 1 平臺總體架構(gòu)

數(shù)據(jù)中心監(jiān)控、流程、配置管理數(shù)據(jù)庫（CMDB）等平臺，通過自動化平臺提供的標(biāo)準(zhǔn)接口進行深度對接，依托自動化的基礎(chǔ)平臺和操作引擎支持，充分發(fā)揮融合運維管理的聯(lián)動效果。

2 技術(shù)架構(gòu)

為提供較高的實時性能、處理性能、存儲效率和并發(fā)訪問能力，采用面向服務(wù)的體系結(jié)構(gòu)（SOA）設(shè)計[7]，平臺技術(shù)架構(gòu)如圖2所示。

圖2 平臺技術(shù)架構(gòu)

分布式采集控制采用代理和遠程的方式，進行數(shù)據(jù)的分布式采集和控制，可以通過多層匯聚方式，適應(yīng)復(fù)雜的網(wǎng)絡(luò)環(huán)境。

（1）數(shù)據(jù)接入層：采用高度優(yōu)化的數(shù)據(jù)接入模式，支持多種負載均衡策略進行擴展。

（2）數(shù)據(jù)緩沖層：采用分布式的緩存、高吞吐量數(shù)據(jù)隊列、事務(wù)性消息隊列的方式對數(shù)據(jù)進行實時緩存和轉(zhuǎn)發(fā)。

（3）數(shù)據(jù)處理層：采用數(shù)據(jù)實時處理和離線處理互聯(lián)網(wǎng)框架，對實時的數(shù)據(jù)流進行分析、加工處理，對定期的數(shù)據(jù)調(diào)度進行分布式計算和數(shù)據(jù)挖掘。

（4）數(shù)據(jù)存儲層：混合多種數(shù)據(jù)庫存儲，由數(shù)據(jù)存儲引擎進行統(tǒng)一管理。

（5）分布式服務(wù)管理：對數(shù)據(jù)接入、緩沖、處理、存儲的各個環(huán)節(jié)服務(wù)進行一致性管理，對各環(huán)節(jié)的組件進行統(tǒng)一參數(shù)管理。

3 功能架構(gòu)

平臺整體上包括基礎(chǔ)平臺、操作引擎、運維場景和平臺接口，功能架構(gòu)設(shè)計如圖3所示。

圖 3 平臺功能架構(gòu)

3.1 基礎(chǔ)平臺

基礎(chǔ)平臺包括數(shù)據(jù)處理、統(tǒng)一采控和公共服務(wù)。數(shù)據(jù)處理完成數(shù)據(jù)的預(yù)處理、處理、存儲、分析、消費等，建立自動化統(tǒng)一的資源庫；統(tǒng)一采控，實現(xiàn)對被管資源的配置數(shù)據(jù)采集、配置變更和資源操作控制等；公共服務(wù)負責(zé)封裝接口，對外提供各類服務(wù)，包括作業(yè)調(diào)度、規(guī)則觸發(fā)和日志審計等服務(wù)。

3.1.1 統(tǒng)一采控

統(tǒng)一采控模塊主要負責(zé)提供各運維工具和被管設(shè)備資源之間聯(lián)絡(luò)通信的統(tǒng)一通道，并通過模塊和插件的技術(shù)讓自動化引擎自由擴展采控能力，無需關(guān)注底層的通信和調(diào)度技術(shù)，只需按照采控模塊約定的規(guī)范編寫采控腳本，并組織成策略下發(fā)給相應(yīng)代理，對結(jié)果數(shù)據(jù)進行處理，即可完成機器數(shù)據(jù)采集、配置變更發(fā)布和資源操作控制。

3.1.2 數(shù)據(jù)處理

數(shù)據(jù)處理模塊包含自動化運維資源模型，記錄所有被管資源信息和所有歷史操作信息，并且能夠與CMDB進行雙向數(shù)據(jù)同步更新。此模塊包括數(shù)據(jù)預(yù)處理、處理、存儲、分析、消費等多個環(huán)節(jié)，實現(xiàn)自動化運維數(shù)據(jù)的流式處理，同時，也提供數(shù)據(jù)批量分析和統(tǒng)計功能。

3.1.3 公共服務(wù)

作業(yè)調(diào)度服務(wù)為自動化引擎提供統(tǒng)一的運維作業(yè)調(diào)度引擎服務(wù)，運維人員按規(guī)范組織好作業(yè)編排，即可交由作業(yè)引擎完成調(diào)度執(zhí)行。規(guī)則觸發(fā)服務(wù)允許運維人員或其他應(yīng)用程序設(shè)定規(guī)則，當(dāng)系統(tǒng)達到設(shè)定的條件時，便會觸發(fā)特定的動作，自動完成預(yù)定的任務(wù)。日志審計服務(wù)主要為自動化運維平臺提供用戶操作過程日志記錄和集中審計的基礎(chǔ)能力，使上層應(yīng)用通過統(tǒng)一的接口調(diào)用便能實現(xiàn)操作過程日志的存儲、分析和查詢等。

3.2 操作引擎

3.2.1 文件資源管理

文件資源管理模塊提供統(tǒng)一的文件資源存儲和管理能力，保存安裝包、配置文件等運維操作中需要使用到的文件，可以與企業(yè)現(xiàn)有FTP服務(wù)器集成，并提供Web界面的上傳、下載功能，同時，提供接口，實現(xiàn)操作腳本下載或上傳。

3.2.2 操作/腳本管理

操作是完成一個運維步驟的自動化實現(xiàn)，一個操作包括輸入?yún)?shù)、輸出參數(shù)和操作執(zhí)行腳本。操作/腳本管理模塊提供操作定義和腳本的統(tǒng)一管理能力，并允許用戶通過Groovy、Python、Shell、PowerShell、VBS、Windows批處理等多種腳本語言進行操作擴展。

3.2.3 編排設(shè)計管理

運維操作編排是指為完成某些運維場景預(yù)先定義的流程，也就是標(biāo)準(zhǔn)操作流程，是執(zhí)行時所需參數(shù)和一系列操作的有機組合。編排設(shè)計管理提供運維作業(yè)編排設(shè)計和管理的功能，運維技術(shù)專家可以通過該功能按運維場景的需要預(yù)先定義多個標(biāo)準(zhǔn)操作流程，發(fā)布給一線或二線運維人員使用。

3.2.4 定時調(diào)度管理

定時調(diào)度管理模塊需要支持設(shè)定操作或編排，設(shè)定定時作業(yè)時支持選擇編排或操作作為任務(wù)，并設(shè)定作業(yè)的相關(guān)參數(shù)值；支持啟停定時規(guī)則；支持查看定時策略執(zhí)行狀態(tài)和歷史作業(yè)情況；支持設(shè)置周期性或單次執(zhí)行策略模式。

3.2.5 作業(yè)執(zhí)行干預(yù)

作業(yè)執(zhí)行干預(yù)模塊提供作業(yè)執(zhí)行的可視化展現(xiàn)和人工參與能力，以圖形化或表格化（對應(yīng)表格化編排）的方式將作業(yè)的執(zhí)行過程展示出來，并能動態(tài)實時地反饋執(zhí)行結(jié)果，當(dāng)出現(xiàn)異常或者執(zhí)行到人工參與節(jié)點時，允許用戶通過界面方式參與。

3.2.6 作業(yè)歷史管理

作業(yè)歷史管理模塊提供作業(yè)執(zhí)行歷史的統(tǒng)計和追溯能力，允許用戶查詢所有已經(jīng)執(zhí)行過的歷史作業(yè)，可以追溯到每個作業(yè)任務(wù)的具體執(zhí)行過程、執(zhí)行參數(shù)和執(zhí)行過程日志，并提供一段時間內(nèi)作業(yè)的執(zhí)行歷史分析統(tǒng)計，不同狀態(tài)、時長的作業(yè)分布。

3.3 運維場景

以部分典型運維場景為例說明自動化運維執(zhí)行過程。

3.3.1 日常巡檢

日常巡檢是指按一定的周期檢查服務(wù)器、操作系統(tǒng)、中間件和數(shù)據(jù)庫的關(guān)鍵運行指標(biāo)，并根據(jù)巡檢結(jié)果生成巡檢報告，當(dāng)出現(xiàn)異常時進行預(yù)警，以便及時分析原因，尋找解決辦法，避免故障的發(fā)生。

3.3.2 業(yè)務(wù)升級

業(yè)務(wù)升級主要針對業(yè)務(wù)軟件以及常規(guī)應(yīng)用的變更，包括數(shù)據(jù)庫、中間件等資源變更。業(yè)務(wù)軟件的升級需要結(jié)合業(yè)務(wù)架構(gòu)、部署情況、與其他業(yè)務(wù)的關(guān)聯(lián)等特性進行定義，制定完善的升級編排，包括升級時間、備份和回退方案、檢查方案等。

3.3.3 備份清理

日常清理自動化通過自動化工具實現(xiàn)對日志和過程數(shù)據(jù)的自動化清理，運維人員根據(jù)業(yè)務(wù)系統(tǒng)的維護指南，在自動化運維工具上設(shè)置定時清理策略，當(dāng)達到一定條件時便自動進行清理，保證業(yè)務(wù)系統(tǒng)的穩(wěn)定高效運行。

3.3.4 安全合規(guī)檢查

安全合規(guī)指檢查操作系統(tǒng)或中間件、數(shù)據(jù)庫的安全策略設(shè)置是否滿足要求，如操作系統(tǒng)的賬號口令復(fù)雜度、口令更換周期、登錄控制策略、核心文件權(quán)限等是否滿足要求，平臺應(yīng)內(nèi)置常規(guī)的安全檢查規(guī)則，并允許運維人員增加或調(diào)整。檢查完成后需生成合規(guī)檢查報告，當(dāng)發(fā)現(xiàn)異常時通知運維人員及時處理。

3.4 平臺接口

平臺接口包括服務(wù)接口提供和外部接口調(diào)用。通過服務(wù)接口提供，自動化運維平臺能將自身的編排發(fā)布為服務(wù)供客戶、業(yè)務(wù)人員或者技術(shù)人員使用，也能通過應(yīng)用程序接口（API）的方式讓外部系統(tǒng)調(diào)用。如流程管理系統(tǒng)、監(jiān)控管理系統(tǒng)可以通過調(diào)用自動化運維平臺的接口實現(xiàn)變更自動化執(zhí)行或故障自愈等能力。外部接口調(diào)用提供外部系統(tǒng)統(tǒng)一適配和管理，原子操作和場景編排通過統(tǒng)一適配層與外部系統(tǒng)進行通信，提供更強大的自動化能力。

4 平臺建設(shè)思路

自動化運維平臺建議按照PaaS設(shè)計理念，統(tǒng)一運維的基礎(chǔ)采控、數(shù)據(jù)計算、組件服務(wù)，實現(xiàn)運維工具、場景、應(yīng)用無縫擴展。平臺化建設(shè)可應(yīng)對運維過程中突發(fā)、持續(xù)高并發(fā)和高流量處理要求，并結(jié)合容器化技術(shù)為應(yīng)用運行和服務(wù)供給提供一致的環(huán)境，形成對上層應(yīng)用的支撐，實現(xiàn)平臺一體化能力；功能模塊組件化設(shè)計基于微服務(wù)的方式提供彈性伸縮和管理維護，基于不斷變化的應(yīng)用演進和標(biāo)準(zhǔn)的API接口進行數(shù)據(jù)交互[8]；分布式架構(gòu)針對數(shù)據(jù)采集、監(jiān)控服務(wù)、數(shù)據(jù)存儲、服務(wù)請求等方面提供高可用、易擴展環(huán)境。同時，平臺建設(shè)應(yīng)先考慮建設(shè)需求高、優(yōu)先級高的模塊，根據(jù)實際運維需求逐步迭代、完善具體功能組件，達成系統(tǒng)整體建設(shè)目標(biāo)。

自動化運維平臺建設(shè)建議采用成熟商業(yè)產(chǎn)品采購與定制開發(fā)相結(jié)合的方式，選擇成熟、易擴展的商業(yè)產(chǎn)品，依據(jù)統(tǒng)一標(biāo)準(zhǔn)進行定制開發(fā)，滿足實際運維需求。復(fù)雜度高、對運維平臺整體質(zhì)量影響大、應(yīng)用范圍廣的組件，宜基于成熟產(chǎn)品的業(yè)界經(jīng)驗和商業(yè)化沉淀，能夠快速引入最佳實踐經(jīng)驗，完善現(xiàn)有體系和改善平臺整體質(zhì)量；部分個性化需求無法直接采購現(xiàn)成產(chǎn)品的應(yīng)用，可采用定制開發(fā)的方式實現(xiàn)。自動化運維平臺應(yīng)具有良好的集成能力，對于使用狀態(tài)良好、用戶廣泛、系統(tǒng)穩(wěn)定的現(xiàn)有運維工具/系統(tǒng)應(yīng)實現(xiàn)與自動化運維平臺集成和整合，通過最小化資源投入，獲取最優(yōu)的建設(shè)效益和成果[9]。

5 結(jié)束語

鐵路信息系統(tǒng)自動化運維平臺是大規(guī)模數(shù)據(jù)中心建設(shè)背景下，實現(xiàn)高效能、精細化、主動式運維的重要技術(shù)支撐，本方案從鐵路信息系統(tǒng)運維實際出發(fā)，綜合考慮各類運維角色、運維對象和運維場景的需求以及對現(xiàn)有運維工具的整合，按照“軟件定義運維”理念進行設(shè)計，形成滿足鐵路需要、可實現(xiàn)的信息系統(tǒng)自動化運維解決方案，為鐵路信息系統(tǒng)自動化運維平臺建設(shè)提供思路。