疫情期間武水集團信息系統運行保障的分析與啟示

朱曉鵬，華 揚

(武漢市水務集團有限公司，湖北武漢 430063)

2020年年初，突如其來的新冠肺炎疫情使武漢市全市各行各業進入一致抗“疫”的特殊時期。武水集團除了保障民生供水生產外，同時還要保持自身的經營管理，并提供市民所需的便民服務。經過多年來的努力和不斷完善，作為特大型水務企業，武漢市水務集團有限公司(以下簡稱武水集團)信息化基礎設施一定程度上已經滿足日常生產經營的需要，擁有2座數據機房，承載繁雜多樣的對內和對外服務的信息系統。其中，包括營業收費系統、GIS及管網巡維系統、遠傳表系統、生產調度系統、96510熱線系統等，這些系統使用部門多，覆蓋范圍廣。由于建設年代不同，系統之間沒有形成統一標準的基礎架構，運行保障工作需要駕馭復雜多樣的信息系統，可謂軟、硬兼顧。近年“網絡安全法”頒布后，水務企業信息系統基本都成為了關鍵信息基礎設施，因此，網絡安全也成為了運維保障的重要內容之一，但武水集團當前仍以傳統手動為主的運維保障模式沒有改變。

隨著疫情的發展，為減少人員聚集，公司實體營業廳全部關閉，線下流量轉移線上，企業自身經營管理也加大了遠程協作的比例，充分利用線上進行辦公。上述影響之下，整個系統訪問負荷激增，網絡安全隱患環節也隨之增多。加上疫情發生在春節期間，系統保障人員存在減員和出行交通困難(封閉、管制)的情況，系統運行保障體系和應急響應處置能力在疫情期間面臨挑戰。本文圍繞疫情期間如何應對運行保障壓力和挑戰的經驗展開討論，通過分析存在的問題，為其他水務企業提供一些建議，特別是對智慧水務建設和運行保障帶來一些有益的啟示。

1 疫情對運行保障的影響和經驗

1.1 影響與挑戰

疫情對運行保障帶來的影響和挑戰主要表現在以下幾個方面。

一是按照疫情防控要求關閉實體營業廳，轉為以“網上”營業廳、支付寶生活號、微信公眾號等為主的線上服務形式，提供足不出戶業務辦理服務。線下流量轉線上，系統訪問負荷增加，保障對外服務系統穩定、安全運行成為挑戰。

二是疫情期間企業的生產運行和經營管理，既要滿足減少員工聚集，又要保證工作效率。因此，各級部門都加大了遠程協作辦公的比例。在改變之下，如何實現遠程協作，對保障支持遠程協作運行環境的穩定提出了更高的要求。

三是疫情發生在春節期間，節假日因素使系統保障隊伍減員。隨著疫情的加重，城市進行封閉管理、交通管制、區域隔離等強制措施，人員得不到補充，應急響應、現場處置的難度加大，故障搶修恢復時間延長。

四是在線服務訪問增加和網上遠程辦公比例增大，以APT攻擊、大量以疫情偽裝的惡意軟件、勒索病毒等為主的攻擊手段通過在線服務漏洞和遠程辦公訪問水務企業的關鍵信息基礎設施，網絡安全形勢嚴峻。

1.2 應對措施和經驗

盡管疫情給武水系統運行保障工作帶來了影響，但通過以下的經驗和措施，可最大程度解決上述挑戰。

(1)疫情造成的訪問量激增，通常會導致系統運行資源不足，性能下降。但武水集團“網上”營業廳、支付寶生活號、微信公眾號等服務系統均已遷移部署在成熟的云計算基礎設施中，因此，通過云計算自有的彈性計算調整功能進行配置，云端服務器可根據訪問量高低，自動調整服務器運行計算資源，有效化解了疫情導致的訪問流量激增所造成的影響。

(2)保障遠程協作辦公，要做好兩件事。一是協作工具的選取。協作方面部署了基于華為云的Welink協作工具，通過Welink實現高效的視頻會議溝通機制。疫情期間，企業管理指令的上傳下達通過遠程會議的形式順利開展，通過云端部署的協作工具，性能良好，體驗流暢，故障問題少，極大地方便了保障人員，并降低了保障工作的強度。二是對性能和安全性的保證。推廣采用SSL VPN接入企業內部網絡的方式或通過域名結合SSL證書的方式遠程辦公，幫助疫情期間各部門通過互聯網訪問公司業務系統，這種方式既保障了訪問的便捷性、靈活可控，又可通過SSL證書的加密，保障通信的安全性，降低保障難度和安全風險。

(3)針對疫情造成的保障人員減員，一是充分動員信息部門自身隊伍，成立多個小組，并安排24 h輪流值班，同時圍繞系統訪問壓力激增，制定多個應急預案和現場處置預案。二是為了進一步縮短故障發現的時間，組織運維部門進行遠程預防性巡檢，根據分工每日匯報巡檢監控情況。一旦發現異常，通過Welink視頻會議與各系統保障單位進行協作。三是有序調度保障單位，布置可操作的疫情期間保障任務，每天提前安排好故障排查人員調度和現場運維管理計劃，對于必須要到機房應急處置的硬件和網絡故障，按預案應急響應，既克服了交通管制對出行人員的限制，又可為修復緊急故障贏得寶貴的時間，有效縮短系統故障延時。

(4)網絡安全保障，分為兩個保障重點：機房等關鍵基礎設施保障，網上營業廳、微信公眾號、支付寶互聯網入口保障。武水集團已按照關鍵基礎設施等保障要求建立防御體系，從互聯網入口到核心機房，部署了多種高性能安全設備，包括防火墻、WAF、行為審計、終端管理和態勢感知等。但是，由于外部服務端和VPN客戶端會通過加密穿透防火墻到內網訪問進行數據交換，防火墻直接防護能力被削弱，并不能確定源頭的主機是否已經被病毒攻陷，此時必須加強內部流量過濾和審計來發現惡意攻擊行為。疫情期間，對網上營業廳、微信公眾號、支付寶生活號等通過互聯網域名轉發的訪問入口增加云端域名防火墻，從源頭阻攔對網頁的攻擊行為。

1.3 系統運行保障效果

總的來看，為保障武水集團推行的“不見面服務”用戶體驗承諾，智慧水務中心克服了疫情帶來的影響和挑戰。截至2020年4月中旬，累計處置各類信息系統軟、硬件故障110人次，各類軟、硬件遠程或現場巡檢累計770多次；針對疫情期間的網絡安全形勢，累計有效監測和攔截針對“武水在線”網絡攻擊700多萬次，排查隱患服務器72人次，發現和修復被攻陷主機5臺次。疫情期間，武水集團未發生一例重大系統故障和網絡安全事件，有力地保障了武水各類系統的穩定運行、機房網絡等基礎設施生產安全和網絡安全。

2 分析與啟示

2.1 疫情下運行保障的分析

疫情給武水集團系統運行保障工作帶來了較大的影響。數據發現，在70多天的運維保障工作中，人工投入的比例很高，與平時相比，人員投入的比例增加了15%?？陀^上，由于疫情的影響，系統運行的負荷上升，故障頻率增加，不得不增加人員投入。事實上，這樣的結果與武水集團信息系統保障模式仍是以手動為主、被動“救火式”傳統模式密不可分。傳統運維保障模式存在著維護成本高、響應被動等諸多局限[1]，在疫情的沖擊和影響下，這種局限性更加明顯。

另一方面，運行保障工作以傳統手動為主，缺少必要的工具支撐。對于運行種類繁多的信息系統來說，因無法及時感知系統故障和收集全局信息，運行保障的效率非常低，是突出的短板，是人工投入比例居高不下的重要原因。這個問題不僅存在于武水集團，當前很多水務企業信息系統運行保障都有這個“軟肋”。

系統運行保障除以上問題和短板外，還長期存在運行保障管理精細化不足、系統種類多但架構不統一等弊端。總的來說，這些問題或弊端并不孤立存在[2]，它們之間相互影響，共同加劇運維保障工作的復雜性和困難性。在一定程度上，不僅制約了水務企業應對急突發事件的綜合能力，還會影響未來智慧水務建設的發展。

2.2 疫情下運行保障的啟示

通過對疫情期間系統運行保障情況的分析，傳統的系統運行保障模式在應對突發疫情帶來的挑戰時，會出現較明顯的瓶頸和不適。主流的系統運行保障已借助數字化、網絡化、智能化的信息技術發展浪潮，提升了企業信息系統運維能力，逐漸減少了人工依賴，向態勢感知、持續監控、快速感知、智能分析和自動化排障方向發展。系統運行保障的進步得益于智能化技術，以及在IT運維領域的不斷實踐，諸如風險防控、應急處置等。大部分運維工作已經實現從“被動到主動”、“從無序到有序”、“從手工到自動”的逐步轉變[3]。與此同時，信息系統的自愈能力逐步提升，多數故障已實現不停機、自動隔離、自動恢復，運維逐步走向“無人操作，無人值守”的階段。隨著人工智能、大數據等相關技術的不斷突破[4]，未來的武水集團運維智能化建設將向著科技創新價值目標邁進，即從運維中更多地挖掘具有業務價值的信息，以指導生產和經營的持續改進，從而提高武水集團經營管理精細化、智能化整體水平，更好地適應未來水務市場變化和自身業務發展。

3 總結

疫情擾亂了武水集團的工作安排，使業務無法正常開展，企業運營面臨嚴峻挑戰。圍繞武水集團在疫情期間的困難以及經驗，著重分析運行保障過程中的短板。首先，從轉變認識開始，向管理和服務結合的運維模式轉型，完善運維保障體系建設[5]，減少異構系統，提升當前的運維手段，引入新型工具實現高效保障。通過以上手段助力正在建設的智慧水務系統，指導和完善運行保障的能力建設，最終提高水務企業對突發事件的處置效率和能力，從而應對類似新冠疫情的突發事件對系統穩定性、可靠性和安全性的挑戰。