企業信息中心應急保障體系的建立

賈棟

隨著信息化技術的不斷發展，企業的日常運營生產愈發離不開各類信息系統，信息中心的規模也隨之不斷擴大，隨之帶來的就是其面臨的風險也越來越多，風險的范圍越來越廣，如：設備硬件故障、軟件BUG、人為誤操作、網絡中斷、機房停電、自然災害等，同時市場競爭的日益激烈和客戶服務質量需求的不斷提高對企業信息中心的可靠穩定運行提出了越來越高的要求，信息中心需要擁有一套成熟、有效的應急保障體系，來全面保障業務運營保障對外服務及客戶感知。

一、企業信息中心風險評估

一般而言，企業信息中心主要面臨的風險可分為計劃外和計劃內兩種：

計劃外風險：主要指不在計劃內，通常是不可預估的自然或人為問題，造成信息系統運營發生故障甚至癱瘓的情況，這種類型的風險往往無法避免，主要包括：設備硬件故障、不可預測的人為或自然的原因，造成業務系統運行嚴重故障或癱瘓的情況，這種風險不可避免，主要包括：自然災害、設備硬件故障，空調故障，電源故障，人為誤操作，惡意破壞，系統軟件BUG等。

計劃內風險：主要指在計劃內，由于企業運營的需要，通常是由于維護或上線造成的雖可事先預知但無法避免的業務中斷的情況。主要包括：信息系統上線，系統軟件升級，硬件擴容維護，系統或應用遷移改造等。

通過對企業信息中心主要面臨的風險分析，為了更好的保障信息系統的業務連續性，確保對服務影響的最小化，需要企業建立一套成熟、有效的應急保障體系，該保障體系必須以滿足業務需求，最大化降低服務的影響為核心，其要點在于對各種風險問題的應對方法和措施。同時還需配備相關人員組織和資源保障方案、制定完整有效的流程、并采用對應的技術手段，以達到在企業信息中心發生故障和癱瘓情況下快速恢復信息系統和對外業務的目標。

二、應急保障體系

根據對企業信息中心面臨的各種風險進行分析，企業應建立起包括數據備份、本地高可用、快速應急、應急系統、容災系統在內的五層階梯式應急保障體系。五層保障措施主要應用場景如下表所示：

通過實施階梯式應急保障體系，涵蓋解決目前企業信息中心主要面臨風險，并提供具體的應對解決措施，最終達到提高企業信息中心的抗風險和業務連續性能力的目的。

數據備份保障：是最簡單最基本的系統保障手段之一，通過對核心重要數據的定期及不定期的備份實現對數據的安全保護，常規的備份介質主要有：獨立磁帶機，物理磁帶庫，虛擬磁帶庫、磁盤整列、備份一體機，或是新型存儲資源池（用于數據備份）。通常需將核心業務數據庫、重要的服務器操作系統、敏感業務數據，核心應用程序及代碼等建立起信息系統的備份恢復措施，一次來保障數據的安全性。但由于數據恢復步驟相對較長，一般恢復時間在小時級，因此其使用范圍主要是提供最基本的數據恢復功能。實際可按照以下方式進行分類：

數據類型：系統數據（應用程序、應用配置、操作系統等），業務數據（記錄文件， 數據庫，關鍵配置數據，核心數據等）；

備份方式：數據同步復制，文件備份，數據庫備份，備份等；

備份周期：實時級，小時級，日備份，周備份，月備份，季備份，不定期備份；

本地高可用保障：主要適用于信息系統或信息中心本身內部的單點故障，是日常故障中最常用也是最重要的一種保障措施，也是對信息系統運營管理幫助最大的保障措施。具體實施中需要對信息系統及相關業務流程建立起沒有單點隱患的本地高可用系統，諸如使用雙/多電源、冗余備份鏈路、雙網卡綁定、磁盤鏡像、多副本、主備接管、應用/數據庫集群等計算機技術。根據采用的技術種類，相關業務的恢復時長也不盡相同，比如使用應用集群、磁盤鏡像、雙網卡綁定等技術的，發生故障時對業務的影響在秒級甚至于對外無感知；而主備接管技術通常由于需要進行應用接管，調整應用流程，因此對業務的影響通常在分鐘級。

本次高可用主要采用硬件層冗余和軟件層高可用的結合配置，消除信息系統的單點隱患，其主要包括以下幾點：

消除網絡單點故障；

消除電力單點故障；

消除磁盤單點故障；

消除數據庫單點故障；

消除主機單點故障；

消除中間件和應用軟件單點故障。

快速應急：主要面對的是信息中心日常運營中遇到的諸如業務邏輯問題，應用上線異常、系統進程僵死等造成的業務中斷。這些故障雖然影響面不大，持續時間不長，通常不會造成嚴重或特別惡劣的影響，但是往往發生的幾率及頻度較高，也會導致用戶感知的下降，是信息中心日常運營中需要重視的方面。另外這些問題通常也不是高可用、應急系統、容災系統可以解決的，需要通過腳本集成、模塊化部署等方式，形成界面操作或后臺自動化處理，供操作人員快速上手，加快故障處理速度。快速應急主要分為系統層面和應用層面，系統層面：針對應用進程異常造成數據庫、服務器等系統方面異常，比如應用代碼問題導致的數據庫鎖表，應用程序異常造成的數據文件被鎖或損壞；應用層面：針對單個或少量進程、應用流程、接口等異常情況下造成的業務中斷或錯誤。

主要為信息系統提供最關鍵業務的快速恢復能力，針對核心渠道以及核心業務，在出現不同類型故障情況下，或計劃內維護（如新業務割接，系統升級等）情況下，在不啟動應急或容災系統的前提下，通過快速應急措施，實現故障快速處理或者旁路非關鍵功能，以此實現在故障后關鍵業務的快速恢復，進而減少用戶的有損感知，提升業務服務質量。

快速應急主要分為以下兩種方式：

自動處置：一般通過后臺部署自動化腳本、程序，對出現的故障進行自動處理，不需要人工干預，主要適用于一些常規、常用、相對簡易、方法成熟的問題。如：后臺定時自動化處理。

人工干預：指需要通過人工介入、判斷、處理的故障，處理期間需要相關人員進行一些簡單判斷，或者提前無法確認的問題，主要針對于一些相對復雜、危險系數高的故障。如：半自動化操作，界面處理。

應急系統：主要為信息系統提供核心業務的快速恢復能力，在部分或全部核心系統發生故障，且無法快速定位或解決的情況下，通過應急系統優先提供核心業務功能，讓用戶在故障期間可以辦理關鍵業務，進而降低對用戶的影響，確保核心業務的連續性。應急系統一般在應用層面實現，往往是生產系統的縮減版或核心版，一般需要分鐘級別的業務恢復時間。注意，應急系統提供的是核心業務，不是全部業務，因此只適用于一些可以接受部分功能損失，或者已解耦核心業務的信息系統。另外，出于一致性的考量，應急系統還需和生產系統的應用版本保持一致。因此應急系統的應用開發維護成本相對較高，其適用面相對受限，通常用于一些業務簡單、功能簡潔、變更量少的信息系統。

容災系統：主要設計用于各類系統層面的重大故障，諸如：系統大范圍故障，火災、地震、供電中斷、傳輸中斷等，造成信息系統完成故障并無法快速恢復的情況。對于這些災難性的不可預見的故障，一般通過將啟用容災系統來滿足對外服務的連續提供。平時，容災系統對生產系統的數據進行同步或異步傳輸復制，在災難性故障發生后，將生產業務指向到容災系統，有容災系統來實現業務流程，恢復信息系統相關業務。根據采用的技術和手段的不同，容災系統一般需要小時級別的業務恢復時間。其相關技術可按以下分類。

技術架構： 主備中心模式， 雙中心互備模式， 讀寫分離雙活模式， 讀寫并行雙活模式

切換技術：DNS，LDAP，TNS配置文件，L4/7

SWITCH

數據同步技術：數據庫層復制（基于重做日志和歸檔日志兩種），存儲底層復制，操作系統卷復制，遠程擴展集群技術

容災系統的建設及技術類型有多種組合可以選擇，具體實施時還需根據公司的運營情況，業務特點，對外影響，預算情況等進行綜合評估后，再根據各技術的不同特點進行選擇使用。

三、新技術的應急保障

目前隨著云計算、開源軟件等技術的發展，許多IT新技術涌現，同時在企業信息中心中發揮著越來越重要的作用，也成為了企業業務流程中不可或缺的一部分。因此在信息中心的應急保障體系中，也需要對這些新技術的應急保障進行考量并設計。下面將從Docker鏡像、內存數據庫、虛擬化平臺、分布式架構這四個目前常用的新技術出發，考慮并設計其應急保障建設要求。

四、應急保障管理

應急保障體系建設完成后，還需要從管理流程上予以明確，通過有效的機制及流程，來確保體系中相關內容的有效落地，在故障發生后真正有效的發揮出應急保障體系的作用。應急保障工作可以按照事前、事中、事后三個階段進行管理。

事前保障是在故障發生前做的準備工作，為后續的使用做好前期工作：建立應急保障組織、編制應急預案、制定演練計劃，安排日常監控與測試工作；

事中保障是對事前保障措施的使用驗證，是指當故障發生時，應急處理流程的具體運作方式及響應情況，包括故障定位，影響評估，應急決策，應急響應，對外通報，應急或容災系統切換、切回，業務驗證，故障解決等工作；

事后保障是指在故障發生和業務恢復后，對出現問題的原因進行分析和總結的過程，以及對現有應急流程優化的工作。

五、總結

通過技術和管理的相結合，建起完整的企業信息系統應急保障體系，在應急故障處理中實現人力保障、物質條件和技術支撐三個層面的保障，將有限的資源充分合理利用，將數據備份、本地高可用、快速應急、應急系統、容災系統五層體系的功能徹底發揮出來，加強對各信息系統及功能業務的保障，為企業提供不間斷的業務支撐服務，保證客戶滿意度、服務質量、企業信譽等不受影響，減少或避免財務損失，增強企業的市場競爭力。