民生銀行：自主打造運維管理平臺， 提升數據中心管理效能

諶力 張申宇

近幾年，銀行在面對數據中心大幅提升的數據量，以及要求越來越嚴格的數據管理、安全標準的情況之下，提升自身運維管理能力，提高數據中心運維效能就顯得刻不容緩。但是，目前市場上大多數基礎設施運維管理平臺對其他品牌產品的兼容性比較差，如果需要實現全平臺、全品牌的兼容管理就需要采用自主研發的手段來實現。

近日，民生銀行科技部系統管理中心硬件運維主管畢偉光介紹了近幾年民生銀行在數據中心建設、運維管理，以及民生銀行近幾年自主研發的存儲管理平臺、帶外管理平臺、自動化運維平臺方面的成功經驗。

結合自身需求 自主研發存儲管理平臺

近幾年，隨著民生銀行數字化建設步伐的推進，存儲平臺和X86服務器的使用量大幅提升，且存儲設備包括了EMC等3家以上主流供應商的品牌。原先的存儲管理系統都是每個品牌管理自己的設備，不能跨平臺管理，存儲系統的變更和日常的維護工作中一大部分還需要依靠人工完成。因此，隨著設備和數據量的增加，運維壓力不斷增加。

畢偉光表示：“實現各個存儲平臺之間的兼容與實時監控，依靠其中哪個廠商都實現不了。我們之前也嘗試著找過第三方的存儲管理平臺的廠商，基本上我們需要的定制化的要求都很難實現，因為平臺品牌數量多，兼容既有其他工具的管理要求高，要實現設備之間的兼容及自動化需要2～3年的開發周期，這個周期太長不能滿足行內的要求。”

正是基于這種情況，以及日益增加的設備數量所帶來的運維壓力，2018年，民生銀行決定結合自身對于存儲管理的使用需求，自主開發一套適合自己的存儲管理平臺。民生銀行利用開源工具，結合運維團隊多年的運維管理經驗，參照包括EMC SRM管理平臺等工具的部分功能及邏輯，自主研發出一套存儲管理平臺。該平臺不光在磁盤存儲方面實現兼容，還在存儲交換機等產品層面實現了不同廠商、不同架構的兼容，還可以實現主機端口信息的兼容，以及交換機的配置、狀態，存儲的配置、狀態、容量等信息的實時提取和顯示，實現了存儲系統的跨平臺管理。

談到存儲管理平臺的作用，畢偉光表示：“存儲管理平臺搭建起來之后，在解決自動化巡檢和監控問題的同時，還解決了自動化配置變更的問題。原有的監控系統管理起來并不精密，依靠人工管理難度大，效率低，統一整合到一個平臺之后，大幅提升了數據的質量和準確度，在此基礎上實現了自動化運維的功能，包括跟其他平臺的銜接也更順暢了。”

隨著存儲管理平臺的投入使用，運維效率大幅提升，運維人員有更多時間跟精力投入對平臺的升級、迭代，以及對存儲設備的精細化運維中。

積極探索統一帶外管理工具

隨著小型機下移和分布式技術的發展，近幾年服務器使用數量大幅增長，X86架構服務成為主要增加的服務器設備。原有的服務器運維方法已經不足以應對日益增長的服務器數量。畢偉光表示：“目前民生銀行使用的服務器包括X86服務器和小型機。各個不同的服務器品牌之間的管理工具相互兼容性并不好，我們想通過一個平臺實現所有服務器的統一管理。面對這種情況，民生銀行在2018年自主研發了一套帶外管理平臺。”

帶外管理平臺是一個基于開源平臺基礎上的監控、管理和配置收集的分布式平臺。相比于需要通過操作系統的帶內管理來說，帶外管理平臺不需要登入操作系統，只是基于設備的微碼層面，就可以在微碼層面管理設備的硬件，相比于帶內管理平臺，帶外管理平臺減少了運營成本、提高了運營效率、減少了宕機時間、提高了服務質量。

“民生銀行在開源平臺的基礎上開發的帶外管理平臺，只要設備接通電源，接入網絡后，就可以通過帶外管理平臺來收集服務器的配置信息，管理服務器的監控指標，并處理服務器發出的告警，排查硬件層面的問題，第一時間進行監控及處理，并且并不受設備品牌及架構的限制。”畢偉光談到。

據介紹，在民生銀行自主開發帶外管理平臺的過程中，戴爾為民生銀行提供了部分代碼及技術層面的支持，以完善帶外管理平臺的功能。在測試階段，戴爾還參與了部分腳本的測試。

緊跟科技發展潮流 進軍自動化運維

除了存儲管理平臺和帶外管理平臺之外，早在2017年，民生銀行就開始搭建自己的自動化運維平臺。

“自動化運維是一個體系的建設，并不是建設好一個平臺就能實現自動化。在實現自動化的過程中，從上層的審批、管理的維度，到一些制度的落實，包括一些運維經驗及習慣的改變都很重要。”談到自動化運維平臺的應用，畢偉光表示：“自動化是一把雙刃劍，一方面提高了運維的效率，另一方面也放大了運維的風險。在初期部署時，我們就遇到過在測試環境中，自動化刪除了一批不該刪除的數據，在經驗積累之后，對自動化帶來的風險已經能夠掌控，這是一個逐步推進和掌握的過程——在平臺搭建的初始階段只是實施腳本的自動部署、配置的自動收集，緊接著實現了自動化腳本的執行，自動化的安裝。到目前為止，從部署到運行都可以實現自動化。”

在2018年年初，通過與PaaS平臺結合，民生銀行的自動化運維平臺正式上線，目前還處于不斷完善的過程中。因為自動化運維平臺與硬件平臺以及服務器之間的銜接比較多，最初民生銀行實現的一些功能都是通過自動化運維平臺進行數據的采集，現在隨著其他的平臺上線，自動化運維平臺主要負責實現系統級數據的采集和部署。

談到自動化運維的經驗，畢偉光說：“自動化運維首先要有審核、把控的機制，沒有一個嚴格的審核、把控機制，運維風險會被無限放大。其次，要不斷完善運維體系、流程、制度，使之和自動化系統相匹配。例如，原先都是通過人工實施，實現自動化執行之后，相關的人工的決策環節要制定清楚。”

現在，民生銀行在不斷完善自己各個平臺及系統的同時，還在緊跟科技的潮流，推進智能運維實施落地。民生銀行將各個平臺之間進行整合，開發出不同的功能。比如，運維可視化可以將基于應用運維的平臺整合到可視化平臺中，與CMDB數據庫、存儲管理平臺以及帶外管理平臺對接后，形成了一個更系統化、架構化的平臺，這是目前民生銀行在主要推進落地應用的項目之一。

隨著智能化、自動化的推進，提高了運維人員的工作效率，“原先許多操作都需要人工進行復核比對，現在實現自動化運行，節省出來的人工可以更多投入到運維制度建設、精細管理和工具化實施中，進一步提高運維效率，降低運維風險，從而形成良性循環。”畢偉光表示。