IT設備帶外管理研究與實踐

金 鑫

（中國移動通信集團廣西有限公司 南寧 530022）

IT設備帶外管理研究與實踐

金 鑫

（中國移動通信集團廣西有限公司 南寧 530022）

IT硬件設備以往主要依賴“帶內管理+現場管理”的維護模式，在維護人員數量有限的情況下，難以應對不斷增長的設備數量，也無法滿足日益提高的維護要求。為解決IT設備管理和維護中遇到的難題，迫切需要尋找有效的技術手段，以提升維護質量、管理效率并減少人力消耗。本文重點就IT設備引入帶外管理的思路進行闡述，并對帶外管理的實施經驗進行總結，以供后續IT設備的管理工作參考借鑒。

IT設備；帶外管理；控制器；巡檢

1 管理現狀

隨著廣西移動網絡規模的不斷擴大，數據業務和網管應用的不斷推廣，相應的IT硬件設備數量越來越多，設備機房分布也相對零散，給硬件設備的管理和維護工作帶來一定的困難。

1.1 設備類型繁雜，數量眾多

目前網絡運營中心管理的IT設備逾千臺，主要由主機、磁盤陣列和網絡設備3類構成，其中，主機包括Unix小型機和 PC服務器，涉及 Sun、IBM、Fujitsu、HP等廠商硬件；磁盤陣列涉及Sun、IBM、EMC、華為等廠商硬件；網絡設備包括交換機、路由器和防火墻，涉及Cisco、華為、烽火、Juniper等廠商硬件。

同一廠商的某類設備，還可細分為多種具體型號。以Sun的Unix小型機為例，從低端到高端包括V240、V440、V880、V890、E4800、E4900、E6900、M5000、M8000等機型。

可見，IT設備具備類型多、廠商雜、型號密、數量大的特點，其管理與維護工作的難度也與語音網設備不同。

1.2 設備分布零散，維護不便

目前網絡運營中心管理的IT設備，主要分布在二樞紐機房、白沙機房和608機房。出于安全管理的需要，機房進出需要辦理相關通行手續，并登記出入情況，不便于硬件故障的搶修；各機房的地理位置相對較遠，無論是例行巡檢還是故障搶修，都要耗費一定的路途成本；一般機房內部不設置桌椅，機柜附近也很難給筆記本電腦取電，而且機房內外溫差較大，不利于人工長期作業。

因此，面對海量的IT設備，以人力奔走于機房之間的維護方式不但效率低下，而且耗時耗力。

1.3 維護手段單一，效率低下

目前IT設備的管理和維護手段主要是“帶內管理+現場管理”的方式，即在設備運行正常的情況下通過業務通道對設備進行帶內管理，在設備無法遠程訪問的情況下到機房現場對設備進行console管理，同時將機房巡檢的方式作為硬件保障的基本手段。在實際運維工作中，仍然存在下述難題。

·機房巡檢是硬件維護最基礎的工作，面對大量的IT設備，以人力到機房現場進行巡檢的方式效率非常低下，既無法保證巡檢的及時性，也無法驗證巡檢的有效性。

·當突發緊急硬件故障時，只能依賴維護人員趕到機房現場進行排障工作，對于位置較偏遠的機房，在路途上的時間消耗比較大，而且整個故障處理的流程顯得過于被動。同時，現場console連接需要使用多種接口的線纜串接，并在終端上配置特定的連接參數才能實現console登錄，略顯繁瑣。

·由于機房環境的制約，現場操作往往不便于與支持人員進行有效溝通。因為缺乏網絡支持，WWW、郵件和IM工具等高效的溝通途徑無法實現，通常只能依賴電話支持的方式，將現場情況通過語言描述給支持人員，由于語言表達的溝通效率和準確性相對較低，往往會影響事件處理的效率。

1.4 存在的問題

毫無疑問，隨著廣西移動網絡規模的不斷擴大，相應的IT設備越來越多，而且機房管理有既定的規范和要求，不可能為了維護的便利性而犧牲管理的安全性。因此，在IT設備越來越多而維護人員數量有限的情況下，迫切需要改變現有的管理和維護手段，通過技術手段提升維護質量、管理效率并減少人力消耗。

2 解決方案

面對上述問題，要想達到“提升維護質量、管理效率并減少人力消耗”的目標，就必須通過技術手段實現“四化”，介紹如下。

（1）管理遠程化

將管理界面盡量拉到機房之外，從區公司網絡運營中心辦公區即可實現遠程管理，除硬件更換之類必須現場操作外，大部分管理和維護工作均可遠程實現，不再需要在機房間奔走。

（2）維護智能化

通過編寫腳本程序，對IT設備進行CLI（命令行接口）方式巡檢，并對指令執行結果進行自動化分析，從而得出設備運行概況，并最終以友好的界面呈現，供維護人員監控。

（3）巡檢自動化

通過腳本程序的定時執行，維護人員可以準實時地對IT設備進行硬件級別的監控，相當于人工到機房進行現場巡檢，但巡檢頻次得以大幅提高，巡檢效果得到有效保證。

（4）接口簡易化

為IT設備的管理網口規劃IP地址，從而通過Telnet、SSH、HTTP等更友好的方式實現設備的console訪問，不再需要現場復雜的線纜連接和參數配置。

2.1 設備管理模式

根據控制信息與承載信息在物理通道上的關聯性以及控制終端與設備實體在通信距離上的遠近性，IT設備的管理模式可以分為3種層次。

（1）帶內管理

控制與承載共用同一物理鏈路或同一操作界面。帶內管理是目前最常用的管理手段，其最大的缺陷在于當設備出現故障無法遠程訪問時，管理行為將無法實施，如日常維護中對主機A進行重啟操作，但主機在重啟過程中吊死，導致無法正常啟動，從維護終端側將無法遠程訪問主機A，此時維護人員在遠端束手無策，只能趕到機房現場實施近端帶外管理。帶內管理模式如圖1所示。

（2）近端帶外管理

控制與承載相分離，通過數據線進行近端控制。近端帶外管理是現場處理故障最主要的手段，通常以專用數據線纜將設備console口與筆記本電腦對接，通過筆記本電腦對設備控制器進行訪問，從而實施管理行為。近端帶外管理模式如圖2所示。

（3）帶外管理網絡

控制與承載相分離，通過IP網絡實現遠程控制。帶外管理網絡是近端帶外管理的IP化延伸，通過對設備的管理網口配置靜態IP地址，并接入專門規劃的IP網絡，就能實現硬件設備的遠程管理。帶外管理網絡模式如圖3所示。

要實現“管理遠程化”與“接口簡易化”的目標，首先必須構建帶外管理網絡，而構建帶外管理網絡就必須對IT設備的管理網口配置IP地址。

2.2 設備管理網口

無論是Unix小型機還是PC服務器，無論是交換機還是路由器乃至磁盤陣列，所有中高端IT設備均提供控制器的管理功能。console口是IT設備最基礎的管理端口，在設備未部署任何配置的情況下，只能通過console口對控制器進行訪問。通常console口的物理形式是串口或RJ45口，并以串口線與計算機相連，從而進行設備的初始化配置。

除了console口外，IT設備還有一個二級管理端口——管理網口，該端口必須經由console口進行簡單的IP配置后才能訪問。配置IP地址后，維護人員就可以通過網線連接管理網口，并獲得與console口同樣的管理權限。因此不管是console口還是管理網口，都是訪問IT設備控制器的管理端口，只不過連接的形式不同。

針對不同的設備類型，控制器的硬件形式也有所不同。

·對于Unix小型機而言，控制器也稱SC（system controller），相當于硬件設備最底層的操作系統，其運行獨立于設備本身，即使小型機宕機，只要控制器工作正常，仍然可以通過控制器對設備進行管理和維護。通常低端小型機只有一個控制器，而中高端小型機往往具備兩個控制器，可以提供更高級別的設備保障。

·對于PC服務器而言，控制器獨立于設備本身，是硬件設備最底層的操作系統，這與Unix小型機類似。考慮到PC應用的保障要求較低，通常PC服務器只提供一個控制器。

·對于磁盤陣列而言，不存在上層操作系統的概念，控制器就是設備的核心處理器，一旦控制器發生故障，主機將無法正常訪問磁盤陣列上的數據。當然，通過訪問控制器，可以對磁盤陣列進行管理和維護。通常低端磁盤陣列只有一個控制器，而中高端磁盤陣列則具備兩個控制器。

·對于網絡設備而言，控制器就是設備的操作系統，由于管理網口的配置數據是網絡設備配置數據的一部分，一旦網絡設備發生嚴重故障，管理網口可能無能為力，還得依賴console口的管理功能。

可見，構建帶外管理網絡實際上就是把IT設備的控制器當作IP設備接入IP網絡。作為IP設備，控制器的管理網口需要配置IP地址、掩碼和網關，才能在IP網絡中正常通信。因此，將控制器接入IP網絡，離不開網絡規劃和IP分配工作。

2.3 管理網絡規劃

目前網絡運營中心管理的IT設備基本承載于MDCN之上，因此IT設備的控制器也盡量就近接入MDCN，從而在區公司網絡運營中心辦公區實現IT設備的遠程管理。

在控制器的管理網口IP（簡稱管理IP，以區別于設備的業務IP）地址分配方面，綜合考慮MDCN地址（后簡稱公網）資源的有限性和遠程連接的便利性，擬定規劃原則如下。

·對于公網IP資源富裕的網段，給控制器分配公網IP（如10.184.0.0段），以獲取遠程直接訪問的便利性，如圖4所示。有兩臺華為的M2000網管服務器，其業務IP分別為10.184.28.90和10.184.28.88，管理IP分別為10.184.28.91和10.184.28.89，從區公司辦公大樓5樓的維護終端可以很方便地直接訪問兩臺網管主機的控制器（即SC）。

·對于公網IP資源緊張的網段，給控制器分配私網IP（如192.168.1.0段），然后通過一臺雙網口主機作為跳板，實現遠程間接訪問，如圖5所示。廣西EOMS（電子運維系統）服務器的業務IP是10.184.13.165，由于10.184.13.0段的IP資源有限，只能給該主機分配私網地址作為管理IP，如192.168.1.75。同時，以設備所在機房（二樞紐機房）的一臺主機作為跳板機，實現從維護終端到設備控制器的間接訪問，即維護人員先遠程訪問（Telnet或圖形界面）跳板機，再從跳板機訪問目的設備的控制器。

在管理IP配置方面，除IP地址外，還涉及子網掩碼和默認網關。對于采用公網IP的情況，建議掩碼和網關參考業務IP配置；對于采用私網IP的情況，建議掩碼設為255.255.255.0，網關設為跳板機的私網IP（如圖 5中跳板機第 2 個 IP：192.168.1.201）。

2.4 跳板環境部署

根據IT設備所在機房和控制器訪問方式的不同，其使用的跳板主機也不盡相同，每個機房最起碼應設置一臺Unix主機作為跳板機，必要時還需設置一臺Windows跳板機。考慮到某些控制器（常見于磁盤陣列）需要在跳板機上安裝相應的管理軟件才能實現管理功能，而且管理軟件需要占用一定的磁盤空間和主機負荷，因此建議跳板機采用配置較高的閑置工作站。

為滿足多臺IT設備的帶外管理需求，在跳板機私網側還需要部署至少一臺交換機，作為私網IP控制器的接入。考慮到私網的網絡結構相對簡單，一般按照整個C類地址進行分配，不存在多邏輯子網并存的情況，因此跳板交換機只需要使用低端交換設備即可，如Hub或二層交換機。

3 應用模式

搭建完善的帶外管理網絡，僅僅為維護人員與IT設備之間鋪設了獨立控制通道，利用該控制通道可以方便、快捷地對IT設備進行遠程管理和維護。但更重要的是，如何將帶外管理網絡應用到實際的運維生產中，如何通過控制器對硬件設備進行遠程巡檢，是接下來需要進一步探討的話題。

3.1 遠程訪問方式

首先從控制器的訪問方式看，各類IT設備所提供的管理界面不盡相同，目前最主流的3種帶外管理UI分別是：CLI方式，即命令行方式，維護人員通過輸入專有指令對設備進行管理；B/S方式，維護人員通過Web瀏覽器打開管理頁面對設備進行管理；C/S方式，維護人員通過專用管理軟件對設備進行管理。另外，還有少數控制器采用“菜單交互方式”，如Sun的3000系列磁盤陣列。

早期的IT設備通常只提供一種管理UI（CLI或B/S方式），隨著硬件產品的日新月異，提供兩種管理UI漸漸成為IT業界的趨勢。多種管理UI并存緣于IT設備在管理和維護需求上的千差萬別，每種管理UI都有其優劣所在，見表1。

盡管B/S與C/S方式具備管理UI界面友好的優勢，但是并沒有真正解決設備數量眾多帶來的巡檢人力消耗的難題。因為遠程訪問逐臺設備進行圖形化操作的巡檢方式，與在機房現場查看設備狀態燈的巡檢方式相比，本質上并沒有解放巡檢勞動力。因此這兩種管理UI更適用于設備發生故障時的遠程處理以及預處理，其意義在于提高故障處理效率、減少設備退服時長。

表1 帶外管理UI對比

顯而易見，最理想的巡檢方式就是利用CLI接口的開放性，通過二次開發編寫巡檢程序，讓程序代替維護人員對海量IT設備進行巡檢，即自動巡檢。常見的支持CLI管理 UI的 IT設備包括 Sun的 Unix小型機、Fujitsu的 Unix小型機、Sun的磁盤陣列、IBM的磁盤陣列等，這些設備都可以利用自動化巡檢減輕巡檢人力消耗。

3.2 遠程巡檢規范

實現自動巡檢，必須針對各類CLI管理UI的IT設備制定指令級的巡檢規范，即通過什么CLI指令查看設備運行狀況，對指令的輸出報文如何進行分析和判斷。下面以幾種常見的主機和磁盤陣列為例，整理歸納單條指令巡檢的分析規范。

（1）Sun Fire V880/V890

Sun中低端Unix小型機，通過Telnet<管理IP>方式訪問控制器CLI。

巡檢指令：showenvironment。

分析規范：指令輸出報文中，GEN FAULT（設備故障燈狀態）為OFF時，表示設備運行正常，否則設備運行異常，需要進一步診斷，報文范例如圖6所示（粗體標識部分）。

（2）Sun Fire E4800/E4900/E6900

圖6 Sun Fire V880/V890報文范例

Sun中的高端Unix小型機，通過Telnet<管理IP>方式訪問控制器CLI。

巡檢指令：showcomponent。

分析規范：指令輸出報文中，所有組件的Status列（設備狀態）為enabled時，表示組件狀態正常，否則該組件狀態異常，需要進一步診斷，報文范例如圖7所示（粗體標識部分）。

（3）Fujitsu Enterprise M4000/M5000/M8000/M9000

富士通主流Unix小型機，通過Telnet<管理IP>方式訪問控制器CLI。

巡檢指令：showstatus。

分析規范：指令輸出報文中，存在“No failures found in System Initialization.”字符串時，表示設備運行正常，否則設備運行異常，需要進一步診斷，報文范例如圖8所示（粗體標識部分）。

（4）Sun StorageTek 6130/6140/2540

Sun主流磁盤陣列，需要在Unix跳板機上安裝Sun Storage Common Array Manager管理軟件，以便在跳板機上直接運行CLI指令。

巡檢指令：sscs list alarm。

分析規范：指令輸出報文中，無任何告警信息時，表示設備運行正常，否則Device所標識的設備運行異常，需要進一步診斷，特別要注意Date所顯示的告警時間，通常只關注最近的告警即可，報文范例如圖9所示（粗體標識部分）。

（5）IBM System Storage DS3000/DS4000/DS5000

IBM主流磁盤陣列，需要在Unix跳板機上安裝IBM DS Storage Manager管理軟件，以便在跳板機上直接運行CLI指令。

巡檢指令：SMcli<管理IP>-c"show storagesubsystem healthstatus;"。

分析規范：指令輸出報文中，Storage Subsystem health status（存儲子系統健康狀態）為optimal時，表示設備運行正常，否則設備運行異常，需要進一步診斷，報文范例如圖10所示（粗體標識部分）。

3.3 設備自動巡檢

通過對巡檢規范的梳理，不難看出CLI管理UI是純文本的接口方式，即輸入的指令和指令輸出的報文都是純文本。考慮到Unix平臺天生具備功能強大的shell腳本編程環境，而且shell腳本對文本的支持友好靈活，因此可以在Unix跳板機上以shell腳本編寫巡檢程序，實現CLI管理UI設備的自動化巡檢。自動化巡檢相關流程如圖11所示。

圖7 Sun Fire E4800/E4900/E6900報文范例

圖8 Fujitsu Enterprise M4000/M5000/M8000/M9000報文范例

圖9 Sun Storage Tek 6130/6140/2540報文范例

圖10 IBM System Storage DS3000/DS4000/DS5000報文范例

步驟1：巡檢程序部署在Unix跳板機上，以crontab的形式周期性運行；程序以CLI方式訪問設備A的管理UI，并執行相關巡檢指令。

步驟2：設備A接收巡檢指令后，將指令執行結果以文本報文的方式返回給Unix跳板機；巡檢程序根據既定的巡檢規范對報文進行分析，通過字符串匹配的方式判斷設備的運行狀況。

步驟3：程序匯總同類型多臺設備的巡檢結果，生成HTML文件，并通過FTP上傳到Web服務器相關Web目錄下；Web服務器是Windows平臺，利用自帶的IIS服務發布簡單的HTTP和FTP站點。

步驟4：最終維護人員可以在終端上以HTTP頁面瀏覽的方式，便捷直觀地查看多臺IT設備最近的巡檢情況。

毫無疑問，利用程序對IT設備進行周期巡檢的方式，從根本上將維護人員從繁瑣機械的現場巡檢工作中解放出來。維護人員只需要在終端上瀏覽Web頁面，就能掌握設備（僅限于CLI管理UI的IT設備）的運行狀況，而且巡檢的頻次和效果均明顯優于現場巡檢。

3.4 多維管理模式

依據上述帶外管理相關技術背景，可以建立更強有力的IT設備多維管理模式，即“以遠程帶外管理為主，以現場維護為輔”的立體維護模式。無論是設備的例行巡檢，還是設備的故障處理，都不再局限于現場維護的單一手段，依托帶外管理的靈活性和擴展性，在減少人力消耗的前提下，仍然有效地提升維護質量和管理效率。

（1）例行巡檢

鑒于大多數IT設備都支持CLI管理UI，那么通過程序實現的自動化巡檢可以覆蓋大部分設備；而少數不支持CLI管理UI的設備，也可以通過遠程圖形化操作的方式進行巡檢，從而節省機房奔走的路途人力消耗。同時，機房現場巡檢作為輔助手段，以彌補遠程帶外巡檢的盲點與不足（如不支持控制器的低端IT設備）。

（2）故障處理

通常設備故障主要緣于軟錯誤（即不是硬件損壞），使用遠程帶外維護的方式，可以及時對故障設備進行診斷和修復，大大縮短故障歷時，有效保障業務質量；對于較復雜的設備故障，維護人員也可以利用遠程帶外維護的方式提取設備信息、日志，并通過互聯網方式申請技術支持。若經過遠程診斷，確認為硬件損壞，那么硬件搶修人員在趕到機房現場之前，也可以有針對性地申請備件。

4 結束語

在運維工作中，不可避免地面臨網絡規模不斷擴大、維護要求不斷提高的現狀，帶外管理是有效提升IT設備維護質量的可靠手段和必然要求。盡管在搭建帶外管理網絡和部署程序自動巡檢方面，本文進行了一定程度的探索和實踐，但距離開篇提出“管理遠程化、維護智能化、巡檢自動化、接口簡易化”的理想尚有一定的差距，畢竟有些設備不支持控制器，而且有些設備不支持CLI管理UI。總之，本文提出的IT設備帶外管理思路是值得借鑒的，同時IT設備管理模式的研究，也是需要持續探索和不斷深入的。

Research and Practice on Put-of-Band Management for IT Equipment

Jin Xin
(China Mobile Group Guangxi Co.,Ltd.,Nanning 530022,China)

To address management and maintenance problems encountered,the urgent need to find effective techniques to improve maintenance quality,improve management efficiency and reduce human consumption.This article focuses on the introduction of out-of-band management for IT equipment to elaborate the idea,and sums up the experience in the implementation of out-of-band management.It is a reference to the management of IT equipment.

IT equipment,out-of-band management,controller,patrol

2011-09-02）