一種分層的企業(yè)級云管理平臺設(shè)計

陳娜，張金娟，劉智瓊

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

1 引言

云計算（Cloud Computing）是一種通過網(wǎng)絡(luò)統(tǒng)一組織和靈活調(diào)用各種ICT信息資源，實現(xiàn)大規(guī)模計算的信息處理方式[1]。作為未來信息服務(wù)體系的核心，其全新的服務(wù)方式為企業(yè)用戶和個人用戶帶來了革命性的ICT體驗。

當前，政府、電信、教育、醫(yī)療、金融、石油石化和電力等行業(yè)都對云化的實施開展了大量研究，由于行業(yè)性質(zhì)、企業(yè)規(guī)模和文化等存在各種差異，其云計算的策略和方法也有所不同。總的來說，其實施策略可以歸結(jié)為2類：對內(nèi)構(gòu)建私有云，進行業(yè)務(wù)系統(tǒng)IT資源整合，提升內(nèi)部IT資源的利用率和管理水平，降低業(yè)務(wù)的提供成本；對外搭建公有云，通過云計算構(gòu)建新興商業(yè)模式的基礎(chǔ)資源平臺，提供公用IT服務(wù)，提升傳統(tǒng)經(jīng)濟的效率，并在應(yīng)用層面推動云計算的落地。本文通過對業(yè)界主流的云計算架構(gòu)進行深入研究，結(jié)合電信運營商業(yè)務(wù)支撐系統(tǒng)的現(xiàn)狀，提出一種分層的云管理平臺架構(gòu)，同時對云平臺的彈性服務(wù)進行了闡述。

2 企業(yè)私有云的云管理平臺設(shè)計

2.1 典型云計算架構(gòu)

結(jié)合當前云計算的應(yīng)用與研究，其體系架構(gòu)可分為核心服務(wù)、服務(wù)管理、用戶訪問接口3層，如圖1所示。核心服務(wù)層將硬件基礎(chǔ)設(shè)施、軟件運行環(huán)境、應(yīng)用程序抽象成服務(wù)，這些服務(wù)具有可靠性強、可用性高、規(guī)模可伸縮等特點，滿足多樣化的應(yīng)用需求；服務(wù)管理層為核心服務(wù)提供支持，進一步確保核心服務(wù)的可靠性、可用性與安全性；用戶訪問接口層實現(xiàn)端到云的訪問[2]。

圖1 云計算體系架構(gòu)

按照核心服務(wù)層提供的資源所在的層次，可以分為IaaS（基礎(chǔ)設(shè)施即服務(wù)）、PaaS（平臺即服務(wù)）和SaaS（軟件即服務(wù)）等。IaaS以服務(wù)的形式，提供計算、存儲和網(wǎng)絡(luò)等基礎(chǔ)設(shè)施資源，用戶無需購買服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備，通過互聯(lián)網(wǎng)租賃即可搭建自己的應(yīng)用系統(tǒng)，幫助削減IT基礎(chǔ)設(shè)施的建設(shè)成本和運維成本；PaaS以服務(wù)的形式，提供軟件開發(fā)、測試、部署和運行環(huán)境以及能力開放接口或應(yīng)用服務(wù)引擎，屏蔽軟件開發(fā)底層復(fù)雜的操作，用戶可以快速開發(fā)出基于云平臺的高性能、高可擴展的服務(wù)；SaaS以服務(wù)的形式，提供各種在線軟件，用戶不必購買軟件，只需按需租用軟件[3]。將核心服務(wù)層劃分為IaaS、PaaS和SaaS，這是典型的云計算架構(gòu)設(shè)計方法。

2.2 電信業(yè)務(wù)支撐系統(tǒng)的層次化設(shè)計

電信運營商依托網(wǎng)絡(luò)和數(shù)據(jù)中心的優(yōu)勢，公有云方面主要通過IaaS服務(wù)進入云計算市場；在其私有云的構(gòu)建上，往往遵循上述典型云計算架構(gòu)，將其核心服務(wù)層分為IaaS、PaaS和SaaS。在建設(shè)初期，建設(shè)的重點是IaaS和PaaS，其中IaaS的建設(shè)需要同時考慮搭建全新環(huán)境以及利用遺留IT資產(chǎn)進行改造的場景；PaaS則主要為適用于云的新應(yīng)用系統(tǒng)提供支撐，以及提供將原有的應(yīng)用系統(tǒng)遷移至云中的解決方案。在IaaS和PaaS建設(shè)初具規(guī)模后，可考慮引入SaaS服務(wù)，重點將企業(yè)多年來信息化建設(shè)積累的產(chǎn)品進行云化，以實現(xiàn)由應(yīng)用到服務(wù)的徹底轉(zhuǎn)型[4]。

在初期進行IaaS層構(gòu)建時，可以同步考慮原有大型復(fù)雜應(yīng)用系統(tǒng)的改造方案。由于這些系統(tǒng)大部分是“煙囪式”獨立建設(shè)的，甚至部分系統(tǒng)是應(yīng)急建設(shè)的，隨著業(yè)務(wù)的發(fā)展和技術(shù)的進步，存在應(yīng)用擴展性差、資源不能共享、開發(fā)部署周期長等諸多問題，因此首要工作是設(shè)計清晰的分層架構(gòu)和應(yīng)用解耦的準備。

采用業(yè)務(wù)與通用操作分層原則，把與業(yè)務(wù)無關(guān)的資源使用、管控操作這些功能，獨立形成資源控制層，以提高系統(tǒng)魯棒性和資源管控能力。目前的電信業(yè)務(wù)支撐系統(tǒng)會大量使用底層的內(nèi)存、進程、消息隊列、網(wǎng)絡(luò)等服務(wù)，并且各個應(yīng)用都有其獨立的使用方法。在初期設(shè)計資源控制層時，可以先把上述內(nèi)容納入統(tǒng)一管理，對上層應(yīng)用提供標準系統(tǒng)調(diào)用，形成平臺級能力，允許經(jīng)授權(quán)后的業(yè)務(wù)支撐系統(tǒng)和其他業(yè)務(wù)系統(tǒng)訪問。

資源控制層的主要能力在未來的云計算環(huán)境下可以構(gòu)成云操作系統(tǒng)（BOSS-OS），如圖2所示。其主要目標是對云計算“基礎(chǔ)設(shè)施”中的資源（計算、存儲和網(wǎng)絡(luò)等）進行統(tǒng)一管理，構(gòu)建具備高度可擴展性并能夠自由分割的ICT資源池；同時，向云計算服務(wù)層提供各種粒度的計算、存儲等能力。

從一級功能視圖看，資源控制層至少包括資源管控、資源使用和自管理三大部分。

（1）資源管控是BOSS-OS的核心，保證其穩(wěn)定運行，主要完成資源分配、資源監(jiān)控等管控工作。

（2）資源使用服務(wù)主要是基于底層平臺資源向外提供服務(wù)（如內(nèi)存服務(wù)、存儲服務(wù)、進程服務(wù)、進程間通信服務(wù)、網(wǎng)絡(luò)服務(wù)）以及原子能力，向外提供資源基礎(chǔ)（原子）能力作為補充手段。另外，還包括數(shù)據(jù)層訪問服務(wù)，向外提供統(tǒng)一的數(shù)據(jù)訪問接口。

（3）系統(tǒng)自管理包括配置管理、通信管理、日志輸出和系統(tǒng)相關(guān)界面管理等。

從二級功能視圖看，資源控制層可以再進一步細分為南向接口、資源管控和資源池、北向接口。

（1）南向接口（資源獲取）

南向接口面向操作系統(tǒng)層面。通過南向接口實現(xiàn)對系統(tǒng)環(huán)境的資源的訪問和獲取，系統(tǒng)環(huán)境的資源包括平臺資源和應(yīng)用資源。平臺資源包括內(nèi)存、存儲和網(wǎng)絡(luò)等；應(yīng)用資源包括數(shù)據(jù)庫、中間件和其他第三方軟件等。南向接口是最底層的封裝，向上屏蔽實現(xiàn)細節(jié)，屏蔽各種操作系統(tǒng)、數(shù)據(jù)庫和中間件的差異性。

（2）資源管控和資源池

各種資源以資源池形式存在，并由各種資源的基礎(chǔ)服務(wù)來進行管理和加工；資源管控負責負載均衡、路由轉(zhuǎn)發(fā)以及對基礎(chǔ)服務(wù)層的資源池進行監(jiān)控。

（3）北向接口（資源提供/分配）

北向接口面向應(yīng)用層面。通過北向接口向外部應(yīng)用提供加工后的平臺資源和應(yīng)用資源，主要為服務(wù)型接口。

2.3 企業(yè)私有云管理平臺功能架構(gòu)

云管理平臺的主要功能包含設(shè)備管理、資源管理、應(yīng)用管理和運維管理，為傳統(tǒng)IT到云的過渡提供完整的解決方案。資源管控層與云管理平臺相結(jié)合，可以實現(xiàn)對底層資源池的共享及統(tǒng)一調(diào)度、軟件自動部署、應(yīng)用統(tǒng)一監(jiān)控、系統(tǒng)彈性伸縮，滿足企業(yè)私有云的業(yè)務(wù)和管控目標。云管理平臺參考架構(gòu)如圖3所示。

云管理平臺的流程步驟如下：

a：應(yīng)用管理節(jié)點進行作業(yè)的任務(wù)切分和分發(fā)，如有空閑的資源普通節(jié)點，則轉(zhuǎn)d。

b：應(yīng)用管理節(jié)點向資源管理節(jié)點申請任務(wù)執(zhí)行的相關(guān)資源。

c：資源管理節(jié)點根據(jù)申請的要求進行各節(jié)點的資源分配：

◆如果有相應(yīng)的資源普通節(jié)點，則在分配的節(jié)點上部署應(yīng)用任務(wù)的執(zhí)行環(huán)境；

◆如果普通節(jié)點資源不夠，則向設(shè)備管理申請資源（如主機），設(shè)備管理對資源進行相關(guān)的配置、部署和激活等。

d：在資源普通節(jié)點上已部署激活的應(yīng)用，執(zhí)行相關(guān)的應(yīng)用任務(wù)。

圖2 電信業(yè)務(wù)支撐系統(tǒng)的云化分層架構(gòu)

圖3 云管理平臺參考架構(gòu)

e：云管理平臺監(jiān)控應(yīng)用管理、資源管理、設(shè)備管理的資源狀態(tài)并提供彈性服務(wù)。

（1）設(shè)備管理

1）設(shè)備分配管理

◆裸機設(shè)備資源的注冊。

◆裸機設(shè)備資源的分配：應(yīng)用部署時，云管理平臺需要能夠根據(jù)用戶設(shè)定的資源要求，自動分配所需的服務(wù)器資源進行應(yīng)用的部署。資源申請信息包括但不限于：硬件規(guī)格、設(shè)備數(shù)量、操作系統(tǒng)類型。

◆資源的安裝部署：管理平臺分配資源之后進行自動遠程安裝部署，包括但不限于：安裝操作系統(tǒng)、配置IP地址等網(wǎng)絡(luò)屬性以及相應(yīng)的配置、安裝、部署、激活。

2）設(shè)備監(jiān)控

◆能夠?qū)ο到y(tǒng)中運行的所有服務(wù)器的健康狀況和負載狀況進行監(jiān)控，并可在界面上查看到相關(guān)的信息。

◆監(jiān)控信息包括但不限于：CPU狀態(tài)、內(nèi)存使用狀態(tài)、硬盤空間、網(wǎng)卡狀態(tài)。

監(jiān)控的方式包括主動心跳檢測和接收上報；

需要對性能信息、告警信息進行采集和實時展示；

可以設(shè)置性能門限，資源使用超越設(shè)置的門限可自動生成告警上報；

提供告警轉(zhuǎn)E-mail、告警轉(zhuǎn)手機短消息功能，使相關(guān)人員隨時隨地了解告警信息。

◆資源回收：對空閑的資源普通節(jié)點進行回收處理。

◆資源的動態(tài)伸縮：根據(jù)資源狀態(tài)，動態(tài)調(diào)度資源的使用。

（2）資源管理

資源管理在設(shè)備資源之上（實際建設(shè)可以考慮將設(shè)備管理合并到資源管理），云管理平臺需要對其進行管理。

1）資源普通節(jié)點需要向云管理平臺上報資源使用情況。

2）負載均衡：云管理平臺根據(jù)應(yīng)用管理分派的任務(wù)，找到空閑的資源普通節(jié)點，執(zhí)行相應(yīng)的應(yīng)用任務(wù)。如沒有空閑的資源普通節(jié)點，則需要向設(shè)備管理申請投入新的資源。

3）資源節(jié)點心跳檢測：定期主動檢測資源節(jié)點的運行狀態(tài)。

4）資源節(jié)點運行監(jiān)控：對資源節(jié)點的運行情況進行統(tǒng)計、分析和展示報告。

5）資源節(jié)點動態(tài)伸縮：根據(jù)設(shè)定的策略對資源節(jié)點進行激活和去激活。

6）資源普通節(jié)點上的應(yīng)用加載和卸載。

（3）應(yīng)用管理

1）應(yīng)用軟件拓撲展示

云管理平臺需要支持對部署運行的應(yīng)用提供應(yīng)用拓撲管理能力，包括但不限于：應(yīng)用的部署形態(tài)（單節(jié)點/雙機/集群）、應(yīng)用分別部署于哪些設(shè)備之上。

2）應(yīng)用程序部署

應(yīng)用部署是云管理平臺把用戶設(shè)計的應(yīng)用拓撲結(jié)構(gòu)實例化的過程。在這個過程中，統(tǒng)一云管理系統(tǒng)根據(jù)用戶的軟件配置，將軟件包構(gòu)建在資源（物理機、虛擬機、計算資源）上，使應(yīng)用靜態(tài)的拓撲結(jié)構(gòu)實例化，成為動態(tài)運行的并提供符合設(shè)計能力的功能實體。

3）應(yīng)用升級

云管理平臺根據(jù)用戶提供的升級包、升級配置和腳本，生成節(jié)點升級數(shù)據(jù)，并下發(fā)給剛剛建立的節(jié)點的客戶端代理；客戶端代理執(zhí)行腳本完成升級包安裝、配置，并啟動升級后的軟件包。

云管理平臺通知智能路由部件某個業(yè)務(wù)開始升級，并注冊升級后的業(yè)務(wù)路由地址。智能路由部件不再向業(yè)務(wù)原有的路由地址轉(zhuǎn)發(fā)新的業(yè)務(wù)請求，而是向新注冊的路由地址轉(zhuǎn)發(fā)。當業(yè)務(wù)原有路由地址關(guān)聯(lián)的業(yè)務(wù)會話結(jié)束后，原有路由地址將從路由記錄中刪除，智能路由通知云管理平臺已刪除的路由地址，云管理平臺對此節(jié)點執(zhí)行節(jié)點卸載，回收資源。

4）應(yīng)用作業(yè)管理

對作業(yè)進行任務(wù)分解，并向資源管控主節(jié)點申請資源來執(zhí)行相應(yīng)的任務(wù)。

（4）運維管理

1）用戶管理

對于云管理平臺的運維用戶的權(quán)限進行分權(quán)分域的管理控制，通過認證、授權(quán)、鑒權(quán)和加密等方式保證云管理平臺用戶帳號的安全性和云管理平臺/被管設(shè)備運行的安全性。

用戶管理提供用戶的增刪改查功能，可以設(shè)置和修改用戶所屬的角色，同時還可以設(shè)置和修改用戶的訪問控制策略。訪問控制策略包括登錄時間控制以及登錄IP地址控制。

用戶的安全策略管理包括用戶密碼策略、帳戶策略和訪問控制策略（任務(wù)列表、黑白名單等）。通過這些策略，保證用戶帳戶、密碼和云管理平臺運行的安全性。

為了避免非法用戶攻擊系統(tǒng)和監(jiān)控在線用戶的操作，云管理平臺提供用戶會話監(jiān)控功能，可以監(jiān)控當前登錄用戶以及登錄時間、登錄IP等信息。管理員可以將某用戶強制退出云管理平臺。

2）日志管理

為云管理平臺管理的應(yīng)用程序提供日志服務(wù)，統(tǒng)一收集應(yīng)用程序產(chǎn)生的日志，集中存儲并提供日志獲取、審計分析和前臺展示等服務(wù)。

3）告警管理

提供告警服務(wù)，應(yīng)用程序和云管理系統(tǒng)在系統(tǒng)發(fā)生故障，不能自動修改需要人工干預(yù)時，通過告警服務(wù)上報告警。

◆業(yè)務(wù)定義的告警：由業(yè)務(wù)通過云管理平臺提供的告警服務(wù)上報的告警，告警的具體含義由業(yè)務(wù)自行定義。

◆云平臺自身產(chǎn)生的告警，包括但不限于：

環(huán)境類：溫度、濕度、電源、風扇。

資源類：

CPU、內(nèi)存占用率持續(xù)超過設(shè)定的閾值，并且無法通過自動伸縮等措施來解決；

VM資源不足，需要人工增加或替換已損壞的單板；

時鐘同步告警：云平臺中各個物理機器上當前時間不一致，并且自動調(diào)整失敗。

通信類：

VM或PM間通訊中斷，并且在指定的時間內(nèi)沒有恢復(fù)；

端口告警，監(jiān)控的端口持續(xù)收到超過閾值的連接請求。

4）支持批量運維操作

支持一次性對多個節(jié)點執(zhí)行同一操作。

例如：用戶希望刪除一個文件，則選擇需要刪除的節(jié)點，然后一次性刪除所有這些節(jié)點上的該文件。

用戶需要做磁盤整理的操作，則輸入該命令，然后選中需要操作的節(jié)點，系統(tǒng)自動在所有的節(jié)點上執(zhí)行這些命令，返回的結(jié)果輸出在文件中。

5）應(yīng)用參數(shù)配置

提供各種系統(tǒng)和應(yīng)用軟件的統(tǒng)一參數(shù)配置功能，實現(xiàn)配置一次就更新所有相關(guān)或者選中節(jié)點的配置。

3 基于云管理平臺的彈性服務(wù)

云計算的獨特性在于它是建立在可自我維護和管理的物理/虛擬資源層上，可以按不同的需求動態(tài)改變需要訪問的資源的種類和數(shù)量，包括增加或減少資源的使用。本文提出的云管理平臺能夠根據(jù)系統(tǒng)的負載進行動態(tài)伸縮，合理利用資源。電信業(yè)務(wù)支撐系統(tǒng)應(yīng)用負載可以分為聯(lián)機交易處理、計算密集型等，下面以計算密集型的任務(wù)如何進行管理和分配為例說明云管理平臺如何實現(xiàn)彈性服務(wù)。

3.1 任務(wù)分配機制

為了更合理的利用資源，將優(yōu)勢資源應(yīng)用于關(guān)鍵應(yīng)用，云管理平臺在進行資源分配時需要有靈活的分配策略，形成相應(yīng)的任務(wù)分配機制。計算任務(wù)分配的主要思想如下：

（1）外部計算請求到達應(yīng)用管理節(jié)點（A-Master）。

（2）應(yīng)用管理節(jié)點根據(jù)任務(wù)信息和執(zhí)行規(guī)則，將任務(wù)分配給應(yīng)用執(zhí)行節(jié)點（A-Slave）。

（3）如沒有足夠的應(yīng)用執(zhí)行節(jié)點來完成任務(wù)，則向資源管理節(jié)點（B-Master）請求資源。

（4）資源管理節(jié)點（B-Master）部署新的應(yīng)用執(zhí)行節(jié)點（A-Slave）到資源普通節(jié)點（B-Slave）來完成新的任務(wù)。

（5）任務(wù)分配后，外部計算請求直接和分配的應(yīng)用執(zhí)行節(jié)點（A-Slave）交互來完成任務(wù)。

任務(wù)分配機制按照一定的云計算資源調(diào)度策略來執(zhí)行，調(diào)度策略是云計算技術(shù)的一個重要組成部分，它主要研究如何為用戶提交的任務(wù)分配計算節(jié)點、如何對計算節(jié)點進行動態(tài)擴展，以及在滿足用戶服務(wù)質(zhì)量要求并且執(zhí)行時間最短的前提下負載均衡程度最高，它的效率直接影響整個云計算環(huán)境的工作性能。文獻[5]和[6]對如何優(yōu)化現(xiàn)有策略分配算法進行了研究，為虛擬機提供合適的物理資源。后續(xù)研究可以參考其優(yōu)化算法并納入資源調(diào)度的流程。

3.2 動態(tài)增減節(jié)點，提供彈性服務(wù)

應(yīng)用動態(tài)伸縮是云計算的一大特色，云管理平臺能根據(jù)系統(tǒng)的負載進行動態(tài)伸縮，合理利用資源。業(yè)務(wù)應(yīng)用的動態(tài)伸縮主要有以下2個典型應(yīng)用場景：

（1）業(yè)務(wù)進程動態(tài)增加（N+1）

步驟說明如下：

1）資源管控模塊根據(jù)應(yīng)用服務(wù)器負載情況（CPU、內(nèi)存）判斷需要增加1臺業(yè)務(wù)服務(wù)器。

2）資源管控模塊在新服務(wù)器上自動部署全部業(yè)務(wù)應(yīng)用并啟動。

3）資源管理模塊修改業(yè)務(wù)能力狀態(tài)表，增加服務(wù)器。

4）資源管理器根據(jù)負載將業(yè)務(wù)請求分派到新增加的業(yè)務(wù)服務(wù)器上。

（2）業(yè)務(wù)進程動態(tài)減少（N-1）

步驟說明如下：

1）資源管控模塊根據(jù)應(yīng)用服務(wù)器負載情況（CPU、內(nèi)存）判斷減少1臺業(yè)務(wù)服務(wù)器。

2）資源管理器根據(jù)策略選擇需要停止業(yè)務(wù)的服務(wù)器。

3）資源管理模塊修改業(yè)務(wù)能力狀態(tài)表，修改服務(wù)器狀態(tài)。

4）資源管理模塊通知應(yīng)用服務(wù)器，告知處理完當前業(yè)務(wù)后退出。

5）應(yīng)用服務(wù)器完成當前業(yè)務(wù)處理。

6）應(yīng)用服務(wù)器停止業(yè)務(wù)進程，終止業(yè)務(wù)能力的提供。

4 結(jié)束語

大型企業(yè)構(gòu)建私有云是一個漫長而艱苦的過程。本文從目前電信業(yè)務(wù)支撐系統(tǒng)的現(xiàn)狀出發(fā)，提出了一種分層設(shè)計方案，深入細致地介紹了企業(yè)私有云管理平臺的功能架構(gòu)，為企業(yè)應(yīng)用改造以及向云計算環(huán)境的遷移提供了一條可行的路徑。后續(xù)將會在基于優(yōu)化策略的應(yīng)用調(diào)度上進一步研究，以滿足業(yè)務(wù)處理的性能需求和提高資源的利用率。

[1] David S Linthicum. 云計算與SOA[M]. 馬國耀,譯. 北京: 人民郵電出版社, 2011.

[2] 羅軍舟,金嘉暉,宋愛波,等. 云計算：體系架構(gòu)與關(guān)鍵技術(shù)[J]. 通信學(xué)報, 2011,32(7): 3-21.

[3] 李衛(wèi),李濟漢,張云勇,等. 電信運營商云計算體系架構(gòu)思考[J]. 電信科學(xué), 2013,29(3): 123-127.

[4] 伍治平,王磊,毛淑華. 面向傳統(tǒng)大型企業(yè)集團的私有云解決方案研究與設(shè)計[J]. 冶金自動化, 2012,36(5): 1-5.

[5] 田宏偉. 云計算環(huán)境下資源分配策略的研究[D]. 濟南: 山東師范大學(xué), 2012.

[6] 郭怡. 基于云計算平臺的電信業(yè)務(wù)支撐系統(tǒng)中資源提供策略的研究[D]. 南京: 南京郵電大學(xué), 2012.★