數據處理中心云服務綜合架構的研究與應用

方 志

（中國電子科技集團公司第五十四研究所 河北 石家莊 050081）

數據處理中心云服務綜合架構的研究與應用

方 志

（中國電子科技集團公司第五十四研究所 河北 石家莊 050081）

分析云計算研究和應用的現狀，闡述了綜合型項目中基于云服務架構建設數據處理中心的典型模式，采用了理論分析和實踐設計的方法，重點研究并提出了數據處理中心的云服務綜合架構，包括云計算平臺、資源管理、架構管理、計算資源部署和云存儲數據倉庫，在建設成本、移植風險和業務性能方面分析了云架構的基礎優勢，并展望了云架構發展前景。

云計算 數據服務中心 服務架構

1 引言

采用云計算技術，設計統一的服務綜合架構，是建設數據綜合處理中心的最佳途徑，是解決軟件危機的重要手段，可為涵蓋多型信息系統的大型項目綜合集成提供有效支撐，能夠有效地解決海量信息的采集與接入壓力大、分發邏輯復雜、存儲資源緊張、處理效率低下及數據產出受限等問題。

在介紹傳統云計算的概念和發展進程的基礎上，結合相關領域的研究與發展現狀，給出了建設基于云計算技術和服務綜合架構的數據處理中心的設計模式，包括應用形式、架構設計及技術措施，并分析了可獲得的基礎優勢和發展前景。

2 云計算及現狀分析

2.1 云計算

常規意義上的“云計算”，是一種基于綜合網絡的計算服務模型[1]，是網格計算、分布式計算、并行計算、效用計算、網絡存儲、虛擬化和負載均衡等傳統計算機技術和網絡技術發展融合的產物。近年來，由于迅猛增長的計算資源性能和基礎設施組成規模，傳統計算模型的局限日益顯著，表現在設備利用率低下、軟硬件運維成本劇增、處理機制大量冗余和信息服務可用性差等方面，上述誘因導致云計算概念得到極度重視和大規模應用。云計算模型總是面向服務設計的，通常包括3個要素院①平臺構建者，完成服務資源的整合和管理；②內容提供者，產出高效可靠的特色服務；③服務使用者，可自由使用資源和獲取信息。

2.2 現狀分析

大型信息化項目的數據中心由于其復雜特性，不能簡單地通過獨立設備提供商或軟件系統提供商提供產品，必須基于綜合解決方案實施，以滿足其項目規模不斷擴大、組成體制更加復雜、協作單位更多和應用需求更加多樣的現狀；相比于傳統單一設備指標或技術功能，用戶更加重視綜合性系統指標，對數據二次生產和綜合應用能力提出了更高的要求。

近年來，以面向服務模式加強互通互聯，采用云計算概念解決體系建設問題，已經成為國家重點部門和業界的共識。在可以預見的時期內，大型綜合項目數據中心建設中，系統技術總體工作、基礎設施建設、服務架構實現以及對第三方系統集成接入等工作將是重中之重。在保持設備高指標和功能專業化等傳統優勢的同時，必須立足長遠，提前規劃，將更多的眼光放在總體能力的技術儲備上，解決大型綜合項目跨平臺、跨體制、跨協議、組網復雜和業務多樣的問題。

3 應用形式

3.1 基礎設施建設統一規劃

傳統的分期分批按系統獨立建設基礎設施的模式具有越來越顯著的缺陷，表現在建設復雜度高、建設周期長、適應能力差、重復投資大和成長性不足等方面，同時要占用大量的人力資源和能源消耗。

為了解決上述問題，同時滿足性能指標彈性可控、綜合協同及規模可變的系統運行條件，根據項目集成規模與特點，采用集群計算和虛擬化等云計算技術對項目基礎設施的建設進行預先規劃，實現硬件設備的統一管理、彈性拓展、可靠運行和安全容災的需要，為不同系統的運行提供集群化的硬件資源保障，包括綜合網絡資源、海量安全云存儲資源、高性能計算資源與業務呈現終端等。

3.2 基于面向服務體系運行

以往構建的業務系統一般采用自主模式執行業務，處理流程封閉，跨系統甚至跨模塊的交互也只能采用握手方式解決。這種模式已經不能適應系統規模劇增帶來的信息流程復雜度，而采用面向服務的信息處理手段已經成為大型綜合項目建設的必要條件。

在接入和匯集跨體制海量信息的基礎上，通過服務虛擬化技術手段，將業務提請與發布分離，建立原始數據、計算能力與業務服務的依托關系，定義松耦合的服務規則，以保證資源的共用、效率和靈活，滿足跨地域、跨系統、跨業務和跨平臺的有效服務整合，實現自主訂閱、自動推送、在線更新、集中審核與統一處理，進而形成一個面向服務的標準體系。

系統數據以服務的方式在該體系內流轉，按需定制以減少冗余處理，在高效運行的前提下支撐成果共用，減低終端數據處理壓力，同時擴大應用功能的范圍和效率；可支持軟件利舊，對現有成果只需要增加服務接口即可完成改造應用；大型綜合項目的所有應用節點在此體系下都可以互聯互通，由于業務性質的差異，系統各項能力可分布在不同服務節點，無需為獲取某項系統服務而擴大業務資源的部署規模，即可最大效益的發揮資源綜合能力。

此面向服務體系可解決數據基礎生產和處理的瓶頸問題，簡化業務關系模型，減少傳輸環節，同時使得應用節點能夠獲得范圍更廣、指向性更強和價值更高的服務，進而推動高級數據產出。

3.3 構建分層化的計算服務

系統服務有時需要高性能計算的支撐，以滿足大流量、高靈敏、多批次和緊急處理的應用需要，這種服務通常具有特性化處理方式和專用算法。傳統解決辦法需要在計算平臺上投入大量資金，卻只能獲得很低的設備利用率，同時計算資源應用范圍狹窄，應用方式靈活性不足，不利于維護和優化，彈性適應與安全保障能力基本沒有。

在復合云架構中，采用分層化[2]計算能力部署來支撐此需求。基于高性能計算資源集群，為此類服務的實現提供硬件平臺，滿足計算能力的基礎需要，可支持動態擴展、作業遷移以及按需定制；部署支撐項目各業務實現的基礎計算單元，提供一系列標準化、分布式、可共用和可替換的通用計算服務支撐，采用作業調度的形式自動管理計算資源的使用；通過配置虛擬化專用處理節點，部署完成項目業務功能實現的高級計算單元，依托于基礎計算單元的作業提交，實現特定業務的按需優化與并行處理，并為不同的上層應用節點提供統一調用服務。

3.4 引入業務構件服務化模型

在業務處理與應用終端，軟件構件化技術的應用使得終端自身的靈活性大幅度提升。在此基礎上，需引入并運用構件服務化應用模型。以往在不同的終端上，當業務要求一致時，需要部署多套處理構件，經常出現處理能力的瓶頸；在復合云架構下，核心處理構件組以服務的模式集中運行，按需創建實例，業務呈現終端的壓力直接得到緩解，而顯控能力理論上可提升到系統總體資源的上限。

4 架構設計及技術措施

4.1 云計算平臺架構設計

基于復合云計算技術[3,4]，構建大型綜合項目運行的平臺架構，簡稱云架構。云架構主要完成硬件資源、數據倉庫、公共服務以及軟件應用的部署與整合，為上層應用提供靈活統一的資源保障和可定制數據服務管理，如圖1所示。在此架構中，底層處理集中部署高效運行，上層應用無需處理通信、接入、分發和適配等問題。

圖1 云服務綜合架構示意圖

4.2 資源管理設計

資源管理設計的功能有如下幾個：

①完成高性能運算服務器群組[5]、數據存儲服務器群組和通信資源等硬件設備的虛擬化控制，將分布式和異構的硬件資源集群分類虛擬化為統一的資源，按系統業務需求進行分區；

②基于資源調配與擴充的需要動態部署資源，包括應用軟件部署、操作系統部署、文件分區部署、網絡節點、桌面節點部署等，可支持鏡像、備份壓縮、動態遷移與還原等方式；

③完成系統連續穩定運行的保障支持，可在線部署和在線擴容，而不中斷上層應用的運行；

④監控集群資源及其附屬設備的技術與工作狀態，包括負載、限額和硬件信息等；

⑤建立管理資源調配策略，可根據資源負載和異常情況自動調用，同時輔助以自動報警手段；

⑥自動統計資源使用情況，完成統計、評估、取證和場景再現，并可與資源調配策略進行關聯。

4.3 云架構管理設計

云架構管理設計的功能有：

①標準的系統服務應用通知接口，用于業務上層節點報告希望獲取及能夠發布的系統服務；

②服務定義模塊[6]，與系統服務應用通知接口關聯，參照數據訂閱分發服務反饋的審核結果，對系統服務進行統一化描述，定義系統服務所包含的具體數據集合與計算動作集合，子模塊可靈活定制和動態調整；

③可用服務顯示，根據系統服務提供節點分發的實際可用數據集合，確定實時的可用系統服務列表，作為應用節點選擇并提請可用服務的依據；

④服務提請配件，分布式部署系統服務應用節點，發送系統服務提請通知，內建數據訂閱模塊；

⑤服務發布配件，分布式部署系統服務提供節點，發送系統服務發布通知，內建動態數據發布模塊；

⑥接入控制配件，提供異構網絡融合的支撐能力；

⑦信息分發配件，將信息以動態組網的方式發布到定制的節點，降低信息流轉冗余，提升效率，并提供更加靈活的業務協同模型構建基礎支撐；

⑧協議適配配件，提供不同信息格式之間的轉譯、封裝和解析。

4.4 計算資源部署設計

計算資源部署設計的功能有如下幾個：

①完成計算資源的平臺級應用部署：安裝不同類型、分組化、規模可變的計算單元或單元集合，可根據系統體系擴充、規模放大、數據資源積累、業務范圍變更以等因素進行適應性管理與調整，提高單元部署規模，如種類和群組數量、計算指標和處理優先級等；

②計算單元群組提供標準的上級應用調用接口，結合系統需求分布式部署，獨立化后臺運行，可實現異態計算與數據訪問任務的并發控制、支持上級調整服務參數；所有計算單元構件化設計，可靈活配置，支持API級跨平臺；

③計算單元包括標準數學庫計算單元、行業專用分析單元以及項目專用計算單元等由低向高的級別。其中標準數學庫計算單元和行業專用分析單元采用對既有資源進行標準封裝的方式完成；項目專用計算單元通過標準接口獲取上述計算單元的支持；

④為計算資源提供作業管理，實現多用戶環境下系統作業的調配及結果匯總，支持交互式作業與批次作業，可自動采用分布和并行等方式處理；可實時對作業執行情況如優先級隊列、資源占用情況和處理進度等進行監視，必要時干預；完成作業限額管理、現場清理和異常檢測；支持快速系統修復、過程數據的自動遷移和數據資源重新分配，在異常時將任務恢復到最近有效節點，保證作業連續性與完整性。

4.5 基于云存儲的數據倉庫構建

主要功能有：①實現海量數據分布式存儲[7]，數據庫不再約束于單一的固定設備；支持高負荷數據吞吐條件下的并行存儲，提高數據交換效率，減少響應時間和互斥等待，并可隨著硬件資源的擴充而提高；其他優化訪問模式；

②可自動進行容災處理，對核心數據建立實時鏡像備份或冗余備份，必要時可自動回溯到指定記錄節點狀態，支持策略化存儲與數據同步。

5 基礎優勢分析

5.1 節約基礎設施建設成本

通過資源整合，將不同系統運行依托的硬件資源集中部署，提高設備利用率，減少閑置狀態和冗余配置，節能減耗。通過業務呈現與交互的云桌面化，降低了業務節點部署的復雜程度和場地占用限制性，人員分工與維護安排更加靈活；通過核心處理設備的集中化部署，在性能得到大幅度提升的前提下，設備量有效減少和結構復雜度降低；由于虛擬化技術的應用，即可保證舊有設備的再利用，也便于增配性能更強的資源設備。

5.2 降低軟件系統移植風險

可為現有、改造和新增的各類軟件系統提供無縫的過渡支持，其實施過程周期短，且影響范圍微小；對于有性能特殊要求的軟件系統，提供可定制的高性能計算資源，將核心計算部分遷移到架構底層，減少軟件開發的工作量和復雜度；可加快軟件系統的部署與調試速度，可集中式管理與遠程監控，節約運行維護成本。

5.3 提升系統業務性能

通過共用化和可調整的資源控制，能夠動態提升指定系統應用的處理能力，相比傳統獨立式部署，對于性能的提升理論上是沒有上限的。上述的處理能力包括運行與傳輸速度、密集IO要求、并發事務處理能力和數據訪問容量等方面。通過局部提升資源指標即可提升系統整體的特定業務應用能力，提高數據生產性價比；通過系統服務定制，可減少無效數據傳遞，提高資源利用的實效性與處理效率。相比傳統模型，可以百乃至萬倍的提升核心計算的運行與數據訪問速度。

5.4 提升運行能力

可有效減少計劃停機時間，常規維護不會影響系統運行，新設備可即插即用；能夠保證業務連續性，局部設備故障時，業務可不受影響地連續運行或自動恢復，減少故障影響。

6 發展前景

復合云計算技術具有如下的發展趨勢：

①應用集中化和規模化：大型云計算數據中心將更多的完成上述任務，布設基礎設施集群、數據倉庫及多樣化專業處理系統；

②服務提供專業化：孤立的應用逐漸式微，面向整體的服務日益占據主流地位，大規模集中部署不同的處理能力以滿足專業性的需求是必然方向；

③萬物皆服務：計算能力、專用設備、數據倉庫和大型系統等都可被定義為服務；

④架構標準化：先期建立的架構必然經過一個標準完善和補充的過程，這將隨著系統載體的增加與部署持續較長一段過程，但又是必不可少的。

7 結束語

常規云計算正在蓬勃發展，專用領域的云計算方興未艾，深入研究大型綜合項目中云計算技術的應用方式具有重要意義。緊密結合工程實踐，基于業務流程的服務化設計思路，設計了標準的云平臺架構，提供彈性可控和復合集群的資源，有效解決了大型綜合項目的集成問題，具有一定的前瞻性和實用價值；同時提出的一些思路還在摸索階段，需要更長時間的驗證和完善，以期更加貼近工程化要求。

[1]修長虹,梁建坤,董鴻曄.云計算技術綜述[J].網絡安全技術與應用,2012(3):10-11.

[2]王放.解析分布式計算的應用[J].電腦編程技巧與維護, 2011(18):8-11.

[3]高巍.云計算帶來的數據中心變革[J].電信網技術,2011(9): 69-73.

[4]江務學,張璟,王志明.云計算及其架構模式[J].遼寧工程技術大學學報:自然科學版,2011(4):575-579.

[5]劉曉茜.云計算數據中心結構及其調度機制研究[D].北京:中國科學技術大學,2011.

[6]陳輝.基于虛擬化環境的數據中心節能管理技術研究[D].北京:北京郵電大學,2012.

[7]孫鑫.面向云環境數據中心的高效資源調度機制研究[D].北京:北京郵電大學,2012.

Research and Application of Cloud Services Comprehensive Architecture in Data Processing Center

FANG Zhi
(The 54th Research Institute of CETC,Shijiazhuang Hebei 050081,China)

The paper analyzes the present situation of cloud computing research and application,and discusses the typical construction mode of data processing center based on cloud services architecture in comprehensive item.Particularly it uses theoretical analysis and practical design method to study and design cloud services comprehensive architecture in data processing center,including cloud computing platform,resources management,infrastructure management,computing resources deployment and data warehouse based on cloud storage.This paper also analyzes the foundation advantage of cloud architecture in such aspects as construction cost,transplantation risk and business function,and looks forward the development of cloud architecture.

cloud computing;data processing center;services architecture

TP311.5

A

1008-1739（2014）02-54-4

定稿日期：2013-12-26