PaaS混搭云構建與節點優化配比分析

楊 軍，潘寶軍，原 鑫

（華北計算技術研究所 軟件平臺研發部，北京100083）

0 引 言

基于虛擬化、服務化技術的云計算近年被互聯網企業、大型企業信息系統廣泛采用，相對于傳統企業信息系統采用的 “單位機房＋物理服務器”的模式，云計算一般采用 “設備購買或租用＋虛擬機調度”的模式，兩種模式差別明顯，因此傳統系統向云計算模式遷移的過程面臨如何有效利用已有硬件和傳統服務的問題。雖然云計算具有易伸縮等優點，但其所基于的虛擬化技術存在性能損耗，如果能夠合理組合傳統服務器和云服務器的資源配比，可以有效減小服務中心的運行成本。

1 基于Cloud Foundry的PaaS技術

PaaS （platform as a service）指平臺即服務［1］，它提供包含軟件部署，運行和維管等能力的軟件開發平臺，并以服務的形式發布使用。一般來講PaaS會綜合利用虛擬化、集群、智能路由、自動部署、監控維管等技術［2，3］。

CF （cloud foundry）是VMware等組織合作發布的開源PaaS云平臺［4］。它能夠合理利用組織的計算、存儲資源，支持應用的按需部署、運行和維管，應用可以按需求靈活擴展而無需考慮硬件、網絡及操作系統層面的變動。其邏輯結構如圖1所示［5］。

CF的邏輯架構主要包括：計量和日志：主要用于進行

圖1 cloud foundry的邏輯構成

日志、計量等管理；消息總線：提供組件間通信的輕量級訂閱/發布總線；服務代理：代理對某些服務、數據庫的訪問；應用存儲于執行：提供應用實例的存儲以及執行的基礎環境；生命周期管理：管理云平臺、其中應用的創建、執行、銷毀等狀態；認證授權：管理登錄、憑證、權限等；路由：管理訪問到服務的路由選擇。

分析以上結構，CF提供的應用按需動態擴展能力，主要由以下模塊具體實現。

（1）資源虛擬化技術：利用硬件輔助虛擬化機制和虛擬化軟件 （如VMWareESX），對計算、內存、存儲、網絡等硬件資源進行虛擬化，實現對底層硬件資源的 “池化”，達到應用與基礎平臺解耦。

（2）提供應用資源隔離的DEA 容器：DEA （droplet execution agent）是執行應用的運行環境，運行于虛擬機之上，內部封裝了應用執行體及其所需的CPU、內存、磁盤、網絡等資源需求。

Warden是運行DEA 的容器，它利用Linux的cgroups機制，高效地實現了將一臺虛擬機內多個DEA 的運行時資源隔離。

（3）監控整個CF平臺狀態的Health Manager：負責監控各DEA 的運行時狀態，如有異常，將通知Cloud Controller進行處理。

（4）CF全局管理控制器Cloud Controller：控制CF 平臺的應用，支持對應用進行打包和預處理，完成服務與應用的綁定，對外發布供用戶訪問的服務；根據請求是用戶訪問還是管理命令進行分別處理。能夠基于Health Manager的監視數據，根據預定策略，啟動或合并的DEA 實例，實現服務能力的動態伸縮。

（5）服務路由器Router：是CF平臺提供外部訪問的總入口，將接收到的請求區分為管理控制請求和應用訪問請求，再分別交由Cloud Controller或具體某個應用DEA 去執行。

（6）提供服務接入的Service Broker：提供各類服務在平臺內的注冊、發布和實例請求等功能，可用于引接第三方服務或遺留應用，完成各類服務的整合。

2 兼容遺留系統的混搭云構建

2.1 實施SOA理念的云服務

SOA （service oriented architecture）面向服務的體系架構［6］，將功能和數據以服務形式發布，供服務提供者查詢訪問，一般采用UDDI （universal description，discovery and integration）設施作為服務注冊中心。

企業傳統服務或者基于CF平臺托管的服務均可發布到UDDI中。當傳統服務達到一定規模時，往往通過負載均衡入口對外提供服務訪問入口并注冊到UDDI中。而基于CF平臺的云服務可通過其入口HAProxy注冊到UDDI中。

2.2 混搭云的構建方法

在構建云服務時，往往需要面對引接遺留應用的問題［7］，參考文獻 ［8］提出的服務集群資源整合的若干關鍵問題：如遺留應用引接、服務節點的負載均衡調度等，混搭云的體系架構同樣需要面對。雖然CF 提供Service Broker機制，可以將傳統服務的訪問請求由Router路由轉發，但當遺留服務請求達到一定規模時，通過CF 的Router轉發會帶來繁重的流量壓力，而且造成一定的性能損失。

CF平臺是新近推出的基于虛擬化的分布式應用管理與執行平臺，業界對其的研究相對較少，本文對CF平臺進行了深入研究，并完整提出一種組合利用傳統服務和CF平臺托管云服務的方法，稱為混搭云。如圖2所示。

傳統服務基于計算機上部署應用服務實例的方式運行［9］。預先部署在多臺計算機上的服務實例被引接到統一的負載均衡入口 （采用Nginx反向代理等技術），通過向服務注冊中心UDDI注冊成為可供用戶發現、訪問的服務，用戶訪問請求將按預設計的策略分流到不同服務實例。另一方面，通過分布在各計算機上的監控代理，可實現服務的部署安裝、服務及機器狀態監控等［10］。這類基于傳統服務的優點是無虛擬化的性能損耗，同等配置的計算機資源可承受的負載更大，其缺點是硬件資源利用率低，不易擴展。

基于CF平臺的云服務綜合采用虛擬化技術、權限隔離、應用封裝與自動部署等技術實現［5］。通過虛擬化管理軟件實現對計算、存儲和網絡資源的虛擬化，形成資源池。基于資源池按需創建不同的虛擬機，每個虛擬機中根據需要創建若干Warden，各Warden可訪問調度的資源相互獨立；基于Warden再按需創建DEA，作為運行應用服務實例的容器。當有服務訪問請求到達時，入口的HAProxy負載均衡器將按設定策略選擇內部某個Router，Router根據請求類型分類處理：管理請求交由Cloud Controller，將用于訪問路由選擇交給某個DEA。Cloud Controller負責處理CF平臺的各類管理請求處理，并結合Health Management搜集的各DEA 的狀態，按策略進行服務實例的處理，在負載過高時創建DEA，在負載過低時刪除DEA 等。與傳統服務相比，基于CF平臺的云服務相比，其可擴展性、動態調整性大大提升，但由于其基于虛擬化機制實現，故利用同等資源可處理的最大負載較低。

圖2 混搭云的體系結構

混搭云將傳統服務與基于CF平臺的云服務搭配使用，綜合發揮傳統服務高效、云服務易伸縮的優點。從發布服務角度，將兩類服務實例都注冊到服務注冊中心，并對于前端用戶透明，用戶訪問按設定路由策略被分配到兩類服務的某個具體實例；從服務維管角度，將傳統服務的監控管理工具與CF 的Health Manager、Cloud Controller結合起來，實現對傳統服務和云服務的綜合維管。可以有效保護已有投資、綜合提供服務。

3 用戶訪問的特征分析

3.1 不同服務的用戶訪問量分布有差異

混搭云提供了將傳統服務和云服務綜合使用的模式，傳統服務不易擴展但可支撐的最大負載更大，基于CF平臺的云服務易于動態調整，但由于虛擬化的性能損耗，同等資源可處理的最大負載較低。為了達到運行成本的最小化，有必要通過分析負載特征，尋找兩類服務的硬件資源合理配比。

Alexa是網站訪問量和世界排名的權威發布站點，其中發布了世界排名靠前的網站的近期的點擊數、訪問量等，反映了世界最著名網站的用戶訪問量特點［11］。圖3和圖4是Google和12306兩家網站的訪問量是兩種典型情況。前者的用戶訪問量較為平穩，后者的用戶訪問量隨著季節、時間有劇烈變動。

圖3 Google的6個月訪問量曲線

圖4 12306的6個月訪問量曲線

通過以上分析，用戶訪問量 （可對應為服務負載）處于經常變動過程中 （波動型尤其明顯），參照電力系統的概念，其負載量隨時間分布有峰值、谷值和平值。如果利用傳統服務建立服務中心，則會出現負載峰值時用戶失敗率高，負載谷值時硬件利率低資源浪費嚴重的情況。而如果完全基于CF平臺搭設云服務，對于谷值以下的應用負載，由于虛擬化機制導致的性能損耗，需要引入更多的硬件資源。

3.2 用戶訪問的周期性特征

百度統計［13］中記錄的一些著名網站的每天24 小時的訪問量分布圖，過去多天的用戶訪問量曲線重合度很高。文獻 ［12］表明，人們的網站訪問行為往往具有周期性，即站點的服務負載具有歷史重復性的特點，可以 “基于歷史預測未來”，即過去一段時間內某個時間點的訪問量，可作為預測今天同一時間點訪問量的重要參考。結合用戶訪問量的周期性特點，本文提出的混搭云的負載均衡調度算法，就有效地利用了這一負載預測方法。

4 混搭云的負載均衡調度算法

4.1 術語定義

為描述本文提出混搭云的調度算法，特進行如下術語定義。

定義1 容器 （container）。指應用運行的載體，本文包括物理服務器 （記為集合CP ），CF中的DEA 虛擬窗口（記為集合CV）。

定義2 容器拆分負載閾值Lmax（load of maximum）。當環境中存在負載達到拆分閾值的容器時，需要創建新的容器。

定義3 容器合并負載閾值Lmin（load of minimum）。當環境中有容器負載低于銷毀閾值，且存在有與此容器負載相加后達不到拆分閾值的容器時，可以進行容器的合并。

定義4 容器理想負載值Ldes（load of desired）。經過周期調度后，希望容器達到的平均負載值。

定義5 容器偵測周期Tm（time interval of monitor）。用于檢測是否有達到拆分或合并閾值容器的時間間隔，取大于容器調度開銷的一個時間值。

定義6 歷史負載加權Lh。是指以每24小時為單位，將歷史同期負載作為預測下一個周期負載的加權因子。引入歷史負載加權，可以有效增強算法對于負載突增、突減的適應性。

定義7 容器調度周期Ts（time interval of scheduling）。取偵測周期的整數倍，分析過往多個偵測周期的監控結果，綜合歷史負載加權，預測分析是否需要進行容器調度。取多個偵測周期并與歷史同期加權平均，可以避免負載抖動造成的不必要頻繁調度。

定義8 目標容器數量ndes（number of desired）。根據負載量和單個容器處理能力，計算出的容器哈希因子，得到下個調度周期的容器目標數量。

混搭云的調度算法的目標，是達到使用最少的目標容器數量，滿足特定負載函數的用戶訪問請求。主要包括以下幾部分算法。

4.2 負載偵測與目標容器數計算

（1）每個容器偵測周期Ts，搜集全部容器的負載信息。負載取CPU、內存、磁盤、網絡4種負載的加權求和

（2）搜集可供合并的容器：計算并負載小于Lmin的DEA 的數量，記錄這些容器的標識，并且記數加1

（3）計算目標容器數量ndes：以ndes為目標計算當前負載的目標容器數量，結合預測方法［14］，即與下個調度周期Ts的歷史容器數進行加權計算，對上取整

4.3 用戶訪問的負載均衡算法

負載均衡算法采用物理服務器優先、輪轉調度法的算法，即在接收到用戶請求后，按以下方式分配處理節點。

（1）如果存在物理服務器負載小于Lmax，則將用戶請求提交此服務器處理；

（2）如果無物理服務器符合要求，則采用輪轉法在負載小于Lmax的DEA 中選擇1個，將用戶請求提交此DEA處理。

4.4 增加容器的算法

計算當前容器數與目標容器數的差值n，創建n個DEA

4.5 容器合并算法

（1）假設當前容器數量與目標容器數的差值為M；

（2）取上個偵測周期被記數次數提名前M 的待合并容器，將其用戶訪問通過Router 重定向到其它未標識的容器；

（3）待合并容器處理完用戶請求后，將它們刪除

5 虛擬與物理服務器的優化配比

虛擬服務器與物理服務器的運行均消耗資源，本文假設物理服務器不進行動態開關機處理，虛擬服務器可按需動態啟停，提出一種運行消耗資源的成本最小化的算法，尋找在特定用戶訪問分布特征情況下，虛擬與物理服務器的優化配比計算方法。

定義9 虛擬化效率EV （efficiency of virtualization）。指采用虛擬化技術后，設備能支撐的最大負載，與直接采用同等配置硬件設備支持最大負載的比值。基于文獻數據［15］，采用數值分析方法可知，目前利用VMwareESX 虛擬化技術與物理機的綜合性能比低于80%，預計隨著虛擬化技術發展，效率后續將繼續提高。

定義10 負載函數L（t）。服務訪問量隨時間分布的函數，體現為受時間變量影響的連續可導曲線，有平穩型、波動型、周期型等，均具有峰值、谷值和平值。

定義11 日計算成本Ed。根據不同調度周期的容器數量、以及容器的單位運行成本，計算得出持續24小時滿足負載要求的計算成本，單位：容器數＊小時。

根據以上負載均衡調度算法，負載將優先交由物理服務器處理，在物理服務器總處理能力不足時，再由虛擬服務以近似平均的方式處理。本文定義單個虛擬服務器的硬件能力與物理服務器相同。設在任意時間點t，虛擬與物理服務器共N（t）個，其中物理服務器y個，則根據以上算法，可得出如下公式

虛擬與物理服務器的優化配比是求Ed 的最小值，也即在負載函數L（t）情況下，使得∫14400 N（t）dt（注：時間t以分鐘為最小單元，一天為24＊60＝1440 分鐘）取最小值的x值，也即求能使圖5中斜線部分面積最小的x取值。

圖5 計算成本

此部分面積可由兩部分求和：物理服務器數y與時間軸之間的矩形面積、物理服務器數y之上的與N（t）之間的面積 （接近L（t）與y之間的面積）。

解L（t）－yLmax＝0方程，獲得解集 ｛t1，t2，...，ti｝，則L（t）－yLmax＞0的解區間為｛（t1，t2），（t3，t4），...，（ti－1，ti）｝，由此可得

上述計算成本函數對y求導的結果

將以上函數對y 求導，計算導數為0 的自然數解集｛｝y ，再通過解集比較，即可得到使得計算成本取最小值的y。

6 結束語

與完全基于虛擬化技術的云服務構架相比，混搭云可以有效提高計算資源的利用率；基于用戶訪問特征預測的混搭云負載均衡算法，可比傳統的負載均衡調度算法更加高效合理地進行節點調度；本文提出的一種物理與虛擬服務器配比算法，可知道云服務中心的搭設，為實現計算總成本最小化提供指導。本文提出的一種基于CF平臺重用已有物理服務器的混搭云構建方法，可在傳統信息系統向云服務模式轉變過程中，有效保護已有投資，實現總計算成本最優。

［1］Serena Pastore.The platform as a service（PaaS）cloud modelopportunity or complexity for a Web developer ［J］.International Journal of Computer Applications，2013，81 （18）：29－37.

［2］Yudai Iwasaki，Shunsuke Kurumatani，Tsutomu Nomoto，et al.PaaS software based on cloud foundry ［J］.NTT Technical Review，2012，10 （12）：1－6.

［3］XU Peng.Architecture of PaaS for internet applications ［J］.Journal of Beijing University of Posts and Telecommunications，2012，35 （1）：120－121 （in Chinese）. ［徐鵬.互聯網應用PaaS平臺體系結構 ［J］.北京郵電大學學報，2012，35 （1）：120－121.］

［4］Claudio Guidi，Paolo Anedda，Tullio Vardanega.PaaSSOA：An open PaaS architecture for service oriented applications［G］.LNCS 7592：Service－Oriented and Cloud Computing，2012：208－209.

［5］Pivotal Software Inc.Using cloud foundry ［EB/OL］. ［2014－05－08］.http：//www.cloudfoundry.org.

［6］LING Xiaodong.A review of SOA ［J］.Computer Application and Software，2007，24 （10）：122－124 （in Chinese）. ［凌曉東.SOA 綜述 ［J］.計算機應用與軟件，2007，24 （10）：122－124.］

［7］ZHANG Qing.Research on service oriented integration method of legacy system ［D］.Harbin：Harbin Engineering University，2011 （in Chinese）.［張青.面向服務的遺留系統集成方法研究 ［D］.哈爾濱：哈爾濱工程大學，2011.］

［8］ZHAO Xin，WANG Wei，ZHANG Wenbo，et al.Research on resource consolidation of shared Web application server cluster［J］.Journal of Frontiers of Computer Science and Technology，2013，7 （1）：1－2 （in Chinese）. ［趙鑫，王偉，張文博，等.共享式Web 應用服務器集群的資源整合方法研究［J］.計算機科學與探索，2013，7 （1）：1－2.］

［9］GAO Ang，MU Dejun，HU Yansu.Differentiated service and load balancing in Web cluster［J］.Journal of Electronics ＆Information Technology，2011，33 （3）：2－3 （in Chinese）.［高昂，慕德俊，胡延蘇.Web集群的區分服務于負載均衡策略研究 ［J］.電子與信息學報，2011，33 （3）：2－3.］

［10］ZHANG Haiteng，SHAO Zhiqing，ZHENG Hong.Runtime monitoring and dynamic performance attributes data acquisition of Web service［J］.Computer Integrated Manufacturing Systems，2011，17 （8）：2－3 （in Chinese）. ［張海騰，邵志清，鄭紅.Web服務運行時的監控和性能數據動態采集 ［J］.計算機集成制造系統，2011，17 （8）：2－3.］

［11］Alexa.google.com 和12306.cn 的訪問量數據 ［EB/OL］.［2014－05－08］.http：//www.alexa.alexa.cn.

［12］XING Xiaobing.User interest oriented behavior analysis method and its application ［D］.Shenyang：Northeastern University，2013：20－21 （in Chinese）. ［邢曉兵.面向用戶興趣的用戶瀏覽行為分析方法及應用 ［D］.沈陽：東北大學，2013：20－21.］

［13］Baidu.Baidu library access statistics［EB/OL］. ［2014－05－08］.http：//tongji.baidu.com （in Chinese）.［百度.百度文庫訪問量統計［EB/OL］.［2014－05－08］.http：//tongji.baidu.com.］

［14］WU Hesheng.Research and application of multi－processing load balancing technology based on multi－core in cloud computing ［D］.Nanjing：Nanjing University，2013：40－44 （in Chinese）.［吳和生.云計算環境中多核多進程負載均衡技術的研究與應用 ［D］.南京：南京大學，2013：40－44.］

［15］LIN Qian.Research and application of virtual machine optimization based on hybrid virtualization technology ［D］.Shanghai：Shanghai Jiao Tong University，2011：42－43 （in Chinese）.［林芊.基于混合虛擬化技術的虛擬機性能優化研究與應用 ［D］.上海：上海交通大學，2011：42－43.］