基于網格市場的容量規劃研究

張小麗

（吉林工商學院，長春 130507）

基于網格市場的容量規劃研究

張小麗

（吉林工商學院，長春 130507）

容量規劃是分析資源采購的一門古老學科，由于當前計算資源規劃可選擇的方案非常少，所以，在當前網格計算中，人們很容易就想到了“容量規劃”。然而，由于商業網格計算面向很多種價格不同的資源，所以“容量規劃”在商業網格的計算中運用起來就會變的非常復雜，所以，用戶就需要一種特殊的技術支持來更好的處理這些復雜的程序。鑒于這種情況，通過研究論證，提出了一種在線的網格容量規劃服務，它是一種獨立的服務，利用成本效益的方式幫助那些沒有專業IT知識的人來使用網格，通過這種服務，企業很容易的就可以將容量規劃任務進行外包。通過模擬的方式演示了網格容量規劃服務的工作方式，實現了容量規劃在網格內的成功應用。

網格；容量規劃；實用計算

容量規劃正以多種不同的形式被運用于企業當中，企業對容量規劃的依賴程度越高，就會花費更多的精力來研究它，例如，在數據中心，人們多是通過容量規劃，來計算資源的需求量。在無資源過載的情況下，為了確保所有程序都能在所需的QoS上運行，IT工作人員不斷實時監測數據和資源的使用情況，對應用程序運行將要需求的資源進行預測，并根據預測列出資源需求列表。這個需求列表可以被轉化成為一個分配方案，如果現有的資源不足，就將需要購買的資源列入到列表中。

由于目前所需的計算資源只能租賃或者購買，所以，企業的計算容量規劃過程都非常簡單。然而，隨著商業網格的出現，容量規劃變得越來越復雜。所有需要額外資源的公司都面臨一個新的選擇，來滿足其計算資源的需求，即從商業網格中購買網格資源。這個新的選擇增加了資源購買決策過程的復雜性，因為在決策過程中必須解決以下三個問題：首先，需要確定應用程序是否適合在網格上運行；第二，由于網格市場的競爭，價格將隨供求變化。因此，如果必須要確定使用網格的整體成本，就必須要準確的預測網格資源的價格；最后，要準確預測需求波動，因為使用網格的最大優勢就在于可以在需求高峰時出售備用資源或購買額外資源。通過以上三個問題，可以看出，雖然容量規劃可以更經濟有效的使用計算資源，但是如果想要準確的執行它卻非常困難。基于這種情況，本文提出了在網格環境下的一種新的商業服務：網格容量規劃服務。

1 容量規劃概論

“容量規劃”這一術語經常被使用，但是卻很少被定義，為了避免產生歧義，我們遵循IBM給出的定義：“容量規劃包括為了滿足客戶工作量的需求而規劃足夠IT資源過程，和規劃服務提供商的成本回收所需的當前和未來資源的過程。”

然而，迄今為止，在一個實用的計算環境中用戶對容量規劃的需求還沒有相應的研究。我們將通過專注于那些客戶的容量規劃問題進行研究，這些問題和供應商的容量規劃問題一樣具有挑戰性。根據以上給出的定義，以下三個任務均屬容量規劃的核心：（1）當前的資源利用率檢測；（2）對未來及最終資源應用需求的評估；（3）確保公司不超支的成本估算。

1.1 容量規劃任務

引進商業網格之前，容量規劃僅僅是一個解決中長期容量問題的方法。數據中心的工作人員必須分析當前應用程序的資源映射、監測數據和一些經濟數據，例如某些應用程序所產生的經濟效益。利用該輸入，數據中心的工作人員必須判斷出資源池能否讓所有的程序在所需的QoS中運行起來，如果當前資源不能滿足需求，數據中心的工作人員就必須確定需要購買或租賃哪些額外的資源，然后制定一個遷移計劃，用來遷移那些必須要遷移的應用程序。

隨著商業網格供應商的出現，容量規劃也可以用來解決短期的容量問題。在這種情況下，如果應用程序在所需的QoS上無法運行，數據中心的工作人員就可以購買額外的網格資源。由于這種決定在幾秒鐘之內就要完成，現在的容量規劃也具備了短期性的一個方面。但是，大量的使用網格，在長期的運行過程中，仍會變得比內部資源昂貴許多。

因此可以說，效用計算的容量規劃過程由兩部分組成：短期容量規劃過程和長期容量規劃過程，長期容量規劃在效用計算環境引入之前就已經在數據中心被使用了。這個想法如圖1所示。

短期容量規劃和長期容量規劃中任意一個的子服務都有許多任務要執行。對于短期容量規劃來說，他的主要任務就是為應用程序調度到可用資源，調度的另一個子任務就是負載均衡，以保證所有的資源都能被均衡的使用。此外，短期容量規劃有能力執行應用程序的中期資源映射。這在隨后的可規劃的日常需求高峰中特別實用。這樣的模塊儲備效用計算資源（例如在提前一天的基礎上），可以確保調度到運行所有的應用程序所需的足夠的資源。最后，短期容量規劃也將網格使用的經濟效益考慮在內了。網格的使用不僅會隨著時間的推移變得昂貴，與程序運行的慢一些所帶來的負面影響相比，網格使用也相對昂貴。為了使網格應用變得經濟有效，短期容量規劃必須要有一個經濟優化模塊。

另一方面，長期容量規劃主要關注資源購買的經濟性。換句話說，所關注的問題是購買哪種資源最經濟有效。這必須考慮到應用程序當前的映射資源、每個應用程序的性能及使用網格所消耗的成本。另外，在開發一個新的應用程序映射時，用戶的預算約束和經濟要求都必須考慮在內。長期容量規劃尤其要考慮風險。有些風險是系統固有的，如資源故障或配置問題。為了避免這些問題，在使用內部資源和網格資源時必須把優化經濟引擎考慮到固有風險中去，而且必須確定哪一種程序運行可以最大限度的降低這些風險。

圖1 實用計算能力規劃結構

1.2 容量規劃的輸入輸出

為了完成這些任務，兩種容量規劃服務都需要大量的輸入，這些輸入將和容量規劃人員的輸出如圖2所示。

第一個輸入參數是監視信息。這種情況下，檢測涉及到三種類型的操作：資源利用率的測量、應用程序響應時間的分析、流量分析。在利用率的檢測過程中，IT人員對任何給定資源的利用率進行分析。一旦利用率接近臨界水平，就定為資源過載。響應時間分析確定應用程序的響應時間。響應時間的上升如果超過一定的閾值水平就表明應用程序沒有足夠的可用資源。流量分析用來確定數據中心的流量以及數據中心流量的進出情況。這些數據可以用來確定是否需要連接不同的個人資源。流量信息也可以用于確定基礎設施是否有能力處理所有的數據傳輸。

圖2 容量規劃的輸入與輸出

第二種輸入是用戶規定的經濟因素。這些可以包括要求（例如某些應用程序必須在內部運行）和限制。限制可以分為財政限制和購買限制。另外用戶可以有一定的預算，創建一個新的容量規劃必須把該預算考慮進去。

第三種輸入是有關資源和應用程序池的信息。容量規劃服務必須知道哪些應用程序正在運行以及這些應用程序正在被什么所應用，因為這些使用對資源需求有很大的影響。例如，一個基于文本web頁面的web服務器與一個用于視頻流的網站就會有不同的下載模式。

此外，容量規劃服務必須知道哪些資源是可用的。這不僅包括內部資源，還包括已經在網格上購買的資源以及網格中的可用資源。基于這些輸入，容量規劃服務創建了許多既可以被自動程序使用又可以被數據中心的工作人員所使用的輸出。前者是遷移引擎，它按照容量規劃所產生的資源分配方案，負責任一些應用程序的遷移。

第二個輸出由一個推薦列表構成，該列表用于在網格上制定計算能力預存。這些既可以是來自短期容量規劃的短期預存建議，也可以是來自長期容量規劃的長期預存建議。基于推薦列表的實際預留，用戶可以通過一個自動的預定引擎來預定，也可自己進行預定。

最后，長期容量規劃服務也可以創建一個內部資源購買方案，由于此任務不能自動執行，長期容量規劃服務只提供一個可人工讀取的資源表，該表列出了必須購買的資源和購買資源的商店。

2 容量規劃分析

現在使用的傳統容量規劃與網格容量規劃之間有許多差異。本節將說明這些差異，從而表明對網格容量規劃服務的需求。

2.1 資源選擇

由于過程只有三種行為：采購內部資源，出租或租賃內部資源或什么都不做，因此傳統容量規劃的產出相當受限。

雖然在非實用的計算環境中，容量規劃并不是一個非常具有有吸引力的工具，但是，由于它的選擇范圍更大，如：購買網格資源、采購內部資源、租賃資源、或是前三種的任意組合，出售空余計算能力，或者什么都不做等，所以它在商業網格中變得越發重要。這些增加的選項，使得解決問題最佳的傳統的容量規劃的優勢也不再那么明顯了。例如，用戶想要出售計算資源必須考慮容量規劃過程中預期的收入情況。總的來說，由于復雜程度的增加，容量規劃工作人員所需要的時間就更多，容量規劃過程也變得越發昂貴，導致實用計算環境的吸引力也由此減弱。

2.2 價格波動與需求波動

目前計算資源的市場價格是靜態的，即資源價格不經常更改。只有在價格優惠時或規模經濟的時候才有所差異。這就意味著，在容量規劃的過程中容量規劃團隊并不需要因為怕漲價而加快進程，因為即使是目前可用的實用計算資源的價格也始終保持不變。

隨著企業可以根據自己的需求在商業網格中任意購買和出售資源，供應和需求的變化將會導致價格的變化。這些價格變化的因素在容量規劃過程中也必須考慮進去。

此外，因為要考慮到價格的波動，所以就要預測將來價格波動的趨勢，因此，購買時間就變成了容量規劃過程的一個相關參數。為了預測精確，容量規劃必須考慮現有資源的過去市場行為。這就意味著，容量規劃不僅僅要看平均需求，還要看當多個網格用戶都需要額外資源時效應計算市場的這種高峰期。因此，自身的需求必須要與高峰期的需求相比較。如果這種經常性的效應計算市場的上的需求高峰與自身的需求高峰同時發生，可能就需要用很高的價格才能獲得所需的網格資源，這就可能會導致瓶頸問題。另一方面，如果自身所需資源是一個反周期的市場需求，網格資源的價格就不是問題了。

2.3 應用程序映射

在網格市場環境中資源到應用程序的映射也變得越來越復雜。傳統的容量規劃，企業只需要找到內部資源與應用程序的映射，如果需要，購買額外的資源后內部安裝。這種方法雖然并不簡單，但是可控，因此可能的映射數量及資源的差異性非常小。事實上，一旦公司知道了哪些資源是需要購買的，就可以根據成本對相應的產品進行排名。

另一方面，效用計算環境中的應用程序映射的優化也更多的參與進來，應用程序到資源的映射取決于那些網格中潛在的可以被購買的資源。因此，對于每一個應用程序都有兩種選擇需要考慮：在適合的內部資源上運行應用程序，或者在適合的網格資源上運行程序。由于定價結構中資源類型與資源提供者存在差異，所以每一個網格選項都有自己的價格。

此外，應用程序的存儲必須要看網格中是否適合程序的運行。由于受到一些因素的制約，某些程序可能無法在網格中運行，例如那些在計算過程中需要用到不允許被發送到外邊資源的敏感信息資源的應用程序

2.4 比較

相對傳統的容量規劃而言，網格容量規劃更為復雜。由于計算資源市場可用的附加選項，這些差異如表1所示。相應增加的復雜性將意味著很少或沒有IT經驗的新公司將不使用或過度使用網格容量規劃。

表1 傳統容量規劃與網格容量規劃的的比較

然而，參與網格的公司需要執處理行相同的容量規劃步驟和運行有相似負載的應用程序。因此，如果規劃過程可以轉包給專門提供一個容量規劃服務的實體，它將具有重要意義。

這個容量規劃服務將使公司受益于效用計算，通過用較低的成本優化公司網格資源的購買力。因此，該服務將推動網格市場。

3 容量規劃模型

3.1 長期容量規劃

長期容量規劃服務，即第二節所述的長期數據分析他的主要任務是分析現行數據中心的。因為其主要任務是分析當前的數據中心計算資源池和分析當前應用程序映射，除了經濟信息外，如客戶的預算（為網格和內部資源采購），每個應用程序的相對重要性以及客戶是否愿意在網格資源市場出售資源，這些信息都需要被給出。

另外還有經濟信息如：如客戶的預算（包括網格和內部資源購買）每個應用程序的相對重要性以及客戶是否愿意出售在網格資源市場的信息等。

長期容量規劃服務的下一步是分析如何運行應用程序的內部（所謂的內部應用程序）并將其映射到現有的資源中。該結果的分析可以分為以下幾類：（1）用戶必須購買額外的內部資源；（2）用戶擁有閑置內部資源；（3）用戶擁有閑置的內部資源但也需要購買額外的資源來滿足需求；（4）用戶沒有空閑內部資源并且所有應用程序映射。在（1）和（3）這兩種情況下，用戶必須購買額外的內部資源。在其他情況下，長期容量規劃服務能繼續容量規劃過程。這在圖3中將被闡述。

在下一步中，長期容量規劃服務將不得不考慮使用網格資源的成本和效益。一般來說，它必須權衡以下幾點：（1）是利用內部資源還是使用網格資源；（2）購買新的內部資源還是使用網格資源；（3）用戶是否愿意在網格中出售資源，如果是這樣的話，這些資源配置將是銷量最佳選擇。然后，所有這些因素必須經過關于先前描述的市場問題的分析，即需求波動和價格波動的影響。這一步的結果將是一個最佳或接近最佳映射的應用程序資源，以致可以滿足所有用戶需求的同時，盡可能有效使用的資源。結果可以是以下其中之一：購買網格資源，購買內部資源，及購買以上兩者。購買網格資源可以實施一項購買計劃。為了避免高昂的價格，可以通過使用預訂引擎提前購買這樣的網格。由于經常發生需求高峰，為了避免這一現象，除網格資源外，可以使用內部資源。

3.2 短期容量規劃

短期容量規劃服務——執行測量內部資源，以此來確定他們的負載和應用程序的響應時間。確保這些測試對系統沒有不利影響，短期容量規劃服務只會如此周期性的循環。應該注意資源被最大容量使用或應用程序響應時間減少的情況，它將決定哪些網格資源接管額外的需求。

此外短期容量規劃服務會考慮類似的過去已經購買的網格資源的次數。這將允許短期容量規劃服務監控兩個重要的方面：一方面，它可以確定這些網格購買是否必須在有規律間隔的情況購買，如果是這樣的話，當下一次需要網格資源時，可以建議購買儲備網格資源。

短期容量規劃服務將通知長期網格容量規劃購買資源。這能使長期容量規劃確定這些網格資源的總成本與內部資源的成本是否接近。如果情況確實如此，由于這可能是容量規劃過時的信號，因此長期容量規劃將針對這一現象的出現對用戶提出警告。

購買信息也能使長期容量規劃決定網格資源購買是否定期發生。如果是這種情況，可以毫無困難的預測未來的購買日期同時也可以提前購買網格資源。

4 實踐與驗證

兩個組件的初步測試已經開始實施。這項服務希望能運用于的機制下設在模擬環境中。這個模擬環境在500天內，500名代理商為這一市場銷售資源。在每天開始時，每個代理確定需求量。如果需求量大于內部資源的數量，代理將在資源市場競購網格。需求的資源少于內部資源，代理將試圖出售多余的資源。交易資源在第二天也是可用的。

表2 仿真參數概述

使用這個設置開發了兩個場景：第一個場景中，代理商曾運用他們現有的的需求水平購買或出售資源。這個模擬的結果通過顯示可用資源的數量在圖4中顯示出來。一個負值顯示代理所持有的資源比需求少，同時正值代理商持有資源必須求多。

圖的峰值顯示代理幾乎沒有可用資源的正確數量。這一事實表明，當預測資源時，這種非常基本的容量規劃方法與最理想情況的巨大差距。

圖4 基于基本容量規劃資源效用

第二個場景與更復雜的容量規劃方法：代理商能基于過去資源需求來預測他們的需求。需求預測是使用線性回歸工具Apache Commons數學工具箱［19］實現的。該線性回歸根據過去30天的需求來預測第二天的需求。用這一信息來購買或出售資源。這一模擬結果在下面的圖5中顯示出來。

圖5 基于更高級的容量規劃資源效用

圖5顯示了波峰，不再像以前那么高，極端的波峰不再在代理中出。雖然這沒有明顯得到改善，預測算法仍然是相當基礎性的。

該模擬表明，在網格市場環境中，必須考慮價格波動和需求波動，因此網格容量規劃的確是一個有價值的工具。網絡容量規劃可以確保公司有足夠的資源供其在這樣一個環境使用。通過這些比較也計算速度也得到了提升，在這種環境下，每個代理對整個容量規劃過程只花了幾毫秒。然而，模擬表明還可以通過很多其他地方的研究來提升此服務的預測能力。

5 結論

本文在實用計算環境中定義了容量規劃的同時，還對容量規劃和負載平衡、調度和保存進行了研究。相比于傳統的容量規劃在網格環境中進行容量規劃更為復雜，本文從兩個方面對網格容量規劃進行了闡述，短期容量規劃和長期容量規劃。這一結構表明在商業網格環境中，容量規劃必須解決長期和短期的問題。第一，需確保所有的應用和資源都要符合使用需求，同時如果需要，應提前提供建議性的額外相關資源。第二，需確保數據中心的長期規劃和所有應用程序可用的內部資源、價格、需求波動，用戶需求等信息，可以找到所有應用程序的映射，（如果需要）建議購買者購買哪些資源。該研究為網格容量規劃的成功運用奠定了理論研究基礎。

此外，通過模擬網格容量規劃服務的實施，初步測試表明，該性能開銷較低。由于模擬顯示出需求預測必須改善，今后的工作將進一步優化兩個組件算法的容量規劃。

［1］Zhang Chen，Jin Chenqing，Zhou Aoying.Clustering algorithm over uncertain data streams［J］.lournal of software，2012，21（9）：2173-2182.

［2］Yang Yue，Liu Zhou，Zhang Jianpei，et al.Dynamic density-basedclusteringslgorithmoveruncertain data streams［C］.Proc of IEEE International Conference on Data Engineering，2013：2664-2670.

［3］Takayama K，Schmidt R，Singh K，et al.GeoBrush：interactivemeshgeometrycloning［J］.Journalof ComputerScienceandTechnology，2012，26（3）：538-547.

［4］王軍，于勇.基于密度網格的證券市場聚類模型研究［J］.知識經濟，2015（4）：83.

［5］汪銳，鄧元凱，錢歸平.魯棒的網格實時幾何編輯算法［J］.中國圖象圖形學報，2014（5）：764-770.

［6］錢歸平，童若鋒.實時網格編輯的擴展中值坐標方法［J］.計算機輔助設計與圖形學學報，2012（10）：1312-1318.

［7］李繼寶.Web數據集成中有價值事件識別研究［D］.濟南：山東大學，2014.

Apacity Planning in Economic Grid Markets

ZHANG Xiaoli

（Jilin Business and Technology College，Changchun 130507）

Nowadays，the capacity planning，an old subject for analyzing resources purchasing，is easily considered since rare options can be chosen for computing recourse planning in the grid computing.Because of grid computing in business with kinds of resources in different prices，the users will need the special requirement for the complicated process. Thus，with many studies，the author offers a capacity planning in on-line service，an independent service，to help the people without professional knowledge on IT to use the grid in a cost-effective way.In this service，the capacity planning can easily be outsourced by a company.Meanwhile，the author uses the simulation mode to show how the grid capacity planning service works and tries to make a success for capacity planning in the grid.

grid economics；grid；capacity planning；utility computing

TP391

A

1672-9870（2017）01-0138-06

2016-10-16

張小麗（1983－），女，碩士，講師，E-mail：364610828@qq.com