大連理工大學基于云計算的數據中心建設及反思

文/于廣輝

云計算技術目前已成為包治百病的靈丹妙藥，無論何種解決方案最終一定會歸結為云計算。在云計算的浪潮下，高校數據中心是否應該部署云計算？如何才能使云計算切實的落地，真正發揮效益，而不僅是一個概念，也是一個值得深思的問題。

虛擬化技術在數據中心的實踐

大連理工大學校從2003年開始對校內各個部門對外信息發布的服務器進行統一管理，開始建立集中的數據中心。數據中心的建設經過了兩個階段：第一階段采用獨立的1U物理服務器來提供服務，最多的時有200多臺物理服務器。在這種模式下，應用的備份管理、物理服務器的故障處理，機房面積、供電、制冷的消耗等問題都集中爆發出來。從2006年開始，學校開始進行服務器虛擬化技術的相關測試，并在2007年建設了高校第一個大規模VMware虛擬化服務器群；從第二個階段開始，把原有物理服務器上的應用逐步遷移到虛擬化服務器上，現在已有280余臺虛擬機在運行。2009年對虛擬化服務器群進一步擴容，2010年對第一批虛擬化服務器進行了內存和萬兆網卡升級, 并部署了數據中心交換機Cisco Nexus 7018。目前數據中心已經部署了16臺54CPU虛擬化服務器群，所有物理服務器采用雙10GbE網卡、雙4Gb FC HBA上聯，物理服務器群保持了合理的負載。

圖1 數據中心虛擬化服務器群拓撲

在服務器虛擬化實施的過程中，發現物理服務器的內存消耗速度要遠高于CPU消耗速度，因此在服務器群擴容時，新增服務器內存提升到了144GB，原有服務器內存也擴充到了64GB。另一個影響服務器虛擬化效率的重要因素是存儲系統的性能。為進一步提高存儲系統性能，在2011年，我們對現有存儲系統EMC CX4-960進行了FastCache技術升級，采用多塊100GB固態盤對整個系統進行讀寫緩存，使存儲讀寫延時得到了顯著改善。

在虛擬化平臺安全方面，設計了嚴格權限管理和備份制度。例如，資源管理部門只擁有在自己資源池內分配虛擬機及配置指定網絡的權利；備份由后臺統一進行，資源管理部門無法刪除備份等。在備份體系上，采用EMC Avamar進行統一的全局減重備份，可以提供任何一臺虛擬機在半年內任意一周的備份。對于關鍵服務器，同時使用VMware Data Recovery進行日備份；對于關鍵應用再使用磁帶庫進行應用級備份。通過嚴格的管理措施和多級自動化備份機制，有效的保證了數據中心的安全。

配合內部機構設置規劃了合理的管理結構，將廣義的基礎設施（包括網絡、存儲、虛擬化平臺、備份、機房環境等）整合統一到一個部門管理，其他部門變成該部門的用戶。實踐證明，這種模式有效的提高了資源的利用率，提高了管理效率，初步形成了部門內部基礎設施云服務提供。

在虛擬化平臺實施的過程中，數據中心的運行和管理成本大大降低，數據中心的物理服務器已經從200余臺減少了近一半。管理部門進行應用升級、遷移成本顯著下降。通過模版、快照等機制，管理部門可以輕松的部署應用，在應用升級失敗時可以進行完整的回退。

如何讓云計算在數據中心落地

在數據中心虛擬化的實施過程中，充分證明了服務器虛擬化在高校數據中心的可行性和必要性，并也實現了實際的效益。那么云計算和虛擬化又是什么關系？可以將高校云計算和虛擬化的關系簡單總結為以下幾點：

云計算的目標是實現應用的按需使用，虛擬化只提供了資源池化的一種手段。只能夠自動化，提供大量虛擬機不是云計算。云計算的核心問題不是資源的池化，而是應用是否能夠真正無縫地按需擴展。

因此，我們認為影響高校數據中心云計算實施的關鍵因素是信息化相關應用是否真正的面向云計算開發，能夠真正的以云計算模式提供服務。服務器虛擬化或基礎設置虛擬化只是向云計算演進的第一步。高校云計算部署應該是一個漸進的過程，隨著對云計算的認識和應用的開發，逐步演變為云計算。大連理工大學的云計算演進過程定位如下：

IaaS PaaS SaaS計算、網絡、存儲資源虛擬化提供完整的云應用開發平臺按需提供服務初步完成當前目標，正在評估遠景目標

在建設面向云計算的數據中心過程中，我們剛剛邁出了第一步。

傳統的應用架構并沒有考慮動態擴展的問題。例如在選課的高峰期間，我們希望將一臺選課應用服務器自動動態擴展至適應請求數的數量，并在高峰期過后自動降回通常的數量。現在我們通過采用服務器虛擬化和應用服務器集群，可以部分解決這個問題，但目前這個過程并不是自動化的，仍然需要人工配置和干預。在應用壓力進一步提升后，傳統的應用服務器、中間件、數據庫架構，并不能保證真正的動態擴展。

在PaaS階段，我們希望能夠探索新的應用架構，在消息通訊機制、數據訪問機制、自動擴展機制等方面，實現真正面向云計算的開發平臺。在這個基礎上，校內新開發的應用逐步遷移到云計算平臺，實現應用的按需使用。

在云計算背景下，我們認為除了適應云計算的應用架構模式外，數據中心當前的關鍵技術還包括：

1. 支持數據網絡和通信網絡融合的網絡設備

當前萬兆端口的成本大幅下降，板載萬兆（LOM）會逐步取代板載千兆。主流板載LOM已經開始同時支持FCoE、iSCSI卸載和IP傳輸。主流存儲廠商已經開始在中高端存儲上直接支持FCoE。高端數據中心交換機已經開始支持DCB（Data Center Bridge）等規范，可以提供二層多鏈路、無丟包以太網等關鍵特性。因此，全面實施數據網絡、通信網絡融合的時機已經成熟。

2. 支持FCoE、分層存儲的集中存儲設備

從我們目前運行和測試經驗看，FC協議仍然是高可靠的數據中心存儲局域網的唯一選擇。支持FCoE的交換機、CAN接口卡已經非常成熟，存儲設備也已經直接支持FCoE接口。用FCoE替代傳統FC的技術風險相對較小,仍然可以延用傳統FC的運維經驗，在技術上保持連續性。大規模的虛擬化實施中必然存在熱點數據和非活動數據。固態盤價格相對較高，完全采用固態盤在成本上難以接受。存儲設備需能夠動態區分熱點數據，將熱點數據自動遷移到固態盤或者較高性能盤，將非活動數據遷移至低成本硬盤，從而能夠用合理的成本提供高性能服務。

3. 網絡、安全設備的軟件化、虛擬化

在大規模的虛擬化部署中，傳統的物理網絡、安全設備已經不適用。傳統的安全設備無法部署在虛擬機之間進行安全控制。我們認為基于軟件的虛擬設備將取代部分物理安全設備。例如，在Host和VM之間的防病毒網關、控制VM之間安全策略的分布式軟件交換機、純軟件的Web應用防護設備、純軟件的防火墻設備。

4. 通信網絡和虛擬化基礎設施的融合

傳統的通信網絡控制是基于三層路由控制或者二層的接入端口控制，在虛擬化基礎設施中已經不適用,虛擬機會在二層端口上遷移,同宿主機上的虛擬機之間的訪問不經過物理交換機。在虛擬化環境下，物理交換機應能感知到虛擬機的遷移，并動態調整控制策略。物理交換機應能同虛擬化交換機一體化管理，將虛擬交換機作為物理交換機的延伸。

綜上所述，高校數據中心部署云計算技術的背景已經成熟，通過云計算技術的部署能夠有效降低數據中心運行管理成本。但是如何能夠使云計算技術真正全面地落地，仍然是一個需要研究的課題。我們希望能夠通過面向云計算的應用開發平臺的研究和部署，作為信息化應用全面云化的一個契機。建設面向云計算的數據中心還存在一些關鍵的技術問題，我們將在未來的數據中心建設中，將這些關鍵技術作為重點考慮對象。