融合架構云數據中心：概念、技術與實踐

王恩東 張 東 亓開元

1 高效能服務器和存儲技術國家重點實驗室 濟南 250101

2 浪潮電子信息產業股份有限公司 濟南 250101

引言

現階段，互聯網應用的需求引領全球數據中心的發展趨勢，中國的互聯網規模已經十分巨大。例如，截至2014年底，我國智能終端數量達到25億部，上網用戶數量超過6億人。在這樣數量龐大的終端設備背后，必須要有更大的內容服務商提供服務。例如，阿里巴巴在“雙十一”的交易額比香港一個月的零售總額還要多，微信的活躍用戶數量比美國總人口還多。這些龐大的互聯網服務更需要規模龐大的數據中心來支撐。

與此同時，金融、電信等傳統行業的信息化需求也持續攀升。例如，2014年底中國銀聯卡量約為40億張，電信用戶超過10億，智能電表的數量是美國的三倍。然而，我國傳統行業雖然信息化需求旺盛，總量上占有優勢，但是人均信息消費和主要發達國家相比還有很大的差距，未來我國信息產業市場的增長空間仍然非常巨大[1]。

1 云數據中心的需求及挑戰

從技術角度來看，支撐互聯網和傳統行業應用需求的物聯網、云計算、大數據、移動互聯網等新興技術進一步推動了數據中心向集中化、規?；l展，給數據中心帶來了擴展、效率、能耗、安全等諸多問題和挑戰。

首先是擴展性，單臺設備的擴展性受設備內部CPU互連性能、I/O擴展能力的制約，數據中心的擴展性則受網絡性能的制約。目前的數據中心普遍采用分布式架構，設備間的互連網絡帶寬遠低于主板內和設備內的互連帶寬，并且網絡協議復雜、層次眾多，協議的轉換和處理占用了大量系統資源，使得業務系統擴展性受到嚴重限制。

第二，目前大多數數據中心的服務器利用率低于30%，通過虛擬化能夠實現計算資源在不同業務間的動態調度，從而使得設備的利用率提升到60%左右。然而，當前的虛擬化技術在設備間的資源調度開銷很大，虛擬化遷移的時間延遲為分鐘級，因此，設備間資源的共享程度非常有限。此外，傳統架構中服務器、存儲等設備是分離的，各自的資源處于隔離狀態，資源共享僅限于同類設備。

第三，能耗是數據中心越來越突出的問題。目前，雖然有很多技術可以將數據中心的PUE(Power Usage Effect)從2.0降到1.5，但非IT能耗依然突出。此外，IT設備在業務處理方面的效率低下常常被忽略，在關注PUE的同時還要重視IT設備能耗到性能的轉化率。例如，在相同的圖形處理能力下，通用CPU比專業化GPU的功耗大3倍；因此，提升CPU針對大規模應用的性能，或者發展面向應用的專用或可重構計算單元，具有廣闊的空間。

最后，隨著規模的發展和云服務的普及，云數據中心所面臨的安全問題更加嚴峻。首先，木馬、病毒、系統后門等傳統攻擊手段無時無刻不在威脅著數據的安全。其次，由于云數據中心敏感數據、關鍵業務高度集中，一旦出現安全問題則很可能是全局性或社會問題，會產生比以往更加嚴重的后果。

通過上面的問題可以看出，隨著規模的不斷擴大，傳統數據中心那種將服務器、存儲設備進行簡單堆積，以交換機連接、再輔以虛擬化軟件進行資源簡單調度和管理的方式已經無法滿足需求，必須進行各個層面技術的創新和數據中心架構的變革。本文將這種適應未來需求的全新的數據中心架構定義為融合架構。

2 融合架構的核心理念和技術路線

2.1 融合架構=硬件重構+軟件定義

融合架構數據中心(Smart Data Center)的設計思想是通過硬件解耦實現資源的物理池化和動態重構，通過軟件定義實現業務感知的按需資源組合與配置，滿足系統的彈性伸縮和超大規模的持續擴展。

融合架構是綜合發展傳統建設方案和新興技術路線而形成的全新數據中心架構設計理念。此前，由眾多企業級廠商提出的混合架構(Converged Architecture)[2]更多地強調數據中心不同模塊之間的直接集成或簡單軟硬一體化部署，而不是從業務的視角出發，對數據中心的硬件架構進行重新設計，以更好地發揮軟件功能。而SDDC、SDN等軟件定義[3]概念的興起，又導致數據中心建設過度關注軟件發展，整個產業存在軟硬失衡的潛在風險，必須要重新審視硬件重構的價值。事實上，單靠軟件無法定義一切，硬件重構是軟件定義的基礎和保障。例如，在虛擬化技術發展的初期，英特爾在芯片上增加了VT-x、VT-d等針對性的指令設計，以更好地發揮虛擬化的特性。同樣，由互聯網企業主導的單純意義上的硬件重構[4]，因其站在行業特有規模和自主性的立場上強調硬件的高密度部署，缺乏從業務到資源的適配層軟件設計，也僅適用于特定的生態系統和應用場景。

也就是說，只靠軟件定義沒有硬件重構，虛擬化效率不高；只有硬件重構沒有軟件定義，系統缺乏靈活性，使用復雜度高。在融合架構中，硬件重構和軟件定義是缺一不可、相輔相成的辯證統一關系，在硬件層將計算、存儲、網絡設備中的同類資源整合為資源池，各類資源能夠任意重組，在軟件層智能地感知業務的資源需求，利用硬件的重構能力動態地分配和組合資源。

2.2 融合架構發展階段

融合架構可以從硬件和軟件層面演進、分三個階段逐步發展(如表1所示)。

表1 融合架構數據中心發展路線

第一階段，在硬件上實現散熱、電源、管理等非IT資源的集中化和模塊化，并利用軟件虛擬化技術實現計算、存儲等IT資源的池化和集中管理。這個階段的硬件形態可以視為“服務器即計算機”(Server as a Computer)。

第二階段，進一步將非計算部分的存儲、網絡等I/O設備進行池化，機柜內采用硅光電等技術進行高速互連，并以軟件定義的計算、存儲和網絡來滿足業務需求。也就是硬件上將整機柜當作一臺計算機(Rack as a Computer)[5]，并實現完全的軟件定義。

第三階段是最終將CPU、內存等所有的IT資源完全池化，可以根據應用需求智能地分配和組合資源，實現完全意義上業務驅動的軟件定義數據中心。也就是將整個數據中心當作一臺計算機(Data Center as a Computer)[6]，并通過軟件實現業務驅動和應用感知。

2.3 融合架構關鍵技術

融合架構的實現需要以下一系列技術的支撐。

1) 硅光電技術[7]的應用將加速硬件解耦化，為硬件重構奠定基礎。硅光電技術相對于目前用于主板間和節點間通信的光纖技術有著更高的通信速率、更低的功耗、更高的部署密度和傳輸可靠性，特別適合芯片間的高速長距離互連，其應用將加速推動硬件資源的解耦化，進而實現數據中心硬件資源的物理池化。這種物理池化與目前基于虛擬化的資源邏輯池化是有區別的。虛擬化技術主要是采用依靠軟件實現的分時復用模式，因而不可避免地引入系統的資源開銷；因此，當硬件資源具備物理的解耦能力之后，通過基于軟件定義的資源邊界配置與組織模式，將會在很大程度上提升數據中心的總體能效。

2) 可重構計算技術[8]的發展使得硬件面向軟件優化成為可能。隨著3D晶體管工藝的推廣應用，處理芯片內部的晶體管資源更加豐富，可編程FPGA器件的性能和容量也都大幅提升，使得面向特定應用重構計算單元硬件邏輯成為可能?？芍貥嬏幚砥骷缺３至颂幚砥鞯耐ㄓ眯?，又具備專用硬件邏輯的高效率以及邏輯可重構帶來的靈活性，實際上就是一種更細粒度的軟件定義的資源重構，將對數據中心整體效率帶來較大提升。

3) 高性能非易失性存儲[9]的突破性進展將簡化存儲層次結構，大幅提升系統性能。隨著半導體工藝技術的進步，近幾年非易失性存儲器在性能和容量密度方面已經取得較大進展，將對計算機系統傳統的存儲層次結構產生革命性的影響。內存與外存合二為一，存儲層次架構更加扁平化。扁平化將帶來更低的數據訪問延遲、更高的訪問帶寬，以及更大容量的存儲空間，支撐效率更高的“內存計算”模式[10]。

4) 人工智能應用于軟件定義，將支撐面向應用優化的數據中心基礎設施智能重構。在數據中心系統軟件技術方面，關注重點將由目前的資源虛擬化，逐步轉向關注業務感知的軟件定義能力。目前，最新的方向是在數據中心資源管理中引入機器學習技術，特別是在模式識別、音/視頻處理等領域廣泛應用的深層網絡技術[11]，建立業務感知的資源重構決策系統，賦予硬件基礎設施理解上層應用需求和識別資源使用行為特征的能力，最終實現硬件平臺的智能重構。

3 融合架構數據中心實踐

在經歷了系統孤立建設、設備集中化和虛擬化階段后，互聯網、行業應用的快速增長及動態變化對數據中心的持續擴展、資源管理和應用支撐能力帶來更大的需求。針對上述需求，基于融合架構的技術路線，目前已經形成完整的數據中心基礎設施布局和路線圖，通過利用融合架構基礎設施建立面向區域性公共服務以及金融、能源、電信、交通等行業的云數據中心，提供支撐文化教育、醫療衛生、質量監督、電子政務、城市管理、科研等領域的云計算服務，進一步促進政府、行業數據平臺和搜索、電子商務、社交等互聯網平臺的資源整合和升級，支撐以數據即時感知、智能處理、按需服務為典型特征的重點行業大數據應用創新，提升各行業信息化水平，降低服務信息化成本，促進傳統產業轉型升級。融合架構數據中心基礎設施路線圖，如圖1所示。

圖1 融合架構數據中心基礎設施路線圖

第一代融合架構的基礎設施包括整機柜服務器、關鍵應用主機、海量存儲和云海OS，這些基礎設施都已經完成研發并得到實際應用，取得了優異的社會效益和經濟效益。

第二代融合架構的基礎設施包括正在研發和即將發布的下一代關鍵應用主機、智能模塊化數據中心(Smart Modular Center)和云海OS G2。

第三代融合架構基礎設施是面向未來云數據中心預研和規劃的形態，包括基于融合架構的數據中心(Smart Data Center)和云海OS G3。

下面來分別介紹這三代融合架構數據中心的代表性基礎設施。

3.1 第一代融合架構基礎設施

3.1.1 整機柜服務器

整機柜服務器SmartRack是第一代融合架構基礎設施的典型代表。與傳統的服務器不同，通過計算、存儲和網絡的模塊化以及散熱、供電、管理的集中化，SmartRack實現了硬件聚合并支持整機柜資源的統一管理和業務的自動部署。在此基礎上，利用云海OS提供的資源虛擬化功能，SmartRack還具備軟件定義特征，將整機柜資源整合成計算、存儲和網絡的資源池，對資源池進行統一管理、動態調度和靈活分配。

基于融合架構，還可以面向不同的業務場景進行整機柜服務器的定制化設計。例如，面向深度學習、人工智能應用的協調處理加速整機柜服務器；面向自然風冷數據中心的高溫耐腐蝕整機柜服務器；面向大數據存儲、社交網站的冷存儲整機柜服務器；面向云計算、虛擬化應用的高密度計算整機柜服務器；面向熱數據處理、搭載SSD硬盤的高性能存儲整機柜服務器。

目前，SmartRack在國內市場占有率超過60%，與傳統服務器相比，其部署密度提高13.8%，功耗降低12%，總體擁有成本(Total Cost of Ownership，TCO)降低15%。以百度陽泉數據中心為例，其一天就能完成4 500個節點的部署，部署效率是傳統服務器的10倍，創造了國內服務器部署實施速度紀錄，更好地滿足了用戶業務的爆發式增長。

3.1.2 關鍵應用主機

當前中國的銀行、電信等行業業務規模已經是全球最大，其核心業務對關鍵應用主機的要求也越來越高。K1是中國唯一自主研發的關鍵應用主機，打破了外國品牌在該領域的壟斷局面。通過采用全模塊化冗余設計，基于物理分區、進程冗余等多層次高可用技術，K1可靠性達到99.9994%。同時，為增強事務處理能力，K1最大支持32顆CPU、256個計算核心、8TB內存。此外，通過建立國產主機系統產業聯盟，并全面支持DB2、Sybase、WebSphere等國際主流基礎軟件，形成完善的關鍵應用主機生態環境。

K1已經在政府、金融、能源等12大關鍵行業實現覆蓋。據IDC統計，K1在2014年下半年首次進入國內高端UNIX服務器市場前三，占有率達到14%。以K1承載的中國建設銀行省級核心業務系統為例，該系統覆蓋數十個二級分行、數百個營業網點、數千個柜員、數萬臺終端，業務并發峰值每秒數千筆。相比之前的進口設備，系統性能提升4倍，價格降低38%，TCO降低43%。截至目前，K1已經穩定運行1 500余天，未出現任何計劃外停機。

3.1.3 安全解決方案

針對當前云數據中心面臨的安全威脅，融合架構基于安全可信的主動防御體系構建完整的數據中心安全解決方案。該解決方案以可信服務器為根基，以操作系統安全加固軟件為支撐，采用自主可控的商用密碼算法，支持中國和國際可信計算體系，建立從服務器、虛擬化軟件、操作系統到應用程序的軟硬件一體化信任鏈，保護服務器免遭針對BIOS、PCI卡、硬盤等固件的惡意代碼攻擊。

為驗證云數據中心安全解決方案的有效性，通過“云數據中心滲透測試”模擬用戶真實環境，在網絡層、應用層和系統層及時有效地發現并阻斷攻擊8萬余次，驗證了云數據中心安全解決方案在面臨各類攻擊時的魯棒性和抗攻擊性。

3.2 第二代融合架構基礎設施

第二代融合架構最有代表性的是智能模塊化數據中心。傳統服務器架構中，I/O是和CPU、內存等資源緊耦合在一起的。在智能模塊化數據中心中，為實現I/O資源的集中和池化，計算和I/O模塊之間通過硅光電建立高速通道?；诠韫怆娂夹g，單元模塊可提供400Gb/s的互連帶寬，與傳統的雙萬兆互連相比提升了20倍，從而使I/O資源的池化成為可能。同時，通過采用分布式交換架構，可以通過軟件定義實現靈活的網絡拓撲劃分，快速動態地調整計算和I/O模塊之間的搭配，實現兩者之間的動態組合，有效提升整個系統的擴展性和靈活性，保證硬件重構的實現。

借助I/O資源的動態重構能力，Smart Modular Center通過云海OS G2能夠實現更靈活高效的軟件定義網絡和存儲。現在一般意義上的軟件定義網絡，實際上是在三層網絡上通過Overlay方式實現二層交換。在Smart Modular Center中，虛擬交換機的功能可以通過分布式交換網絡的網卡硬件實現，按需構建拓撲、劃分vLan、定義QoS，為上層應用提供高效可靠、安全隔離的網絡環境。同理，通過將存儲資源更靈活地分配各個計算節點，支持NAS和SAN等多種訪問接口，實現按照業務需求提供存儲資源。軟件定義網絡和存儲，連同第一代中實現的軟件定義計算，就形成了完整的軟件定義數據中心。

通過硬件重構和軟件定義，智能模塊化數據中心能夠更加靈活地調度資源滿足業務需要。例如，動態重構CPU、GPU資源滿足高性能應用對計算能力的需要，重構CPU和存儲資源形成存儲服務器集群，滿足大數據應用對計算和存儲能力的需要。與傳統的“服務器+虛擬化”的技術相比，由于計算和存儲設備之間的界限被打破，系統效率和靈活性都有很大提升。

此外，為更好地支持內存計算，Smart Modular Center提供64TB DRAM與384TB NVM的異構混合內存，輔以模塊間400Gb/s的高速互連，基本上可以滿足95%以上內存計算系統的需求。

3.3 第三代融合架構基礎設施

與前兩代相比，第三代融合架構在硬件重構和軟件定義上更進一步。在I/O集中化的基礎上，進一步解耦CPU和內存形成集中的資源池，再輔以軟件定義的能力，可以將數千顆CPU、PB級內存的計算機通過虛擬化軟件形成任意粒度大小的資源容器，其他低功耗器件、加速器件、I/O資源同樣可以池化和任意分配，形成各種規模和配置的計算機。同時，配合應用感知的資源分配技術，將使數據中心的資源調度完全智能化、高效化。

第三代融合架構基礎設施Smart Data Center將硬件資源清晰地組織成不同的功能區，功能區在軟件定義的控制下形成不同的資源池來支撐云平臺和云應用，如圖2所示。通過智能感知上層業務的類型，數據中心自動重構適合的資源來為業務構建最佳的運行環境，讓應用軟件與運行環境之間的契合程度達到一個前所未有的水平。

圖2 第三代融合架構數據中心

4 結束語

基于“兩個層面、三個階段”發展路線的融合架構云數據中心基礎設施研發和應用實踐表明，通過高效的內部互連，數據中心可以實現硬件層面的重構和虛擬化，效率可以比現在的軟件虛擬化提升一到兩個數量級，從而使資源利用更加平衡，可擴展性更強；通過軟件定義計算、存儲和網絡，數據中心能夠更加靈活地滿足不同業務的多樣性需求；通過使用各種新型器件，數據中心可以提高資源利用率、節約成本和降低能耗。融合架構將促進數據中心由資源驅動型向業務驅動型轉變，真正意義上實現開放融合、安全高效、智能綠色和靈動成長。

參考文獻

[1]賽迪顧問.2013～2014年中國信息消費市場研究年度報告[R].2014

[2]James Staten,Cristopher Voce,Galen Schreck,et al.Are Converged Infrastructures Good For IT?[R].2010

[3]趙小凡.對“軟件定義一切”的思考和理解[J].軟件和信息服務,2014(1):16

[4]張廣彬,盤駿,曾智強.數據中心2013:硬件重構與軟件定義[R].2014

[5]張東,亓開元,吳楠,等.云海大數據一體機體系結構和關鍵技術[C]// 第二屆CCF大數據學術會議,2014

[6]Barroso L A ,H?lzle U.The datacenter as a computer: An introduction to the design of warehouse-scale machines[J].Synthesis lectures on computer architecture,2009,4(1): 1-108

[7]De Dobbelaere P. Silicon photonics technology platform for embedded and integrated optical interconnect systems[C]//The 18th Asia and South Pacific Design Automation Conference,2013:644-647

[8]Bobda C.Introduction to Reconfigurable Computing:Architectures[M].Springer,2007

[9]Ugo Russo,Andrea Redaelli,Roberto Bez.Non-Volatile Memory Technology Overview[C]// Workshop on Technology Architecture Inter-action.Saint-Malo,France,2010

[10]Zaharia M,Chowdhury N M,Franklin M,et al.Spark:Cluster competing with working sets[C]//The 2nd USENIX conference on Hot topics in cloud computing.Boston,MA,USA,2010:1-10

[11]Quoc V Le,Marc Aurelio Ranzato,Rajat Monga,et al.Building High-level Features Using Large Scale Unsupervised Learning[C]//The 29th International Conference on Machine Learning. Edinburgh,Scotland, UK,2012