云計算環境下定制化服務器的研究與測試

邱紅飛 李先緒 黃春光

【摘 要】隨著云計算、移動互聯網等業務的快速發展，X86服務器定制化的需求在電信運營商中將逐步增長。在研究服務器定制化方法的基礎上，分析了服務器的應用場景，并對定制化服務器進行分類。通過對定制化服務器在不同應用場景下的性能測試，提出了服務器定制化解決方案，為優化定制化服務器提供有益參考。

【關鍵詞】服務器 定制化 云計算 虛擬化

doi：10.3969/j.issn.1006-1010.2016.06.014 中圖分類號：TP391 文獻標識碼：A 文章編號：1006-1010（2016）06-0061-06

引用格式：邱紅飛，李先緒，黃春光. 云計算環境下定制化服務器的研究與測試[J]. 移動通信， 2016，40（6）： 61-66.

1 引言

服務器作為云計算中提供計算、存儲資源的核心，是整個云計算服務的基礎。在云數據中心，大規模服務器的采用和管理帶來了機房能耗、運營和運維成本的攀升。同時，傳統的服務器采用統一的硬件配置，不會隨應用場景的變化而變化，造成了服務器資源的浪費。因此，隨著云計算環境中上層應用或業務種類的增多，定制化服務器應運而生[1]。

定制化服務器相對傳統的服務器而言，是一種針對特定的、具體的應用場景設計的服務器系統，以削弱通用性為代價，主要通過全局優化、簡化功能、精簡部件、集成芯片等方式實現TCO（Total Cost of Ownership，總所有成本）的降低，能夠大幅提升特定應用場景下的性能價格比。隨著云計算和移動互聯網等業務的快速發展、ICT（Information and Communication Technology，信息和通信技術）的融合、數據中心業務的轉型，電信運營商的服務器需求將進一步明確，并且逐步增長。因此，應持續借鑒國內外互聯網企業、基礎設施運營商的定制化服務器經驗，逐步實現服務器定制化[2]。

不同的業務應用類型對定制化服務器的硬件配置要求并不相同，定制化服務器的目的就是對不同業務應用類型合理地進行硬件配置。本文通過對常用的定制化服務器的各項性能指標進行評估，找出了不同應用場景下的性能和硬件配置依賴關系，為定制化服務器的物理配置提供了參考依據。

2 服務器定制化的方法及應用分析

2.1 定制化的主要方法

云計算應用服務器定制化的目的是為了滿足特定業務及數據中心環境要求，在現有量產服務器基礎上提出配置、節能和管理等技術要求，由服務器供應商進行有針對性設計和優化服務器，以提高資源利用率并降低服務器生命周期內的TCO[2]。云計算應用服務器定制化主要包括以下方面：

（1）精簡部件：在服務器定制中，應針對不同業務對資源的不同需求和特點，并基于可靠性要求，對CPU（Central Processing Unit，中央處理器）、內存、硬盤和網絡等進行有針對性的配置，避免部分資源出現瓶頸或明顯過度配置的情況。

（2）芯片集成：主要是將功能芯片板載化，如常用的板載化芯片包括網卡、顯卡、HBA（Host Bus Adapter，主機總線適配器）卡等。

（3）共享組件：基于資源需求，在多服務器需求場合下，應盡量考慮在服務器定制中使用共享組件，即多個服務器節點使用一個機箱框架，共享風扇、電源等基礎組件。

（4）接口整合：針對特定的資源需求，可以將所需要的USB（Universal Serial Bus，通用串行總線）口、VGA（Video Graphics Array，視頻圖形陣列）口等外置接口進行集成整合，提供一個集成接口。

（5）軟件定制：針對特定的管理和運維需求，應考慮支持對服務器節點或共享架構下的服務器管理軟件進行定制，如對BIOS（Basic Input Output System，基本輸入輸出系統）和BMC（Baseboard Management Controller，基板管理控制器）的定制、監控軟件管理等方面功能。

（6）能力擴展：基于現有的量產化服務器進行定制時，可根據業務需求，擴展服務器的功能和能力，包括增加支持特定功能的功能芯片或板卡，如在網絡吞吐密集型服務器定制中配置I/O（Input/Output，輸入/輸出）硬件加速芯片、在虛擬化應用服務器中使用支持I/O虛擬化的功能芯片等。

2.2 定制化服務器應用分類及特征

在電信運營商的云計算應用中，大量需要定制化服務器主要包括Web服務器、計算虛擬化型服務器和分布式存儲型服務器等。這3種典型定制化服務器具體的特征如下：

（1）Web服務器

Web服務器已經成為絕大多數企業不可或缺的平臺工具，作為一種廣泛使用的服務器產品。Web服務器的主要功能是提供網上信息瀏覽服務，通常有兩種類型：一種是代理模式（也稱為接入服務器），負責將收到的信息請求轉發給消息處理服務器（也稱為應用程序服務器），不帶應用處理程序；另一種是傳統的網站服務器，自身安裝了應用處理程序，通常具有事務處理、數據庫連接和消息等功能，最常用的Web服務器是Apache和Microsoft的Internet信息服務器[3]。

（2）計算虛擬化型服務器

基于虛擬化技術的計算型服務器主要部署在業務平臺資源池、IT系統資源池、云數據中心資源池，用于承載內部的業務平臺和對外服務的云產品[4]。在資源池部署中，虛擬化服務器的需求定位較為明確，主要呈現為多租戶、集群化、可彈性調度的總體特征，其定制需求和技術特征包括：較強的計算處理能力和大比例配備的內存容量需求。虛擬化服務器要求具有較高配置的CPU和內存，且CPU和內存容量應按一定比例合理配置；多網絡接口和較高的網絡帶寬要求；少許本地存儲容量要求；較高的設備可靠性要求。

為保證虛擬機的運行穩定，對于虛擬化服務器的可靠性要求較高，如網絡冗余、電源冗余、存儲陣列硬盤要求采用RAID（Redundant Arrays of Independent Disks，磁盤冗余陣列）冗余技術等。

（3）分布式存儲型服務器

分布式存儲主要通過分布式文件系統、對象存儲或其他應用系統支持，采用多臺廉價通用服務器及服務器自身提供的多個大容量廉價磁盤來搭建，從而取代傳統的集中部署的獨立式磁盤陣列系統，主要用于網盤存儲、郵箱系統、互聯網海量數據存儲（如網頁、圖片、視頻、音頻、日志等）、數據挖掘、搜索引擎、日志分析等多類應用場景[5]。利用存儲型服務器搭建的分布式存儲系統在互聯網企業中已被廣泛應用，應用針對性強，其定制需求與技術特征包括：大存儲容量；高網絡I/O；較低CPU與內存要求；較低硬件可靠性要求。

由于分布式文件系統本身采用軟件實現系統的可靠性，因此服務器自身對于磁盤的可用性沒有過高要求，主要以SATA（Serial Advanced Technology Attachment，串行高級技術附件）磁盤、Non-RAID磁盤為主。

3 服務器定制過程

下面主要針對上述3種典型云計算應用，分析其定制化服務器所關心的主要性能指標和硬件配置的相互關系，制定服務器主要部件的配置列表，為云計算服務器的定制化提供理論依據。

3.1 Web服務器定制過程

（1）測試結果分析

針對Web定制化服務器性能測試采用的評估工具是LoadRunner，評估資源對象包括CPU、內存、磁盤I/O和網絡I/O。服務器主要配置是2路4核、主頻2.4GHz的CPU、32GB DDR3（Double Data Rate，雙倍速率同步動態隨機存儲器）內存、2個300GB容量、15 000轉速的SAS（Serial Attached SCSI，串行連接服務器硬盤）硬盤、1個千兆網卡的通用服務器。測試中將并發用戶數分別從1000到4000進行測試，其資源占用情況如表1所示：

在4000用戶數時，SAS硬盤的磁盤I/O出現了性能瓶頸，因此將以上2個SAS硬盤更換為SSD（Solid State Drives，固態硬盤）硬盤，從5000用戶數做進一步的測試，其資源占用情況如表2所示：

從業務模擬測試上可以看出，相對于使用SAS硬盤的通用型服務器而言，在4000用戶數以下，應用對磁盤I/O的要求較高、內存和CPU次之、網絡I/O要求較低，可以得出測試結論如下：

◆在SAS磁盤場景下，最大可以達到4000并發用戶數，所需的CPU資源相當于1路4核處理器，內存需求約16GB，網絡資源僅需1個千兆以太網卡即可滿足。

◆在SSD硬盤場景下，由于硬盤的I/O能力大幅提高，最大可以達到9000并發用戶數，所需的CPU資源相當于2路4核處理器，內存需求約32GB，網絡資源僅需1個千兆以太網卡即可滿足。

（2）定制方案

通過測試結果分析，Web服務器對磁盤I/O和內存有著較高要求，包括更大的磁盤I/O能力、較高的CPU能力和內存容量等。在更大的用戶數資源需求場景下，應考慮使用更大磁盤I/O能力的SSD硬盤或外掛磁盤陣列。

◆CPU要求

單節點采用單處理器，功率不超過90W，可選擇實配4核或6核。當用戶數超過4000時應考慮采用雙處理器，實配4核或6核。

◆內存要求

4個DDR3內存插槽，根據業務實際需求可考慮實配1根16GB內存條，當用戶數超過4000時應考慮實配2根16GB內存條，頻率1333MHz，要求支持ECC（Error Correcting Code，錯誤檢查和糾正）功能。

◆磁盤要求

配置2個3.5寸SATA硬盤或SAS硬盤，支持熱插拔，配置RAID卡，硬盤容量在300GB以上選擇能滿足實際業務需求，且價格最低的型號，轉速不低于10 000轉/秒。當用戶數超過4000時應考慮選配2個SSD硬盤，以滿足更高的磁盤I/O需求。

◆網絡要求

板載2個千兆網卡，根據業務需求考慮配置為熱備模式。如需外掛磁盤陣列，應考慮配置1個雙口8GB的HBA卡或增加至少1個千兆以太網卡。

◆其他要求

其他要求包括維護要求、電源要求、機箱要求和風扇要求等。

3.2 計算虛擬化型服務器定制過程

（1）測試結果分析

針對計算型服務器性能測試采用的方法是在不同負載情況下，評測各廠商解決方案在確保用戶體驗時能夠在同一物理資源池上承載的最大虛擬桌面數量。測試中使用的輕負載主要包括Word、Excel、PowerPoint操作、PDF文件閱讀、IE瀏覽等典型的辦公類應用操作，重負載中增加了視頻播放操作，它們能夠代表虛擬桌面上運行的典型業務應用。測試設備的主要配置是2路8核、主頻2.4GHz的CPU、128GB DDR4內存、1個300GB容量的MLC（Multi-Level Cell，多層次分傭）企業級固態硬盤、2個萬兆網卡和2個千兆網卡的通用服務器。

如表3所示，在虛擬桌面數量達到300左右時，CPU利用率都非常高，接近或達到100%，這表明桌面虛擬化服務器需要大量的CPU處理資源，所以針對虛擬化應用的定制化服務器需要配置高性能CPU。由于虛擬機配置的內存總和低于服務器總內存容量，因此物理內存資源尚未耗盡。虛擬機鏡像文件放置于獨立磁盤陣列上，本地磁盤沒有較大的I/O需求，僅需運行虛擬主機軟件，因此服務器磁盤活動總體較少，大部分服務器的磁盤讀寫速率不超過12MB/s，遠未達到磁盤理論讀寫速率，磁盤不帶緩存最大的讀寫速率約為100MB/s。另外，在虛擬桌面數量增加時，網絡有較大的I/O需求。

如表4所示，虛擬機數量和CPU利用率近似呈線性關系，當運行的虛擬機數量減少時，將會直接降低對CPU的使用。同時，網絡吞吐量和磁盤讀寫速率也會相應降低，但內存占用率不會隨著虛擬機數量的減少而減少。

（2）定制方案

通過測試分析，計算型虛擬化應用對服務器的CPU資源、內存資源和網絡資源有著較大的要求，同時要求支持相關硬件虛擬化技術。而由于大多數資源池均外掛網絡存儲，本地磁盤則基本不需要。然而，由于資源池將在具體應用中承載多種類型的虛擬機業務，其資源需求特征也會隨著具體業務部署而有所不同，因此基于業務承載的不確定性且可在資源池內進行彈性調度的主要特征，定制計算虛擬化型服務器，并預留較高的可擴展性。

◆CPU要求

單節點采用雙處理器，功率不超過100W，可選擇實配8核，要求支持硬件輔助虛擬化。

◆內存要求

不少于8個DDR3內存插槽，根據業務實際需求可考慮實配8根16GB內存條，頻率1333MHz，要求支持ECC功能、多通道對稱設計。

◆磁盤要求

預留至少1個硬盤插槽，但可考慮不實配硬盤，而配置1個USB芯片（U盤）或SD卡（16GB或32GB），不要RAID。

◆網絡要求

配置2個千兆網卡和2個萬兆網卡，要求萬兆網口支持VMDQ（Virtual Machine Device Queue，虛擬設備隊列）技術，并根據業務需求考慮配置為熱備模式。如需外掛磁盤陣列，應考慮配置1個雙口8GB的HBA卡或增加至少1個千兆以太網卡。若不配置萬兆網卡，則至少應配置6個千兆網卡。

◆其他要求

其他要求包括主板要求、維護要求、電源要求、機箱要求和風扇要求等。

3.3 分布式存儲型服務器定制過程

（1）測試結果分析

針對分布式存儲服務器，采用FIO測試工具記錄系統進行讀寫操作時，系統資源的使用情況包括CPU利用率、內存利用率、磁盤速率、網絡吞吐量等。FIO做所有盤測試，測試數據包大小分別為4kB、64kB、256kB的隨機混合讀寫的IOPS（Input/Output Operations Per Second，每秒進行讀寫操作的次數）及帶寬，數據包大小為1024kB大數據塊的順序讀寫的IOPS及帶寬。另外，測試要求在無文件系統的裸盤上進行，并要求延遲滿足不大于100ms。

如表5所示，測試設備的主要配置是2路6核、主頻2.4GHz的CPU、64GB DDR4內存、12個4TB容量、7200轉速的SATA硬盤、2個萬兆網卡和2個千兆網卡的通用服務器。在各類型的數據包中，混合讀寫操作和順序讀寫操作的CPU利用率普遍在10%以下。對于內存利用率來說，混合讀寫和順序讀寫操作任務消耗的內存資源在50%以下，因此不是特別消耗內存資源。大數據包讀寫操作的網絡吞吐量達到6Gbps，網絡吞吐量成為制約分布式存儲應用服務器性能的一個瓶頸。

（2）定制方案

通過測試數據分析，在分布式存儲應用環境下，基于存儲集群的特征，對存儲容量和網絡有非常高的要求，而對CPU資源、內存資源則沒有特別高的要求。然而，由于分布式存儲將在具體應用中承載多種類型的數據存儲業務，甚至可能包括部分數據分析、分類業務，其資源需求特征也會隨著具體業務部署而有所不同，因此考慮借鑒業界在搜索引擎業務、互聯網海量圖片數據存儲等分布式集群的部署經驗，定制分布式存儲型服務器，并預留較高的可擴展性。

◆CPU要求

單節點采用雙處理器，功率不超過100W，可選擇實配4核或6核。

◆內存要求

不少于8個DDR3內存插槽，根據業務實際需求可考慮實配4根16GB內存條，頻率1333MHz。在承載數據處理業務場景下，可考慮選擇支持ECC功能，要求支持多通道對稱設計。

◆磁盤要求

單節點不少于12塊3.5寸或24塊2.5寸SAS/SATA磁盤，通常可不支持熱插拔；在承載數據處理業務且對數據有較高可靠性要求場景下，可考慮支持熱插拔。通常可不配置RAID卡。

◆網絡要求

至少配置4個千兆網卡，并根據業務需求考慮配置為熱備模式。如考慮配置萬兆網卡，可配置2個千兆網卡和2個萬兆網卡，并根據業務需求考慮配置為熱備模式。

◆其他要求

其他要求包括主板要求、維護要求、電源要求、機箱要求和風扇要求等。

4 結束語

本文通過對3種不同業務應用場景下定制化服務器的性能進行測試和分析，得出了針對不同應用場景下的定制化服務器的配置方案。隨著業務規模的發展，電信運營商可以借鑒行業的經驗和已有量產化服務器進行更強針對性的定制，在云資源池建設中，分布式存儲應用等應用場合大規模使用定制化服務器，以實現降本增效。

參考文獻：

[1] 沈玲，趙學健，孫知信. 基于云計算業務應用的定制化服務器性能研究[J]. 南京郵電大學學報： 自然科學版， 2014（6）： 85-89.

[2] 中國電信集團公司. 中國電服務器定制技術要求[Z]. 2015.

[3] 劉沅. 定制化服務器在互聯網行業的應用[J]. 微電腦世界， 2012（7）： 101.

[4] 童曉渝，張云勇，房秉毅，等. 大數據時代電信運營商的機遇[J]. 信息通信技術， 2013（1）： 5-9.

[5] 潘泓. 基于虛擬機的代碼保護技術研究[J]. 計算機應用研究， 2013（12）： 209-212.

[6] 中國電信集團公司. IaaS服務器硬件技術規范[Z]. 2012.

[7] 劉繼華，陳策. 軟件測試技術的研究進展[J]. 微計算機信息， 2012（10）： 494-496.

[8] 徐小龍，吳家興，程春玲，等. 基于大規模廉價計算平臺的海量數據處理系統的研究[J]. 計算機應用研究， 2012（2）： 582-585.

[9] 黃植勤，李先緒，邱紅飛. PC服務器能效測量研究與應用實踐[J]. 電信科學， 2011（11）： 111-118.

[10] 尹國定，衛紅. 云計算——實現概念計算的方法[J]. 東南大學學報： 自然科學版， 2003（4）： 502-506.★