面向云計算的企業級硬盤基準測試

郭亮 中國信息通信研究院技術與標準研究所，云計算標準與測試驗證北京市重點實驗室高級工程師

網絡技術——云計算專題

面向云計算的企業級硬盤基準測試

郭亮 中國信息通信研究院技術與標準研究所，云計算標準與測試驗證北京市重點實驗室高級工程師

近幾年，各類云服務發展非常迅猛，對底層重要部件企業級硬盤的需求量越來越大。為了上層云服務的穩定運行，非常有必要對企業級硬盤進行全面的基準測試。本文就企業級硬盤的市場規模、技術發展、云服務流量模型做了研究，并對企業級硬盤基準測試提出了具體建議。

機械硬盤；固態硬盤；基準測試

1 引言

近幾年，云計算、大數據蓬勃發展，其產生的數據量越來越多。研究顯示，2020年一年將會產生數十ZB的數據，僅存儲這些數據就需要數百億個1T硬盤。更多的數據需要存儲和處理，使存儲系統的重要性得到顯著提升。人們對存儲系統的關注度日益升溫，而對存儲系統的穩定性、安全性和可靠性起到決定作用的企業級硬盤卻一直隱藏在人們的視線之外。

作為服務器中的重要部件，硬盤的各項功能和性能對于服務器的穩定運行以及業務的正常使用至關重要。固態硬盤在啟動速度、讀寫速度、質量、抗震上相比HDD傳統硬盤有著絕對的優勢，而HDD發展至今，在價格、壽命和數據恢復方面的成績也是SSD無法取代的。這兩種硬盤技術在很長時間內會同時存在，各自也在不斷演進當中，如HDD領域出現了氦氣密封式硬盤、SSD的3Dnano技術等。使用合適的方法對硬盤進行基準測試以獲得性能、功能相關的準確結果，給系統部署提供參考數據，是一個迫切需要深入研究的課題。

2 市場規模和技術趨勢

2.1 市場規模

近來各類云服務層出不窮，而且云服務也成為了各大互聯網公司的主戰場。承載云服務的各類IT基礎設施，包括服務器、存儲、交換機等，采購量一直穩中有增。

在收購HGST之后，企業級硬盤市場由西數、希捷和東芝三分天下。但是近幾年隨著SSD技術的日漸成熟，三星、英特爾等SSD廠商逐漸嶄露頭角而且占據主動。傳統的HDD廠商也在尋求不斷的并購和研發，三大傳統HDD廠商也都有了自己的SSD產品，以求在這個新興的領域分得一杯羹。

根據Gartner的分析報告，關鍵任務的企業級HDD的復合年均增長率（CAGR，Compound Annual Growth Rate）為7.6%；關鍵商務的企業級HDD的CAGR為12.1%。總體來說，HDD保持了一個穩定增長的態勢。而服務器級的企業級SSD的CAGR為15.7%，存儲級的企業級SSD復合年均增長率更是達到了驚人的31.5%，具體參見圖1。

從區域來看，根據Gartner的研究報告，由于美國擁有眾多的大型互聯網公司，其企業級SSD的采購量占到了全球近一半的規模；亞太地區占全球的22%，中國占其中的44%；歐盟占全球的23%。企業級SSD的采購量也在一定程度上反映了該地區的互聯網發展水平。在全球的SSD市場（包括企業級和PC級）中，Top3的企業三星、Intel和Sandisk（已被西數收購）總共占到市場份額的60%以上，可見大公司的產品受到了市場的重點青睞。

圖1 企業級硬盤發展趨勢

總體而言，由于特點不同，企業級HDD和SSD將長時間內同時存在，而企業級SSD的總量將逐漸超過HDD，成為服務器和存儲的主要硬盤部件。

2.2 技術趨勢

技術是市場發展的基礎，企業級SSD的發展勢頭如此之猛，是跟其技術發展息息相關的。當硬盤接口從SATA到SAS，再升級到PCIe之后，速率也從SATA3.0的6Gbit/s飆升到PCIe3.0x4的32Gbit/s。對SSD的應用開發在不斷地創新中，全閃陣列和PCIe陣列是目前比較新穎的產品。

SSD與HDD相比，最大的優勢在于它的IOPS，也就是隨機讀寫的能力，相對于SATA接口HDD的數百量級，PCIe接口的SSD的IOPS可以提高數千倍；即使同為SATA接口的SSD，也比相同接口的HDD的IOPS要高上百倍。不過從單盤上升到陣列，并不只是用SSD替換HDD那么簡單。磁盤陣列的基礎是磁盤，由于磁盤存在尋道時間開銷，所以不太擅長處理隨機I/O，所以磁盤陣列設計核心是盡可能處理連續I/O。與之不同的是，SSD的優勢是延遲低，但不耐擦寫。為了物盡其用，全閃陣列的設計要盡量避免對SSD多次擦寫，而不是讓其處理連續數據的I/O請求。此外，還需要考慮快照、克隆、精簡配置和重復數據刪除等功能的實現，雖然這些在磁盤陣列中已經非常成熟，但同樣的設計并不一定完全適用于全閃架構。

與通過RAID組成陣列不同，PCIe陣列直接使用SSD的PCIe接口連接PCIe交換機，形成一個類似網絡存儲的結構。這樣的話，每個主機都能高速訪問幾十上百個SSD，相比以太網或者Infiniband獲得了低延時和低成本的優勢。目前，PCIe交換技術有非透明橋NTB（Non Transparent Bridge）、動態分區（Dynamic Partitioning）、SR-IOV（Single Root I/O Virtualization）、多主機系統等多種方式，這些方式各自也在不斷地演進當中，尚未有定論。PCIe存儲網絡不需要昂貴的交換機和HBA，成本相對Infiniband要低，性能優異且功耗低，不過需要解決PCIe交換機的標準化問題。

隨著超融合架構概念的落地，存儲作為其中重要一部分，不管是以磁盤陣列、全閃陣列亦或是PCIe陣列，必將與計算、網絡和服務器虛擬化等資源一起，依靠緩存加速、重復數據刪除、在線數據壓縮、備份軟件、快照技術等技術，形成統一的資源池，實現模塊化的無縫橫向擴展，為各類云服務提供穩定、可靠且可擴展的基礎設施。

3 常見云服務流量模型

各類服務，如搜索、游戲、電子商務，對于存儲系統來說其流量模型是不盡相同的。把流量模型數字化到最底層，那么體現出來的就是字節長度和對應的百分比的各種組合。

表1是全球SSD領先企業三星的DSLR（Device Statistics Log Repository）工具分析出來的具體應用及其對應的字節大小和百分比。可以很明顯地看到，對于網頁服務器來說都是隨機讀的流量，其中4KB、512KB和8KB字節的占比總計達到50%以上；對于文件服務器，讀占了80%，其中4KB占比60%；對于郵件服務器來說，都是32KB的讀寫操作，其中讀占了80%、寫占了20%。

表1 主流業務流量模型

另外，比較常見的有大數據處理系統。大數據處理集群的數據節點通常由數十臺或者上百臺服務器構成，每臺服務器上分別存儲分布式文件系統的部分數據，需要對存儲數據進行頻繁操作和處理，因此要求每臺服務器支持與CPU、網絡IO能力相匹配的硬盤存儲空間，通常集群每個服務器節點配置一定數量的企業級硬盤保證存儲容量，同時配置部分SSD硬盤作為高速緩存進行IOPS和吞吐率性能加速。OLTP/數據庫測試代表了處理在線事務任務時帶來的大量事物負載。測試模式為8K隨機測試讀67%、寫33%。

因此，對于不同的應用，其數字化模型是不同的，對存儲盤的需求和配比也是有一定差異的。作為基準測試，這就要求在制定測試項目時能夠考慮到不同的字節、占比等，綜合各種因素，做出較全面的設計。

4 基準測試項目設計

傳統而言，最受用戶關注的企業級硬盤技術指標包括吞吐量和IOPS，這跟傳統的HDD有很大關系。對于HDD來說，由于其物理結構的原因會比較擅長順序讀寫，所以一般會將對HDD的順序讀寫定義為吞吐量。此時，HDD能夠得到最快的讀寫速度，也就是每秒能夠讀或者寫的字節數。隨機讀寫被定義為IOPS，也就是每秒進行讀寫（I/O）操作的次數，衡量硬盤的隨機訪問性能。

在設計測試項目的時候，首先需要有項目能測量出在隨機塊大小和不同讀寫比例下的IOPS，以了解其隨機訪問性能；其次，測量穩態下的多種塊大小（如小塊、大塊等）在順序讀、順序寫情況下的吞吐量，目的是測量被測設備在沒有IO總線限制的情況下能以多快的速度傳輸順序數據。此外，對于SSD來說，還需要有項目能夠觀察被測設備從PURGEDFOB狀態開始對持續的隨機小字節寫的響應，這個項目可以持續24h或者4倍于被測SSD的容量，以檢查被測SSD對長時間小字節隨機寫的IOPS穩定性。由于實際的訪問流量不都是小字節的，考慮到極限情況，還需要對被測SSD的大小字節的變化做相關測試，可以觀察被測SSD對大塊順序寫、小塊隨機寫、大塊順序寫的處理情況，目的是衡量被測SSD在不同相鄰負載下的相互作用。必須注意的是，性能測試中對相關的參數需要精確定義，以便測出并能描述被測硬盤的真實性能。

除了性能部分，被測硬盤的穩定性和功耗也非常受關注。

穩定性一般需要被測硬盤在一定壓力下長時間運行不出問題。考慮到實際應用情況，這個項目需要在Windows和Linux兩種OS下進行。與長時間運行相反，重復復位測試是被測硬盤在服務器不斷重啟的狀況下進行數據的拷貝和比較，以檢驗被測硬盤在這種極限情況下的重復復位能力。對于穩定性而言，環境測試也是一個重要的組成部分，很有必要對被測設備在高溫高濕和低溫環境下進行儲存和運行測試。

隨著IDC規模越來越大，其功耗也逐漸引起人們的重視。作為IDC中的基本部件，硬盤的功耗非常重要，特別是對于存儲類服務器，動輒近20塊硬盤，如果是HDD的話其啟動功耗將會非常大，這些硬盤同時開機對IDC的用電會產生很大的沖擊，需要有一定的策略去解決這個問題。IOPS/Watt指標對于衡量SSD是否高效非常重要，一些高性能的PCIeSSD耗電比單個的HDD可能會高，但它們的性能極為出眾，使用IOPS/Watt指標后將能更加準確地反映被測設備的能耗效率比。

5 結束語

硬盤是云數據中心的核心部件，不僅關系到云計算與大數據的服務、計算和性能，更關系到整個云數據中心平臺的TCO。在云計算和大數據時代，爆炸式數據增長對容量要求越來越大，企業級硬盤對于上層應用穩定、可靠運行肩負著重要的責任。對企業級硬盤進行全面的基準測試設計，建立全面衡量企業級硬盤產品的標桿方法，這樣產生的測試結果對各行業都將具有非常重要的參考意義。

Enterprise hard disk benchmark oriented cloud computing

GUO Liang

In recent years various types of cloud services are developing very fast. The demand for enterprise level disk as the important components of the bottom layer is more and more large. In order to stable the operation of the upper cloud services， it is necessary to conduct a comprehensive enterprise disk benchmark. This paper makes research on the market scale、technology development and the cloud service flow model of the enterprise disk， and puts forward some concrete suggestions on the enterprise disk benchmark.

hard disk drive；solid state disk；benchmark

2016-09-20）