混合存儲綜述

祝 青，李小勇

0 引言

大容量、低成本、高性能的存儲系統設計一直是存儲領域研究的熱點，而且隨著大數據云存儲時代的到來，人們對這樣的存儲系統的需求更加迫切。一方面，人類進入數字信息量呈爆炸性增長的時代，對存儲系統不斷提出更高要求，存儲系統既要在低成本前提下實現大容量存儲[1]；另一方面，存儲和計算之間的性能差距不斷擴大[2]，這就需要具有在海量數據規模下與計算性能相匹配的高性能數據訪問能力。

但與之矛盾的是，目前任何一種存儲介質所構成的存儲系統都不能同時滿足大容量、低成本、高性能等需求。如果將容量、成本、順序性能、隨機性能、壽命作為主要指標，那么對指標的覆蓋范圍就可以大致體現該存儲系統的綜合水平。如圖1所示：

圖1 幾種存儲介質特性差異

體現了目前主流持久存儲介質，如磁盤（Hard Disk Drive， HDD）、固態盤（Solid State Disk, SSD）、非易失性隨機存儲器（Non-volatile Random Access Memory,NVRAM）在容量、成本、性能、壽命等方面存在的差異。從圖1中，可以看出，采用單一存儲介質所能覆蓋的需求范圍是有限的。引入內存作為緩存進行預讀寫或將設備組成RAID可以在一定程度上擴展系統的指標覆蓋范圍，但這種提高是有限的或是有代價的（可靠性的損失）。如果將多種存儲介質集成在一起，構成混合存儲系統，發揮各自的優勢，揚長避短，就可以顯著地擴大需求覆蓋范圍，從而較好地解決這個問題。

本文將從以下幾個方面展開：首先從混合存儲概念、存儲介質的特性、以及混合存儲分類這3個方面進行介紹；接下來以目前主流的基于SSD和HDD的混合存儲為例，對混合存儲設計的關鍵技術進行分析；然后對當前混合存儲發展所存在的問題進行探討，最后對其未來發展進行展望。

1 混合存儲簡介

1.1 混合存儲概念

混合存儲（hybrid storage）是一種數據存儲方法，它利用不同存儲設備的特性，根據數據訪問特點和系統負載情況，盡可能將數據請求交給最適合處理該請求的設備，進而提高整個系統的性價比、使用壽命、可靠性、容量等指標。

混合存儲系統之所以存在，從根本上講是由于存取速度與設備價格的正相關性所導致。雖然最理想的情況是將所有數據都存儲在高速設備上，但這對于很多用戶來說成本過高。混合存儲系統將大部分的用戶數據都存放在低速設備上，由高速設備來接收或者響應數據請求。它的主要目標是使存儲的數據充分利用不同存儲介質的特性，在保證存儲系統容量的同時盡可能地提高性價比。混合存儲所采用的介質可以是NVRAM、不同轉速的磁盤（SAS、SATA）、SSD、磁帶等。

需要說明的是，這里所討論的混合存儲不同于傳統的基于磁帶和磁盤的分層存儲。雖然其思想來自于傳統的磁帶磁盤分層存儲，但本文所討論的混合存儲更側重于將異種存儲介質整合成一個邏輯存儲設備，為用戶提供統一的接口，自動完成對上層應用程序透明的熱點數據識別、數據負載的自動緩存或遷移等操作，而不需要管理員手動完成。

1.2 存儲介質特性

磁盤是目前最常用的存儲介質。它具有大容量、低成本、適合順序訪問的優點，但其隨機訪問性能較差，這是由磁盤通過移動機械磁頭訪問數據的方式所決定的。隨著多種新技術和新工藝的應用，雖然磁盤的容量按照摩爾定律迅速增加[3]，在過去的30年里增加了100,000倍；但由于磁頭移動速度的限制，磁盤的訪問延遲僅僅降低了2倍，且進一步提高磁盤轉速會帶來能源消耗和溫度等一系列問題[4]。磁盤容量與性能之間的矛盾日益突出。

近年來，固態盤的快速發展為提升存儲系統性能提供了新的機遇。針對 SSD的研究在閃存硬件原理[5]、內部架構[6]、性能[7]等方面都已經積累了較多的成果。SSD 基于Flash介質來存儲數據，不存在機械設備的移動，具有訪問延遲低、體積小、質量輕、無噪聲、低功耗等優點。尤其在隨機訪問性能方面，SSD比磁盤高出一個數量級，因而可以較好地解決磁盤存儲系統的隨機訪問性能瓶頸。近年來，隨著制作工藝的進步， SSD的容量以每年翻一倍的速度遞增，其價格也以每年40%～50%的速度遞減，已開始進入大規模存儲領域，成為存儲系統突破性能瓶頸的重要手段。但目前SSD還存在價格偏高，容量較小，寫前需要進行擦除，擦除次數有限等問題，這就使得SSD并不能完全取代HDD來構建存儲系統。

非易失性隨機存取存儲器是另一種高性能持久存儲設備，它不僅具有接近RAM的訪問速度，而且在系統掉電情況下不會像RAM那樣丟失數據。起初的NVRAM由RAM加電池構成(Battery Backed-up RAM, BatRAM, 包括BBSRAM和BBDRAM)；在最近的幾年中，新一代NVRAM如相變 RAM(phase-change RAM, PRAM)，鐵電體 RAM(ferroelectric RAM, FeRAM)，以及磁RAM (magnetic RAM,MRAM)等發展很快，這些新型NVRAM已經不再需要電池。用NVRAM作為磁盤的寫緩存，可以避免SSD做緩存時所面臨的寫前擦除延遲和寫壽命限制，顯著提高存儲系統的寫性能和可靠性。但 NVRAM 價格較高，容量較小，一般在二級存儲系統中用來記錄日志或者在網絡存儲系統中用作client或server端的cache來改善系統性能，提高可靠性。

NVRAM、SSD和HDD三種存儲設備在性能、容量、價格等方面的差異，如表1所示：

表1 DRAM、SSD、HDD性能、容量、價格比較

這些差異決定了采用單一存儲設備建立的存儲系統不能夠同時滿足大容量、低成本、高性能等需求。而正因為存儲介質之間的差異，采用不同存儲介質搭建的混合存儲系統就具備同時滿足這些需求的潛力，因而具有較高的研究和應用價值。表1 DRAM、SSD、HDD性能、容量、價格比較。

1.3 混合存儲分類

根據所采用的存儲介質種類來分，混合存儲有以下幾類：采用NVRAM和HDD的混合存儲系統；利用不同轉速磁盤搭建的混合存儲系統；以及基于SSD和HDD的混合存儲系統。

1.3.1 NVRAM與HDD的混合存儲

1）NVRAM作為數據緩存

基于RAM的Cache技術一直是提高存儲系統性能的重要手段[8]，系統將經常訪問的數據保存在RAM中，盡量避免訪問磁盤，從而實現以RAM的性能訪問數據，目前這一技術的代表是CLOCK-Pro[9]和ARC[9]。但采用RAM作為cache只能提高系統的讀性能，對于寫性能的提高并不顯著：原因不在于緩存的大小不足，而是需要避免新寫入的數據（臟數據）由于掉電而丟失。臟數據必須要從易失性存儲設備（RAM）寫入到非易失性存儲設備中來保證它的持久性，這就使得系統面臨降低寫負載與保護臟數據的可靠性的兩難選擇。臟數據在緩存中停留的時間越長，它被覆蓋寫或者刪除的可能性就越大，但與此同時它也更易受掉電丟失等侵害。基于這個原因，UNIX和Sprite等系統都限制了臟數據在緩存中停留的時間。

NVRAM 由于其數據的非易失性，為通過緩存方式提升存儲系統的寫性能提供了可能。一種策略是將 NVRAM與RAM整合作為緩存，其整合方式可以有多種。比如可以將數據同時寫入RAM和NVRAM中。NVRAM只用來保護易失性緩存中臟數據的持久性，只有在系統宕機重啟后才會被訪問；或者將RAM和NVRAM結合組成一個單一的大緩存。一個獨立的塊有可能在任意一個存儲器中（而不同時存在），所有的臟數據塊都存放在NVRAM上[10]等。

較早的時候，由于NVRAM的容量較小，價格較高，所帶來的性能改進有限。近年來，NVRAM的容量也在不斷增大（目前BBDRAM的容量可達8GB），但目前存儲系統中HDD容量和NVRAM的容量比例仍在逐漸擴大，再加上大數據訪問呈現出的一次遍歷的特征，這使得基于NVRAM的Cache讀命中率不斷下降，系統讀性能提高的效果不斷減弱。

2）NVRAM記錄日志

基于 NVRAM 容量小、高隨機性能的特性，早期的NVRAM主要被用于存放OLTP系統中的日志數據[11]。比如NetApp的WAFL收集操作請求，這些作為日志數據首先寫入到NVRAM，當數據積累到一定量或者周期結束以后，再將其寫入到磁盤。期間如果發生斷電，系統重啟后仍然可以從 NVRAM 中讀出相關數據，根據最近一致點和日志記錄將存儲系統恢復到一致的狀態。NVRAM記錄日志的方式提高了OLTP系統中事務處理的速度。

在最近的幾年中，NVRAM 技術發展很快，在增大容量、降低成本、采用新介質等方面都有所突破。隨著新一代NVRAM技術的不斷成熟，未來有望在混合存儲系統中扮演重要的角色。

1.3.2 不同轉速磁盤的混合存儲

在20世紀90年代，利用不同規格、不同轉速的HDD來設計混合存儲系統曾成為產業界研究的熱點。其基本思想是根據數據的重要性、訪問頻率、保留時間、容量、性能等指標，將訪問頻繁的“熱”數據保存在轉速為10K/ 15K RPM的高速小容量FC或SAS磁盤中，而將較少訪問的“冷”數據保存在轉速為5.4K/ 7.2K RPM 的低速大容量IDE/SATA磁盤中。但由于磁盤本身機械部件的限制，不同存儲器件之間的性能并無顯著差距，這種方法對存儲系統的性能（尤其是隨機訪問性能）提升十分有限。

1.3.3 SSD與HDD的混合存儲

隨著近幾年SSD設備技術的日漸成熟，以及SSD和HDD良好的互補性為設計大容量、高性能、低成本的混合存儲系統提供了嶄新的機遇，基于SSD和HDD的混合存儲領域已成為存儲技術的重要發展方向和研究熱點，發展十分迅速，其中企業界的發展尤其引人注目。 Microsoft，HP，Intel，EMC，IBM，NetApp，Samsung等企業都對SSD及其應用表現出了濃厚的興趣。EMC[12]，IBM[13]，NetApp[14]等企業的一些產品已經采用或支持基于SSD的混合存儲。下面將對目前流行的這種混合存儲技術做詳細地介紹。

2 SSD與HDD混合存儲關鍵技術

總的來說，目前針對SSD與HDD的混合存儲系統的研究主要從系統架構、映射策略、熱點數據識別、數據遷移策略、最優化存儲介質用量組合等幾個方面展開。

2.1 系統架構

目前SSD與HDD實現混合存儲系統的架構主要有兩種方式：一種是緩存分層架構，即將SSD作為HDD的緩存，以分層的方式搭建系統；另一種是設備同層架構，即將SSD和HDD設備放在同一層，作為存儲系統的兩個相對獨立的存儲設備來搭建系統。

2.1.1 緩存分層架構

緩存分層架構將SSD完全作為磁盤的cache，SSD中的數據是HDD中數據的子集。混合存儲系統的邏輯地址與HDD設備的物理地址一一對應，而SSD設備中緩存了HDD中部分數據的拷貝。當上層有IO請求到達時，會先在SSD設備中查找該數據是否已被緩存，如果有，則訪問SSD設備；否則訪問HDD設備。

在緩存分層架構下，因為SSD較RAM可以緩存更多的內容，所以存儲系統的讀性能得到提高；而且SSD的隨機寫入性能也遠遠高于 HDD，所以可以用它來作為預寫，然后將寫入內容批量寫入到磁盤中，進而提高寫性能。但緩存分層架構也面臨一些問題，比如SSD和HDD數據一致性維護、SSD壽命損耗過快等。目前采用緩存分層架構的混合存儲系統的代表是facebook的flashcache[9]。

2.1.2 設備同層架構

設備同層架構將SSD與HDD設備放在同一層，將SSD和HDD的物理地址統一編址，所以系統的邏輯地址范圍是SSD和HDD地址范圍之和。數據存放在SSD或者HDD上，兩種設備之間會根據數據的冷熱程度進行數據遷移。

設備同層架構使得系統容量為SSD與HDD容量之和，提高了設備的空間利用率；同時它將經常使用或最近訪問的數據被存放（或遷移）到SSD上，降低系統的訪問延遲；而且它還可以通過提高不同設備的并發性來提高存儲系統的吞吐量，進一步提高系統的性能。但設備同層架構也存在一些問題，比如設計復雜度較高，設備之間數據遷移時會影響系統的性能等。目前采用設備同層架構的混合存儲系統有HRO[10]、EDT[5]、HybridStore[15]等。

2.2 映射策略

無論采用什么樣的架構，最終數據都是以block為單位存放在具體設備上的。這就需要考慮每一個block I/O請求應該映射到什么設備上，也就是從邏輯塊地址到物理塊地址的映射策略。它包括映射的粒度和映射的規則。

映射粒度指的是混合存儲系統所識別的 block所屬組織結構的基本單位，它可以包含一個或多個block。一般映射粒度分為三類：數據塊級、文件級、Extent級等。映射規則是指與系統架構和映射粒度配合的數據分配規則。不同的映射粒度和映射規則對系統的性能、熱點識別、數據遷移策略的選擇，以及系統設計和管理復雜度等都會產生不同的影響。

2.2.1 數據塊級映射

數據塊（block）級映射是粒度最細的映射，它將每一個4KB的block作為基本映射單位。所有的block請求根據其起始扇區號，按照特定的規則（比如取模運算、哈希運算等），映射到具體的存儲設備的塊進行處理。一般數據塊級映射采用的都是緩存分層架構，其映射規則與CPU寄存器與內存之間的高速緩存的映射規則相似，可以采用直接映射、全相聯、組相聯3種方式。

以數據塊為粒度的映射較為簡單，而且可以在微觀層面以最細的粒度進行映射。但以數據塊為粒度會增大系統的內存開銷。例如，對于100GB的SSD設備存儲空間，以一個block的元數據占20 bytes來計算，元數據所占用的內存空間將達到 500MB，這對于大多數混合存儲系統是不可接受的。而且對于順序請求，系統有可能將其中的一些數據塊映射到在SSD上，另一些在HDD上，導致順序序列被隨機化，影響順序訪問的速度。另外，在緩存分層架構中，必然存在多個block請求映射到SSD同一位置的情況，采用不同映射規則的系統性能也會存在差異。這些都是數據塊級映射需要考慮的問題。

2.2.2 文件級映射

文件級是以文件作為相關block的基本組織單位，block請求按所屬的文件進行分類，同一文件的所有block請求都會被映射到同一個設備上。熱點識別、緩存或遷移的基本單位也是文件，和這個文件關聯的多個塊請求共同決定該文件是否是熱點文件，以及是否需要進行遷移等。

文件級映射的好處在于，與數據塊級映射相比，它以文件為粒度可以有效地減少所管理的元數據的數量和系統開銷；但由于文件的大小不一，文件可能較大，這樣在選取遷移數據集的時候會面臨一些新的問題，這些問題將在數據遷移部分進行介紹。

2.2.3 Extent級映射

Extent粒度是以一個指定的大小，將該范圍內的block捆綁在一起，作為一個映射的基本單位，同一個extent的所有block請求都會被映射到同一個設備上。它與文件粒度有相似之處：它們都是將多個block組織成一個較大的粒度；不同之處在于，文件將與該文件相關數據塊捆綁在一起，這些數據塊可能是不連續的，而extent一般都是由物理上連續的數據塊構成。目前以 extent為粒度的系統有 EDT[6]、HybridStore[10]等。

由于 extent級和文件級粒度的相似性，它們都可以有效地減少元數據的數量，減少內存消耗。而且extent的大小是一致的，在進行數據遷移的時候，數據集的選取就會簡便些。Extent的大小可以自由選擇，這也使得映射的粒度更加靈活，但extent的大小對系統也會產生影響：較小的extent具有更細的粒度，可以更有效地識別熱點，更輕量級地進行數據遷移，從而更高效地響應工作負載的變化，但這也會使得元數據所占用的計算和空間資源增大。

2.3 熱點數據識別

熱點數據識別是指將對設備的數據請求按冷熱程度進行劃分，從而實現對不同熱度的數據訪問分別處理。從本質上講，它與存儲層次中的緩存策略的目的是一樣的，它們都是將經常訪問的數據放在性能較高的存儲設備上，所以緩存算法也可以認為是熱點數據識別算法。熱點數據識別的準確率會直接影響到整個系統的性能。針對熱點數據的識別方法，已經有較多的研究成果。根據映射粒度的不同，識別的效果以及內存和計算資源的消耗也會有不同。下面將逐一進行介紹。

2.3.1 數據塊級熱點識別

數據塊（block）級的識別是粒度最小的熱點數據識別方法，它將一個數據塊作為冷熱程度計數的單位，統計數據塊的訪問頻度，將頻度高的數據塊標記為熱點。數據塊級別的熱點識別較多應用于SSD的內部設計中，主要用于SSD的損耗均衡。而在混合存儲系統中，數據塊級的熱點識別也有應用。

數據塊級的識別的優勢在于，它可以在微觀層面精確地識別出真正的熱點數據塊；但它沒有在宏觀上將I/O隨機性、系統帶寬等其它信息加入熱點程度計算中，導致系統的性能降低。例如，對于一組順序請求，系統就有可能將其中的一些數據塊放在SSD上，另一些在HDD上，導致數據塊被分散化，影響順序訪問的速度。

數據塊級的熱點識別算法很多，有經典的FIFO、LRU等算法，也有最近幾年提出的 ARC、Clock-Pro、多哈希函數、多布隆過濾器、WDAC等算法。其中，FIFO和 LRU的實現簡單，計算負載低，而且不需要引入額外的內存開銷；但其所識別熱點的命中率不高，而且順序遍歷I/O會將熱點信息全部覆蓋，影響系統訪問性能。ARC、多布隆過濾器等較新的算法都將數據訪問的新近性（recency）和頻度（frequency）引入作為判定熱點程度的標準。這些算法在引入一定額外開銷的條件下提高了熱點的命中率，而且可以抵抗順序遍歷型I/O對熱點信息的沖刷，因而具有良好的應用價值。

2.3.2 文件級和extent級熱點識別

以文件或extent為粒度是另一種判定熱點數據的方法。它以文件或extent作為熱度統計的基本單位，在其元數據信息中都會有保存熱點程度的域，所有的block訪問請求都會對其所屬的文件或extent的熱度值產生影響。在這個粒度的熱點識別中，不僅可以通過block請求的冷熱程度，還可以添加隨機程度，帶寬等多個指標來綜合判斷“熱點”文件或extent。目前大多數混合存儲系統，如HRO、EDT、HybridStore等，都采用文件級或extent級的熱點數據識別。

文件級或 extent級熱點數據識別的好處在于，與數據塊級的識別相比，它以文件或extent為粒度可以有效地減少元數據的數量，進而減少熱點統計維護的數量，減少內存和計算消耗，而且還可以將數據塊訪問的隨機性等因素引入熱點識別過程，更有效地利用了SSD的特性。

2.4 數據遷移策略

在混合存儲系統中，理想狀態是將熱點數據存放在速度較快的SSD設備上。但由于熱點數據會隨著時間而發生變化，而且SSD的容量也要遠小于HDD的容量，因此必須要解決數據的移動（緩存或遷移）問題，從而達到提高混合存儲系統的訪問速度，降低訪問延遲，延長SSD使用壽命等目標。

數據緩存主要用在緩存分層架構中，用來決定將哪些數據緩存在SSD上；而數據遷移主要用在設備同層架構中，用來交換SSD和HDD存儲介質間的部分數據，以便更加高效地處理訪問請求。但無論是緩存分層架構，還是設備同層架構，設備之間都存在數據的交換。在緩存分層架構中一般稱作寫回（從SSD復制到HDD）或緩存（從HDD復制到SSD）。在這里設備之間的數據交換統稱為遷移。遷移策略要解決如下幾個問題：遷移哪些數據，何時遷移，如何在保證系統性能的前提下進行遷移等。

2.4.1 遷移數據集合的生成

遷移數據集合指的是設備需要遷入和遷出的數據集，它是根據數據的熱點程度生成的。一旦熱點數據識別方法確定，通過計算就可以確定需要遷移的數據集合。但對于不同的映射粒度，數據遷移集合的生成會有所不同。

數據塊級的數據遷移，則直接以數據塊作為數據遷移的基本單位。在數據塊粒度下，所遷移的數據集合也就是一個數據塊。這樣的好處在于遷移粒度小，遷移周期短，遷移效率高。文件級的數據遷移以文件為組成遷移數據集的基本單位，但由于文件的大小不一，這樣在數據遷移時計算需要遷移的數據集就變得比較復雜，需要在保證系統性能的同時盡可能多地遷移熱點數據；而且由于文件的粒度較大，遷移也會導致混合存儲系統性能的波動較大，所以要盡可能地在系統負載較輕的時候進行遷移。Extent級的數據遷移以extent構成遷移數據集的基本單位，它較文件級遷移的不同之處在于，由于extent的大小是一致的，在遷移的時候，數據集的生成就會簡便些。

2.4.2 遷移周期的選擇

根據遷移周期的不同，遷移一般可以分為靜態/半靜態遷移和動態遷移。靜態/半靜態遷移是指以天/月為周期的遷移；而動態遷移是指以分鐘/小時為周期的遷移遷移。數據周期的選擇也面臨一些兩難處境：靜態/半靜態遷移因為遷移周期較長，且后臺遷移的時間一般選在前臺系統負載較輕的時候（比如午夜），所以對前臺系統正常使用時的性能影響較小，且遷移較為簡單，但它也存在不能及時響應系統負載的變化的問題；動態遷移的周期較短，可以及時響應系統負載的變化，但由于其遷移的周期較短，后臺遷移的次數過多，會對前臺系統正常使用時的性能造成影響。

2.4.3 預遷移

一種中和遷移周期所面臨的二難選擇的方法就是進行預遷移。預遷移的思想就是，在多進程系統中，在前一個進程導致的遷移完成之前，就啟動后一個進程所引發的數據。之所以可以這樣做，是因為在數據遷移完成之前的一段聚合階段，系統的遷移負載并不重，這個時候就可以將這部分空閑負載用來預先做下一個進程所引發的遷移。

2.5 最優化存儲介質用量組合

實現最優化的存儲介質用量組合，在盡可能減小成本的同時達到系統的性能需求，也是混合存儲設計中需要考慮的問題。該最優化工作較為復雜，受存儲設備類型、數據負載、存儲系統架構、以及存儲容量、性能、可靠性、成本、能耗等多種因素的影響。根據用量組合能否動態改變劃分，可以將最優化方法分為靜態配置方法和動態配置方法。

2.5.1 靜態配置

靜態配置是指在初始配置的時候就完成存儲介質用量的組合。目前已知的最優化用量組合方法都是靜態配置方法，但實現的方式各有不同，有的通過實踐模擬的方式，重放或模擬I/O trace，用模擬器計算出所有遷移周期下對不同設備的需求，從而給出最優存儲介質組合；有的則通過理論推導的方式，由用戶給出對系統的價格、性能等指標的需求，然后將這些需求作為參數構成約束條件，通過混合整形線性規劃，求出系統設備組合的最優解。

2.5.2 動態調整

由于混合存儲系統一般不支持對存儲設備進行熱插拔，所以靜態配置好的設備組合一般不能動態變化，這就使得靜態配置下給出的設備組合并不一定能適應用戶變化的需求。或許對設備組合進行動態調整會成為混合存儲系統最優化設備組合的一個新的研究點。

3 存在的問題

雖然目前混合存儲系統的研究已經得到了學術界和產業界的廣泛重視，相關研究在各個方面已經有了較好的進展。但另一方面，一些關鍵問題還未獲得突破，主要表現在：

1）在SSD和HDD的混合存儲系統中，SSD的寫前擦除和寫壽命限制對系統的寫操作性能影響較大。從目前所公開的資料中可以看出，由于本身固有的屬性限制，SSD存在不能就地更新（inplace updating），需寫前擦除，擦除壽命等問題，這就導致在混合存儲系統中，寫操作面臨兩難困境：對于數據的寫入策略，若頻繁寫入SSD則會影響SSD的使用壽命，但如果頻繁寫入HDD則會影響系統的寫性能。所以，基于SSD和HDD的混合存儲并沒有完全解決存儲系統設計所面臨的問題。

2）目前基于NVRAM和HDD的混合存儲解決了系統的可靠性問題，但由于NVRAM價格較高，HDD與NVRAM容量比例較大，數據訪問方式多樣等因素的限制，NVRAM在處理大數據負載時讀數據的命中率較低，讀性能的提高效果并不顯著。

3）混合存儲系統中需要解決的關鍵問題如高效的熱點數據及訪問模式識別、數據放置策略及遷移算法等關鍵技術問題目前還未有成熟、通用的方案。雖然目前國外已有一些SSD與HDD的混合存儲系統的產品，但是其技術細節并未公開，內部實現機制和效果無從得知，也沒有對這些關鍵技術問題的對比分析。

4 總結

雖然目前的混合存儲系統都存在一定的問題或局限性，但這也為開展新型混合存儲系統研究，實現存儲系統基礎理論創新、關鍵技術突破提供了良好的機會。

綜合采用NVRAM、SSD和HDD并進行一體化設計的混合存儲系統，有可能成為混合存儲系統新的發展方向。NVRAM在處理寫請求時具備良好的性能，可以用來為寫請求加速，但其價格較高，容量較小，不足以為讀請求加速；SSD具備良好的隨機性，尤其是隨機讀性能，可以用來為隨機讀請求加速，但由于自身固有屬性的問題，不適合用來處理頻繁的寫入操作和大數據順序訪問操作；HDD的容量最大，每GB成本最低，但隨機讀寫性能較低，不適合處理隨機請求，但對順序請求有很好支持，可以用來處理大數據的順序訪問。將這3種存儲介質有機地組合起來，設計一種新型的混合存儲系統，具備3種設備的優勢，避免各自設備的不足。這種新型的混合存儲系統可能在性能和可靠性方面將比現有系統有大幅提高，在大容量、低成本、高性能等方面滿足現有對存儲系統的需求。

綜上所述，面向存儲應用需求，針對基于不同特性存儲設備的新型混合存儲的新理論和新方法的研究，可以為高性能存儲系統的分析和設計提供新的理論和方法指導，并開辟新的思路。

[1]Nimrod Megiddo and Dharmendra S. Modha.ARC: A Self-Tuning, Low Overhead Replacement Cache. [C]Proceedings of the 2003 Conference on File and Storage Technologies, 2003.

[2]Wu X. and Reddy, A. L. N. “Exploiting concurrency to improve latency and throughput in a hybrid storage system,” in Proceedings of the 2010 [J]IEEE International Symposium on Modeling, Analysis and Simulation of Computer and Tele-communication Systems, 2010.

[3]NetApp FAS3100 System, [OL]http://www.netapp.com/us/products/storage-systems/fas3100/.

[4]Guerra, J. Pucha, H. Glider, J. Belluomini, W. and Ran-gaswami. R. [C]Cost effective storage using extent based dynamic tiering. FAST, 2011.

[5]CagdasDirik, Bruce Jacob, The Performance of PC Sol-id-State Disks (SSDs)as a Function of Bandwidth,Concurrency, Device Architecture, and System Organization. [C]In Proc. Of ISCA’09, 2009.

[6]NitinAgrawal, VijayanPrabhakaran, Ted Wobber, John D.Davis, Mark Manasse, and RinaPanigrahy. Design tradeoffs for SSD performance. [G]In USENIX Annual Technical Conference, pages 57–70, Boston, MA, June 2008.

[7]Song Jiang, Feng Chen, Xiaodong Zhang. [C]CLOCK-Pro: An Effective Improvement of the CLOCK Replacement. USENIX, 2005

[8]Gray, J. “What Next? A Dozen Information-Technology Research Goals,”[C]ACM Turing Award Lecture, June 1999, MS-TR-99-50

[9]T. Morris, R. J. Truskowski. B. J. The evolution of storage systems.IBM SYSTEMS JOURNAL, [J]VOL 42,NO 2, 2003

[10]Mary Baker, Satoshi Asami, Etienne Deprit, JohnOuster-hout, and Margo Seltzer. Non-volatile memory for fast,reliable file systems. In Proc. International Conference on Architectu-ralSupport for Programming Languages and OperatingSystems (ASPLOS), [C]pages 10–22, Boston, MA, October 1992.

[11]George Copeland, Tom Keller, Ravi Krishnamurthy and Marc Smith. The Case ForSafe RAM. [C]Proceedings of the Fif-teenth International Conference on Very Large Data Bases.Amsterdam, 1989.

[12]Laliberte. B. Automate and Optimize a Tiered Storage Environment FAST![C]ESG White Paper, 2009.

[13]Gurumurthi, S. Sivasubramaniam, A. and Natarajan. V. K.Disk drive roadmap from the thermal perspective: [G]A case for dynamic thermal management. ISCA, 2005.

[14]Lin Lin, Yifeng Zhu, JianhuiYue, Zhao Cai, Bruce Segee.Hot Random Off-loading: A Hybrid Storage System With Dy-namic Data Migration. [J]IEEE 19th International Symposium on Modeling, Analysis & Simulation of Computer and Telecom-munication Systems (MASCOTS), 2011.

[15]G. Zhang, L. Chiu, C. Dickey, L. Liu, P. Muench, and S.Seshadri. Automated Lookahead Data Migration in SSD-enabled Multi-tiered Storage Systems. [J]In IEEE MSST, 2010.