一種革命性的存儲技術

黃　力，吳頌濤，陳惠梅，徐力恒

(1.廣州珠江數碼集團有限公司，廣東　廣州　510010；2.廣東廣播電視臺，廣東　廣州　510066)

?

一種革命性的存儲技術

黃力1，吳頌濤1，陳惠梅2，徐力恒1

(1.廣州珠江數碼集團有限公司，廣東廣州510010；2.廣東廣播電視臺，廣東廣州510066)

摘要:PCIe固態存儲是當今存儲系統的新寵兒，相比其他接口的固態硬盤具有更高級的連接接口和成熟的內存管理技術，其采用可靠的協議體系架構，支持設備層面的協議錯誤檢測、校正、報告和熱插拔/熱替換、可擴展的帶寬/頻率、先進的功耗管理、地址映射系統、垃圾回收和耐久性管理和虛擬通道的功能，實現了高性能的數據服務。相比其他接口固態硬盤，在數據帶寬、延遲、可擴展和可靠性、總體擁有成本方面都有顯著優勢。從存儲和使用模式的發展描述了影響存儲使用性能的關鍵因數，并介紹了PCIe固態存儲技術和使用場景，提高存儲系統的使用效能。

關鍵詞:固態存儲；機械硬盤；RAID

時代的發展科技的進步造就了今天多姿多彩的社會文化，而人們對信息的保留從書本到電器元件存儲發生了巨大的變化。自二進制為計算機的基本工作原理后，存儲技術經歷了物理存儲到電能存儲。

紙帶穿孔式存儲，早期的計算機是通過一卷卷的紙帶進行保存信息，該工作的原理起源于織布機，是紙帶像織布一樣在不同的間隔上穿孔，形成0和1的信號編織成計算機的動作指令，形成了磁帶記錄、光介質存儲和電能式存儲等。

時代的發展在云計算的大潮下，存儲作用越來越重要，而作為存儲陣列中的單個存儲模塊硬盤來說，其性能水平、穩定性和I/O和組建陣列的靈活擴建方面也變得尤為重要。隨著固態硬盤在市場上的涌入，傳統機械硬盤在組建陣列帶來的性能提升方面越來越顯得力不從心。PCIe固態硬盤相比其他接口的固態盤，穩定性和I/O、組建陣列技術，更為高級連接的接口和成熟的內存管理技術，漸漸成為今后存儲技術的主流。

1存儲的使用

目前使用存儲分別是DAS、SAN和NAS三種使用架構[1]。DAS(DirectAttachedStorage)存儲是直接把存儲系統連到應用的服務器中，通常DAS直連式存儲與服務器主機之間的連接通道通常采用SCSI或FC連接，DAS存儲工作時更多地依賴服務器主機操作系統進行數據的調度和存儲維護管理。DAS的優點是結構簡單，但該結構難以存儲陣列容量的擴展，適合單機或由一臺服務器擴展為多臺服務器組成的群集工作。NAS(NetworkAttachedStorage)存儲是是基于標準的TCP/IP網絡拓撲結構，連接到網絡計算機上。NAS是文件級的存儲方法，最大的優點是在整個網絡中的設備通過分配的IP地址管理，訪問的客戶機器能直接對存儲的數據進行訪問，中間不需要設備相連。SAN(StorageAreaNetwork)存儲區域網絡，是一個集中式管理的高速存儲網絡，通過光纖通道交換機連接存儲陣列和服務器主機，最后成為一個專用的存儲網絡。SAN提供了一種與現有LAN連接的簡易方法，并且通過同一物理通道支持廣泛使用的SCSI和IP協議，但這種LAN的連接與TCP/IP協議的交換機不能兼容是專用的一個網絡。圖1示出了在讀使用架構。

上述的三種架構在國內電視臺和網絡公司都有廣泛的應用，DAS架構適合前端對用戶端VOD視頻推流，SAN和NAS架構適合電視臺內部節目制作和各部門之間的節目互傳。

歸納三大存儲架構的影響系統性能的分別是網絡輸出帶寬、控制器總線、傳輸總線和存儲磁盤IO。按目前技術前三項的節點都能通過更換提高性能，但存儲可以提升的空間是有限的，主要的原因在HDD(HardDiskDrive)硬盤的讀寫IOPS(Input/OutputOperationsPerSecond，每秒進行讀寫(I/O)操作的次數)，傳輸帶寬，以及延時是衡量存儲器訪問性能的重要指標[2]，由于機械旋轉的工作方式是導致性能IOPS不可能再提高的關鍵原因，所以目前的機械硬盤已經是到達了技術的頂峰。

近年來一種非機械式SSD(SolidStateDrives)固態硬盤的出現為突破了IOPS性能瓶頸，隨著SSD技術的成熟，SSD開始大規模地被存儲中心所采用。為了兼容已有的存儲架構，很多SSD采用了與HDD相同的接口，如SAS(SerialAttachedSCSI)或者FC(FiberChannel)，并在物理形式上與HDD相似，如2.5in或3.5in。采用傳統硬盤接口的SSD直接在現有的系統中取代HDD可以在一定的程度上緩解存儲系統的瓶頸，改善系統效能。普通的SSD采用模擬HDD的方式在兼容性上有一定的優勢，但在性能上有非常大的限制：

1)復雜的數據鏈路導致高IO延遲；

2)SSD性能受嵌入式CPU限制；

3)冗余的IO調度。

在實際的使用中SSD理想的狀態也是500Mbit/s的傳輸帶寬，圖2和圖3示出了固態盤使用的瓶頸。

尤其是在應用了存儲區域網(SAN)后，由于在訪問存儲介質中所需經過的多道協議和場景轉換，導致延遲損失更加嚴重，并不能在最大程度上發揮閃存的性能。

2PCIe固態存儲

PCIe固態存儲卡，如圖4描述了PCIe固態存儲卡系統架構[3]，PCIe固態存儲卡采用了PCIe總線接入，通過卡上的主控制器直接訪問Flash進行讀寫操作，這樣的設計有兩大亮點。第一，充分利用主機CPU強大的處理能力對固態存儲卡的Flash直接讀寫。第二，繞開了傳統的SCSISATA/SAS存儲協議對SSD的協議轉換及RAID控制器，網絡協議轉換等系統開銷，數據的存儲讀寫延遲得到大大的削減。使得PCIe固態存儲卡能充分發揮主機的CPU性能，Flash的快速讀寫性能可以得到最大程度的利用，并最終提升應用軟件對獲得數據的響應速度。該設計能使得PCIeSSD卡讀延遲在Flash固有的延時基礎上只增加15μs，寫延遲更低至10μs以內的讀寫速度，這樣的性能嵌入式系統的SSD是無法做到。

PCIe固態存儲充分利用閃存的優點特性并彌補其不足，對于存儲在閃存中的數據采用了多種安全設計方案確保數據的安全性和持久可恢復性。除了普遍使用的企業級糾錯，數據隨機化，動態磨損均衡等措施，還使用了FlashRAID，端到端校驗和和完善的突發斷電保護機制以及過熱保護機制，提供了高容錯數據恢復機制和嚴格的數據完整正確性校驗，對比其他的存儲具備以下優點：

1)卓越的IO性能：PCIe閃存卡每秒鐘近50萬次隨機讀寫操作。讀寫延遲為微秒級。而傳統中高端存儲陣列每秒十萬次隨機讀寫操作。讀寫延遲為毫秒級，因此在關鍵的系統應用中使用PCIe閃存卡能大幅度減低系統響應時間。

2)高可靠性設計：40bit/1kbyte的糾錯(ECC)性能充分保證存儲在閃存上數據的完整性。動態RAID技術，以確保在閃存的物理塊甚至于整個NAND芯片失效的情況下，數據仍然能夠安全讀出和恢復。

3)突發斷電保護：存儲卡利用內置的掉電保護機制將用戶數據安全的寫入閃存中，確保用戶數據不被丟失。通常掉電回復時間可以控制在2min內。

4)超強耐用性：設計中利用了自適應信號處理技術及高效能的閃存管理算法，數據總寫入量高達PetaByte級別。

5)簡單管理維護：優異性能集中在一塊半長半高的PCIe卡。與傳統的中高端磁盤陣列相對，不用占用專門服務器機架，閃存卡直接插入服務器中任何一個空的PCIe插槽即可，也無需額外的復雜配置管理，支持Windows和Linux現有的應用程序和體系架構無需任何改動即可直接使用PCIe存儲卡，輕松獲得上十倍至百倍的性能提升。

6)超低功耗：PCIe存儲卡工作功耗穩定約在15W，最大功耗不超過25W。

固態存儲和存儲陣列的性能對比見表1。

PCIe固態存儲的應用場景非常靈活，大致可以分為以下四大模式：

1)主存儲模式，PCIe存儲卡采用的是標準設備接口，提供高達50萬IOPS每秒(4kbyte)。相對于傳統的HDD/SSD陣列有十倍至百倍的提高。而且數據延遲由數十毫秒至數百毫秒量級降至微秒量級。在容量方面，PCIe卡提供高達3.2Tbyte數量級的存儲容量，還可以通過軟件RAID將多塊卡綁定以提供更高的容量和吞吐性能。該模式最適合繁復地訪問本地文件并提供高的IOPS業務，如視頻播放、視頻的點播和視頻編輯的業務。

2)數據分區模式，如數據庫的規模較大，一種更經濟的使用方法是將常用的數據如TempDB，索引，日志及常用表等放在PCIe存儲卡上以加速訪問，對一些不常訪問的數據仍放在傳統陣列上以滿足容量需求。

3)緩存模式，PCIe存儲卡可以作為緩存與后端陣列組成集成的混合存儲方案。采用FlashCache軟件，常用熱點數據被存儲在PCIeSSD存儲卡中，從而可以大幅度增加數據訪問速度，降低后端存儲的負荷。

4)分層模式，如果應用的冷熱數據轉換速度較慢，可以使用較簡單的自動分層技術實現混合存儲，以較低的代價達到緩存模式的便利程度。

表1存儲陣列與PCIe固態存儲性能對比

3應用測試

PCIe固態存儲卡在互動電視平臺中VOD的應用，傳統的VOD點播平臺是通過VOD服務是把存儲中心的數據推流到客戶端，服務器在推送數據流過程中必然會產生大量IOPS，由于VOD邊緣服務器在使用過程中既承擔推送數據業務，同時也接收來自上一級服務器的寫入數據，VOD服務器工作時是處于同時讀和寫的工作狀態。本次測試主要是使用主存儲模式，把VOD視頻數據全部放置到PCIe閃存存儲卡中替換原來的存儲陣列。

在具體使用過程，得出的數據見表2。

表2PCIe主存儲模式測試結果

由此可見，在現有的業務高峰期，通過PCIe閃存可以提供高600Mbit/s的數據傳輸率，由于閃存卡可以高達2.4Gbit/s的數據傳輸率，目前閃存卡的空閑率還有66%以上，沒有完全發揮閃存卡的使用效率。在以往存儲陣列中磁盤使用的數據總帶寬110Mbit/s已經是使用的極限，CPU的利用率在5%以下，數據充分說明了在存儲整列中磁盤的傳輸帶寬是整個存儲性能的瓶頸。通過了PCIe固態存儲卡的改造后，CPU的使用率大大地得到了提高，同時傳輸的帶寬也獲取了很大的提高。

4總結

基于高容錯的硬件和軟件混合一體架構，PCIe固態存儲卡通過高可靠的數據硬件讀寫通道和具有多重保護機制的軟件棧設計充分地發揮Flash的讀寫性能潛力，把數據存儲的性能提升到了一個全新的高度。PCIe固態存儲卡直接通過CPU的PCIe總線提供給數據庫應用高達3Gbit/s的隨機數據訪問帶寬和低至數十微秒的讀寫延遲，大幅度提高多核CPU的利用率，從本質上加速應用的處理和響應速度。無論是什么業務系統，PCIe固態存儲卡將大幅度提升系統性能密度，加速應用速度和降低系統響應時間，針對數據可靠性，例如，一張3.2Tbyte的PCIe固態存儲卡提供高達近20Pbyte的總數據寫入容量。在正常使用環境下每天24h容納多達16Tbyte的寫入數據可持續3年。多重保護和智能預判有助于消除和縮減宕機時間，延長系統壽命，并同時減低系統運行開銷(OPEX)和總擁有成本(TCO)。

參考文獻：

[1]鄭文靜，李明強，舒繼武.Flash存儲技術[J].計算機研究與發展， 2010, 47(4):716-726.

[2]熬青云.存儲技術原理分析[M].北京：電子工業出版社，2011.

[3]丁祥武，余文兵，劉國華.VPM：列存儲系統中基于帶值路徑的物化技術[J].計算機研究與發展，2012,49(10)：2086-2094.

黃力，高級工程師，從事多年的廣播電視行業，擁有豐富的廣播電視網絡傳輸技術和管理經驗；

吳頌濤，碩士工程師，從事多年的廣播電視行業，擁有豐富的廣播電視網絡傳輸技術、計算機軟件設計和項目管理經驗，主要研究廣播電視技術中的計算機技術應用；

陳惠梅，女，編輯，現服務于廣東廣播電視臺。

責任編輯：閆雯雯

Revolutionarystoragetechnology

HUANGLi1，WUSongtao1，CHENHuimei2，XULiheng1

(1.Guang Zhou Zhu Jiang Media Group,Guangzhou 510010,China;2.Guangdong Radio and TV Station,Guangzhou 510066,China)

Keywords:SSD;harddisk;RAID

Abstract:PCIesolidstatediskisahotspotinstoragesystempresently,whichhassuperiorconnectioninterfaceandmaturememorymanagementtechnologycomparedwithsolidstatedisksusingotherinterface.PCIeadoptsreliableprotocolarchitectureandimplementsfunctionscontainingsupportofprotocolerrordetection,correctionandhotplugorhotreplacementatinfrastructurelevel,extensiblebandwidthorfrequency,advancedpowerconsumption,addressmappingsystem,garbagecollection,durabilitymanagementaswellasvirtualpath,andthushigh-performancedataservicesisprovided.Comparedwithsolidstatedisksusingotherinterface.PCIepossessesnotablepreponderanceintermsofdatabandwidth,delay,extensibilityandreliability.Keyfactorsaffectingthestorageperformancethroughdevelopmentofstorageandoperationpatternaredescribed.Furthermore,PCIesolid-statedisktechnology,usagescenarioandenhancementofstoragesystem’sapplicationperformanceareintroduced.

中圖分類號：TN915；G202

文獻標志碼：A

DOI：10.16280/j.videoe.2016.01.029

作者簡介：

收稿日期：2015-04-10

文獻引用格式：黃力，吳頌濤，陳惠梅，等.一種革命性的存儲技術[J].電視技術，2016,40(1)：145-149.HUANGL，WUST，CHENHM,etal.Revolutionarystoragetechnology[J].Videoengineering,2016,40(1)：145-149.