高速存取數據藍光存儲系統架構設計

文 | 北京易華錄信息技術股份有限公司 賈寧波、吳娜、孫琢

隨著5G、社交網絡、自媒體的發展，全社會數據總量呈現爆發式增長，2020 年全球數據產生量預計達到 47ZB（1ZB 即 10的12次方GB），而到 2035 年，這一數字將達到2142ZB，即年均增速平均為 1.3 倍，也就是約每3年翻一番，努力降低全社會長期保存數據的能耗和成本，成為需要迫切解決的問題，基于藍光技術的存儲系統，可以有效解決數據低成本、低功耗、長期存儲問題。

隨著ChatGPT的興起，人工智能作為未來主要的信息技術應用方向備受關注，深度學習是人工智能不斷迭代的主要方式，歸檔文件是深度學習重要的學習樣本數據，歸檔文件的存取速度將直接影響人工智能的迭代速度，藍光存儲是歸檔文件的主要存儲載體，解決藍光存儲的存取速度問題，可以有效支持人工智能的快速進步。

系統對軟件、服務器和網絡設備進行整體設計，通過高速網絡設備對磁存儲和光存儲進行整合，既保留了磁存儲高速存取的特性，又避免了磁存儲設備容易老化消磁不利于數據長期存儲的缺點，既保留了藍光存儲海量存儲、長壽命、低能耗的特性，又避免了藍光存儲存取速度慢的缺點，讓藍光存儲在醫療、金融、高性能計算等對數據存取有較高要求的應用場景也能充分發揮作用。

一、目前藍光存儲系統現狀

藍光光盤庫是一種海量數據的綠色存儲設備，適合數據的長期和安全存儲，一般適用在數據歸檔、備份、冷數據存儲領域。藍光存儲技術的海量存儲、長壽命、低能耗的特點是歸檔存儲的最佳選擇，為數據的全生命周期提供服務，有效解決大數據使用場景下的快速響應、長期存儲、低碳節能的嚴格要求。

（一）藍光存儲系統的主要廠商

松下在光存儲領域處于全球領先地位，擁有從光存儲介質、設備到解決方案的全線產品，松下與Facebook推出了freeze-ray光存儲數據歸檔系統，用于解決數據中心“冷數據”存儲問題。索尼推出光存儲系統Everspan，目前其光存儲解決方案主要應用于廣播電視系統，擁有較高的市場占有率。

中國華錄集團基于藍光的大容量綠色光存儲等數字核心技術為基礎，研究開發自主可控光存儲技術，打造以光存儲核心關鍵件、光存儲硬件產品、光存儲基礎軟件為主的藍光存儲產業鏈。

紫晶存儲在大數據時代冷熱數據分層存儲背景下推出光磁電混合存儲，開展藍光數據存儲系統核心技術的研發、設計、開發，提供基于藍光數據存儲系統核心技術的光存儲介質、光存儲設備和解決方案。

（二）藍光存儲系統存在的主要問題

藍光存儲以大容量的藍光光盤為存儲介質，依托大型自動化的光盤庫設備，通過內置機械手自動完成裝載光盤到光驅中以達到數據自動向光盤讀寫等基本操作的一種現代化技術，藍光光盤庫是一種海量數據的綠色存儲設備，適合數據的長期和安全存儲，一般適用在數據歸檔、備份、冷數據存儲領域。

從以上工作原理可以分析得知，藍光存儲在存取數據的過程中，需要機械手先完成取放光盤的動作，才能進行數據存取操作，不可避免的出現延時，通常的延時在110秒左右。另外，由于藍光存儲在設計之初主要面向歸檔存儲，在硬件架構設計方面主要考慮數據的存儲安全以及能夠長期存儲的問題，很少考慮數據的快速存取問題，造成目前面對快速存取數據的使用場景應對不足的問題，很難滿足以短視頻為代表的既要滿足存儲歸檔需求又對存取速度有一定要求的使用場景。

（三）藍光存儲的存取速度

ZL1080存儲系統是紫晶為滿足中小型企業對海量非結構化數據的長期保存、異地異質災備、高效綠色等使用場景推出的機架式設備，可安裝到標準EIA 19英寸機柜，高度13U，支持光驅數2-6臺，最大裝載量1080張藍光光盤，最大傳輸速度162MB/S。ZL6120 存儲系統單節點支持6120張碟片的超大容量，滿足大型企業對海量非結構化數據的長期保存的需求，支持光驅數2-24臺，最大傳輸速度648MB/S。以上速度為不考慮文件大小、是否為隨時存取還是順序讀寫等情況的最大傳輸速度，如果考慮機械手的響應時間、光盤的運輸時間等因素，實際速度會更慢。

為解決以上問題本系統用存儲服務器作為數據緩存，采用最大數量裝載光驅、小文件歸并，大文件拆分、文件預讀、斷點續傳等技術提高藍光存儲系統的數據存取速度。

高速存取數據藍光存儲系統架構圖

藍光光盤庫設計圖

二、硬件系統架構

系統從應用程序快速存取數據的需求出發，采用分布式橫向平滑擴展架構，發揮萬兆交換機的帶寬優勢，把藍光存儲技術的海量存儲、長壽命、低能耗的特點與磁盤存儲快速讀寫、實時響應的優勢相結合，可以有效解決用戶快速高效安全存取歸檔數據的難題。

系統架構方面，在47U機柜內放置基本單元A和基本單元B，同時放置兩組溫擴單元，為了提高讀寫效率把原來不含光驅的冷擴單元，替換成含有光驅的溫擴單元，最大限度擴展光驅數量到18個，以達到并行讀寫的最高速度。同時在機柜內放置存儲服務器、機柜電源、底部單元。

軟件系統架構圖

基本單元A和基本單元B之間、存儲服務器和基本單元之間、溫擴單元之間、存儲服務器與溫擴單元之間都采用SAS線進行連接，每個藍光光盤庫通過存儲服務器的萬兆光纖卡與萬兆交換機進行連接，管理終端連接到萬兆交換機的控制口。

應用程序服務器通過匯聚交換機與萬兆交換機進行連接，為避免單點故障，萬兆交換機采用冗余設計，萬兆交換機之間采用堆疊線纜進行連接。

根據目前的歸檔數據存儲容量估算，一般不會超過10PB，系統采用分布式架構設計，系統采用單張500G藍光光盤，每個光盤匣裝載12張光盤，每個單元裝載76個光盤匣，每個藍光光盤庫裝載456個光盤匣，3套藍光光盤庫，總容量為8.21PB。

三、軟件系統架構

軟件系統架構主要由三個部分組成，最底層是光盤庫機械手驅動，上一層是光盤庫管理軟件，最上層由藍光存儲應用系統向應用程序提供S3接口和CIFS、NFS文件接口。

光盤庫機械手驅動主要提供光盤匣的運輸控制功能，接受盤庫管理軟件的指令，將光盤匣從指定位置取出，運送到指定加載位置，等待光驅分盤機械手的分盤動作，為光驅讀寫做準備。

光盤庫管理軟件負責光盤庫地讀寫處理、Raid控制、分盤機械手控制，同時也包括光盤庫的監視、配置、管理、運維。

藍光存儲應用系統提供了對象歸檔存儲、生命周期管理、數據抽取、容量擴展、數據讀寫等功能，數據統一以AWS S3協議接口暴露給上層應用。系統提供用戶管理、光盤庫信息查詢、光盤庫狀態監控、光盤庫注冊刪除，存儲桶狀態監控，以RESTfulapi 為用戶提供監控運維服務。同時系統支持容量擴展功能，可根據實際的存儲需求進行容量的擴展，支持數據讀寫功能，能夠對視頻、圖片等大容量數據進行讀寫以及數據加密、多并發等數據操作。

四、系統工作原理

藍光存儲系統為了提高數據存取速度，用存儲服務器作為數據緩存，采用最大數量裝載光驅、小文件歸并，大文件拆分、文件預讀、斷點續傳等技術提高存取速度。同時，為了保證數據安全采用了元數據備份與數據反向重建技術。

（一）存儲服務器作為數據緩存

藍光存儲由于數據存取方式的限制，速度無法達到應用程序的要求，磁盤存儲相比藍光存儲具有高速存取的特性，磁盤存儲作為藍光存儲系統的緩存，與藍光存儲形成互補。藍光存儲系統在應用服務器存取數據時通過存儲服務器作為數據緩存，可以達到應用程序高速存取數據的需求。

（二）數據并發實現高速存取

藍光光盤庫光驅數量的不足影響數據存取速度，藍光存儲系統內數據線帶寬是數據快速存取的瓶頸。藍光存儲系統內，藍光光盤庫最大數量裝載光驅，以達到數據快速并行存取的目的，同時通過SAS線連接到存儲服務器，避免帶寬傳輸瓶頸，藍光存儲系統通過萬兆交換機與應用服務器進行連接，將快速并發數據高效提供給應用系統。

（三）小文件歸并，大文件拆分

小文件數量過多，過于頻繁地存取會嚴重影響業務系統性能，將小文件合并后再進行數據存取，以提高整體性能水平。小文件歸并功能，支持預先定義文件大小，并將小于閾值的文件，合并到指定大小文件后再進行數據存取。單個大文件過大，需要對大文件進行拆分，把任務分配到多個光驅并行存取，拆分后的文件放在不同的光盤上。大文件拆分功能，支持預先定義文件大小，并將大于閾值的文件，拆分到指定大小文件后再進行數據存取。

對于小于64KB的小文件，合并為4MB的大文件，最終所有文件打包成200GB的數據包，由存儲服務器傳輸給光盤庫管理軟件進行藍光光盤燒錄。對于大于10GB的大文件，拆分成100個100MB的小文件，最終所有文件打包成200GB的數據包，也由存儲服務器傳輸給光盤庫管理軟件進行藍光光盤燒錄。

（四）文件預讀

歸檔文件的小文件在短時間內多次讀取時，可依據訪問頻次的多少，將整個歸并文件加載到存儲服務器內存中，提升后續讀取文件效率。文件預讀功能，支持預先定義讀取頻度，并將大于閾值的文件，預先加載到存儲服務器內存中。

（五）斷點續傳

斷點續傳技術可以將一個大文件分割成若干個小文件，客戶端上傳這些小文件，服務器收到小文件后按照一定的規則將這些小文件合并成一個大文件。當出現網絡故障導致傳輸中斷的時候，下次上傳只需要從中斷時的小文件部分繼續上傳即可，不需要重新從頭傳輸之前的大文件，增加了文件傳輸的效率。

（六）元數據備份與數據反向重建

通常的存儲系統中，數據的索引和元數據信息會保存在磁存儲服務器中，當存儲服務器發生故障時，數據的安全等級會降低甚至出現數據丟失現象。藍光存儲系統通過將元數據信息同時寫入到藍光中進行備份來提升數據安全等級，當磁存儲節點發生故障后，可通過藍光上保存的副本元數據進行數據反向重建，在新的集群中重建索引和元數據，并對外提供訪問。

五、高速存取數據藍光存儲系統的創新點

系統在架構完成光磁融合的基礎上，實現對高速應用需求的快速響應，把單體庫體歸檔數據最大寫入速度375MB每秒、最大讀取速度540MB每秒，提高到單體庫體最大寫入速度1125MB每秒、最大讀取速度1620MB每秒，并實現數據存取速度線性增長和存儲容量的平滑擴展。

藍光存儲系統每個藍光光盤庫裝載18個光驅，并發寫入速度提高到1125MB每秒、最大讀取速度提高到1620MB每秒，3個機柜組成的藍光存儲系統并發最大寫入速度約為3.375GB/秒，最大讀取速度約為4.86GB/秒。相比原有架構單機柜存取速度，本專利理論上實現單機柜3倍的速度增長，考慮到分布式架構的設計，如果采用3個藍光光盤庫，理論上實現9倍的速度增長，極大的拓展藍關存儲系統的使用場景。

六、未來存儲技術發展的展望

社交媒體、高清視頻、大數據分析、云計算等新型產業的快速發展帶來高速訪問的數據存儲需求，尤其是以長江存儲為代表的國產廠商迅速成長以后，以固態硬盤為基礎的存儲系統在未來的在線存儲應用場景一定會成為主流。

機械硬盤由于在功耗、故障率、讀寫速度等方面相比固態硬盤都有比較明顯的劣勢，會隨著固態硬盤成本的下降，逐漸在在線存儲等高速存取的使用場景成為固態硬盤的補充，以固態硬盤為基礎的存儲系統也逐漸會淡出主要的在線應用場景。

以藍光光盤為基礎的藍光存儲系統，在海量、綠色、安全、長期等方面具有優勢，雖然由于其設計原理帶來的讀寫速度問題制約藍光存儲的大規模應用，但是藍光存儲在歸檔備份領域會長期占據一席之地，并且由于在磁光電融合的基礎上，形成的滿足熱數據、溫數據、冷數據的能力優勢，也將在多種應用場景得到采用。