基于磁光電存儲技術(shù)的數(shù)據(jù)湖總體架構(gòu)探討

賈寧波 孫琢 王凌

藍光存儲技術(shù)的海量存儲、長壽命、低能耗的特點是低碳數(shù)據(jù)湖建設(shè)的最佳選擇，結(jié)合電存儲、磁存儲的特性，為數(shù)據(jù)的全生命周期提供服務(wù)，結(jié)合數(shù)據(jù)湖磁光電一體平臺、數(shù)據(jù)資源管理軟件、數(shù)據(jù)湖運維管理系統(tǒng)，有效解決大數(shù)據(jù)使用場景下的快速響應(yīng)、長期存儲、低碳節(jié)能等要求。

隨著5G、社交網(wǎng)絡(luò)、自媒體的發(fā)展，數(shù)據(jù)總量呈現(xiàn)爆發(fā)式增長。2020 年全球數(shù)據(jù)產(chǎn)生量達到 47ZB（1ZB 即 1012GB），而到 2035 年，這一數(shù)字將達到2142ZB，即年均增速為 1.3 倍，也就是約每3年翻一番。努力降低全社會長期保存數(shù)據(jù)的能耗和成本，是需要迫切解決的問題。基于磁光電存儲技術(shù)的低碳數(shù)據(jù)湖，并有效解決數(shù)據(jù)低成本、低功耗、長期存儲問題。

一、基于磁光電存儲技術(shù)的數(shù)據(jù)湖硬件架構(gòu)

數(shù)據(jù)湖是存儲數(shù)據(jù)自然/原始格式的系統(tǒng)或存儲，以存儲數(shù)據(jù)為主要目的，兼具數(shù)據(jù)計算、數(shù)據(jù)治理、數(shù)據(jù)深度分析挖掘、數(shù)據(jù)價值挖掘等作用。存儲的數(shù)據(jù)類型包括結(jié)構(gòu)化數(shù)據(jù)（行和列）、半結(jié)構(gòu)化數(shù)據(jù)（如CSV、日志、XML、JSON）、非結(jié)構(gòu)化數(shù)據(jù)（如email、文檔、PDF等）和二進制數(shù)據(jù)（如圖像、音頻、視頻），同時可以實現(xiàn)數(shù)據(jù)的長期保存、無限擴展。

（一）數(shù)據(jù)湖的存儲介質(zhì)

目前主流的存儲方式主要有電存儲、磁存儲、光存儲。

電存儲介質(zhì)以固態(tài)盤（SSD）為主，固態(tài)盤不需要機械轉(zhuǎn)動，具備性能高、低功耗、易攜帶、抗震性能好等多種優(yōu)點，在數(shù)據(jù)中心存儲設(shè)備中，固態(tài)盤已經(jīng)得到了廣泛使用，隨著價格的進一步降低，正在逐漸替代傳統(tǒng)的機械硬盤（HDD），廣泛應(yīng)用于分布式存儲系統(tǒng)中。

磁存儲包括磁盤存儲和磁帶存儲。磁盤既機械硬盤由于價格便宜、存儲容量大的特性，廣泛用于數(shù)據(jù)中心存儲系統(tǒng)當中。機械硬盤的原理是電磁存儲，磁盤高速旋轉(zhuǎn)，磁頭來回移動讀寫數(shù)據(jù)，磁盤高速旋轉(zhuǎn)，噪音較大。機械硬盤讀取速度相對較慢，一般不超過200MB/S。機械硬盤抗震能力弱，磁頭在受到撞擊時會易發(fā)生位置偏移，造成硬盤磁道損壞。傳統(tǒng)磁盤存儲存在功耗大、壽命短、容量小、安全性低等問題，同時，由于目前占全球存儲市場 80%的磁存儲，其核心技術(shù)、上游材料、整機設(shè)備均由美日企業(yè)壟斷，我國存在關(guān)鍵技術(shù)和產(chǎn)品“卡脖子”，以及供應(yīng)鏈嚴重依賴進口等問題。

磁帶存儲是二十世紀30年代的發(fā)明，距今有將近百年的歷史，磁帶存儲是一種順序存取的設(shè)備，具有存取時間較長、存儲容量大、便于攜帶、價格便宜等特點，同時磁帶存儲也存在保存環(huán)境要求高、讀寫速度慢、兼容性差等缺點。磁場、濕度、溫度和灰塵容易導(dǎo)致磁帶退化、變形、發(fā)霉、粘連、磁化和磁層磨損，每隔2～3年都需要倒帶一次。在讀取數(shù)據(jù)時，磁帶采用線性尋址方式來定位數(shù)據(jù)位置，尋址速度較慢，時間要用分鐘來計量，不能滿足數(shù)據(jù)快速訪問的需求。磁帶格式不兼容，LTO格式只能向下兼容兩代，造成老磁帶設(shè)備被淘汰，磁帶上的數(shù)據(jù)將無法讀取。

光存儲技術(shù)是二十世紀80年代興起的存儲技術(shù)，光存儲具有海量存儲、長壽命、低能耗的特點。目前國內(nèi)單張藍光光盤最大容量為500GB，采用無機相變材料，雙面6個記錄層，實現(xiàn)容量的提升，標準19英寸機柜容量3.192PB。根據(jù)目前的研發(fā)進度，通過基于高精度運算的串擾消除技術(shù)，消除窄信道間距化引起的相鄰信道間串擾的影響，改善信噪比，實現(xiàn)信道間距≤180nm且≥4 值化信號的高精度穩(wěn)定讀取，預(yù)計到2025年，單張藍光光盤的最大存儲容量將為1TB，標準19英寸機柜容量可達6PB。

按照法律的強制規(guī)定，金融數(shù)據(jù)應(yīng)該保存7年甚至更長，關(guān)鍵設(shè)計文檔數(shù)據(jù)應(yīng)該保存15年，醫(yī)療數(shù)據(jù)應(yīng)該至少保存30年，這些長期存儲的數(shù)據(jù)被稱為“冷數(shù)據(jù)”，被訪問的頻率非常低。隨著大數(shù)據(jù)時代的到來，這些“冷數(shù)據(jù)”需要有效可靠的存儲設(shè)備。藍光光盤壽命長達50年，期間無需更換介質(zhì)和數(shù)據(jù)遷移。同時由于藍光存儲具有存儲介質(zhì)和驅(qū)動裝置分離的特性，有利于數(shù)據(jù)的長期存儲。

藍光存儲自身能耗極低，42U高度藍光機柜工作功耗170瓦特/小時，待機功耗僅為7瓦特/小時，無需專業(yè)空調(diào)設(shè)備，極大降低數(shù)據(jù)中心電能消耗。經(jīng)過信通院泰爾實驗室檢測，1PB藍光存儲每小時能耗僅為磁存儲的5.28%，與傳統(tǒng)以磁存儲為主的機房比較，1000PB存儲規(guī)模，每年節(jié)省電能1482萬千瓦時，節(jié)能比例96.49%。

（二）磁光電混合存儲的特性和優(yōu)勢

海量的高價值數(shù)據(jù)如何長期、穩(wěn)定、低能耗存儲已成為各國數(shù)字化轉(zhuǎn)型的共性和瓶頸問題。按照存儲介質(zhì)，結(jié)合電存儲、磁存儲高速響應(yīng)的特性，利用光存儲系統(tǒng)存儲大規(guī)模溫冷數(shù)據(jù)，利用磁存儲和電存儲技術(shù)存儲高頻訪問數(shù)據(jù)，構(gòu)成高效率的數(shù)據(jù)存儲體系，能夠保證數(shù)據(jù)的完整性及規(guī)模性，實現(xiàn)數(shù)據(jù)的分類保存和高效讀寫，充分發(fā)揮不同類型數(shù)據(jù)的短期和長期價值，使得磁光電混合存儲成為當前發(fā)展趨勢。利用分布式存儲架構(gòu)，融合磁盤、磁帶、固態(tài)硬盤、光盤等存儲介質(zhì)的優(yōu)勢，提供高效、安全、穩(wěn)定、低成本的全介質(zhì)數(shù)據(jù)存儲系統(tǒng)，保證數(shù)據(jù)安全的同時節(jié)約社會存儲成本。

（三）硬件架構(gòu)

磁光電全介質(zhì)存儲系統(tǒng)，基于全介質(zhì)管理的能力和智能分級技術(shù)，兼具電、磁存儲高性能讀寫和光存儲海量存儲、長壽命、低能耗等特點的分級存儲能力。

存儲層劃分為熱數(shù)據(jù)池和溫冷數(shù)據(jù)池。業(yè)務(wù)層產(chǎn)生的視頻、圖片、文件等非結(jié)構(gòu)化數(shù)據(jù)通過接口寫入到電磁存儲上，保證數(shù)據(jù)讀寫的快速響應(yīng)，隨著數(shù)據(jù)訪問頻率的降低，系統(tǒng)會依據(jù)生命周期管理策略將數(shù)據(jù)轉(zhuǎn)儲至溫冷數(shù)據(jù)池的藍光介質(zhì)。數(shù)據(jù)在不同介質(zhì)中智能流轉(zhuǎn)均通過系統(tǒng)自動實現(xiàn)。

磁光電全介質(zhì)分級存儲架構(gòu)，20%的熱數(shù)據(jù)通過電、磁存儲，保證高性能；80%的冷數(shù)據(jù)通過藍光存儲長久保存，綠色節(jié)能，安全可靠。磁光電混合分級存儲架構(gòu)，是解決數(shù)據(jù)湖能耗、能效及安全問題的關(guān)鍵技術(shù)。

二、目前主要廠商數(shù)據(jù)湖軟件架構(gòu)概述

（一）AWS數(shù)據(jù)湖軟件架構(gòu)

AWS數(shù)據(jù)湖架構(gòu)是基于AWS Lake Formation構(gòu)建的。AWS Lake Formation是管理性質(zhì)的組件，和其他AWS服務(wù)配合，完成整個數(shù)據(jù)湖構(gòu)建。數(shù)據(jù)處理的過程包括數(shù)據(jù)流入、數(shù)據(jù)沉淀、數(shù)據(jù)計算、數(shù)據(jù)應(yīng)用四個步驟。

數(shù)據(jù)流入包括元數(shù)據(jù)的流入和業(yè)務(wù)數(shù)據(jù)流入，元數(shù)據(jù)流入包括數(shù)據(jù)源創(chuàng)建、元數(shù)據(jù)抓取，形成數(shù)據(jù)資源目錄，生成安全設(shè)置與訪問控制策略。AWS把元數(shù)據(jù)抓取、ETL和數(shù)據(jù)準備剝離出來形成AWS GLUE組件。AWS GLUE與AWS Lake Formation共享同一個數(shù)據(jù)資源目錄。異構(gòu)數(shù)據(jù)的接入AWS支持S3、AWS關(guān)系型數(shù)據(jù)庫、AWS NoSQL數(shù)據(jù)庫，AWS利用GLUE、EMR、Athena等組件支持數(shù)據(jù)的流動。

在數(shù)據(jù)沉淀階段，AWS 采用Amazon S3（Simple Storage Service）作為整個數(shù)據(jù)湖的集中存儲模式，Amazon S3是一種對象存儲服務(wù)，可提供業(yè)界領(lǐng)先的可擴展性、數(shù)據(jù)可用性、安全性和性能。Amazon S3提供易于使用的管理功能，以便組織數(shù)據(jù)并配置經(jīng)過微調(diào)的訪問控制，以滿足特定業(yè)務(wù)、組織和合規(guī)性要求。

在數(shù)據(jù)計算階段AWS采用GLUE組件進行基本的數(shù)據(jù)處理。GLUE計算形式是批處理模式的ETL任務(wù)，觸發(fā)方式包括手動觸發(fā)、定時觸發(fā)、事件觸發(fā)三種。事件觸發(fā)模式，利用AWS Lambda架構(gòu)進行開發(fā)，提升了任務(wù)觸發(fā)的定制開發(fā)能力，各類ETL任務(wù)，可以通過CloudWatch進行監(jiān)控。

在權(quán)限管理方面， AWS通過Lake Formation提供的權(quán)限管理，數(shù)據(jù)資源目錄訪問權(quán)限和底層數(shù)據(jù)訪問權(quán)限，對應(yīng)元數(shù)據(jù)與實際存儲的數(shù)據(jù)。存儲數(shù)據(jù)的訪問權(quán)限又進一步分為數(shù)據(jù)存取權(quán)限和數(shù)據(jù)存儲訪問權(quán)限，數(shù)據(jù)存取權(quán)限類似于數(shù)據(jù)庫中對于庫表的訪問權(quán)限，數(shù)據(jù)存儲權(quán)限則進一步細化了對于S3中具體目錄的訪問權(quán)限。

AWS 客戶能夠在云中構(gòu)建數(shù)據(jù)湖，并提供可擴展、安全、經(jīng)濟高效的組合，同時使用機器學(xué)習(xí)的各種分析方法進行數(shù)據(jù)分析。Lake Formation為提供查詢數(shù)據(jù)集的能力，AWS Glue用于數(shù)據(jù)集成，Athena用于SQL， Redshift用于數(shù)據(jù)倉庫，EMR用于基于Apache spark的大數(shù)據(jù)處理。Lake Formation的數(shù)據(jù)集顯示在目錄中，始終執(zhí)行訪問控制，用戶隨時在相同的數(shù)據(jù)上組合分析方法。

（二）華為數(shù)據(jù)湖軟件架構(gòu)

華為數(shù)據(jù)湖主要包括兩個平臺，數(shù)據(jù)湖探索平臺（DLI）和智能數(shù)據(jù)湖運營平臺（DAYU），DLI相當于AWS的Lake Formation、GLUE、Athena、EMR（Flink&Spark）的集合，DAYU是數(shù)據(jù)治理平臺。

數(shù)據(jù)湖探索DLI兼容openLooKeng、Apache Spark、Apache Flink生態(tài)，提供流處理、批處理、交互式分析的融合處理分析服務(wù)，使用標準SQL、Spark、Flink程序完成多數(shù)據(jù)源的聯(lián)合計算分析，挖掘數(shù)據(jù)價值。

DLI用戶可以通過可視化界面、Restful API、JDBC、ODBC、Beeline等多種接入方式對云上CloudTable、RDS和DWS等異構(gòu)數(shù)據(jù)源進行查詢分析，數(shù)據(jù)格式兼容CSV、 JSON、Parquet和ORC主流數(shù)據(jù)格式。

DLI基本功能包括SQL作業(yè)支持SQL查詢、Flink SQL在線分析、全托管式Spark計算，同時DLI可以實現(xiàn)多數(shù)據(jù)源分析、存算分離、彈性資源池調(diào)度與管理。DLI 核心引擎，Spark是用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎，聚焦于查詢計算分析，F(xiàn)link是一款分布式的計算引擎，可以用來做批處理，即處理靜態(tài)的數(shù)據(jù)集、歷史的數(shù)據(jù)集，openLooKeng使用了業(yè)界著名的開源SQL引擎Presto來提供交互式查詢分析基礎(chǔ)能力。DLI是無服務(wù)器化的大數(shù)據(jù)查詢分析服務(wù)，可以實現(xiàn)按量計費和自動擴縮容。

智能數(shù)據(jù)湖運營平臺提供數(shù)據(jù)全生命周期管理、具有數(shù)據(jù)管理能力的治理運營平臺，包含數(shù)據(jù)集成、規(guī)范設(shè)計、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)等功能，提供知識庫建設(shè)，支持數(shù)據(jù)存儲、數(shù)據(jù)計算分析引擎等數(shù)據(jù)底座等功能。

三、基于磁光電存儲技術(shù)的數(shù)據(jù)湖架構(gòu)

（一）光磁一體平臺

光磁一體平臺提供了對象熱磁存儲、對象歸檔存儲、生命周期管理、數(shù)據(jù)抽取、容量擴展、數(shù)據(jù)讀寫、冷熱數(shù)據(jù)轉(zhuǎn)換等功能。

熱磁存儲為重要數(shù)據(jù)歸檔系統(tǒng)、視圖庫系統(tǒng)或其他應(yīng)用系統(tǒng)提供熱磁存儲能力，統(tǒng)一以AWS S3協(xié)議接口暴露給上層應(yīng)用。冷數(shù)據(jù)歸檔存儲為重要數(shù)據(jù)歸檔系統(tǒng)、視圖庫系統(tǒng)或其他應(yīng)用系統(tǒng)提供藍光歸檔存儲存儲能力，統(tǒng)一以 aws glacier 協(xié)議接口暴露給上層應(yīng)用。用戶通過對熱磁空間存儲桶進行生命周期設(shè)置，實現(xiàn)數(shù)據(jù)存儲策略，由熱磁遷移至藍光歸檔存儲，實現(xiàn)光磁轉(zhuǎn)換的功能。平臺提供用戶管理、光盤庫信息查詢、光盤庫狀態(tài)監(jiān)控、光盤庫注冊刪除，存儲桶狀態(tài)監(jiān)控，以 RESTfulapi 為用戶提供監(jiān)控運維服務(wù)。同時系統(tǒng)支持容量擴展功能，可根據(jù)實際的存儲需求進行容量的擴展。光磁一體平臺支持數(shù)據(jù)讀寫功能，能夠?qū)σ曨l、圖片等大容量數(shù)據(jù)進行讀寫以及數(shù)據(jù)加密、多并發(fā)等數(shù)據(jù)操作。系統(tǒng)也可根據(jù)系統(tǒng)配置策略進行動態(tài)調(diào)整，磁盤和藍光存儲介質(zhì)之間的數(shù)據(jù)讀寫傳輸效率能夠支持平臺情報數(shù)據(jù)的分析處理能力。

（二）數(shù)據(jù)資源管理平臺

數(shù)據(jù)資源管理平臺是基于大數(shù)據(jù)、容器、云計算技術(shù)，提供數(shù)據(jù)探查、采集、清洗、處理、管理、應(yīng)用、全局調(diào)度、接口服務(wù)，推動實現(xiàn)數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)化的綜合性平臺工具。

針對不同部門，不同業(yè)務(wù)的結(jié)構(gòu)化數(shù)據(jù)進行摸底，探查元數(shù)據(jù)信息、質(zhì)量情況，篩選出數(shù)據(jù)治理最為關(guān)注的核心數(shù)據(jù)，降低數(shù)據(jù)治理成本。

同時依照DAMA3.0標準設(shè)置規(guī)則，支持全周期評估數(shù)據(jù)質(zhì)量，方便數(shù)據(jù)提供方在已接入數(shù)據(jù)的基礎(chǔ)上線上修改接入轉(zhuǎn)換流程或者線下更新數(shù)據(jù)，對問題數(shù)據(jù)進行處理，從根源上解決問題數(shù)據(jù)提升數(shù)據(jù)質(zhì)量，實現(xiàn)數(shù)據(jù)治理的閉環(huán)。

數(shù)據(jù)處理模塊提供一站式、界面化的大數(shù)據(jù)開發(fā)與測試系統(tǒng)。支持用戶靈活進行SQL、Hive、流計算等各類任務(wù)的腳本開發(fā)，實現(xiàn)指標表的創(chuàng)建、數(shù)據(jù)血緣的分析、數(shù)倉的分層以及上層其他應(yīng)用的數(shù)據(jù)分析。

智能知識庫模塊實現(xiàn)智能化管理企業(yè)、政府海量非結(jié)構(gòu)化、結(jié)構(gòu)化、半結(jié)構(gòu)化的文檔和數(shù)據(jù)，讓所有的知識可以用自然語言即可查詢、應(yīng)用，實現(xiàn)深化知識積淀、業(yè)務(wù)經(jīng)驗分享借鑒、信息快速查找。

（三）數(shù)據(jù)湖運維管理系統(tǒng)軟件

數(shù)據(jù)湖運維管理系統(tǒng)軟件提供了基礎(chǔ)資源監(jiān)控平臺、分布式采集器、基礎(chǔ)資源授權(quán)、存儲管理模塊、可視化大屏展示、網(wǎng)絡(luò)鏈路監(jiān)控、動環(huán)系統(tǒng)集成包等功能。平臺能夠通過資源管理、拓撲管理、告警管理、報表管理、工單系統(tǒng)管理和系統(tǒng)管理等子功能完成基礎(chǔ)資源監(jiān)控平臺功能。同時平臺通過分布式采集器用于大規(guī)模資源采集、分支機構(gòu)或者異地進行監(jiān)控數(shù)據(jù)的采集。基礎(chǔ)資源授權(quán)模塊實現(xiàn)交換機、路由器、防火墻、服務(wù)器、數(shù)據(jù)庫、應(yīng)用量等網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、宿主機、郵件系統(tǒng)完成基礎(chǔ)資源授權(quán)功能。存儲管理模塊通過存儲設(shè)備監(jiān)控管理和存儲設(shè)備運行狀況監(jiān)控管理完成存儲管理功能。可視化大屏能夠?qū)?shù)據(jù)監(jiān)控結(jié)果進行可視化展示。網(wǎng)絡(luò)鏈路監(jiān)控能夠通過全國鏈路監(jiān)控 Ping、Http、https、dns等完成網(wǎng)絡(luò)鏈路監(jiān)控功能。動環(huán)系統(tǒng)集成包通過讀取對方系統(tǒng)的指標數(shù)據(jù)后能夠在機房視圖中統(tǒng)一展現(xiàn)。

磁光電混合存儲提供對象存儲和文件存儲服務(wù)，支持標準的 S3、NFS、CIFS、FTP 協(xié)議，利用藍光介質(zhì)實現(xiàn) EB 級數(shù)據(jù)的安全、高效、綠色、低成本保存；系統(tǒng)通過按需擴展的分布式架構(gòu)，有效降低用戶一次性投入成本；數(shù)據(jù)與元數(shù)據(jù)分離，小文件歸并等方式可有效提升整體的讀寫性能；生命周期策略可實現(xiàn)數(shù)據(jù)的跨介質(zhì)流動；通過EC和副本兩種保護策略、數(shù)據(jù)恢復(fù)QOS、前后端一致性校驗，保證數(shù)據(jù)安全可靠；運維管控界面對集群信息、審計日志、告警監(jiān)控提供有力支持；提供API、SDK、CLI、控制臺以及圖形化管理工具，為不同用戶提供便捷訪問方式。

《“十四五”國家信息化規(guī)劃》明確提出，“十四五”時期，信息化進入加快數(shù)字化發(fā)展、建設(shè)數(shù)字中國新階段。數(shù)據(jù)作為新型生產(chǎn)要素，成為讓物理世界和數(shù)字世界靈魂互通的橋梁。以自動駕駛、車路協(xié)同為主要應(yīng)用的交通行業(yè)，以數(shù)字孿生、智能制造為主要應(yīng)用的制造行業(yè)，以精準醫(yī)療、影像云、腦成像為主要應(yīng)用的醫(yī)療行業(yè)，都對數(shù)據(jù)存儲有十分迫切的需求，同時也急需解決存儲的海量、長期、綠色和自主可控的問題。

基于磁光電存儲技術(shù)的數(shù)據(jù)湖，有效解決數(shù)據(jù)海量、長期、綠色存儲的問題，是全社會數(shù)據(jù)資產(chǎn)存儲和智慧城市的數(shù)據(jù)“底座”，對于推進數(shù)據(jù)要素有效利用、數(shù)據(jù)價值的深入挖掘有著重要的意義。同時，基于磁光電存儲技術(shù)的數(shù)據(jù)湖，在金融、醫(yī)療、存檔等需要長期存儲的行業(yè)，數(shù)據(jù)的海量存儲和計算成為可能，為新型數(shù)據(jù)中心建設(shè)提供了新的思路和解決方案。