大數據時代檔案信息資源共享平臺數據存儲系統的設計與實現

卞咸杰

摘 要：伴隨物聯網和互聯網技術的發展與應用，數字化檔案信息資源呈現爆炸式增長，傳統的關系型數據庫在海量檔案信息資源數據讀寫效率中存在著諸多的性能瓶頸，如何滿足不斷增長的檔案信息資源數據存儲需求成為共享平臺建設研究的重點。在對檔案信息資源共享平臺數據存儲需求分析的基礎上，對檔案信息資源存儲系統進行了模塊設計，提出了采用HDFS結合Redis作為共享平臺數據存儲系統的總體架構的方法，并對檔案信息資源存儲的性能進行測試對比。采用HDFS作為共享平臺的存儲系統架構支撐，結合Redis緩存技術，能夠快速提升檔案信息資源的存儲處理性能，為檔案信息資源共享平臺的數據服務提供可靠的基礎保障。

關鍵詞：大數據；檔案信息；資源共享平臺；數據存儲；HDFS；Redis

分類號：G273

Design and Implementation of Data Storage System for Archive Information Resource Sharing Platform in the Big Data Era

Bian Xiajie（School of History and Public Administration of Yanchen Teachers University， Library of History and Public Administration of Yanchen Teachers University， Archive History and Public Administration of Yanchen Teachers University， Yancheng， Jiangsu， 224007 ）

Abstract：With the development and application of Internet of Things and Internet technologies， digital archival information resources have shown explosive growth. Traditional relational databases are reading data from massive archival information resources. There are many performance bottlenecks in writing efficiency. How to meet the growing data storage needs of archive information resources has become the focus of research on the construction of shared platforms. Based on the analysis of the data storage requirements of the archive information resource sharing platform， a module design was carried out for the archive information resource storage system， and a method of using HDFS and Redis as the overall architecture of the shared platform data storage system was proposed Test and compare the performance of archive information resource storage. Using HDFS as the storage system architecture support of the sharing platform， and integrating the Redis cache technology can quickly improve the storage processing performance of the archive information resources， and provide a reliable basic guarantee for the data services of the archive information resource sharing platform.

Keywords：Big Data；Archive Information；Resource Sharing Platform；Data Storage；HDFS； Redis

隨著物聯網、互聯網、“互聯網+”、人工智能和5G技術的發展，檔案管理信息化、數字化、智能化建設也得到了前所未有的高度重視。檔案部門通過共享平臺進行統一存儲并對外提供檔案信息資源訪問數據[1]，使迅速發展的檔案數據化行為越發呼應當前“讓數據多跑路”的政策要求。大數據時代，數據管理已成為現代檔案管理的一項重要內容[2]，檔案數據化也成為檔案界新的關注點。存儲方案的優化、空間的增容、滿足用戶不斷增長的個性化需求已成為檔案信息資源共享研究的重點。為改變傳統的檔案信息數據存儲方式難以承受數據并發訪問的壓力，在硬件上，使用新硬件或新技術加快數據訪問，以更小的硬件設備存儲更大容量的檔案信息成為趨勢，如僅幾毫米的空間存儲能容納TB級的數據[3]；軟件上，針對不同存儲方式提出相應優化方案以提高系統性能也成了重點。文章認為，采用HDFS結合Redis構建檔案信息資源共享平臺數據存儲系統具有一定優勢。

1檔案信息資源共享平臺數據存儲需求

1.1檔案信息數據存儲可擴展性需求

據中國信通院發布的《大數據白皮書（2019）》報道，全球數據量正在無限制地擴展和增加，2025年將達到163ZB[4]。數據增長的主要驅動力是移動互聯網技術及移動設備的運用，如移動設備不僅要收集信息資源數據，還要收集與用戶活動相關的數據。檔案信息資源共享平臺的可擴展性就是指以可顯著增加存儲資源的方式支持不斷增長的檔案信息資源數據量。大數據時代，數據出現PB級增長，這對檔案信息資源共享平臺的存儲系統提出了新的要求。首先要求平臺的存儲系統能夠動態地支持檔案信息數據不同的容量要求，在實際利用過程中能夠按需分配資源。其次，數據存儲系統需要能有效管理檔案信息資源數據，存儲資源需要根據當前的檔案信息數據量級按需分配與動態增加。第三，能有效利用存儲系統配額管理功能，提高現有存儲系統的利用效率。

1.2檔案信息數據存儲類別復雜性需求

隨著信息技術的發展，一方面，傳統的結構化檔案信息資源數據已不能滿足檔案信息資源共享平臺的應用，現有的檔案信息資源數據出現了半結構化和非結構化數據。新類型數據的檢索與挖掘需要新的信息化技術來支撐，這便需要對檔案信息數據進行過濾、保護和挖掘。另一方面，檔案信息數據是檔案管理者和使用者的重要數據基礎，檔案信息數據綜合利用是檔案信息大數據建設的核心。集中存儲與處理非結構化數據對平臺提出了更高的要求，未來的檔案信息資源數據存儲面臨的是更復雜數據類型的存儲與應用問題，從復雜的數據類型到共享平臺數據的存儲管理是一個較大的挑戰[5]。

1.3檔案信息數據存儲安全性需求

檔案信息數據的安全性要求很高。為防止檔案信息資源數據被泄漏、竊取、濫用，需對共享平臺的檔案信息資源數據實現安全處置，即數據脫敏、數據加密和數據利用跟蹤[6]。

1.4檔案信息數據存儲可靠性需求

由于檔案信息資源共享平臺數據存儲系統自身硬件的原因，硬盤磁盤組件故障率較高，不經常訪問的數據存儲在上述的物理介質極容易丟失和損壞[7]。在實際的數據存儲系統利用過程中，一旦出現硬盤磁盤組件故障，將直接中斷系統服務，此外，在具體的恢復工作中也存在很多不確定性。

2檔案信息資源共享平臺數據存儲系統架構設計

大數據時代，檔案信息資源共享平臺數據存儲系統架構設計需要綜合考慮未來的可靠性與可擴展性，從數據安全存儲與高效的角度可以考慮分布式異構存儲策略模式，使數據分布在合適的存儲介質上，從而提高檔案信息數據的訪問性能。檔案信息資源共享平臺存儲服務將采用WebAPI的方式進行處理，存儲系統采用可擴展的分布式文件系統[8]。在具體的數據存儲系統實現中，需要綜合考慮硬件和軟件在檔案信息存儲中的作用，部分存儲功能的實現通過硬件更易于實現，如存儲介質的冗余備份、海量數據存儲等。

2.1數據存儲系統的總體架構

檔案信息資源共享平臺建設要達到檔案管理信息化和檔案安全高效化的要求，滿足包括PC、手機及平板等設備以及不同分辨率瀏覽器的使用要求[9]，便必須加強三大管理中心建設：一是檔案信息資源共享平臺綜合管理中心建設，二是檔案信息資源共享平臺存儲服務中心建設，三是檔案信息資源共享平臺數據交互管理中心建設[10]。其中存儲服務中心建設是檔案信息資源共享平臺的基礎建設，主體架構存儲處理的核心邏輯層采用檔案信息資源共享平臺存儲服務接口模式，該接口作為外部數據存儲操作指令的傳入與內部存儲數據處理后返回的中間橋梁，可以避免外部應用對數據存儲系統的直接操作，接口調用加上授權控制也確保了平臺存儲系統數據操作的安全。存儲系統由兩大部分組成，一部分是數據存儲服務的核心部分，由數據訪問層、數據層、數據存儲處理中心組成；另一部分是輔助系統，負責檔案信息資源共享平臺的監控、運維，主要由平臺運行監控系統、數據備份系統、運行監控系統組成[11]。總體架構圖如圖1所示。

2.2數據存儲系統的技術選型

傳統的大數據存儲一般采用關系型數據庫。后來大數據的存儲采用分布式文檔存儲數據庫較多，常見的有MongoDB，它是一種非關系型數據庫。在性能方面，該存儲技術利用內存資源用作緩存來換取卓越的性能，并且會自動選擇速度最快的索引來進行查詢，從而提升檔案信息數據的讀寫性能；在可擴展性方面，MongoDB支持橫向擴展，這樣就可以方便地將數據拆分至不同的服務器中，并提供自動路由技術使數據請求自動定位到正確的服務器；在數據存儲使用方面，由于MongoDB面向文檔設計，數據的獲取方式非常靈活。MongoDB在數據存儲方面也存在一些缺點，檔案信息資源數據由于其信息一致性要求高，這就要求在數據存儲過程中支持事務處理，而MongoDB的事務支撐需要在外部軟件層面進行控制，工具支持方面需要進一步完善。當前大數據存儲采用列式數據庫，常見的如HBase，這種類型的數據庫是面向大數據環境下數據倉庫的數據分析而產生的，適用于批量檔案信息資源數據處理和信息檢索。為彌補列式數據庫在數據檢索方面的不足，一般會采用鍵值數據庫作為大數據存儲系統的存儲方案的補充。

檔案信息資源共享平臺數據存儲采用Hadoop分布式文件系統（Hadoop Disle System，HDFS）， HDFS是受Google文件系統（GFS）啟發而開發的一個分布式、可擴展的存儲系統，最初是作為Apache Nutch搜索引擎項目的基礎架構而開發的[12]。HDFS和其他的分布式文件系統相比，具有高度容錯性和較低的成本[13]，能夠提供實時且易于使用的大數據分析和可視化環境[14]。HDFS為存儲應用提供了將其移動到數據附近的接口，在檔案信息資源數據達到海量級別的時候，外來的請求離操作的實際數據非常靠近，這樣就能有效降低網絡阻塞的影響，提高系統數據的吞吐量。

利用緩存技術可以大幅提升存儲數據的讀取效率[15]，檔案信息資源共享平臺讀取數據則采用Redis緩存技術，Redis是鍵值存儲類型的數據庫，可以緩存檔案信息資源共享平臺的高頻訪問大數據信息。基于內存存儲的特性，Redis存取速度特別快，為索引提供了有效的數據結構，以加快查詢操作和響應的速度，為多個數據結構提供支持，使其成為頻繁訪問檔案信息資源數據的主要選擇。

2.3平臺數據存儲系統的模塊整體設計

檔案信息資源共享平臺數據存儲系統在實際的構建過程中重點關注存儲資源利用率、不間斷工作時間、低延遲性、主存性能和大數據管理算法的科學性等內容。平臺數據存儲系統的模塊設計主要從保障數據可靠性、使用性及安全性三個方面考慮，數據可靠性是數據存儲的核心問題，也是數據有效的基本保障。在數據使用性方面，需要支持NAS、SAN等存儲網絡，并提供接口供外部處理，確保系統具有廣泛的擴展性、適應性和兼容性。在保障數據安全性方面，需要考慮訪問授權認證、內外網訪問隔離等管理功能。綜合以上存儲系統設計的基本要求，檔案信息資源共享平臺的存儲系統需要考慮數據接入存儲層、配置運維中心、備份監控系統的設計工作。

（1）平臺數據存儲系統的數據訪問與存儲層設計

檔案信息資源共享平臺數據存儲系統的數據訪問與存儲層主要負責檔案信息數據的新增、修改、刪除以及查詢業務。為了保證檔案信息數據的完整性，需要對數據存儲操作提供事務管理操作，即針對每次請求產生的關聯操作，必須一次性完成，否則，關聯操作全部回滾并給出數據處理失敗的標志。另外需要考慮檔案信息數據的并發問題，隨著檔案信息資源共享平臺用戶的不斷增加，對數據存儲并發處理需要制定相應策略[16]，即在修改更新時需要二次檢查當前讀取的數據是否被更新，如果被修改則本次更新失敗。數據訪問層實現了兩大功能，一是對數據訪問接入層進行負載均衡；二是把訪問數據的請求轉發到數據所在的數據層設備。數據存儲層的目的就是存儲數據，存儲介質可以支持內存或SSD。在數據存儲層的實現中需要提供一個同步模塊，同步模塊是為實現不同服務之間的數據同步；讀寫服務用來處理用戶的讀寫請求；運維工具用于切換服務器、重啟服務器、維護服務器等運維操作。該模塊的設計如圖2所示。

（2）平臺數據存儲系統的配置運維中心

檔案信息資源共享平臺數據存儲系統的配置運維涉及三個方面，即配置中心、配額中心和運維中心。配置中心涉及存儲系統模塊的全局資源配置，并負責將配置好的資源下發到指定用戶等，該中心只針對超級管理員角色開放，為了保證系統安全，需要對進入該模塊的用戶進行雙重驗證并實時備份與記錄操作日志，以便于后期跟蹤。配額中心則對檔案信息資源共享平臺不同業務模塊的容量、流量、CPU等資源進行配額管理，該模塊主要是針對平臺用戶所擁有的資源能力進行控制，并根據用戶及數據的變化做出及時的調整。平臺的數據日常處理工作由運維中心負責，該模塊主要功能是執行數據存儲中心運維命令，平臺運維管理系統的使用者是系統運維人員，可以方便地進行數據業務管理和運維操作，并能查看系統運行狀況和業務運營數據。隨著自動化與人工智能技術的發展，未來的日常運維將會由AI機器人自動完成。配置運維中心結構如圖3所示。

（3）平臺數據存儲系統的備份監控管理系統

檔案信息資源共享平臺數據存儲系統的備份監控管理系統負責數據備份與恢復，支持檔案信息數據全量備份與增量備份需求，并全面兼容不同類型的檔案信息資源數據，實現對系統數據有效保護，支持同區域異地災備。日志中心會記錄所有用戶系統操作日志，該中心所涉及的數據需被設置成保護模式，異常操作日志不可以刪除。任務中心通常以定期任務的方式出現，它主要管理和調度檔案信息資源數據備份與恢復任務的執行。監控系統對平臺的關鍵信息和運行狀況進行上報和分析，對異常情況進行監控和告警。其中，日常上報是對平臺的運行狀態進行上報；補充上報是對日常上報信息的一個修飾，可上報更多維度的信息。平臺存儲系統備份監控管理模塊如圖4所示。

3檔案信息資源共享平臺數據存儲系統性能測試

3.1測試環境搭建

性能測試硬件環境由處于同一局域網內的兩臺HP DL388Gen10 HPE 2U機架式服務器構成，操作系統環境則采用主流的Windows Server 2016，通過Visual Studio 2019新建一個測試項目，主要內容包括數據存儲效率對比分析。

3.2測試方法及關鍵代碼

在測試服務器上開啟IIS服務并運行使用C#開發的文件讀寫WebAPI，使用另一臺配置相同的服務器在局域網內遠程訪問此WebAPI。為保證測試數據的準確性，每種數據量級的測試采用三次重復測試，取平均值的方式作為測試結果數據。具體測試核心代碼見圖5。

3.3測試過程