陳紅娟 張日花 劉婷婷
(山東華宇工學院 山東省德州市 253034)
首先,本文簡要介紹了一個基于apache的分布式文件系統hdfs平臺、hdfs的加密和解密算法以及hdfs的文件系統。pre-hdfs平臺是apache的一個開源分布式文件系統的發展產物,它具備很高的易于容錯性和可靠度,適用于各種價格便宜的機器。
它就能夠實現強大的數據存儲。hdfs是一種基于主從設備架構的高速、可擴充的分布式文件系統。給定節點負責管理客戶端向主服務器提供的信息,并且負責控制客戶端對文檔系統進行的訪問和維護,這就是保存檔案的主要原因。如果一個文件被存儲在hdfs中,那么它就不是一個截然相反的文件,該文件通常被縮寫并且存儲在指定的一個或多個數據節點上。數據加密技術主要由非對稱加密算法構成,算法就是一種通過計算固定長度的字符串來求得與數值信號相應的字符串,不同輸入可以擁有匹配不同的字符串類型的高概率,此算法的目標主要是為了驗證客戶的身份。Macredice計算模型用于計算大規模數據,HDFS存儲元數據和數據,然后節點名稱和應用程序元數據存儲在數據節點中,所有服務器通過TCP網絡連接。研究分布式文件系統的1/O和性能優化是一項艱巨而有價值的工作。HDFS文件系統的IO性能中,并提出了基于同步實現策略的性能優化方案,以降低HDFS的寫入性能,通過犧牲冗余數據信息,同時引入數據訪問機制,優化數據訪問性能,提高系統性能。
對于一般數據必須使用通用的加密方法,而對于非常重要的數據必須使用非常安全的加密策略。實驗服務器和實驗環境如下:軟件環境desktop-amd64、tomcat9、英特爾idea,2018年2月,Hadoop測試步驟主要用于過濾加密系統的數據分發、加密和解密。
加密通常使用非對稱加密算法,使用加密算法進行加密。這里的加密不是直接加密數據,而是為了確保數據安全,身份驗證由加密密鑰數據時生成的密鑰完成。一般來說,關鍵數據的數量遠低于重要數據的數量,密鑰數據必須經過加密和認證。實驗中使用的算法是MD5,sun加密的私鑰使用多個MD5密碼來防止被破壞。(公式:M=MD5(私鑰)+5)加密用于加密策略,但私鑰仍然是解密密鑰。
GlupRFS是一個具有廣泛應用的群集文件系統。它的存儲空間和訪問效率可以線性增加,具有線性可擴展性,支持成對存儲容量,可以處理數千個客戶。
GluptFS具有以下特點:每個功能都實現為一個模塊,然后組合為一個組件,以實現非常復雜的功能。傳統的分布式存儲系統不設計元數據服務,而是使用集中式或分布式元數據服務來維護元數據,分布式元數據服務存在元數據同步一致性差、工作量低的問題,該算法用于查找文件。彈性算法用于根據文件名和路徑查找文件位置,并行訪問數據,提高可擴展性和性能。系統強大的擴展能力和功能基礎模塊之間的耦合堆棧可以實現強大的功能,其中模塊堆棧結構是Glusterfs最重要的特征。這些模塊也稱為系統轉換器。Glusterfs的所有功能均由轉換器實現,如圖1。
每個轉換器都是針對相應的功能設計的,主要包括集群、內存、電源、協議、功能和加密等轉換器。集群是內存集群的核心,包括DHTAff和strips.ie,它們是用于從文件檢索數據的分布式散列。AFR相當于RAID 1,可以在多臺服務器上保存同一文件的多個副本。這主要用于修復用性自動化數據。文件可以劃分成為固定長度的塊,利用AFR和ring相結合。需要經常使用性能模塊。當應用程序處理讀卡器時,glusterfs可以讀取以下預讀記錄,以保持效率的連續性和效率。較少的IO讀取操作集成到較少的讀取操作中,以減少對網絡和硬盤的壓力。使用Writebacklight聚合技術和寫入技術來提高寫入操作的速度。緩存模塊將其用作多臺服務器上的緩沖區,它顯著減少了對外部內存的訪問,提高了數據訪問速度。加密模塊主要使用Ron13算法進行加密和解密。一種簡單的替換代碼,它將英文字母替換為13位對應的n個字母,總共26個英文字符。數字、符號、空格和其他字符保持不變。客戶端和服務器都有自己的配置文件,包括一些轉換器。每個轉換器動態加載庫并根據配置文件動態運行。
SSCFS主要由網絡安全管理器、客戶端和服務器組成。其功能組成如圖2所示。
當然,這只是一個簡單的模型,在特定的應用程序級別。安全管理器存儲系統文件信息、文件密鑰和用戶訪問信息。其主要功能是確認用戶身份,準備用戶許可證并存儲在安全管理器中,還接受用戶和管理員的需要。安全管理器可以執行以下操作:維護用戶信息,維護管理員和用戶的身份驗證,創建用戶許可證和管理密鑰,以正確管理訪問密鑰流,并長期安全存儲必要的安全參數;要確保管理員不知道文件密鑰,使用有效的密鑰存儲機制。客戶端接受用戶的遠程登錄并驗證用戶的遠程登錄。這是數據操作的起點。每個操作都必須確認用戶的權限和緩存訪問證書。服務器頁面執行客戶端發送的命令,對服務器頁面上的數據進行加密和解密,服務器頁面可以提供正確、高效的存儲設備服務,并對存儲設備進行加密,防止用戶非法訪問或竊取個人數據。用戶使用注冊的用戶名和密碼登錄到遠程位置。客戶端必須確認用戶的身份。在執行不同的操作之前,必須審查訪問許可證,以防止合法用戶非法訪問。Internet服務器和客戶端之間的連接支持TCP/ippl 20i和高速RDMA Infiniband網絡。與安全管理員(如客戶端、服務器、用戶、管理員)的所有連接都是TCP/IP網絡。Scfs假定客戶端和服務器在安全的LAN中運行和信任。安全管理員也受信任,但注冊用戶使用的計算機不可信。
在用戶首次登錄系統之前,用戶注冊模塊生成與用戶相關的信息,并將其存儲在Security Manager數據庫中。通過創建公鑰和私鑰對,用戶創建自己的私鑰,當用戶的私鑰丟失或發送通過時,用戶的連接模塊發送未連接的應用程序,安全管理器向每個客戶端發送廣播通知,從緩存中檢索相應的用戶證書,認證模塊檢查用戶身份的真實性。通過設置用戶證書模塊,用戶必須在操作之前向安全管理器發送證書。安全為請求的信息創建用戶證書。用于生成日志文件的模塊在發生沖突時將沖突日期存儲在當前日志文件中,關聯的日志文件是根據當前日期生成的。黑名單創建模塊插入違反一定數量或多個黑名單規則的用戶數量,并立即接收這些用戶的證書,向每個客戶端發送廣播消息,以限制后續操作。要從黑名單中刪除用戶,管理員必須親自處理這些用戶。
登錄模塊確認用戶已注冊。在這種情況下,請確保信息正確無誤。如果一切都一致,用戶可以進入系統。生成目錄密鑰,用自己的公鑰加密鎖密鑰,然后將其公開發送給Storage Security Manager。Rock Skip發送模塊使用Glusterfs的堆棧結構將阻塞的跳轉從客戶端發送到服務器,正常創建后隨機生成密鑰文件,然后使用文件所在目錄的鎖密鑰生成文件密鑰,加密并發送到storage security manager。證書應用模塊是指用戶在認證前向安全管理器提供的信息,檢查請求的條目是否包含操作許可證,證書緩存模塊是指證書存儲在客戶端內存中。服務器主要由三個模塊組成,每個模塊都有一個證書恢復模塊。
通過各種數據表明,采用組合策略對分布式文件系統進行加密,可以保證加密文件的安全性,網絡的普及和快速發展,越來越重視分布式文件系統的安全性。分布式存儲系統取得了巨大的進步和發展,但也面臨著重大的問題。本文介紹了基于SScfs的分布式開放源代碼文件系統模塊的基本情況,分析了其特性,基本架構和Gluster實現機制,并介紹了SScfs的總體配置、安全管理器和客戶端、服務器、系統的各個部分以及SScfs的安全機制。每個模塊都包含在系統的每個部分中,并簡要描述了整個系統的服務流程。