基于區塊鏈技術的海量Web 數據關聯存儲系統設計

張益兵

（中國電力財務有限公司，北京 100005）

在數據傳送過程中，對海量Web 數據加密是一種十分普遍的安全措施，其能有效地防止原始海量Web 數據被泄露。采用傳統數據存儲技術，能有效地保護海量Web 數據的唯一性和抗篡改性。然而，由于海量Web 數據傳輸量在不斷增長，使得海量Web 數據在存儲過程中很容易遭到其他應用程序攻擊，導致數據存儲不穩定。為了解決該問題，近幾年研究的文獻中設計了基于多屬性的存儲系統[1]和基于Kubernetes 的存儲系統[2]，在此基礎上，利用HDFS對Web 數據進行分類，解決了Web 數據的少量存儲問題，并建立了基于HBase 的索引機制，達到高效存儲Web 數據的目的；基于Kubernetes 的存儲系統提供了一個統一的應用程序接口，通過建立面向對象的模型來實現大量網絡數據的存儲，并使用Kubernetes 的自動化工具，使得存儲系統的部署更加方便。然而，由于海量Web 數據存在數據不對稱的問題，使用上述兩種方法不能有效解決該問題。區塊鏈技術是一種利用非中心化、非信任的方式，能夠安全、可靠地儲存動態數據。為此，設計了基于區塊鏈技術的海量Web 數據關聯存儲系統。

1 系統硬件結構設計

利用塊鏈式結構來驗證數據存儲的安全性，利用分布式節點共識模式構建硬件結構，如圖1 所示。

圖1 系統硬件結構框圖

由圖1 可知，該硬件結構分為存儲層、計算層和服務層。存儲層負責存儲原始具有結構屬性的索引數據[3]；計算層主要由數據緩存模塊、數據檢索模塊、數據統計模塊和關聯映射模塊組成。該層根據海量Web 數據更新特點，建立了相應的更新模型，并對更新后的數據進行處理[4]；服務層的核心部分是數據檢索和相關API 模塊，為分析人員進行相關檢索與統計提供API[5-6]，為后續分析提供基本服務，并建立了一個用戶查詢接口，以提供功能展示服務。

1.1 區塊鏈集群監控模塊

區塊鏈集群監控模塊是數據關聯存儲系統的核心運行結構，其結構如圖2 所示。

由圖2 可知，分布式開源監控代理客戶機與代理管理機的下端相連，該代理主要有兩種工作方式：主動式和被動式。主動式監控能夠在網絡環境下對海量Web 數據進行直接采集，并對相關的數據進行標簽，并將其存入系統主機[7]；被動式監控要求利用geth 節點來觀測Web 數據，并將其通過傳送信道返回到分布式開源監控代理客戶機[8]。主機集群不能主動向客戶機發送消息，只有在被動的情況下才能執行其連接命令[9]。一旦服務監聽接口和分布式開源監控服務器建立了聯系，主機就會重新恢復其信息處理功能[10-11]。在此期間，分布式開源監控服務器將不會公開真實IP 地址[12]，因此，采用區塊鏈集群監控結構可以避免被攻擊。

圖2 區塊鏈集群監控結構

1.2 關聯映射模塊

區塊鏈不能直接存儲數據，其必須把數據轉化成哈希函數的數字格式，然后通過編碼構成一個字符串。構造一個關聯映射模型，即把一個數據串映射到一個數據格式[13]。因此，采用區塊鏈共識機制將新生成的塊通過引用前一個塊的散列值來鎖定前一個塊，后一個區塊包含前一個區塊點哈希值，通過共識機制確定有效塊，進而確定主鏈，由此形成了區塊鏈映射結構[14]。

在該模塊中，使用哈希運算方式生成64 位代碼，通過區塊鏈映射結構封裝全部映射數據并打包到區塊鏈中。系統將關聯映射的數據通過界面傳輸給服務器，并用哈希算法[15]進行加密，然后將其保存在數據庫中，成為服務器。同時，服務器也會向系統提供最新的數據。在系統執行查詢操作時，服務器會收到查詢命令，并按照實時要求對系統進行響應。通過關聯映射模塊實現了數據記錄和交互認證。

1.3 服務端

系統設計了一種服務端結構，該服務端主要包括數據庫單元和服務單元兩種結構。其中數據庫單元在數據存儲方面起到一定作用，當客戶端采集到相關數據后，首先要對原始數據進行有效標記，然后通過哈希對前一塊進行加密，從而產生新數據；服務單元在服務部方面起到的主要作用是作為“發報機”，其要求在資料庫中建立一個數據指針，每一次都會自動地查看最近的數據，并從中挑選出最新的數據，并在拆解后進行選擇[16]。

將服務端與區塊鏈集群監控結構連接起來，使其變成一種具有針對性的服務結構，該服務以Windows窗口形式進行展現。由于服務端同時會與多個分布式開源監控代理客戶機建立連接，一旦服務端開始運行就會占用大量資源，影響服務端與其他端口的通信效率，因此，將其與分布式開源監控代理客戶機相連接，只需傳送待存儲數據即可。

2 系統軟件部分設計

2.1 海量Web數據關聯存儲安全問題建模

根據海量Web 數據關聯存儲過程中面臨的安全性問題，計算系統遭到攻擊的概率，如式（1）所示：

式中，t為初始時間；Δt為時間間隔；pn(t)、pn+1(t) 分別表示在t時刻系統遭到第n、n+1 次攻擊的概率。在沒有遭到攻擊的情況下，為了防止數據被篡改、偽造，需要從兩個角度來保證數據安全。一是驗證動態數據是否正確，從該角度避免存儲的數據出現異常數據；二是跟蹤動態數據操作模式，追溯歷史操作行為，使系統具有一定的復原功能。

構建系統目標約束函數如式（2）所示：

式中，minc(t)表示系統在t時刻的最小運行風險；Pn(t+Δt)表示滿足安全運行條件下，在t+Δt時間范圍內系統遭到攻擊的概率。該計算結果用于衡量一段時間內系統遭受攻擊的情況，計算結果越小，說明系統魯棒性越強。

2.2 基于區塊鏈技術的數據關聯存儲

在已知海量Web 數據關聯存儲安全問題的情況下，海量Web 數據庫的實體結構越大，系統存儲數據也就越多。將消息頭設置為區塊鏈報文前綴，其表示海量Web 數據的真實儲存地點。在很長一段時間內，數據存儲受到關聯主機影響，導致存儲數據結構與實際存儲結構存在一定差異。

設l表示海量Web 數據關聯存儲中的原始長度值，由此計算海量Web 數據關聯存儲加密結果，如式（3）所示：

式中，η表示區塊鏈報文作用條件；smax表示最大信息輸出量；λ表示對稱密碼編譯系數；α表示與數據庫主機匹配的關聯存儲系數。

對于區塊鏈報文可表示為：

對于提交的區塊鏈報文，需要驗證提交結果是否合法，判斷公式為：

在區塊鏈報文的作用下，通過連接存儲對象和系統功能，可在確保安全的前提下實現對海量Web數據的完整存儲。

3 實 驗

選擇兩臺網絡主機作為Web 數據的輸出裝置，分別在IEEE.165.127.5.0 和IEEE.165.127.2.0 協議網關影響下，對系統進行實驗驗證。

3.1 系統運行實例

以某臺電能表計量實際Web 觀測數據為例，操作實例如圖3 所示。

圖3 操作實例

由圖3 可知，當輸入操作指令為1 時，即增加電能表計量數據。在該操作實例下，客戶端程序以go語言為實驗環境，經過多次轉譯，創建存儲參數表，如表1 所示。

通過上述創建的存儲參數表，獲取相關運行數據，如表2 所示。

將表2 中的數據作為實驗標準數據，進行實驗對比分析。

表1 存儲參數創建表

表2 電能表計量實際觀測數據

3.2 實驗指標

以存儲擁塞率為指標，其計算公式為：

式中，m表示待存儲數據量；L表示存儲通道；P表示排隊系統中沒有目標數據的概率。以該計算結果為標準，數值越小，說明系統存儲效果越好。

3.3 實驗結果與分析

分別使用基于多屬性的存儲系統、基于Kubernetes的存儲系統和基于區塊鏈技術存儲系統，對比分析數據存儲擁塞率，如圖4 所示。

由圖4（a）可知，Kubernetes 存儲系統的擁塞率最高，其次是多屬性存儲系統，基于區塊鏈技術存儲系統的擁塞率最低，最低值為2%。由圖4（b）可知，Kubernetes 存儲系統的擁塞率最高，最高值為63%；其次是多屬性存儲系統，最高值為46%；基于區塊鏈技術存儲系統的擁塞率最低，最低值為7%。由圖4（c）可知，雖然使用Kubernetes存儲系統擁塞率最高，但在該功率因數下變化最大的是多屬性存儲系統，而基于區塊鏈技術存儲系統擁塞率仍然最低，最低值為7%。

圖4 3種方法電流鑒定誤差對比分析

4 結束語

該文設計了基于區塊鏈技術的海量Web 數據關聯存儲系統，該系統利用區塊鏈技術可以輔助關聯存儲系統安全地儲存海量Web 數據，并且通過使用區塊鏈的集群監控模塊，簡化數據關聯存儲的同時，避免了大量數據被惡意篡改。在后續研究進程中，應從存儲時間角度優化系統，進一步縮短系統的存儲時間。