基于區塊鏈的安全可信分布式大數據管理系統

蔣宇

【摘要】? ? 本文設計一種應用區塊鏈技術的大數據管理系統及方法，涉及區塊鏈技術領域，本發明 包括數據庫層、區塊鏈層、數據共享層和數據應用層，本發明通過采用區塊鏈技術，實現大數據管理，構建出包括數據庫層、區塊鏈層、數據共享層和數據應用層的架構體系，充分利用區塊鏈技術的去中心化、不可篡改、分布式共同記賬、非對稱加密和數據安全存儲等特點，實現數據的交互。

【關鍵詞】? ? 區塊鏈? ? 大數據管理系統? ? 設計

Abstract： This article designs a big data management system and method using blockchain technology， involving the field of blockchain technology. The invention includes a database layer， a blockchain layer， a data sharing layer， and a data application layer. Block chain technology realizes big data management， builds an architecture system including database layer， blockchain layer， data sharing layer and data application layer， and makes full use of the decentralized， non-tamperable， distributed shared accounting of blockchain technology ， Asymmetric encryption and data security storage features to achieve data interaction. This article uses encryption and decryption functions to realize the encryption and decryption of big data， and improves the data security performance; the present invention also uses a sharing algorithm to realize data sharing in the blockchain， making full use of the sharing mechanism， and has decentralization， The advantages of trustlessness and data encryption can better solve the data management problems in big data applications.

Keywords： Blockchain; Big Data Management System; Design

前言

在大數據應用場景不斷增加的同時，其存在的一些問題，其弊端也逐漸凸顯出來，具體體現在以下3個方面：（1）由于數據量的增加以及數據處理速度的提升，傳統的數據加密手段和安全檢測機制很難應對，數據在傳輸過程中的保密性大大下降，數據面臨著被竊的可能性;（2）隨著人們對數據的依賴越來越重，數據的價值也不斷提升，數據的交換、交易行為以及相關市場應運而生，目前數據的共享能力難以滿足當前的需要。第三次工業革命使科學技術迅速的發展，為各個企業帶來了機遇和挑戰。隨著消費升級，概念、層次、方式也發生了極大的變化，數據呈爆炸式增長，大數據的概念也被社會各界所重視。本文主要對大數據時代對商業模式影響進行研究和分析，明確現存商業模式的問題，并提出對應的策略，增加企業的綜合實力和競爭力。

一、區域鏈

1.1區塊鏈結構

用區塊鏈所串接的分布式賬本能讓兩方有效地記錄交易，并且可以永久查詢驗證此交易。比特幣系統是區塊鏈技術的第一個現實產業應用，本小節以比特幣系統為例，對區塊鏈的數據結構加以說明。區塊鏈數據結構如圖 1所示。

1.2區塊鏈基礎架構模型

區塊鏈是搭建在開放互聯的計算機網絡上的，需要借助網絡的通訊能力為其傳輸各種信息。區塊鏈基礎架構與國際標準化組織制定的開放式系統互聯極其相似：開放式系統互聯模型把網絡通信的工作分為 7 層，分別是物理層、數據鏈路層、網絡層、傳輸層、會話層、表示層和應用層;區塊鏈系統則依據功能的不同將其基礎架構則分為 6 層，由低到高依次為數據層、網絡層、共識層、激勵層、合約層和應用層組成。

1.3區塊鏈核心技術

區塊鏈最初被提出時，是為了解決在互不相識的網絡環境中，雙方在沒有第三方認證機構的存在下進行安全交易的問題，即創建一種在沒有可信任方的情況下通過通信信道進行支付的機制，也就是本文中常說的去中心化機制。為了解決雙方之間的交易信任以及交易安全問題，區塊鏈提出了四大核心技術以解決此問題：分布式賬本、加密技術、共識機制以及智能合約。

1.4區塊鏈的分類

一般來說，按照去中心化的程度將區塊鏈分為公有鏈、聯盟鏈以及私有鏈。在三種鏈中

公有鏈的去中心化程度最高，幾乎達到了完全去中心化;聯盟鏈是弱中心化;私有鏈則是強中心化。

二、大數據管理系統的設計

2.1總體設計

數據協議是在不太影響挖掘效果的前提下對數據處理進行簡化，可以有效提高挖掘效率。數據清洗保證了挖掘數據庫中數據的完整性和一致性，提高了數據挖掘的有效性。數據轉換就是根據挖掘目標，將數據轉換成適合挖掘的形式。常用的方法有概念分層和數據離散化。

數據挖掘被稱為數據庫中的信息發現，即從大量數據中提取出有效的信息的高級處理模型。數據挖掘利用一些算法和計算從海量的繁雜的數據中提取所需要的知識和信息，它可以通過對歷史或者當前的數據進行分析與研究，來為未來的決策進行判斷。

信息系統：設S=（U，A，V，f）為一個信息系統。其中，為有限非空集合，xi為對象或者元組;為屬性的有限非空集合。V是屬性值得集合，V=∪（Va），其中Va∈A，Va為屬性a的值域;f：U×A→V為信息函數。

關聯分析研究的關系分為兩種：簡單關聯關系和序列關聯關系。決定關系的三個基本度量：支持度（可信度）、置信度（支持度）和興趣度[2]。

（1）支持度：數據集包含某些特定項出現的概率。

（2）置信度=

（3）興趣度：數據之間的親密關系。興趣度大于1時，表示存在關聯關系。

設為項集，為屬性集。

關聯規則：，其中，，

設的項集為P，的項集為Q，記G=Q∪P

可信度，支持度

2.2數據庫層的設計

為了獲得有效的數據，需要進行數據清洗、文本分割和特征降維。中文分詞有三個步驟，分別是填好詞典進行分詞，使用分詞裝置，去掉停止詞以去掉無意義的詞。與文本挖掘方法相比，粒度更細，評分更合理。

在統計學中，把研究對象的全體叫做總體。構成總體的每個數據成員就是個體。為了了解總體數據的特征，我們需要從總體中抽取樣本數據，為了能由樣本對總體做出可靠地判斷，抽取樣本時希望帶有隨機性和獨立性，同時要排除一些干擾項。

影響數據質量的三個基本因素：準確性、完整性和一致性[4]。影響數據質量的另外兩個因素是可信性和可解釋性，可信性體現的是有多少數據是使用戶信任的，可解釋性體現的是數據能否容易了解。

導致不正確的數據可能有多種緣由的：

（1）收集數據的機器可能出故障或者是錯誤;

（2）可能在數據錄入時出現人或計算機的失誤;

（3）當個別用戶提交自己的個人信息時，想要保護自己的個人隱私，就有可能故意向強制輸入字段中輸入了不正確的值。

屬性子集則是選擇經過刪除不相關或者冗余的屬性縮小數據量。

2.3區塊鏈層

區塊鏈層，其內至少設置有區塊鏈系統，區塊鏈系統包括數據層、網絡層、共識層、激勵層和智能合約層，其中數據層利用Merkle樹進行數據存儲，在結構上通過區塊以鏈式的方式連接，并且數據結構設置有加密單元、加密算法模塊和數據傳遞模塊;網絡層主要由錯綜交織的網絡節點構成，通過不同的網絡節點，利用點對點技術實現數據通訊和連接，使得處于區塊鏈網絡中的不同節點設備能夠互通互聯，在共識層中設置有共識機制，共識機制能夠將區塊鏈網絡中設置的數據進行一致性交互，從而具有較好的數據共識能力和數據防攻擊能力。

2.4數據共享層

數據共享層 ，其內至少設置有節點服務器，節點服務器應用于區塊鏈網絡中，并與區塊鏈節點連接。

2.5數據應用層

數據應用層，其內至少設置有應用服務器，應用服務器通過無線通訊接口、RS232接口、USB接口或者遠程通訊接口與加密數據庫連接，應用服務器設置有解密單元;其中：數據庫層與區塊鏈層連接，區塊鏈層與數據共享層連接，數據共享層與數據應用層連接。

三、結束語

高級數據分析則事源于80年代后期，是一門交叉性學科，融合了人工智能、統計學、數據庫技術等多種技術。傳統的大數據系統運行較為復雜，成本較高，可以通過區域鏈的基礎上大數據管理系統的設計與實現，提高數據處理的速度與完整，起到較高的應用價值。以實現經濟價值使用當今最先進的互聯網技術的目的不僅使公司能夠準確地了解消費者的需求，以便他們生產并投放市場以滿足消費需求另外，還可以大大減少企業獲取信息的時間，從而減少降低了成本，可用于企業的創新，生產，開發等生產活動，并提高提高公司在市場競爭中的地位，使公司獲得巨大的經濟效益受益，公司可以利用大數據為客戶提供更好的產品和服務，從而實現企業利潤的增長;通過使用大數據，公司還可以節省大量成本，更準確地確定銷售目標，降低風險并預測消費者的潛在需求，以便最終達到靈活生產的目的，針對每個消費者提供真正合適的產品和服務

參? 考? 文? 獻

[1]賀海武，延安，陳澤華.基于區塊鏈的智能合約技術與應用綜述[J].計算機研究與發展，2018，55（11）：2452-2466.

[2]黃征，李祥學，來學嘉，等.區塊鏈技術及其應用[J]. 信息安全研究，2017， 3（03）：237-245

[3]劉肖飛.基于動態授權的拜占庭容錯共識算法的區塊鏈性能改進研究[D].杭州：浙江大學，2017

[4]沈鑫，裴慶祺，劉雪峰，等.區塊鏈技術綜述[J].網絡與信息安全學報，2016， 2（11）：11-20.

[5]宋燾誼，趙運磊.區塊鏈共識算法的比較研究[J].計算機應用與軟件，2018，35（08）：1-8.

[6]袁勇，王飛躍.區塊鏈技術發展現狀與展望[J].自動化學報，2016，42：4.

[7]張健.區塊鏈：定義未來金融與經濟新格局[M].北京：機械工業出版社，2016.

[8] Justin OConnell. What Are the Use Cases for Private Blockchains？ The Experts Weigh In[J]. Bitcoin Magazine，2016.

[9] Duong T， Fan L， Zhou H S. 2-hop blockchain： Combining Proof-of-Work and Proof-of-Stake Securely [OL].[2017-04-15]. https：//eprint.iacr.org/2016/716.pdf.

[10] Gervais A， Karame G O， Wüst K， et al. On the security and performance of proof of work blockchains[C]//Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. ACM， 2016： 3-16.

[11] Gilad Y， Hemo R， Micali S， et al. Algorand： Scaling Byzantine Agreements for Cryptocurrencies [C]. Proceedings of the 26th Symposium on Operating Systems Principles .Shanghai， China：ACM，2017.51-68.

[12]曾鏘.大數據驅動的商業模式創新研究[J].科學學研究，2019，37（6）：1142-1152.

[13]張曉飛.大數據時代背景下企業管理模式創新策略研究[J].現代營銷（信息版），2019（4）：114-115.

[14]汪濤.大數據時代企業管理模式的創新路徑研究[J].湖北函授大學學報，2017（24）：94-95+100.

[15]曾鏘.大數據驅動的商業模式創新研究[J].科學學研究，2019，37（6）：1142-1152.

[16]張曉飛.大數據時代背景下企業管理模式創新策略研究[J].現代營銷（信息版），2019（4）：114-115.

[17]汪濤.大數據時代企業管理模式的創新路徑研究[J].湖北函授大學學報，2017（24）：94-95+100