大數據時代下的存儲技術分析與信息安全防護探討

林正遠

（中國海洋大學嶗山校區 山東 青島 266100）

0 引言

當前，全球社會不僅進入了信息化時代，而且還進入了“信息大爆炸”的大數據時代。在大數據時代下，任何數據信息都具有潛在的利用價值，都能夠通過深度的、相關聯的數據分析，得出明確的、具有參考和指導意義的信息，推動社會生產、改善人們的生活。不過要想真正應用好大數據，前提是需要重視并做好對大數據的存儲與安全防護工作，將之作為關鍵課題，積極加強研究、探討與實踐。一方面要深入、客觀和科學地認識大數據的基本概念，及大數據存儲與安全防護的重要性；另一方面要采取合理、有效的大數據存儲技術與信息安全防護措施，實現對大數據的可靠存儲，保障大數據的信息安全。

1 大數據的基本概念及大數據存儲與安全防護的重要性

1.1 大數據的基本概念

對“大數據”最簡單的理解，是巨量數據的集合，因此大數據中的“大”主要指的是其數據量大。從技術層面來講，大數據基于信息化技術，能夠對電子化、信息化的各種數據，進行廣泛的收集、整合、存儲，并通過相應的數據分析技術，從這些巨量的、無序的，甚至是碎片化的數據中，構建數據之間的邏輯聯系，從而獲得明確的、具有參考和指導意義的信息[1]。

1.2 大數據存儲與安全防護的重要性

大數據之所以會受到全社會的關注與重視，是因為其應用范圍相當廣泛，可以適應幾乎任何的工作場景，滿足各個行業、領域的使用需求。如電商、金融、交通、醫療、教育、工業、農業、氣象等，都可以通過對大數據的應用，獲得具有參考和指導意義的信息，幫助實現產業的轉型，提高社會生產力，促進社會建設和經濟發展，為人們的生活提供便捷，改善人們的生活質量、生活水平[2]。但在信息化技術飛速發展的同時，病毒技術、黑客攻擊技術等，也在不斷地升級，再加上大數據的結構和技術布局，會使得傳統網絡安全的邊界變得更為模糊，信息安全風險加大[3]。另外，大數據的數據來源非常廣泛，其中很多數據都具有很高的私密性、隱私性要求，如涉及人健康隱私的醫療大數據。所以如果大數據發生信息安全問題，可能會造成大量的隱私泄露，這也是不能允許的。綜上，要想真正應用好大數據，就必須要首先重視并做好對大數據的存儲與安全防護工作，滿足大數據的存儲和運行需求，保障好大數據的信息安全。

2 大數據的存儲技術

2.1 NoSQL

大數據面臨著巨量的、異構的數據存儲需求，因此常規的關系型數據庫，對于大數據來說基本沒有適用性，不僅數據的存儲量有限，而且對于數據的類型具有要求，運算速度也不理想[4]。NoSQL泛指非關系型數據庫，它的出現是為了應對大規模數據集合多重數據種類帶來的挑戰，在大數據的存儲方面，具有很強的適用性。NoSQL除了能夠包容和存儲各種類型的數據信息之外，同時還具有數據存儲量大、靈活易用、易擴展、高性能、高可用等優勢。如擴展方面，NoSQL去掉了關系型數據庫的系型特性，數據之間沒有關系的限制，所以擴展起來非常的方便。在性能方面，NoSQL支持高并發讀寫，可以同時容納大量數據的讀寫吞吐，可以滿足大數據的高效運行需求。靈活性方面，由于NoSQL不必建立“字段”，允許隨時定義數據格式，可以避免增刪字段帶來的麻煩。高可用指的是NoSQL能夠在僅消耗少量性能資源的情況下，就實現高可用的架構，滿足實際的大數據使用需求。

2.2 MongoDB

關系型數據庫雖然不適用于對大數據的存儲，在實際上關系型數據庫也具有其自身的諸多功能和優勢，如可讀性、可用性強，存儲結構邏輯性強，存儲格式規范等等，這便是為什么在大數據出現之前，關系型數據庫廣為流行的原因。而MongoDB則兼具關系與非關系數據庫的優勢，也就是說它介于兩種類型的數據庫之間，在技術和功能層面上較為包容。它能夠進行有效的大數據存儲，但同時又具有比一般非關系型數據庫更豐富的功能。從實際的運行情況來看，MongoDB一方面能夠兼容關系型數據庫的DBMS功能，另一方面又能夠實現高效率的數據讀寫存儲。MongoDB的數據存儲采用了BSON結構，整體上非常靈活，功能強大，并且易于擴展，是進行大數據存儲的一種理想技術。

2.3 Hadoop

Hadoop是一個開源的分布式系統基礎架構，在如今的應用相當廣泛，同時也被大量用于大數據存儲。它的主要特點是通過分布式的集群力量，對數據進行高效率的運算與存儲。Hadoop含有四個關鍵的組件，分別是HDFS、HBASE、HIVE以及MapReduce。其中HDFS是分布式文件系統，它能夠在通用硬件上運行，具有高度的容錯能力，即使是在普通的計算機上，都可以部署，而且吞吐量非常高，相當適合在大規模數據中應用[5]。HBASE是分布式的、面向列的開源數據庫，沒有結構和關系的約束，同樣可以在普通的計算機上運行，搭建起大規模結構化存儲集群，HBASE的所有數據文件，都存儲在HDFS中。HIVE是Hadoop的數據倉庫工具，其能夠實現大數據加載、轉化以及提取等功能。MapReduce是一種大規模數據并行運算處理技術，用以支撐大數據的數據處理需求。

3 大數據的信息安全防護

3.1 訪問控制

Hadoop在如今的大數據存儲中應用相當廣泛，由于其自身構建的影響，所以它不再如傳統的數據庫那樣，采用角色訪問控制，而是綜合性地采用了實體訪問控制與數據訪問控制機制。如上所述，Hadoop具有HDFS、HBASE、HIVE、MapReduce等關鍵組件，其中HDFS、HBASE、HIVE和數據信息的存儲相關，因此也就關系著大數據的信息安全[6]。進行實體訪問控制和數據訪問控制配置時，需要對訪問主體、訪問客體、訪問條件以及訪問權限進行設置，其中訪問主體主要是指用戶賬號，訪問客體是實體的所在路徑，訪問條件包括訪問的應用、訪問的時間以及訪問的IP地址等，訪問權限則要求明確允許訪問和操作的權限。

在對大數據進行訪問的過程當中，提起訪問的設備端，第一步是需要完成身份驗證，當前一般采用kerberos認證系統，來對大數據訪問進行身份驗證，可靠性較高。在驗證通過后還需要接受實體訪問控制驗證以及數據訪問控制驗證，所有驗證都通過之后，再對訪問權限進行分配。到了這一步過后，訪問設備終端還并不能執行相關操作，因為大數據會對操作請求進行嚴格的審查，確保其符合權限，如果超越了權限，則不能進行相關操作，從而保證大數據的安全性。

3.2 數據加密

數據加密是一種非常實用的信息安全防護措施，不論是在以往的數據信息安全防護中，還是在大數據信息安全防護中，都可以發揮出很好的作用效果，其能夠保證即使數據在被竊取的情況下，也無法被解讀、利用，從而達到保護數據信息安全的效果和目的。從當前的數據加密技術發展現狀來講，適用于大數據加密的技術主要有兩種，分別是分布式文件數據透明加密技術和分布式數據庫數據透明加密技術[7]。就分布式文件數據透明加密技術來說的話，在有數據進行加密的時候，文件數據就會被傳輸到加密區，訪問者如果對該文件數據具有訪問權限，就可以從加密區當中，將文件數據轉移出來，并將解密過后的文件數據返回給訪問者。相反，如果訪問者不具備相應的權限，就無法獲得文件數據，即使通過其他手段獲取到了文件數據，也是加密狀態下的數據，沒有實際的價值，數據的安全性依然無法有所保障。

Hadoop下的HIVE、HBASE，主要可以使用的是分布式數據庫數據透明加解密技術，其實現的方式和流程相對簡單。在操作界面當中，直接對選中的數據列采用相關加密算法進行加密，同時根據時間、IP、程序以及用戶賬號等信息，來控制對數據的訪問[8]。如果有人進行數據訪問，只要其能夠通過驗證，就可以對數據進行逆向解密，獲得可讀、可用的數據詳細。如果沒有通過驗證，即使是得到了數據，也只是無用的亂碼，不具有可用價值。

3.3 數據脫敏

數據脫敏也是一種非常有效的大數據信息安全防護技術，根據應用場景的不同，大數據在運行過程當中，可能會進行實時的大量數據讀寫吞吐，也可能集中性地進行數據操作，不具有實時性的需求[9]。為此，可以分別采用數據脫敏、動態脫敏，來對大數據進行信息安全防護。靜態數據脫敏的處理方式是非實時的，需要依靠專門的脫敏組件，來實現對數據的脫敏工作。也就是說，靜態數據脫敏技術的使用，不一定要和大數據平臺合為一體，其二者之間可以相互獨立，大數據平臺提供原始數據，獨立的脫敏組件再進行脫敏工作。對于這個過程，可以提前設定好計劃，使數據經過脫敏處理，然后存儲到其他地方。

動態數據脫敏是實時性的，數據訪問需求發起，相關數據便被輸送到數據處理引擎，由動態脫敏模塊對訪問請求數據進行動態脫敏。其大致的流程如下，模塊轉發請求，由數據平臺接收，并對其一系列的信息進行核查，如程序名、賬戶名、IP以及語法等，判斷其是否具有合法性[10]。然后數據脫敏模塊根據規則對應用程序發送的HIVE語法、HBASE語法進行改寫，并將修改后的請求發送到數據平臺，最后由數據平臺對請求進行處理，返回數據結果。

3.4 其他大數據信息安全防護措施

除了訪問控制、數據加密、數據脫敏之外，在實際的大數據信息安全防護中，還需要綜合性地應用好其他各項技術措施，如防火墻、虛擬專用網絡、入侵檢測以及主動性安全防護技術等。總之，要對各種可用的信息安全防護技術進行合理的應用，在各個環節都防止出現安全漏洞和隱患，這樣才能更加強有力地保障好大數據的信息安全。

4 大數據存儲設計案例

本案例通過應用MongoDB，來對HDFS進行改進與優化。基礎平臺采用Hadoop，基于其搭建HDFS與MongoDB大數據存儲系統，打造非結構化數據云存儲平臺，以實現對巨量的、非結構化的數據存儲。大數據存儲系統的結構如圖1所示。

圖1 非結構化數據云存儲平臺結構

在數據云存儲平臺中，MongoDB的基本架構情況如圖2。其中，Clien具有對MongoDB的訪問接口，其能夠對大數據存儲的緩存數據進行維護，保證數據的訪問速度。協調服務的主要作用和功能，保證系統集群中主控制節點的數量唯一，可以對全部集合的尋址入口進行存儲，對集合服務的狀態情況進行實時的監控，同時向主控制節點發送監控信息。對MongoDB的相關模式信息，如存在哪些集合，集合包括哪些文檔等，進行存儲與管理。控制節點對集合空間進行分配，負責元數據存儲的負載均衡。如果在存儲系統當中，出現了失效的數據節點，便對這些無用的文件和數據進行處理。集合服務數據的I/O請求，對數據龐大的集合，進行自動化的分片處理。

圖2 MongoDB基本架構

在數據云存儲平臺中HDFS主要包括了NameNode節點、存儲節點、MongoDB客戶端等組成部分。NameNode節點扮演著管理者的角色，其主要的任務包括了對存儲塊復制和集群配置以及文件系統的命名空間等，進行有序的管理。存儲節點的作用是存儲數據，而且是存儲數據的基本單元。其能夠以塊的形式，將數據存儲到本地，并且可以把信息發送給控制節點，準確而及時。客戶端即應用端，其主要作用是根據應用需求，對分布式文件系統進行訪問，獲取或是上傳數據內容。

在安全措施方面，本案例綜合性地采用了訪問控制、數據加密以及防火墻、入侵檢測、數據備份等技術，最終實現了高效率、大容量的數據讀寫，而且數據的安全性得到了很好的保障，完全滿足了實際的大數據存儲以及運行需要。

5 結語

在如今的大數據時代背景下，應高度重視并切實做好對大數據的存儲及信息安全防護工作。只有采取各種技術措施，為大數據的運行創造穩定、安全、可靠的環境，滿足大數據的存儲和運行需求，防止出現大數據信息安全問題，才能趨利避害，充分發揮出大數據的作用與價值，進一步推動社會生產、改善人們的生活。