基于Hadoop的云計算數(shù)據(jù)安全性研究

徐嘉誠 郭曉娜

作者簡介：徐嘉誠（1992— ），男，江蘇南京人，工程師，學士；研究方向：網(wǎng)絡安全。

*通信作者：郭曉娜（1980— ），女，江蘇淮安人，工程師，學士；研究方向：網(wǎng)絡安全。

摘要：隨著計算機技術的發(fā)展，云計算逐漸成為一種新型且重要的商業(yè)模式，在現(xiàn)代社會中扮演著越來越關鍵的角色。文章主要介紹了基于Hadoop數(shù)據(jù)安全的研究，首先概述了云計算技術和Hadoop技術；其次對云數(shù)據(jù)和安全情況進行了分析；最后就安全性問題及解決辦法進行了論述。

關鍵詞：Hadoop；云計算；數(shù)據(jù)安全

中圖分類號：TP 399 文獻標志碼：A

0 引言

當今社會，云計算技術的發(fā)展已經(jīng)十分迅速，其應用也越來越廣泛。企業(yè)面臨著海量數(shù)據(jù)的處理和分析任務，這些數(shù)據(jù)需要高效、安全的存儲和處理。基于Hadoop的云計算平臺提供了一種高效、可靠、可擴展的分布式計算和存儲解決方案，可以幫助企業(yè)解決這些問題。當企業(yè)使用基于Hadoop的云計算平臺來存儲和處理數(shù)據(jù)時，其系統(tǒng)業(yè)務的數(shù)據(jù)安全性就顯得尤為重要，因此，保障基于Hadoop的云計算平臺數(shù)據(jù)安全性具有重要的意義，這也正是本文所要探討的云計算平臺的安全問題和安全性實現(xiàn)。

1 云計算平臺

1.1 云計算技術

云計算是一種以互聯(lián)網(wǎng)為基礎的虛擬化技術，可以把大量與計算機有關的信息（包括硬件）集合起來存儲在一個網(wǎng)絡上［1］，在使用這種方式時，需要將數(shù)據(jù)進行加密處理。云安全也稱為可信訪問控制或密鑰管理，其作用主要是保護用戶的服務器資源以及系統(tǒng)中其他人、設備和物品所提供的信息不被泄露或者篡改，保證整個互聯(lián)網(wǎng)交易過程不會受到影響，并且可以有效地避免不必要的損失和風險發(fā)生。云計算是一種虛擬化的資源，不需要儲存硬件設施，但是可以在計算機系統(tǒng)中進行運算和存儲。

云計算是一種基于虛擬化的信息處理技術，利用計算機硬件、軟件和服務等實現(xiàn)對用戶數(shù)據(jù)的存儲，通過網(wǎng)絡連接完成資源共享。20世紀80年代，隨著計算機性能的提高和網(wǎng)絡技術的發(fā)展，分布式計算開始受到人們的重視，它是一種將計算任務分配給多個計算機節(jié)點并協(xié)同工作的方式，以提高計算效率。21世紀初，隨著Internet的普及和大規(guī)模分布式計算的發(fā)展，網(wǎng)格計算成為分布式計算的一種重要形式，網(wǎng)格計算是將全球計算機資源組織起來，形成一個超級計算機網(wǎng)絡，以完成大規(guī)模的計算任務。目前，全球已經(jīng)開發(fā)了許多云計算服務，包括基于網(wǎng)絡的服務器、基于分布式數(shù)據(jù)庫和面向應用領域的。其中最成功的是谷歌公司，在2008年就推出了Web瀏覽器系統(tǒng)來實現(xiàn)資源共享，它將一個或多個用戶按需分配到各個節(jié)點上使用該客戶端部署過的數(shù)據(jù)流，并把所有信息存儲起來為其他服務需要時提供便利，最終達到服務的目的［2］。

云計算作為一種基于互聯(lián)網(wǎng)的新型計算模式，具有以下特點。云計算系統(tǒng)能夠根據(jù)實際需求動態(tài)調整計算和存儲資源，從而實現(xiàn)彈性伸縮；云計算系統(tǒng)能夠將計算和存儲資源在多個用戶之間共享，從而提高資源的利用率和效率；云計算技術是基于多租戶的環(huán)境設計的，多個用戶可以在同一個云平臺上共享計算資源。通過對資源進行虛擬化和隔離，云計算技術可以提供高效的資源共享和利用，并且可以保證用戶的數(shù)據(jù)和應用程序的安全性；云計算系統(tǒng)能夠提供高可用性的服務，通過多副本備份機制、冗余存儲機制等保證服務的可靠性；云計算技術具有強大的網(wǎng)絡化管理能力，通過云平臺的管理界面可以輕松地管理和監(jiān)控計算資源的使用情況，包括服務器的狀態(tài)、存儲空間、網(wǎng)絡帶寬等。同時，云計算平臺還可以提供自動化的管理和故障排除功能，以降低管理成本和提高系統(tǒng)的可靠性。

1.2 Hadoop技術

Hadoop技術是一種高效、可靠、可擴展的分布式計算平臺，適用于處理大規(guī)模的數(shù)據(jù)集，具有可靠性、擴展性、高效性、易用性、兼容性等特點。

Hadoop是基于分布式系統(tǒng)的技術，數(shù)據(jù)被分布存儲在多臺服務器上，避免了單點故障，保證了數(shù)據(jù)的可靠性和可用性；Hadoop可以在集群中添加新的節(jié)點，以應對不斷增長的數(shù)據(jù)量和計算需求，具有良好的橫向擴展性；Hadoop采用MapReduce并行計算模型，可以并行處理大規(guī)模數(shù)據(jù)，提高數(shù)據(jù)處理效率；Hadoop提供簡單易用的API和工具，使得開發(fā)人員可以方便地進行數(shù)據(jù)處理和分析；Hadoop兼容各種不同的數(shù)據(jù)格式和存儲方式，可以處理不同類型的數(shù)據(jù)，包括結構化數(shù)據(jù)和非結構化數(shù)據(jù)。

基于Hadoop的云計算平臺，可以根據(jù)需求動態(tài)調整計算資源，實現(xiàn)彈性伸縮，提高計算效率和成本效益。云計算平臺提供高可靠性和可用性的基礎設施，可以保證Hadoop集群的穩(wěn)定運行，減少單點故障和數(shù)據(jù)丟失的風險；云計算平臺提供多種計算實例類型和配置選項，用戶可以根據(jù)自己的需求和預算選擇合適的實例和配置，提高靈活性和可配置性；將Hadoop部署在云計算平臺上，可以根據(jù)實際的使用情況靈活地選擇計算資源和存儲資源，避免資源浪費，降低總體成本。

總的來說，將Hadoop技術和云計算技術相結合，可以實現(xiàn)資源的高效利用、成本的降低和安全的保障，為云計算企業(yè)提供更好的數(shù)據(jù)處理和分析服務。

2 云計算系統(tǒng)中的Hadoop技術安全分析

2.1 云計算平臺安全問題

基于Hadoop的云計算平臺提供了一種高效、可靠、可擴展的分布式計算和存儲解決方案，但是隨著云計算平臺的普及，數(shù)據(jù)安全問題也日益凸顯。基于云計算技術的特點，其自身可能存在以下安全問題。

（1）由于云計算服務通常是公共云服務，可能存在惡意用戶冒充他人身份進行訪問或使用，或者未授權的用戶或程序通過弱口令或漏洞等方式訪問云計算服務中心的數(shù)據(jù)和資源。

（2）云計算服務商需要處理大量用戶數(shù)據(jù)，可能存在隱私泄露和數(shù)據(jù)保護的問題。例如，云計算服務商可能會在未經(jīng)授權的情況下訪問用戶的數(shù)據(jù)，或者在數(shù)據(jù)存儲和傳輸過程中存在數(shù)據(jù)泄露的風險。

（3）云計算服務可能會受到各種網(wǎng)絡安全攻擊，如DDoS攻擊、網(wǎng)絡釣魚攻擊等。此外，云計算服務商的網(wǎng)絡安全設施可能存在漏洞或者配置錯誤，導致出現(xiàn)安全漏洞。

（4）云計算服務的使用需要遵守相關的法律和法規(guī)，如數(shù)據(jù)隱私保護法規(guī)，如果服務商不遵守，將可能出現(xiàn)合規(guī)問題。

（5）云計算服務通常依賴于供應商和第三方服務，如果其中某一個環(huán)節(jié)存在安全問題，可能會對整個云計算生態(tài)系統(tǒng)造成威脅。

2.2 Hadoop安全措施

Hadoop提供了許多安全措施，如訪問控制、數(shù)據(jù)加密、身份驗證等，確保數(shù)據(jù)的安全性和機密性，故而，基于Hadoop的云數(shù)據(jù)安全性需要綜合考慮以下幾個方面：身份驗證、訪問控制、數(shù)據(jù)保護、安全審計和合規(guī)性要求。

（1）身份驗證。Hadoop集群中的節(jié)點和用戶必須經(jīng)過身份驗證，以確保只有授權的用戶才能訪問集群。Hadoop支持基于Kerberos的身份驗證機制，可以通過Kerberos服務器驗證用戶身份。

（2）訪問控制。Hadoop集群中的每個節(jié)點都須具有訪問控制機制，以確保只有授權的用戶才能訪問敏感數(shù)據(jù)。Hadoop提供了基于用戶、組和角色的訪問控制機制，可以通過配置文件和ACLs（訪問控制列表）來管理用戶訪問權限。

（3）安全審計。Hadoop集群中的操作應該進行記錄和審計，以便跟蹤故障、調查安全事件和滿足法規(guī)要求。Hadoop通過提供日志記錄和審計機制，記錄用戶操作、系統(tǒng)事件和安全事件，并滿足保留6個月以上日志的法律要求。

（4）數(shù)據(jù)保護。在Hadoop集群中，敏感數(shù)據(jù)應該加密存儲，以確保未經(jīng)授權的訪問者無法查看和竊取數(shù)據(jù)。通過Hadoop提供的數(shù)據(jù)加密和數(shù)據(jù)脫敏機制，來保護敏感數(shù)據(jù)的安全。

（5）合規(guī)性和監(jiān)管要求。在處理敏感數(shù)據(jù)時，Hadoop集群必須符合適用的合規(guī)性和監(jiān)管要求，包括《中華人民共和國網(wǎng)絡安全法》《中華人民共和國個人信息保護法》《中華人民共和國數(shù)據(jù)安全法》等的具體規(guī)定。

2.3 云計算平臺安全性實現(xiàn)

云計算框架是一個完整的系統(tǒng)框架，包含物理層、傳輸層和應用服務3層［3］，通過這3層技術能夠提供非常豐富的云計算能力和友好的用戶界面。云計算的安全性取決于各種因素，包括云服務提供商的安全措施、客戶使用云服務的方式以及數(shù)據(jù)的敏感程度。作為云服務提供商需要考慮以下幾個安全方面的內容。

（1）身份驗證和訪問控制。云服務提供商應該實施身份驗證和訪問控制機制，以確保只有授權用戶才能訪問客戶數(shù)據(jù)，可以采用基于角色的訪問控制模型，通過用戶組和角色來管理用戶的訪問權限，限制非法用戶的訪問。此外，還可以采用訪問控制列表和網(wǎng)絡隔離等技術來加強訪問控制策略。

（2）數(shù)據(jù)保護。云服務提供商應采取適當?shù)募夹g措施，以確保存儲在其服務器上的數(shù)據(jù)不會被未經(jīng)授權的人員訪問、竊取或破壞，通過使用數(shù)據(jù)加密算法，如AES、DES、國密SM4等，對數(shù)據(jù)進行加密，從而防止數(shù)據(jù)在傳輸和存儲過程中被竊取或篡改。此外，還可以采用分布式密鑰管理系統(tǒng)來管理密鑰，確保密鑰的安全性。

（3）合規(guī)性和監(jiān)管要求。云服務提供商應遵守相關法規(guī)和監(jiān)管要求，包括《中華人民共和國網(wǎng)絡安全法》《中華人民共和國個人信息保護法》《中華人民共和國數(shù)據(jù)安全法》等的具體規(guī)定，并應提供相應的合規(guī)性證明。

（4）安全審計。云服務提供商應定期進行安全審計，并向客戶提供相應的安全審計報告，通過采用成熟的日志管理和監(jiān)控工具，如ELK，Splunk等組件，對系統(tǒng)進行實時監(jiān)控和數(shù)據(jù)收集，對系統(tǒng)行為進行分析和監(jiān)控，及時發(fā)現(xiàn)系統(tǒng)中的安全問題。

（5）災難恢復和備份。云服務提供商應該實施恢復和備份策略，通過分布式存儲的多副本模式進行冗余備份，以確保客戶數(shù)據(jù)的可用性和完整性。

作為云計算用戶可以采取以下措施來保護云上系統(tǒng)的安全。

選擇信譽良好、擁有豐富經(jīng)驗和完善安全措施的云服務提供商；根據(jù)用戶的職責和權限設置訪問控制，確保只有授權的人才能訪問敏感數(shù)據(jù)；采用雙因素身份驗證，例如使用密碼和手機驗證碼等，防止密碼泄露和黑客攻擊；在數(shù)據(jù)傳輸和存儲過程中使用加密技術，防止數(shù)據(jù)被截獲或竊取；定期監(jiān)控和審計用戶的云計算使用情況，及時發(fā)現(xiàn)異常行為和安全威脅；定期本地備份數(shù)據(jù)，并采取災備措施，確保數(shù)據(jù)不會因為自然災害、硬件故障或人為錯誤等原因丟失或損壞；定期更新軟件和安全補丁，確保系統(tǒng)和應用程序的安全性和穩(wěn)定性；對管理用戶進行安全意識教育和培訓，提高用戶的安全意識和防范能力，防止因為用戶疏忽導致的安全事故。

3 結語

云計算作為一種新興的服務模式，具有廣泛的應用前景，國內外很多人都已經(jīng)意識到了其重要性和必要性。然而，由于技術、安全等問題，現(xiàn)在還未能實現(xiàn)對它所有方面數(shù)據(jù)的全面保護。本文主要是針對基于Hadoop的安全性研究做了探索及分析，介紹了云計算的概念以及相關理論知識；根據(jù)實際情況提出了新的思路來解決云計算環(huán)境下存在的信息泄露風險，并為云計算在大數(shù)據(jù)網(wǎng)絡安全方面的應用提供了一定參考；對云計算中所涉及的概念進行了研究，包括安全性原則以及如何實現(xiàn)這些目標。

參考文獻

［1］李杰.大數(shù)據(jù)和云計算技術在智慧城市建設中的應用［J］.網(wǎng)絡安全技術與應用，2023（2）：102-103.

［2］張文明.基于云計算的Hadoop大數(shù)據(jù)平臺挖掘算法及實現(xiàn)研究［J］.無線互聯(lián)科技，2021（19）：110-111.

［3］蘇俊堅.云計算高校數(shù)據(jù)中心建設及安全性研究［J］.電子技術與軟件工程，2020（24）：251-252.

（編輯 沈 強）

Abstract： With the development of computer technology， cloud computing has gradually become a new and important business model， playing an increasingly crucial role in modern society. The article mainly introduces research on data security based on Hadoop. Firstly， it provides an overview of cloud computing technology and Hadoop technology; Secondly， an analysis was conducted on cloud data and security situation; Finally， the security issues and solutions were discussed.

Key words： Hadoop; cloud computing; data security