基于Hadoop的大數據信息安全監控云平臺設計與研究

，

(1.川北幼兒師范高等?？茖W校 經濟管理系，四川 廣元 628000；2.四川信息職業技術學院 信息工程系，四川 廣元 628000)

基于Hadoop的大數據信息安全監控云平臺設計與研究

張帥1，賈如春2

(1.川北幼兒師范高等?？茖W校經濟管理系，四川廣元628000；2.四川信息職業技術學院信息工程系，四川廣元628000)

針對傳統的大數據信息監控云平臺模式單一、虛擬化程度不高，容易導致信息泄露的問題，為了提高對大數據的信息安全溯源能力，提出基于Hadoop的大數據信息安全監控云平臺設計方法;在信息資源云體系下構建大數據信息安全融合模型，通過信息挖掘與匹配方法把云平臺中的數據資源、物理資源進行關聯性整合，方便數據安全溯源，在Hadoop平臺下構建多源信息資源云，建立用戶接口注冊機制，采用虛擬化技術進行信息保護，實現在云平臺下進行信息安全溯源;實驗結果表明，采用該方法進行大數據信息安全溯源，大數據信息分類存儲性能較好，對異常數據挖掘精度較高;具有較好的信息安全保護能力，確保了信息安全。

Hadoop；云平臺；大數據；信息安全；數據溯源

0 引言

隨著信息科學技術的發展，采用云平臺進行海量大數據的信息存儲成為未來網絡信息發展的主要趨勢，云平臺進行大數據存儲具有可擴展性和共享性的優點，云平臺通過云服務方式為客戶提供靈活的資源信息，滿足用戶的海量信息的篩選和彈性服務的需求[1]。然后，隨著在云平臺中存儲信息規模的擴大，信息安全受到威脅，黑客和病毒通過入侵和植入方法竊取信息，導致信息泄露和隱私泄露，需要對云平臺中的大數據進行有效的安全監控，提供給用戶(租戶)安全的網絡空間，研究大數據的信息安全監控云平臺設計方法，在保障網絡信息安全方面具有重要意義[2]。

在存儲有海量信息的云網絡空間中，影響信息安全的要素較多，通常受制于用戶對服務商選擇，傳統信息安全系統不能有效滿足個性化的定制需求，導致網絡信息泄露的風向，當前，對大數據信息安全監控云平臺設計采用的是三層結構設計方法，即IaaS層(基礎設施即服務層)、SaaS層(軟件即服務層)和應用層，通過瀏覽器(例如：Salesforce、Google Doc)建立輸入/輸出系統的客戶終端，給用戶提供一個簡單、統一的系統調用接口，根據云平臺數據管理供應鏈作業節點的任務環境引入虛擬的云服務資源，建立彈性(Elasticity)的服務通過云服務的形式獲得計算資源[3]。根據這一設計思想，相關學者進行了研究，取得了一定的成果，其中，文獻[4]中提出一種關注用戶服務評價反饋的云資源再分配方法，在云計算環境下采用樸素貝葉斯的數據分類方法對大數據進行安全信息平臺和特征提取，結合動態塊遷移算法進行信息融合管理，根據用戶服務評價反饋進行實時修正，實現危險信息的準確識別，具有較好的信息安全監控能力，但該方法的計算開銷較大，信息分類監控實現的實時性能不好；文獻[5]中提出一種云格環境下可計算資源與服務高效調配機制，使用IaaS層模型建立云格環境下的服務(Software-as-a-Service, SaaS)層結構模型，云計算提供帶有彈性的資源服務和信息調配，方法存在的缺點是電機大數據信息監控云平臺模式單一、虛擬化程度不高，容易導致信息泄露。

針對上述問題，本文提出一種基于Hadoop的大數據信息安全監控云平臺設計方法。首先在信息資源云體系下構建大數據信息安全融合模型，通過信息挖掘與匹配方法把云平臺中的數據資源、物理資源進行關聯性整合，在Hadoop平臺下構建多源信息資源云，建立用戶接口注冊機制，然后采用虛擬化技術進行信息保護，實現在云平臺下進行信息安全監控。最后進行系統的仿真測試分析，展示了本文方法在提高大數據信息安全性能方面的優越性。

1 大數據信息安全監控云平臺方案設計

1.1 大數據信息安全監控的云平臺體系結構

為了實現對基于Hadoop的大數據信息安全監控云平臺設計，首先構建大數據信息安全監控的云平臺體系結構模型，采用三層網絡體系結構設計方案，其中，IaaS層(基礎設施即服務層)由云計算服務提供商提供虛擬化的存儲空間，實現對大數據信息的信息認證，在敏感參數分布區域，通過對公共信息、私有信息和限制信息的分類調度管理，采用信息聚類和特征塊分割方法進行信息匹配，提取敏感數據以及關聯數據信息的有用特征，并通過信息濾波方法進行敏感信息和危險信息篩選，實現對云計算平臺下用戶的基本資料、關鍵密碼、相關受理業務等信息的屏蔽分析[6]。運用隱私保護機制，保障大數據信息中的隱私信息不被人所知曉和獲取。在具體應用中，建立用戶評價系統，通過用戶體驗反饋方法為用戶提供增值性服務，用戶通過搜索引擎搜索到關鍵信息，結合人工智能技術和數據挖掘技術進行信息篩選控制[7]。

在云平臺系統中，服務方通過查詢接口分析用戶的大數據信息的使用量和使用需求，定制個性化服務。利用Hadoop云平臺的開放性和動態性，在MIRaaS模型中通過信息重組、優化表達實現信息資源的再分配，獲取用戶興趣點進行推送服務，根據上述描述，得到大數據信息安全監控云平臺設計的要素歸結如下：

(1)利用虛擬化工具，結合自適應調整權重，進行信息查詢和信息資源分配設計，在信息查詢中需要保障云存儲系統訪問的自適應收斂性，從而提高大數據信息安全檢索和數據挖掘性能的可控性和普適性。

(2)充分避免出現偏離云計算環境網絡數據信息的主題特征，通過抓取云計算環境網頁中的用戶行為特征中的比例分值，有效反映出用戶行為結構特征，使得異常信息挖掘性能提高和更加集中。

(3)自適應選擇關鍵詞，提高綜合效能，通過資源層、存儲層進行信息匹配，跨越網頁之間的斷裂帶，獲取相應的信息資源云服務。

綜合上述分析，得到本文設計的基于Hadoop的大數據信息安全監控的云平臺體系結構設計如圖1所示。

圖1 大數據信息安全監控的云平臺體系結構設計

根據圖1所示的大數據信息安全監控的云平臺體系構架，在跨平臺模式下進行信息安全監控的云平臺建設，通過對大數據庫中的信息內容抽取和文本特征分析，構建信息資源類云服務，在信息資源云體系下構建大數據信息安全融合模型，通過信息挖掘與匹配方法把云平臺中的數據資源、物理資源進行關聯性整合[8]。

1.2 大數據信息安全融合模型

大數據信息安全融合模型構建為信息安全監控的云平臺建設提供多特征的信息服務能力，信息安全融合模型是通過對云平臺資源的挖掘、重構、存儲、調度，在云計算環境下，開拓了一條新的服務模式，從而解決用戶在隱私保護和信息安全加密等問題，在設計大數據信息安全融合模型之前，給出相關算法的主要參數定義見表1。

表1 云平臺設計的主要參數及相關定義

根據上述參數定義，構建大數據信息安全融合模型，假設在云存儲空間中分布的大數據信息流的容錯性特征參量服從泊松分布，第i個存儲節點中的信息能夠準確傳輸到Sink節點的概率為λi，在用戶注冊階段，用戶交互類型收集的副本信息參量的匹配度為：

(1)

使用排隊論的模型[9]，可以得出信息調度處于穩定狀態時，副本m的資源使用率表達式為：

(2)

由于通過基礎資源層獲取副本的資源使用率，得到在穩態條件下，信息資源內容推送的pwm_ioctl控制指令集合，引入隨機排隊機制，計算服務副本m執行一個服務的平均耗時Tservice以及進行信息安全監控的等待耗時Twait：

(3)

(4)

(5)

在suffrage調度策略下，副本m執行云服務的彈性分配的排隊耗時為服務處理耗時的總和，因此，在大數據信息監控中，基礎資源層獲取的信息副本時間期望為：

(6)

進一步對信息資源虛擬云進行信息融合，得到信息融合的優化目標函數為：

(7)

根據上述分析，在信息資源云體系下構建大數據信息安全融合模型，獲取相關應用軟件服務，并進行資源整合，構建信息安全監控云平臺。

2 大數據信息資源關聯性整合

通過信息挖掘與匹配方法進行數據信息資源整合，提高信息監控的目的性和針對性，采用C均值聚類方法進行信息分類，設計面向大數據信息保護的模糊C均值聚類目標函數為：

(8)

根據核心技術層中的信息分布特征，對Hadoop云平臺中的大數據進行信息抓取、意圖分析利，計算大數據信息聚類中心，優化資源利用率，通過穩態分析，得到第m單位資源融合中心的數據請求量為：

(9)

進一步，通過對大數據信息樣本的用戶管理、資源建設管理[10]，進行資源關聯性整合的優化目標函數可以描述為：

(10)

合理調整服務排隊，進行安全信息監控的服務彈性分配，調制策略可以描述為如下優化問題：

s.t.

(11)

綜合上式分析，對云平臺中的大數據信息監控問題轉換為求得大數據信息流的差異性分布特征問題，根據上述計算出大數據信息資源的個性化知識決策分配概率pim，在最小化服務的響應時間Ttotal約束下，構建“信息資源虛擬云體系”，得到云平臺中的數據資源、物理資源進行關聯性整合平均執行任務量Itotal描述為：

(12)

(13)

在該優化策略下，進行大數據信息安全監控云平臺設計，構建多源信息資源云，實現云平臺優化構建。

3 大數據信息監控云平臺構建實現

在把云平臺中的數據資源、物理資源進行關聯性整合的基礎上，通過建立用戶接口注冊機制，在邏輯層自由定義大數據信息監控的屬性特征，進行信息檢索和攔截，實現安全監控，實現步驟描述如下。

Step 1：構建用戶理解技術，建立云平臺的圖拓撲結構;

Step 2：給信息資源輸入接口節點Si部署適合不同公鑰的物理介質Si←Pk=(n,E,g,h);

Step 3：進行Socket編程，通過協議棧開發云平臺的接口程序；

Step 4：采用虛擬化技術進行信息保護，對每個葉子節點Si，根據用戶程序的輸入來輸出請求執行以下操作;

Step 5：開發網絡協議棧：Ci=Enc(di)Pk=gdihri;

Step 6：在設備驅動程序接口中將信息監控數據廣播給父節點Pij←Ci;

Step 7： 利用開源目標平臺對每個葉子節點Si執行更新操作 ;

Step 11：信息保護解密：dagg=Dec(CSink)Rk;

Step 12：結束。

4 仿真實驗與結果分析

為了測試本文設計的大數據信息安全監控云平臺進行信息監控識別中的應用性能，進行仿真實驗分析，實驗的硬件環境為Core i3-3220CPU，4 G內存計算機，實驗的云平臺建立在Hadoop 0.20.2云平臺基礎上，基于X86架構的GNU開發工具集，采用VIX總線數據采集技術在云平臺中進行信息采樣。參數設定中，采樣帶寬為10 dB，云平臺的初始采樣頻率為12 kHz，采樣時間間隔為2.5 ms，大數據信息監控的訪問節點個數為100，CPU模式全速運行，合成數據652,35655 Mbit，根據上述仿真環境設定，得到大數據監控信息采樣結果如圖2所示。

圖2 大數據監控信息采樣結果

圖3 監控性能對比

對監控信息進行信息融合處理，通過信息挖掘與匹配實現關聯性整合，從而挖掘到異常數據源，圖3給出了采用不同方法進行大數據信息安全監控中對異常數的挖掘精度對比。分析圖3結果得知，采用本文方法進行大數據信息監控，對異常數據的挖掘精度較高，性能較好。

5 結束語

為了提高對大數據的信息安全監控能力，本文提出基于Hadoop的大數據信息安全監控云平臺設計方法。在信息資源云體系下構建大數據信息安全融合模型，通過信息挖掘與匹配方法把云平臺中的數據資源、物理資源進行關聯性整合，在Hadoop平臺下構建多源信息資源云，建立用戶接口注冊機制，采用虛擬化技術進行信息保護，實現在云平臺下進行信息安全監控。實驗結果表明，采用該方法進行大數據信息安全監控，對異常數據挖掘精度較高，具有較好的信息安全保護能力。

[1] Kumar A, Pooja R, and Singh G K. Design and performance of closed form method for cosine modulated filter bank using different windows functions[J]. International Journal of Speech Technology, 2014, 17(4): 427-441.

[2] Rajapaksha N, Madanayake A, and Bruton L T.2D space- time wave-digital multi-fan filter banks for signals consistingof multiple plane waves[J]. Multidimensional Systems and Signal Processing, 2014,25(1):17-39.

[3] 李亞如, 劉建華. 大數據環境下MapReduce準入控制的設計與實現[J]. 計算機測量與控制, 2016, 24(2):114-117.

[4] BDI H and Williams L J. Principal component analysis[J]. Wiley Interdisciplinary Reviews: Computational Statistics, 2010, 2(4): 433-459.

[5] 匡桂娟, 曾國蓀, 熊煥亮. 關注用戶服務評價反饋的云資源再分配方法[J]. 計算機應用, 2015, 35(7): 1837-1842.

[6] 曾 志,王 晉,杜震洪,等.一種云格環境下可計算資源與服務高效調配機制[J].浙江大學學報(理學版),2014,41(3):353-357.

[7] 莊福振,羅 平,何 清,等.遷移學習研究進展[J].軟件學報,2015,26(1):26-39.

[8] 成國營,王 艷.無線傳感器網絡中多移動Agent協同控制數據分流方法[J].計算機應用,2015,35(4): 910-915.

[9] 楊悅梅,宋執環.工業物聯網安全及防護技術研究[J].物聯網技術,2015,5(3):64-66.

[10] 劉 健,常 蓮. 基于Bohzmann機的物聯網數據分類方法研究[J].激光雜志,2016,37(10):116-120.

DesignandResearchofLargeDataInformationSecurityMonitoringCloudPlatformBasedonHadoop

Zhang Shuai1,Jia Ruchun2

(1.Department of Economic Management,North Sichuan College of Preschool Teacher Education , Guangyuan 628000, China; 2.Sichuan Institute of Information Technology, Guangyuan 628000, China)

In view of the traditional big data information monitoring cloud platform mode single, virtualization degree is not high, easily lead to the problem of information disclosure, in order to improve information security traceability of large data capacity, big data information security monitoring based on Hadoop cloud platform is proposed. Under the system of information resource cloud build big data fusion model of information security through the method of information mining and match the data in a cloud platform correlation integration of resources, physical resources, security, convenience data in Hadoop cloud platform to build multi-source information resources, set up the mechanism of registered user interface, using virtualization technology to information protection and realization of information security in the stage YunPing traceability. The experimental results show that by using this method for large data information security, big data information classification storage performance is good, the abnormal high precision data mining. Has better ability in information security protection, ensure the information security..

Hadoop; cloud platform; big data; information security; data traceability

2017-03-08；

2017-03-24。

四川省教育廳自然科學重點研究項目(17ZA0341)；廣元市科技支撐計劃項目(16ZCKJZC006)。

張 帥(1979-)，男，陜西漢中人，碩士研究生，講師，主要從事計算機軟件與理論方向的研究。

賈如春(1989-)，男，甘肅平涼人，碩士研究生，講師，主要從事云計算、大數據、信息安全、數據存儲與恢復方向的研究。

1671-4598(2017)09-0072-03

10.16526/j.cnki.11-4762/tp.2017.09.019

TP391

A