云計算Hadoop平臺的異常數據檢測算法研究

黃富平，梁卓浪，邢英俊，楊春麗

(廣州珠江職業技術學院 信息技術學院，廣州 511300)

云計算Hadoop平臺的異常數據檢測算法研究

黃富平，梁卓浪，邢英俊，楊春麗

(廣州珠江職業技術學院 信息技術學院，廣州 511300)

近年來，隨著我國互聯網技術的飛速發展與大規模網絡運算平臺研究的深入，云平臺下的數據處理已成為大規模數據的主要處理方式；但是，現有的云計算Hadoop平臺在海量數據異常涌入狀態下，常常出現數據邏輯錯誤、數據鏈完整性缺失、數據失效的問題，造成無法對上述異常數據進行有效檢測處理，嚴重影響云計算Hadoop平臺的數據運算準確性；針對上述問題，提出云計算Hadoop平臺的異常數據檢測算法研究方法；采用JNS數據采集篩查模組、算法邏輯補償模組與動態反饋模組對現有的云端計算平臺存在的問題進行針對性解決；通過仿真模擬實驗證明，提出的云計算Hadoop平臺的異常數據檢測算法研究方法，具有異常數據識別率高，準確性高，速度快、可實施性強、穩定性好的特點。

云計算；大數據；異常數據；Hadoop平臺

0 引言

近年來 ，隨著我國互聯網技術與建設的飛速發展，網絡已成為經濟建設過程中必不可少的組成部分。實物數據化運算技術的誕生，標志著大數據時代的到來。在大數據時代下，多種數據的海量處理分析運算，將依托強大的網絡傳輸能力與多架構的云計算Hadoop平臺來完成。眾多數據在云計算過程中，經常出現數據異常的狀況[1-2]。因此，快速有效的檢測出這些異常數據，成為提升云計算Hadoop平臺運算力的重中之重。

現有的云平臺異常數據檢測機制所采用的邏輯算法，在海量數據流共涌狀態[3]下，數據鏈會發生邏輯性斷裂[4]，導致數據攜帶信息源改變[5]，整體數據組完整性遭到破壞，致使云計算邏輯出現異常、運算力降低、空間數據滯留[6]，前端服務器數據溢出的嚴重后果。針對上述問題，對現有的異常數據檢測邏輯進行改進，提出云計算Hadoop平臺的異常數據檢測算法研究方法。利用Hadoop平臺作為異常數據檢測組的運行平臺，采用JNS數據采集篩查模組對前端服務器交互過程中的數據進行數據異常預檢處理，自動屏蔽外圍異常數據，提升數據有效性；通過算法邏補償模組對云端計算引擎進行動態監測算法植入處理，達到實時屏蔽異常數據與數據補償的效果；最后，利用動態反饋模組對運算后輸出結果數據進行數據異常檢測，對隱性異常數據進行深度檢測，快速反饋結果并對其進行輸出攔截，保證運算輸出結果的準確性。

通過仿真實驗證明，提出的云計算Hadoop平臺的異常數據檢測算法研究方法，具有異常數據識別率高，準確性高，速度快、可實施性強、穩定性好的特點。滿足設計研究改進要求。

1 云計算Hadoop平臺的異常數據檢測算法研究

1.1 JNS數據采集篩查模組構建

大數據運算空間內，云端計算平臺負責海量數據的綜合性運算分析處理，云端計算平臺的架構性質決定其運算能力的大小與適應性的強弱。近年來，Hadoop平臺成為云計算Hadoop平臺中的主流運算架構，其具有分布式運算方式，大大降低的平臺對硬件的要求，同時可以快速對運算數據進行外圍數據的特征分析處理，大大提升力云端計算平臺的處理能力[7]。

但是，分布式運算方式存在的數據檢測性低的問題，導致海量數據沖擊前端服務器狀態下，架構穩定性降低，云端運算力受到影響。針對Hadoop平臺的分布式運算特點，提出的云計算Hadoop平臺的異常數據檢測算法研究方法中對前端數據采集服務器進行針對性改進設計，采用構建JNS數據采集篩查模組，針對性解決前端數據采集服務器在數據共涌沖擊下出現的架構穩定降低所帶來的一系列問題。

JNS數據采集篩查模組在設計上，針對云計算Hadoop平臺的分布式特點，采用分段邏輯式形式編寫，利用分段式運算邏輯式對前端服務器的數據交互采集訪問端口、訪問協議、數據流進行針對性改進，通過JVSP端口控制算法對訪問端口進行全天候實時掃描，到達異常數據快速反饋的目的，通過分段式中的邏輯組式，動態激活NDWF訪問協議控制式，對訪問協議進行動態檢測捕捉，捕捉到異常數據反饋鏈后，自行對協議進行相應異常數值參數調整，同時激活SBDN數據流平檢算法，對服務器內的數據流進行外核數據特征化異常檢測，利用Hadoop平臺的分布式特點，達到瞬態完成檢測的目的。快速、準確的屏蔽前端服務器內的特征異常數據。

JNS數據采集篩查模組中的JVSP端口控制算法、NDWF訪問協議控制式、SBDN數據流平檢算法與邏輯組式的具體分段式如下所示。

JVSP端口控制算法關系式：

(1)

JVSP端口控制算法關系式中，a為訪問節點集合公用端口系數；b為訪問節點專用端口系數；n為公用端口地址集；i為專用端口地址集；s為共用端口映射數量；?為有效端口數；x抑制端口數；x′為可控的抑制端口數，其滿足x′∈x,x≠0。

NDWF訪問協議控制式關系式：

(2)

NDWF訪問協議控制式關系式中，v為訪問協議邏輯暢通等級系數；y為訪問協議中起始地址數；z為訪問協議中終止地址數，其滿足z-y≠0,z>y,z≠y。關系式中，協議段范圍由前端采集服務器子掩碼范圍決定，子掩碼范圍由z-y≠0,z>y,z≠y限制得出。

SBDN數據流平檢算法關系式：

(3)

SBDN數據流平檢算法關系式中，a、b、c、n為數據流內部數據的不同數據核；i為數據流特征化數據源集合，其滿足i∈a∈b∈c∈n,a≠b≠c≠n≠0。

邏輯組式關系式：

(4)

邏輯組式關系式中，各算法之間在滿足自身限制條件的前提下，還應滿足s|m|?s|L|?m|t|，在不影像子掩碼范圍區域的前提下，滿足s|m|≠s|L|≠m|t|。

通過上述算法的建立，完成云計算Hadoop平臺下的JNS數據采集篩查模組構建，初步解決由異常數據沖擊前端服務器導致的架構穩定性降低，云端運算力滯后的問題。

為了驗證JNS數據采集篩查模組在現實環境下的運行效果，采用仿真模擬實驗對JNS數據采集篩查模組進行測試，才是采用數據對比方式，對傳統算法與JNS數據采集篩查模組進行不間斷24小時測試，隨機抽取1小時、4小時、6小時、10小時、16小時、18小時、23小時的各項測試數據進行對比，并做出結論，具體測試數據如下表所示。

表1 JNS數據采集篩查模組前端服務器異常數據檢測性能測試表

表2 傳統算法前端服務器異常數據檢測性能測試

通過上述表1與表2的測試數據對比，可以清晰地看出，提出的云計算Hadoop平臺的異常數據檢測算法研究方法中的JNS數據采集篩查模組具各項性能指標遠遠優于傳統算法，充分證明JNS數據采集篩查模組具有良好的前端服務器異常數據預檢能力，為后續的算法邏補償模組的進一步處理奠定了基礎。

1.2 算法邏輯補償模組構建

云計算Hadoop平臺中核心云算部分在于網絡云端架構內部的運算邏輯，內部邏輯組的架構組數輻射范圍的大小，決定了云計算能力與適應力的大小。現有的云端計算邏輯架構由于與內部邏輯鏈架構嚴謹性欠佳，多次序數據核沖突狀態下極易造成邏輯次序混亂，運算力降低甚至出現計算錯誤的嚴重問題。通過對現有架構內部的分布式計算邏輯的分析發現，雙次序化整編邏輯序列能夠有效解決現有的云端計算架構邏輯存在的問題。為此，提出的云計算Hadoop平臺的異常數據檢測算法研究方法中采用算法邏輯補償模組對云端計算架構內部的邏輯錯誤進行修正。

算法邏輯補償模組通過分布式計算方式，利用邏輯序列替換方式，通過內部的NDS數據序列異常檢測算法、NWI邏輯特征定位算法與BUD邏輯補償算法對云端計算架構內部邏輯架構進行異常數據檢測。同時，通過邏輯補償達到保證云端計算力與計算準確性的的目的。

1.2.1 NDS數據序列異常檢測算法

NDS數據序列異常檢測算法是算法邏輯補償模組中的初級檢測性算法，基于JNS數據采集篩查模組運算處理架構設計。用于云端計算架構內部邏輯架構中的錯誤查源處理，由JNS數據采集篩查模組反饋數據表觸發激活，對云端架構中的邏輯架構序列正確性進行次序集運算，當邏輯架構中某一次序陣攜帶的數據源為異常數據時，邏輯架構的排列次序會受到影響而改變原始邏輯排列次序，致使邏輯序陣錯位，NDS數據序列異常檢測算法能夠快速識別錯誤序陣，精準回查定位異常數據進行鎖定，完成異常查源處理。

NDS數據序列異常檢測算法關系表達式采用Hadoop平臺內核架構進行編寫，保證算法對平臺的兼容性，同時，便于算法運行過程中獲得所需運行權限，算法關系式如下所示。

(5)

NDS數據序列異常檢測算法關系表達中，a,b,c,d為云端架構中的邏輯架構內部次序陣，其排列順序由邏輯架構決定，受對應數據性質影響，且滿足a≠b≠c≠d；當a,b,c,d中任意一值為0時，則代表邏輯架構出現斷裂，云計算準確性失常；n為回查定位的異常數據代碼值，n為任意數值，當n=0時，代表邏輯架構次序無異常。

對NDS數據序列異常檢測算法可行性進行仿真測試，采用連續性異常檢測驗證方式，對傳統算法與NDS數據序列異常檢測算法的異常數據定位性能進行對比，為了直觀展現測試結構，測試將結果轉換為曲線圖進行對比，具體數據如圖1所示。

圖1 傳統算法與NDS數據序列異常檢測算法的異常數據定位性能進行對比

通過上述測試結果曲線對比可以充分證明，NDS數據序列異常檢測算法具有良好異常序列識別能力，同時，能夠快速準確的追蹤定位異常數據源，并對其定位，滿足設計改進要求，具有可行性、可操作性。

1.2.2 NWI邏輯特征定位算法

NWI邏輯特征定位算法為NDS數據序列異常檢測算法的定位輔助算法，用于對異常序列進行特征化分析運算，輔助定位異常數據源路徑。通過算法對等性原則，利用分布式運算框架設計編寫，列于NDS數據序列異常檢測算法內核的二級菜單，通過算法邏輯自行觸發調用。NWI邏輯特征定位算法不具備獨立運行能力，通過對其進行二級權限設定，使其安全性大大提升，避免運行過程中受到沖擊數據與錯誤邏輯影響，導致的異常數據定位執行異常的問題。NWI邏輯特征定位算法的執行權限可直接通過NDS數據序列異常檢測算法獲取權限下放方式獲得，提升權限獲取的穩定性。

NWI邏輯特征定位算法根據算法對等性原則，采用觸發式形式，達到與NDS數據序列異常檢測算法內核執行性的統一，具體關系式如下所示。

(6)

NWI邏輯特征定位算法關系式中，x為異常邏輯架構內部的錯誤序列集合；a,b,c,d為云端架構中的邏輯架構內部次序陣，其排列順序由邏輯架構決定，受對應數據性質影響，且滿足a≠b≠c≠d，a?b?c?d∈x；當a,b,c,d中任意一值為0時，則代表邏輯架構出現斷裂，云計算準確性失常；n為回查定位的異常數據代碼值，n為任意數值，且滿足x?n，當n=0時，代表邏輯架構次序無異常。

對NWI邏輯特征定位算法進行異常數據回查定位準確性仿真測試，測試采用15組異常邏輯架構進行測試，每組異常邏輯對應異常數據數量為1 000 000 kb，對比傳統算法與NWI邏輯特征定位算法15組測試數據的準確率，具體測試參數如下表所示。

表3 傳統算法與NWI邏輯特征定位算法異常數據回查定位準確性測試

通過上述表3數據可以證明NWI邏輯特征定位算法具有良好的異常數據定位能力，異常數據運算分析處理準確性高、穩定性好，整體性能明顯優于傳統算法，滿足設計要求。

1.2.3 BUD邏輯補償算法

算法邏輯補償模組中針對云計算架構內部邏輯架構在異常數據沖擊下產生的邏輯架構斷裂，致使云計算架構運算力降低以及癱瘓的問題，采用BUD邏輯補償算法進行針對性解決。BUD邏輯補償算法可對遭到破壞的邏輯架構進行斷裂邏輯鏈補償處理，通過對邏輯架構內的次序陣的特征進行運算處理，還原斷裂邏輯鏈位置的次序陣，達到抑制異常數據沖擊造成的運算邏輯混亂問題。

為了達到實時瞬態補償效果，BUD邏輯補償算法采用觸發式關聯補償式的雙重關系式的方式進行編寫。觸發式作為引導主體與NWI邏輯特征定位算法進行內部進程注入綁定，到達異常數據定位的同時，完成邏輯斷裂位置的補償引導運算處理，第一時間抵消數據滯留帶來的問題。BUD邏輯補償算法觸發式關系式如下所示。

(7)

BUD邏輯補償算法觸發式關系式中，a′,b′,c′,d′為云計算架構內部邏輯架構斷裂位置的次序陣，其滿足以下條件，a′≠b′≠c′≠d′，a′?b′?c′?d′，當a′,b′,c′,d′中任意一值為0時，則代表邏輯架構完整，無異常數據出現；關系式中n為引導次序陣特征補償集合；T為觸發激活系數值。

BUD邏輯補償算法補償式關系式如下所示。

(8)

BUD邏輯補償算法補償式關系式中，a,b,c,d為云端架構中的邏輯架構內部所需補償次序陣，其補償順序由異常數據對應邏輯順序決定，受對應數據性質影響，且滿足a≠b≠c≠d。

對BUD邏輯補償算法進行仿真實驗測試，測試采用對比方式，通過對傳統算法與BUD邏輯補償算法在異常數據檢測過程中的邏輯補償效果進行對比，具體仿真實驗測試參數如表4所示。

表4 傳統算法與BUD邏輯補償算法異常數據檢測過程中邏輯補償效果測試參數

通過上述表4結果對比可以證明，BUD邏輯補償算法在異常數據檢測過程中，針對云計算架構內部邏輯架構斷裂的補償處理，具有響應時間快、處理迅速、補償準確性高、穩定性好的特點，滿足設計要求。至此，算法邏輯補償模組構建完畢。

1.3 動態反饋模組構建

針對傳統云計算Hadoop平臺存在的異常數據檢測完成度與準確度不高的問題，通過對傳統云計算Hadoop平臺內部架構邏輯機制分析發現，傳統云計算Hadoop平臺對異常數據檢測機制缺少計算異常核準模組，致使處于隱性異常數據逃避檢測，導致最終計算數據處理誤差，云計算Hadoop平臺的整體計算準確率驟降。

針對上述問題，提出的云計算Hadoop平臺的異常數據檢測算法研究方法中采用動態反饋模組進行針對性解決。動態反饋模組由DGX動態檢測算法與GRS數據反饋算法構成，分別負責云計算Hadoop平臺計算數據結果數據狀態與異常結果數據的反饋處理。

DGX動態檢測算法與云計算Hadoop平臺計算輸出進程進行綁定，與云計算Hadoop平臺共享運行權限的同時有效節省平臺運行的資源開銷。DGX動態檢測算法關系式如下所示。

(9)

式中，x,y,z為云計算結果數據序列結合組數；n,i分別為異常數據數量與異常數據特征數；其中，x,y,z與n,i滿足x≠y≠z，i∈n,n≠i。

GRS數據反饋算法關系式如下所示。

(10)

至此動態反饋模組構建完畢，為了保證動態反饋模組具有可行性，對其進行仿真模擬測試。測試采用全天候24小時連續性測試方案，提取每小時的測試數據，觀察數據變化趨勢，以此得出動態反饋模組運行穩定性與可行性，具體測試參數如下所示。

表5 動態反饋模組性能測試

通過上述表5可以看出，動態反饋模組在連續性測試中數據變化浮動小，充分證明提出的云計算Hadoop平臺的異常數據檢測算法研究方法中，采用的動態反饋模組具有良好的異常數據檢測能力，同時運行資源開銷小，穩定性好，滿足設計要求。

2 實驗結果與分析

對提出的云計算Hadoop平臺的異常數據檢測算法研究方法進行仿真實驗測試，通過與傳統云計算平臺異常數據檢測算法進行整體性能對比，得出測試結論，測試平臺配置為Windows 10 硬件配置為CPU i7 內存8 G 硬盤6 TB，具體測試參數如下所示。

表6 云計算Hadoop平臺的異常數據檢測算法與傳統異常數據檢測算法對比測試

分析該實驗結果，即通過上述表6可以充分證明，提出的云計算Hadoop平臺的異常數據檢測算法研究方法，具有異常數據檢測識別度高、檢測響應時間短、檢測準確率高、穩定性好、資源開銷小的特點。從問題產生根源徹底解決傳統云計算平臺存在的數據邏輯錯誤、數據鏈完整性缺失、數據失效導致的云計算Hadoop平臺數據運算準確性與運算力降低的問題。

3 結束語

針對傳統云計算平臺異常數據檢測算法在海量數據異常涌入狀態下，出現數據邏輯錯誤、數據鏈完整性缺失、數據失效的問題，提出云計算Hadoop平臺的異常數據檢測算法研究方法。通過采用JNS數據采集篩查模組、算法邏輯補償模組與動態反饋模組對現有的云端計算平臺存在的問題進行針對性解決。通過仿真模擬實驗證明，提出的云計算Hadoop平臺的異常數據檢測算法研究方法，具有異常數據識別率高，準確性高，速度快、可實施性強、穩定性好的特點，滿足日常工作處理要求。

[1]李進文.基于云計算的網絡異常檢測算法研究[D].鄭州：鄭州大學,2015.

[2]司福明,卜天然,SIFuming,等.一種基于Hadoop云計算平臺大數據聚類算法設計[J].楚雄師范學院學報,2016,31(3):9-12.

[3]肖體偉.基于Hadoop的云端異常流量檢測與分析平臺[J].電子技術應用,2015,41(5):116-118.

[4]楊 靜.大型云計算信息系統的異常數據檢測模型仿真[J].計算機仿真,2015,32(11):378-381.

[5]于紅巖,岑凱倫,楊騰霄.云計算平臺異常行為檢測系統的設計與實現[J].計算機應用,2015,35(5):1284-1289.

[6]馬 超,程 力,孔玲玲.云環境下SDN的流量異常檢測性能分析[J].計算機與現代化,2015,10(10):92-97.

[7]何高攀,楊 桄,孟強強,等.基于圖像融合的高光譜異常檢測[J].電子設計工程,2016,24(2):165-168.

Cloud Computing Hadoop Platform of Abnormal Data Detection Algorithm Research

Huang Fuping,Liang Zhuolang,Xing Yingjun,Yang Chunli

(Guangzhou Pearl River Vocational College of Technology, Information Technology Academy, Guangzhou 511300,China)

In recent years, with the rapid development of Internet technology in our country development of further research and large-scale network computing platform, YunPing audience data processing, has become the main way of massive data. However, the existing cloud computing platform in abnormal huge amounts of data into state, often appear logical error, loss of data link integrity, data, solve the problem of a can to effectively detect the abnormal data processing, seriously affect the accuracy of cloud computing platform data operation. According to the above problem, a Hadoop cloud computing platform of abnormal data detection algorithm research methods. By screening JNS data collection module, the algorithm logic compensation module and dynamic feedback module to the existing problems of cloud computing platform, targeted to solve. Through the simulation experiment proves that the Hadoop cloud computing platform of abnormal data detection algorithm research method, has high recognition rate anomaly data, high accuracy, fast speed, strong practical, good stability characteristics.

cloud computing; big data; abnormal data; hadoop platform

2017-03-28；

2017-05-05。

2014年度廣東省廣東教育教學成果獎(高等教育)培育項目。

黃富平(1982-)，男，廣西貴港人，講師，主要從事云計算與大數據算法方向的研究。

1671-4598(2017)07-0260-04

10.16526/j.cnki.11-4762/tp.2017.07.065

TP301

A