網(wǎng)絡(luò)數(shù)據(jù)包中的分析程序設(shè)計(jì)與開發(fā)

尹鎖強(qiáng)

(延邊職業(yè)技術(shù)學(xué)院,吉林 延吉 133000)

0 引言

隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展,數(shù)據(jù)包技術(shù)已成為當(dāng)前大數(shù)據(jù)處理的重要方式。 數(shù)據(jù)包技術(shù)可對多類信息進(jìn)行處理,批量完成信息處理任務(wù),數(shù)據(jù)信息發(fā)展時(shí)產(chǎn)生的相關(guān)隱患、障礙等問題,通過數(shù)據(jù)包的數(shù)據(jù)分析處理技術(shù)可以得到有效解決,使其更加科學(xué)化[1]。 可見,在網(wǎng)絡(luò)數(shù)據(jù)包的大數(shù)據(jù)中,數(shù)據(jù)處理工作可通過程序本體進(jìn)行自動(dòng)處理、轉(zhuǎn)化,從根本上完善了數(shù)據(jù)處理系統(tǒng),使其應(yīng)用效果逐漸加強(qiáng),防止最終功能弱化。 如今,隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)發(fā)展,產(chǎn)生了更多大數(shù)據(jù)處理系統(tǒng),滿足了更多類型的處理需求,本文針對這一技術(shù)性方案展開討論。

1 大數(shù)據(jù)處理系統(tǒng)概述

網(wǎng)絡(luò)數(shù)據(jù)包中的數(shù)據(jù)處理技術(shù)可完成大任務(wù)量,在網(wǎng)絡(luò)數(shù)據(jù)發(fā)展的同時(shí),會(huì)遇到一定的問題,可通過數(shù)據(jù)分析處理進(jìn)行控制。 在大數(shù)據(jù)分析程序設(shè)計(jì)中,云計(jì)算可加快數(shù)據(jù)處理速度。 結(jié)合環(huán)境進(jìn)行數(shù)據(jù)處理,加強(qiáng)對接傳輸,進(jìn)而完善程序運(yùn)行控制。 大數(shù)據(jù)信息量大,因此需要大工作環(huán)境,而大工作環(huán)境下,程序會(huì)自動(dòng)將處理能力向FB 級轉(zhuǎn)化,可優(yōu)化處理效率,防止出現(xiàn)相關(guān)問題,同時(shí)大數(shù)據(jù)環(huán)境可開展批量處理,對客戶信息統(tǒng)計(jì)進(jìn)行分類處理。

地圖縮減(Map Reduce,MR)是如今應(yīng)用頻繁的大數(shù)據(jù)處理系統(tǒng),可滿足大數(shù)據(jù)的大規(guī)模要求[2]。 在MR系統(tǒng)工作時(shí),可將不同類型的大數(shù)據(jù)信息進(jìn)行整合,同時(shí)具有一定效率,將各類型的大數(shù)據(jù)信息形成常態(tài)、正規(guī)的處理模型,是當(dāng)前大數(shù)據(jù)處理的主流技術(shù)之一,具有較好的自動(dòng)化處理能力,運(yùn)算效果強(qiáng),人工操作簡單,可方便用戶理解。 大數(shù)據(jù)處理應(yīng)用MR 系統(tǒng)進(jìn)行數(shù)據(jù)處理時(shí),可暫時(shí)隱蔽復(fù)雜處理過程,簡化顯示界面,從而提升其操作簡單性。 同時(shí),MR 系統(tǒng)存在學(xué)習(xí)記憶、挖掘數(shù)據(jù)及算法應(yīng)用等相關(guān)功能,在這些功能被應(yīng)用的同時(shí),也在不斷拓展與加深,使大數(shù)據(jù)的管理環(huán)境更為堅(jiān)實(shí),符合現(xiàn)代大數(shù)據(jù)處理要求。 記憶功能可將所處理的信息編入歷史數(shù)據(jù)庫資源,隨著大數(shù)據(jù)信息資源的不斷增加,記憶功能可參照大量歷史數(shù)據(jù)對其他數(shù)據(jù)信息進(jìn)行有效處理,大大縮短了處理時(shí)間,提升了處理效率。 技術(shù)的發(fā)展與進(jìn)步使大數(shù)據(jù)信息不斷增加,提高了高端數(shù)據(jù)處理的要求。

2 影響網(wǎng)絡(luò)安全主要因素

2.1 目標(biāo)系統(tǒng)易受攻擊

網(wǎng)絡(luò)存在一定開放性的特點(diǎn),致使目標(biāo)系統(tǒng)容易受到攻擊。 互聯(lián)網(wǎng)技術(shù)具有開放性,具有信息共享特征,雖然為互聯(lián)網(wǎng)用戶帶來了便利,提升了知識(shí)認(rèn)知,但也為黑客提供了可乘之機(jī)。 對于互聯(lián)網(wǎng)而言,開放與安全一直都存在一定的對立面,一旦開放過大,目標(biāo)系統(tǒng)便易受攻擊,黑客乘虛而入,網(wǎng)絡(luò)安全難以保障;一旦安全系數(shù)增加,開放性也存在一定縮減,致使網(wǎng)絡(luò)信息的溝通、交流效率下降,不符合社會(huì)的飛速發(fā)展,有悖于互聯(lián)網(wǎng)的開放初衷。

2.2 網(wǎng)站單薄現(xiàn)狀

電腦運(yùn)行與軟件開發(fā)、運(yùn)行、更新時(shí),往往存在一定的軟件漏洞,黑客會(huì)憑借相關(guān)漏洞乘虛而入,對計(jì)算機(jī)網(wǎng)絡(luò)展開攻擊。 軟件運(yùn)行、升級時(shí),漏洞難以避免,其中微軟“視窗”系統(tǒng)是最為常見的漏洞,因此在其軟件正式上架、運(yùn)行前,應(yīng)通過大量的內(nèi)部測試與外部測試,尋找其問題、漏洞并及時(shí)修補(bǔ),防止黑客入侵,然而即便是測試,依舊會(huì)在軟件運(yùn)行時(shí)出現(xiàn)一些漏洞[3]。可見“視窗”操作系統(tǒng)與網(wǎng)絡(luò)瀏覽器中,都存在可危害網(wǎng)絡(luò)的漏洞,致使整個(gè)網(wǎng)絡(luò)系統(tǒng)得不到安全保障。 同時(shí),網(wǎng)站執(zhí)行開發(fā)程序時(shí),部分網(wǎng)絡(luò)開發(fā)用戶在接口程序期間未通過科學(xué)、合理的標(biāo)準(zhǔn)過濾程序,致使黑客通過指令輸入直接對數(shù)據(jù)庫產(chǎn)生嚴(yán)重破壞。

3 傳統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)包大數(shù)據(jù)分析模式

3.1 BSP 計(jì)算模式

大數(shù)據(jù)的信息處理應(yīng)用周期性方法,將數(shù)據(jù)整體在處理系統(tǒng)中分為多個(gè)單元格,再以單元格為目標(biāo)將上面的任務(wù)依次處理完成,提升各單元格的精準(zhǔn)度,進(jìn)而達(dá)到大數(shù)據(jù)的分析標(biāo)準(zhǔn)。 然而,此類處理方式會(huì)產(chǎn)生較多單元格,處理海量的信息,往往需要較長的處理時(shí)間,因此無法提升效率,信息處理的速度過低。 同時(shí),單元格內(nèi)每個(gè)數(shù)據(jù)都需要經(jīng)過分析計(jì)算,在計(jì)算時(shí)需對各項(xiàng)任務(wù)進(jìn)行分析處理,而網(wǎng)絡(luò)數(shù)據(jù)包中有大量任務(wù)需要處理,這也是當(dāng)前常用的技術(shù)方法,其數(shù)據(jù)分析構(gòu)成模型如圖1 所示。

圖1 BSP 計(jì)算模式的結(jié)構(gòu)狀態(tài)(模型)

根據(jù)圖1 可以看出,系統(tǒng)會(huì)自動(dòng)將需要分析處理的數(shù)據(jù)進(jìn)行匯總整理,將數(shù)據(jù)轉(zhuǎn)化為等待處理形式,在劃分單元的結(jié)構(gòu)上,通過多種處理進(jìn)而節(jié)省一定時(shí)間,提高效率。 在超級處理步驟中,可同時(shí)啟動(dòng)多項(xiàng)處理器,使其共同參與,加強(qiáng)全局的通信系統(tǒng),將網(wǎng)絡(luò)環(huán)境中獲取的相關(guān)數(shù)據(jù),通過板級支持包(Board Support Package,BSP)計(jì)算模式整合為需要的模式[4],而傳統(tǒng)的處理模式需要較多時(shí)間進(jìn)行調(diào)動(dòng),因此效率較低,時(shí)間較長,需進(jìn)一步改進(jìn)。

3.2 BSP 劣勢

BSP 系統(tǒng)中含有超級步驟,在此環(huán)節(jié)中,若應(yīng)用處理器進(jìn)行數(shù)據(jù)信息的處理與傳送,會(huì)消耗大量時(shí)間,還要處理各類信息的上限,因此在大數(shù)據(jù)的開發(fā)過程中,BSP 無法達(dá)到最好的使用效果。 在網(wǎng)絡(luò)環(huán)境下,對大數(shù)據(jù)程序的開發(fā)與設(shè)計(jì),應(yīng)加強(qiáng)其系統(tǒng)化、正規(guī)化,完善存儲(chǔ)環(huán)境,而現(xiàn)代BSP 運(yùn)行模式下,尚未滿足大數(shù)據(jù)程序的開發(fā)與設(shè)計(jì)要求,處理問題的能力存在不足。第一,在超級處理過程中,對存儲(chǔ)空間要求嚴(yán)格,在數(shù)據(jù)的傳輸過程中,會(huì)占用部分網(wǎng)絡(luò)位置,致使網(wǎng)絡(luò)的適應(yīng)與信息傳統(tǒng)出現(xiàn)卡頓、延遲問題,無法在規(guī)定時(shí)間內(nèi)滿足相關(guān)任務(wù),傳輸效率過低,用戶的網(wǎng)絡(luò)使用效果差。 第二,在BSP 系統(tǒng)的主要工作內(nèi)容為處理量與對應(yīng)網(wǎng)絡(luò)需求之間存在問題及矛盾,而在運(yùn)算模式層面,BSP 模式仍存在一定不足,需進(jìn)行改進(jìn)與創(chuàng)新,優(yōu)化運(yùn)行效果,對于在運(yùn)算中即將出現(xiàn)或可能出現(xiàn)的問題,需加強(qiáng)篩選,通過有效地防控措施提升其運(yùn)行能力,防止大數(shù)據(jù)的整體功能受到影響與阻礙。

4 網(wǎng)絡(luò)數(shù)據(jù)包的大數(shù)據(jù)中分析程序設(shè)計(jì)與開發(fā)

4.1 SAT 模型邏輯分層

SAT 模型邏輯分層分為3 個(gè)結(jié)構(gòu),S 層對數(shù)據(jù)進(jìn)行分隔,避免在進(jìn)行數(shù)據(jù)的分析處理過程中出現(xiàn)干擾;A層為數(shù)據(jù)分析處理過程中的任務(wù)操作穩(wěn)定性,根據(jù)大數(shù)據(jù)特征進(jìn)行針對性的信息規(guī)劃,進(jìn)而達(dá)到最佳的處理效果;T 層為數(shù)據(jù)分析中的加工整合,加強(qiáng)具體包裝,對應(yīng)實(shí)際情況,根據(jù)不同數(shù)據(jù)分析特征對數(shù)據(jù)進(jìn)行優(yōu)化,使其符合大數(shù)據(jù)的數(shù)據(jù)包應(yīng)用特征,對相關(guān)任務(wù)進(jìn)行控制,進(jìn)而提升效率與數(shù)據(jù)分析速度[5]。 SAT 模型邏輯具體流程如圖2 所示。

圖2 SAT 模型大數(shù)據(jù)分析流程

通過圖2 可以看出,SAT 模型中,大數(shù)據(jù)處理對各個(gè)人物的處理劃分明確,具有一定系統(tǒng)性,在處理過程中,針對可能出現(xiàn)的問題進(jìn)行充分解決,各個(gè)模塊都加入了防御程序,進(jìn)而使分析效果達(dá)到最佳,與之相匹配的數(shù)據(jù)分析任務(wù)結(jié)果更為理想。 可見,大數(shù)據(jù)分析速度的提升,5 個(gè)功能的模塊可統(tǒng)一控制,減少了中間處理環(huán)節(jié),提高了分析速度,同時(shí)還可調(diào)動(dòng)多個(gè)系統(tǒng)相互合作,共同完成任務(wù),實(shí)現(xiàn)在總控制中應(yīng)用分控制,和諧轉(zhuǎn)換,具有更好的處理效果,可直接展現(xiàn)分析結(jié)果。

4.2 SAT 大數(shù)據(jù)分析程序?qū)崿F(xiàn)流程

4.2.1 數(shù)據(jù)預(yù)處理

為加強(qiáng)大數(shù)據(jù)信息的使用,對其進(jìn)行預(yù)處理,結(jié)合實(shí)際情況觀察分析數(shù)據(jù),保證其使用時(shí)符合實(shí)際情況,在網(wǎng)絡(luò)數(shù)據(jù)包基礎(chǔ)上,開展數(shù)據(jù)分析與處理,通過云計(jì)算,可加強(qiáng)數(shù)據(jù)的信息處理,待其處理完畢,分析任務(wù),將其分為若干模塊,通過確定屬性提升其性能,結(jié)合相關(guān)技術(shù)模式對問題進(jìn)行分析、處理,探究相關(guān)對策,形成預(yù)處理聯(lián)系,進(jìn)而確認(rèn)屬性。 對信息的模糊預(yù)處理,可節(jié)省較多時(shí)間,將更多處理精力放在重點(diǎn)信息上,對任務(wù)進(jìn)行深入探究,提出處理辦法,提升其操作效果。 完成模糊處理后,對篩選數(shù)據(jù)進(jìn)行二次分析,令數(shù)據(jù)進(jìn)入分析程序循環(huán)鏈,此時(shí),循環(huán)流程至關(guān)重要,在同時(shí)進(jìn)行多項(xiàng)任務(wù)時(shí),不僅要提升速度與效率,還需保證結(jié)果更為理想,控制程序的有序進(jìn)行,建立環(huán)境基礎(chǔ)。

4.2.2 刪除失效數(shù)據(jù)

預(yù)處理操作與任務(wù)分析工作完成后,對現(xiàn)場進(jìn)行預(yù)處理。 此時(shí),一旦信息處理結(jié)果與實(shí)際不符,需將無用數(shù)據(jù)刪除,此工作一般在程序中自動(dòng)完成,刪除實(shí)銷數(shù)據(jù)可提升內(nèi)部存儲(chǔ)空間。 數(shù)據(jù)庫內(nèi)部可完成數(shù)據(jù)分析,處理復(fù)雜問題,與大數(shù)據(jù)的價(jià)值稀疏性特征相結(jié)合,優(yōu)化數(shù)據(jù)的分析、存儲(chǔ)、執(zhí)行。 同時(shí)將大數(shù)據(jù)的存儲(chǔ)、感知、計(jì)算等原則結(jié)合,探究其性能評價(jià)體系與流失數(shù)據(jù)計(jì)算框架,分析系統(tǒng)性能,高效提取大數(shù)據(jù)所需數(shù)據(jù)。

4.2.3 基于網(wǎng)絡(luò)數(shù)據(jù)包的文件下載

系統(tǒng)按照大數(shù)據(jù)任務(wù)對有效文件進(jìn)行下載,流程如圖3 所示,并將其應(yīng)用到合適的控制模塊中。 通過圖3 可以看出,程序先是進(jìn)行檢索,將其連接到有用的判斷中,一旦被判斷為無用,可對其進(jìn)行重新獲取,直至其范圍與需求一致,才可進(jìn)入下載,針對網(wǎng)絡(luò)數(shù)據(jù)包的基礎(chǔ),下載可用文件夾進(jìn)入數(shù)據(jù)使用環(huán)節(jié),大數(shù)據(jù)的分析也與之保持一致。 大數(shù)據(jù)分析環(huán)節(jié)易出現(xiàn)隱患,因此需加強(qiáng)文件夾的審核,確定精準(zhǔn)程度,再次進(jìn)入分析環(huán)節(jié),高效完成任務(wù)[6]。

圖3 文件下載流程

4.2.4 系統(tǒng)功能初始化

將操作數(shù)據(jù)文件設(shè)置為初始化狀態(tài),節(jié)省信息篩選時(shí)間,引入系統(tǒng)運(yùn)行所需信息,同時(shí)通過清除與恢復(fù)功能,將相關(guān)程序開發(fā)階段的控制功能納入規(guī)劃方案,落實(shí)細(xì)節(jié)達(dá)到相關(guān)需求,自動(dòng)恢復(fù)無效內(nèi)容,進(jìn)而優(yōu)化空間,提高后續(xù)任務(wù)效率。

5 結(jié)語

綜上所述,批量化處理可結(jié)合大數(shù)據(jù)程序運(yùn)行特征,加強(qiáng)其運(yùn)用,面對復(fù)雜多變的大數(shù)據(jù)環(huán)境將客戶信息歸總,實(shí)施數(shù)據(jù)處理,將得出的結(jié)果納入后續(xù)分析鏈條中,即可完成程序運(yùn)行處理任務(wù)。