基于數據挖掘技術的網絡信息過濾系統設計

劉玉娥

摘 要： 對網絡信息進行過濾，在提高網絡安全性能方面具有重要意義。傳統網絡信息過濾系統一直存在信息過濾不完整、效率差的問題，故提出并設計基于數據挖掘技術的網絡信息過濾系統。網絡信息過濾系統硬件主要由數據采集模塊、數據處理模塊、數據分析模塊、控制界面模塊和過濾及反饋模塊組成，在過濾及反饋模塊引入數據挖掘技術，對各個重要數據進行分析，并給出部分軟件代碼，實現網絡信息過濾系統的優化。實驗結果表明，以調和平均值為指標，對改進設計系統進行驗證，其查全率及查準率的調和平均值較高，具有一定的優勢。

關鍵詞： 網絡信息過濾； 數據挖掘； 網絡安全； 數據采集； 調和平均值； 查準率

中圖分類號： TN711?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2018）16?0051?04

Abstract： Network information filtering is of great significance in improving network security performance. As the traditional network information filtering system has the long?existing problem of incomplete and inefficient information filtering， a network information filtering system based on the data mining technology is proposed and designed. The hardware of the network information filtering system is mainly composed of the data acquisition module， data processing module， block data analysis module， control interface module， and filtering and feedback module. In the filtering and feedback module， the data mining technology is introduced to analyze various important data and present part of software codes， so as to realize the optimization of the network information filtering system. The experimental results show that， with the harmonic mean value as the index， the improved design system is verified to have a relatively high harmonic mean value of the recall ratio and precision ratio， which has a certain advantages.

Keywords： network information filtering； data mining； network security； data acquisition； harmonic mean value； precision ratio

0 引 言

近年來，隨著計算機網絡和Internet的迅速發展，網絡信息的增加，人們急需借助一些工具，對網絡信息進行篩選。由于網絡自身的兩面性，用戶能夠從網絡上得到豐富的、最新的知識，在學習和休息進程里充實自己、提高自己的知識含量；同時，有些不法分子利用網絡的復制性、傳播和查閱一些有明顯意識形態傾向的信息，這些信息的存在嚴重影響人們工作及學習的現象，也對社會造成了極大的危害。怎樣過濾掉與自己所需內容無關的信息，高效精確地得到所需的信息并遭受非法信息的干擾，變成了此領域急需解決的重點問題。可以依據用戶信息需求，采用信息過濾技術從大規模動態網絡信息流里自動選擇出滿足用戶需求的信息、去除無用的網絡信息，達到對網絡信息有效過濾的目的。對此，提出并設計了基于數據挖掘技術的網絡信息過濾系統。

1 網絡信息過濾系統整體模塊設計

1.1 網絡信息過濾整體模塊分析

為了達到準確過濾網絡信息的目的，各過濾系統均有自己的實現方法，但他們均有相同的分析模塊，而本文設計的過濾系統重點由5個基礎模塊構成：

1） 數據收集模塊。重點是收集網絡信息數據和協議還原的處理。用戶在啟動過濾系統以后，系統會將計算機的數據包攔截下去，然后以協議為依據對其進行還原，并儲存到運用層中，最后將其上交給數據解析模塊。

2） 數據解析模塊。重點是對關鍵詞進行過濾，對圖像進行分類。將數據采集模塊傳輸過來的網絡信息數據，以關鍵詞為主旨進行過濾，對圖像進行分類，確認是否滿足網絡信息安全傳輸的策略，并將解析結果進行返回；采用網絡數據挖掘技術，從網絡中得到信息，并將其傳輸到數據處理模塊進行處理，形成有關網絡信息特征的描述。

3） 數據處理模塊。該模塊以數據解析模塊為依據，解析網絡信息數據的結果，分析已有數據然后以已經預定的安全傳輸策略為依據，做出相應的響應動作。

4） 控制界面模塊。主要為過濾系統以及用戶的交互工作服務。為用戶提供使用控制軟件的界面，在控制界面中，用戶能夠對過濾系統進行控制，選取是否過濾，然后設置系統的配置，從中獲取歷史記錄，編輯并對控制列表進行訪問，設置關鍵詞以及訓練圖像分類系統等功能。

5） 過濾和反饋模塊。把經過網絡信息解析處理形成的數據及生成的用戶模板文件相似性進行對比，以確認能不能把處理結果傳輸給用戶；依據用戶興趣的轉變及結果的評估，對用戶模板文件實時更新，過濾無用信息，并將過濾進程形成的具備顯著區別的文檔增加到訓練庫，適時更新模板文件，使其一直處于過濾掉無用信息的狀態。

網絡信息過濾系統如圖1所示。

在網絡信息的過濾中，當網絡信息數據包進入計算機后，到達應用程序前過濾系統能夠攔截無用的信息，并且能夠采集其中的數據。采集數據以后，根據協議能夠還原到應用層中，將數據提交給數據解析模塊進行解析，然后將解析結果傳輸給數據處理模塊。數據處理模塊能夠從解析的結果中來對數據包是否進行過濾做出判斷，并能夠根據設置的參數來判斷該數據包是否需要記錄和報警。最后，界面控制模塊能夠控制整個網絡信息過濾系統，編輯、訪問、控制其配置、歷史查看記錄，關鍵詞以及訓練圖像的分類。由上述描述可知，網絡信息過濾需要解決獲取和表示信息、計算信息相似度、構建用戶模板等問題，因此，本文采用數據挖掘方法，對網絡信息進行采集和獲取。

1.2 數據挖掘分析

在設計網絡信息過濾系統時，采用數據挖掘方法對網絡信息數據進行采集、解析、預處理和挖掘。

網絡信息數據采集是通過搜索網絡信息的各關鍵數據，監測網絡信息數據流，選取混雜模式的網卡工作模式，接收目標地址信息，能直接對網絡底層進行訪問，路過系統的正常工作處理機制，采集流經網絡信息節點的全部數據包。

數據解析：對采集到的原始網絡數據協議進行解析，從數據包中得到所需信息。

數據預處理：從網絡中采集的網絡信息數據包依據采集時間順序進行排列，在同一時間內，構建多個連接方式，根據時間排列順序，不同連接的數據包就會相互影響，所以把各個連接的全部數據包整理為一條連接信息，對連接信息進行解析。經解析后，數據特征屬性存在差別，會對網絡信息的過濾結果形成干擾，將全部數據特征統一映射到空間向量中，對數據設定特征進行預處理，實現數據挖掘。

數據挖掘過程如圖2所示。

2 軟件設計

網絡信息過濾系統中過濾模塊主要對網絡信息進行三級過濾，即對于地址、關鍵字和內容三部分的過濾。在過濾過程中采用基于段落的匹配方式，其流程如圖3所示。

部分源代碼如下所示：

#include"cap.h"

#include //globle data

ADAPT_INFO AdaptInfo[16]；

int AdapterNum；

Function L=apriori（data，minsup）

[m，n]=size（data）；

A=eye（n，n）

B=（sum（data））；

Publio statio double distance（double[] P1，double[] P2）

{

double dotprcduct=0，0；

double lengthSquaredp1=0，0；

double lengthSquaredp2=0，0；

for （int 1=0；i

{

lengthSquaredp1 +=p1[1]*p1[1]；

lengthSquaredp2 +=p2[1]*p2[1]；

Dotprcduct+=p1[1]*p2[1]；

{

Double denoninator = Math.sqrt（lengthSquaredp1）*Math.sqrt（lengthSquaredp2）；

If （denominator

{

Debominator = dotProduct

}

If （denominator == 0 && dotProduat == 0）

{

Return 0；

}

Return 1.0 = dotProduet / denominator；

}

CapStopCapture（）；

CapUninitialize（）；

3 實驗結果分析

3.1 實驗參數設置

根據前面所設計的基于數據挖掘技術的網絡信息過濾系統。軟件環境為：操作系統Windows 2010；代碼語言為C++；編譯系統為VC 6.0；數據庫為SQLevrer 2010。硬件平臺：主機服務器1臺PC計算機，內存2 GB，硬盤容量500 GB，處理器i4 2.4 GHz；PC計算機，控制臺主機服務器1臺，處理器i4 2.4 GHz，內存2 GB，硬盤容量500 GB；網絡交換器及局域網絡，Ethemet 100M/1 000M交換機；交換機將控制臺主機服務器和主機服務器互聯組成100M內部局域網絡。

3.2 實驗結果分析

在實際應用中，用戶往往只對其中部分內容感興趣，對此，實驗中將用戶喜歡的設置為準確分類信息，把不喜歡的設置為誤分信息，并根據其分類情況進行混合評估，計算公式為：

實驗收集5 000份關于網絡的信息，構成樣本庫，其中3 500份為合法信息，1 500份為非法信息。在測試過程中，可隨時加入訓練樣本數量，并定期由管理員對檢測結果進行分析。將1 500份非法信息平均分成5份，每份300個，把合法信息3 500份隨機抽出1 500份，平均分為5份，將這10份網絡信息按照非法信息和合法信息交叉融合的方式合起來，另外再加上為開放測試所用的一份網絡信息300個合法和300個非法信息組成的網絡信息，這樣的規則組合就有6份，每次從中抽出2份進行樣本訓練，邊測試邊記錄結果，得到結果如表1所示。

4 結 論

針對傳統網絡信息過濾系統一直存在信息過濾不完整、效率差的問題，提出并設計了基于數據挖掘技術的網絡信息過濾系統。網絡信息過濾系統硬件主要由數據采集模塊、數據處理模塊、數據分析模塊、控制界面模塊及過濾和反饋模塊組成。在過濾和反饋模塊中引入數據挖掘技術，對各個重要數據進行分析，并給出部分軟件代碼，實現網絡信息過濾系統的優化。實驗結果表明，以調和平均值為指標，對改進設計系統進行驗證，其查全率及查準率的調和平均值較高，具有一定的優勢。

參考文獻

[1] 張沛朋，魏楠.基于數據挖掘技術的個性化移動推薦系統設計研究[J].西安文理學院學報（自然科學版），2017，20（2）：41?45.ZHANG Peiming， WEI Nan. Research on design of personalized mobile recommendation system based on data mining technology [J]. Journal of Xian University （Natural science edition）， 2017， 20（2）： 41?45.

[2] 于麗.基于數據挖掘技術的計算機網絡病毒防御技術探索[J].現代電子技術，2016，39（21）：120?122.

YU Li. Exploration of data mining technology based virus defense technology for computer network [J]. Modern electronics technique， 2016， 39（21）： 120?122.

[3] 郭蘭杰，梁吉業，趙興旺.融合社交網絡信息的協同過濾推薦算法[J].模式識別與人工智能，2016，29（3）：281?288.

GUO Lanjie， LIANG Jiye， ZHAO Xingwang. Collaborative filtering recommendation algorithm incorporating social network information [J]. Pattern recognition and artificial intelligence， 2016， 29（3）： 281?288.

[4] 洪萬帆，蘇淑靖.基于無線傳感器網絡的數據采集系統設計[J].電子器件，2016，39（1）：180?185.

HONG Wanfan， SU Shujing. Design of data acquisition system based on wireless sensor network [J]. Chinese journal of electron devices， 2016， 39（1）： 180?185.

[5] 伍華麗，任心怡.基于模糊約束的數據庫特定數據挖掘算法[J].計算機仿真，2016，33（10）：240?243.

WU Huali， REN Xinyi. Specific data mining algorithm based on fuzzy constraint database [J]. Computer simulation， 2016， 33（10）： 240?243.

[6] 薛朋強，努爾布力，吾守爾·斯拉木.基于網絡文本信息的敏感信息過濾算法[J].計算機工程與設計，2016，37（9）：2447?2452.

XUE Pengqiang， NURBOL， ISLAM Wuxur. Sensitive information filtering algorithm based on text information network [J]. Computer engineering and design， 2016， 37（9）： 2447?2452.

[7] 周立軍，張杰，呂海燕.基于數據挖掘技術的網絡入侵檢測技術研究[J].現代電子技術，2016，39（6）：10?13.

ZHOU Lijun， ZHANG Jie， L? Haiyan. Research on network intrusion detection technology based on data mining technology [J]. Modern electronics technique， 2016， 39（6）： 10?13.

[8] 劉其成，馮利光.一種基于MapReduce的微博信息推薦并行算法[J].小型微型計算機系統，2017，38（7）：1518?1522.

LIU Qicheng， FENG Liguang. Parallel microblog information recommendation algorithm based on MapReduce [J]. Journal of Chinese computer systems， 2017， 38（7）： 1518?1522.

[9] 李云瑋，馬蕾.基于SVM的物聯網大數據有效信息過濾挖掘[J].控制工程，2016，23（10）：1533?1537.

LI Yunwei， MA Lei. Big data effective information filtering mining of Internet of Things based on SVM [J]. Control engineering of China， 2016， 23（10）： 1533?1537.

[10] 王靖，王興偉，趙悅.基于變精度粗糙集決策樹垃圾郵件過濾[J].系統仿真學報，2016，28（3）：705?710.

WANG Jing， WANG Xingwei， ZHAO Yue. Spam filtering based on variable precision rough set decision tree [J]. Journal of system simulation， 2016， 28（3）： 705?710.

[11] 袁國鑫，于洪.一種基于郵件頭信息的三支決策郵件過濾方法[J].計算機科學，2017，44（9）：74?77.

YUAN Guoxin， YU Hong. Method of three?way decision spam filtering based on head information of e?mail [J]. Computer science， 2017， 44（9）： 74?77.