基于樸素貝葉斯的敏感信息識別方法研究

◆陸向艷 蘇崇 劉峻

（1.廣西大學計算機與電子信息學院 廣西 530004；2.廣西師范大學廣西多源信息挖掘與安全重點實驗室 廣西 54100）

互聯網經過20 多年的發展，已經深入滲透到社會生產、生活和學習等領域的各個方面，互聯網各種平臺上每天產生大量的文本信息，其中有些信息不加以辨別和控制會對政治、經濟和道德等領域造成損害或影響。這些信息主要包括政治敏感信息、恐怖信息、色情信息、侮辱謾罵信息、惡意廣告信息等[1]，被統稱為敏感信息。如果不及時識別和處理這些敏感信息，互聯網環境將不斷地遭受破壞，給社會穩定、安全和文明等方面造成不利影響，識別并過濾敏感信息成為當前凈化網絡環境的重要手段。由于互聯網信息量巨大，當前主要采取自動化方法來識別敏感信息。自動識別敏感信息方法主要為基于機器學習的分類方法，當前研究主要有基于SVM、決策樹、K 近鄰等[2-5]方法，本文提出一種基于樸素貝葉斯的敏感信息識別方法，旨在為敏感信息識別提供方法參考。

2 基于樸素貝葉斯的敏感信息識別方法

2.1 方法模型

基于樸素貝葉斯的敏感信息識別方法包括敏感信息標記、文本分詞、樸素貝葉敏感詞訓練、樸素貝葉斯敏感信息分類4 個步驟，方法模型如圖1 所示。

圖1 模型圖

2.2 敏感信息標記

用爬蟲軟件收集文本數據集，取其中一部分進行文本敏感屬性標記，將包含和不包含敏感信息的文本分開存放。將敏感數據集分成涉黃、涉政、涉恐、廣告、謾罵五個類別進行分類標記。

2.3 文本分詞

用Word 分詞器的最大Ngram 分值算法對文本數據集進行分詞、去除停用詞后，將敏感信息與非敏感信息的分詞分開保存。

2.4 樸素貝葉敏感詞訓練

對于訓練集文本的每一個分詞，首先進行詞頻統計并計算分詞先驗概率，然后查看敏感詞庫是否已記錄該分詞，是則修正該詞語的概率，否則寫入敏感詞庫。敏感詞庫最后保留詞頻排序在前15%的詞匯。樸素貝葉敏感詞訓練過程如圖2 所示。

圖2 訓練過程

3 實驗和結果分析

實驗收集涉黃、涉政、涉恐、廣告、謾罵五個類別文本數據各500 個，每個類別分別取100 個文本進行標記，300 個文本進行訓練，100 個文本進行測試，驗證本文提出的基于樸素貝葉斯的敏感信息方法的有效性，實驗結果如表1 所示。

表1 實驗結果

對于實驗的五個類別數據，算法正確檢出率都在87%以上，其中涉恐、涉黃和廣告文本正確檢出率在90%以上，相對較高，涉黃和謾罵文本正確檢出率相對較低，原因主要是因為樸素貝葉斯在計算各分詞概率時獨立計算，而涉黃和謾罵文本相對涉政、涉恐和廣告文本這三類文本其詞匯的上下文關聯更強。

4 結束語

識別網絡敏感信息，對凈化網絡環境具有重要意義。本文提出一種基于樸素貝葉斯的敏感信息識別方法。實驗結果表明本文方法能有效識別敏感文本信息。