基于主題與語義的作弊網頁檢測方法

易軍凱，劉慕凡，萬 靜

（北京化工大學信息科學與技術學院，北京100029）

基于主題與語義的作弊網頁檢測方法

易軍凱，劉慕凡，萬 靜

（北京化工大學信息科學與技術學院，北京100029）

網頁作弊檢測可以被看作二元分類問題。當前基于內容的作弊網頁檢測方法主要使用統計特征，不能準確識別隱藏的作弊手段。為此，提出一種改進的作弊網頁檢測方法，使用語義與統計兩類特征，將作弊檢測深入至主題層次。該方法對網頁內容進行主題建模，將網頁內容映射至主題空間，根據其主題分布進行語義分析計算，從中提取語義特征，結合統計特征對網頁進行分類檢測。實驗結果表明，該方法在精確率、召回率與F1測度上均獲得了較好的效果。

分類；主題模型；潛在狄利克雷分配；語義特征；語義相似度

1 概述

網頁作弊指信息檢索中網頁使用不正當手段來獲得不公正的查詢相關性與重要性的行為［1］。網頁作弊行為使用戶獲取不相關的查詢結果，還可能向用戶提供危險信息，造成用戶安全隱患，大量作弊網頁的存在還降低了搜索引擎的準確率，增加索引與查詢的開銷，降低了搜索引擎的系統性能［2］。識別網頁作弊，提高檢索內容可信度，是搜索引擎面臨的主要挑戰之一。

根據不同的作弊方式，目前已經提出了相應的反作弊方法。文獻［2］對當今各種作弊技術進行了總結，將作弊方式分為內容作弊、鏈接作弊以及隱藏的作弊。文獻［3］提出了一種基于內容的檢測方法，使用詞匯數量、標題長度、詞匯平均長度等統計特征進行分類檢測。文獻［4］提出改進的基于內容的方法，他們使用轉碼功能、代碼比例、拼寫檢查等特征進行檢測，提高了傳統方法的檢測效果。文獻［5］提出了一種基于鏈接的反作弊算法TrustRank，其思想是優質頁面也會鏈向優質頁面，很少鏈向作弊頁面，從而使用圖算法進行可信度傳遞。文獻［6］提出思路相反的Spam Rank算法，該算法認為鏈向作弊網頁的網頁也大多數是作弊網頁。文獻［7］提出了一種將基于內容與基于鏈接相結合的反作弊方法，使用網絡拓撲圖與聚類算法，對作弊網頁進行匯集識別。文獻［8］提出一種基于鏈接結構的作弊網頁過濾算法。該算法認為作弊網頁之間相互勾結相互鏈接，鏈接結構具有較高的相似性。基于這一特性，對網頁進行聚類與權值分配，并運行PageRank算法，以達到對Spam頁面的過濾。文獻［9］提出了一種基于Co-Training模型的作弊網頁檢測方法，該方法使用內容的統計特征與基于網絡圖的鏈接，建立2個獨立的分類器，使用Co-Training半監督學習方法，利用大量未標記數據來改善分類器質量。文獻［10］提出了一種基于證據的內容可信度模型檢測算法，他們提出基于證據的信息可靠度模型，并在此基礎上給出了新的學習算法來進行垃圾網頁檢測。文獻［11］針對隱藏的作弊，提出了一種雙爬蟲檢測方法，通過模擬搜索引擎爬蟲與用戶瀏覽爬蟲抓取網頁內容，進行對比判斷。

這些方法從不同的角度提出了相應的檢測算法，但是基于內容的作弊檢測方法一般只考慮文本淺層的統計特征，沒有考察文本深層的語義特征，不能很好識別隱藏的作弊手段；基于鏈接的方法則往往忽略對網頁本身內容的評估。本文提出了一種基于主題與語義的作弊網頁檢測方法（Topic models and Semantic analysis based Spam Detection，TSSD），該方法使用深層語義特征，對網頁內容進行主題建模，分析其語義特點，深入主題進行檢測。同時結合淺層統計特征，對網頁進行綜合檢測，以提高檢測效果。

2 相關定義

2.1 LDA主題模型

LDA（Latent Dirichlet A llocation）是由Blei等人提出的一種文本模型［12］，可以用來識別文檔或者語料庫中潛藏的主題信息。

LDA主題模型中定義了詞語（w）、文檔（m）與主題（z）3個基本定義。其中詞語是最基本的離散概念，就是自然語言中的詞。文檔就是多個詞語的集合，主題則是一系列詞語的集合。對于語料庫中的每篇文檔，LDA假設了如下生成過程：

（1）從參數為ξ的泊松分布Possion（ξ）中抽取N個詞語；

（2）從參數為α的Dirichlet先驗分布Dir（α）中為每個文檔m∈［1，M］抽取多項分布θm，從參數為β的Dirichlet先驗分布Dir（β）中為主題z［1，K］抽取多項分布φz；

（3）對每個詞語wn，n［1，N］：

1）根據多項分布θm抽取一個主題z；

2）根據多項分布φz抽取一個詞語w。

其中，M為文檔的數量；K為每個文檔中主題的數目，超參數α與β為Dirichlet先驗概率假設，在模型推斷中設定為固定值；θm表示文檔m在主題上的后驗概率分布；φz表示主題在詞匯上的后驗概率分布。

2.2 語義分析

本文使用LDA主題模型與語義相似度計算來進行語義分析。對于一個網頁m，其主題分布為：Z（m）=｛z1，z2，…，zK｝。每個主題zi（1≤K≤K）屬于文檔m的概率為δzK。zK中包含了一系列代表該主題的詞匯，記為W（zK），對其中每個單詞wi，它屬于主題zK的可能性為φ（wi|zK）。

定義1 語義相似度（Sim）：表示文檔或術語之間語義內容或涵義內容的相似程度。本文中使用基于W ordNet（http：//wordnet.princeton.edu/）的Lin方法來進行語義相似度計算。Lin方法計算2個詞語c1，c2的語義相似度為：

其中，lso（c1，c2）是詞語c1，c2最近的公共父節點的距離；P（c）表示c的概率。該方法除了考慮詞語c1，c2的共享信息，還考慮了詞語自身包含的信息，其結果貼近于人工判斷的結果。

定義2 主題語義明確度（T）：表示一個主題所表達含義的清晰程度。對于一個主題zi，其主題語義明確度為：

其中，Sim（wK，wl）表示單詞wK，wl之間的語義相似度；nzi表示主題zi中含有的詞匯數目。主題語義明確度是一個主題的內部詞匯之間平均相似程度。

定義3 主題間語義相關度（TS）：為2個主題間的語義相似程度。對2個主題zi，zj，其主題間語義相關度為：

式（3）反映了2個主題之間的語義相似程度。值越高，說明這2個主題的語義越相似。

定義4 主題詞匯分布偏斜性（TW）。構造基準主題zb，使得對于每個詞語wi（i=1，2，…，V），出現概率φ（wi|zb）=1/V。主題的詞分布偏斜性TW定義為主題zi的詞分布與zb的詞分布的差異程度，使用KL散度進行計算：

式（4）反映了主題中詞匯的分布與平均分布的差異性，TW值越小，主題上詞語的分布越接近平均分布。

3 主題與語義的檢測方法

作弊網頁檢測通常被視為一個二元分類的問題：將網頁用一系列特征來表示，隨后使用機器學習的方法建立分類器，將網頁分為正常網頁與作弊網頁兩類。TSSD的算法框架如圖1所示。

圖1 TSSD算法框架

TSSD算法以網頁文件作為輸入，對網頁內容進行預處理，抽取網頁正文，去掉停用詞，最終生成網頁詞集文檔，然后使用LDA方法進行主題建模，并對構建好的主題模型進行語義分析與計算，抽取網頁的語義特征與統計特征，最后使用機器學習分類算法進行分類檢測。

3.1 算法設計思想

在基于內容的網頁作弊中，作弊網頁不僅在詞匯數目、詞匯頻率等統計特征上與正常網頁具有區別，而且在文本主題上也有與正常網頁顯著不同的特征。作弊頁面通常是“主題堆積”的，即在內容中添加了大量與某些主題相關的關鍵詞，以提升網頁在這些主題上的查詢相關度。這些關鍵詞通常是語義相近的，且在頻率分布上不具有自然語言中的詞匯分布特點。TSSD方法根據此特點，提出了以下5個語義特征，在主題相關度、主題詞匯分布規律等方面進行作弊網頁檢測。

3.2 主題與語義的特征

3.2.1 網頁主題詞匯分布傾斜度

定義網頁主題詞匯分布傾斜度PW（m）的計算公式為：

其中，TW（zi）為定義4中主題詞匯分布偏斜性；PW（m）反映了網頁主題關鍵詞分布，取值越小說明主題中各個關鍵詞出現頻率越平均，不符合自然語言中少數詞匯出現頻率較高的特點，這樣的網頁有可能是作弊網頁。本文基礎了統計計算，繪制圖形如圖2所示。

圖2 網頁主題詞匯分布傾斜度統計圖

圖2 中包含了一個柱形圖和一個折線圖，柱形圖描述了網頁在某個方面的分布，水平軸描述了網頁在該方面的取值范圍。左垂直軸適用于柱形圖，反映了區間上網頁數目比例，右垂直軸適用于折線圖，反映了區間上作弊網頁的比例，即作弊可能性。本節其他圖的描述方式也是如此。

從圖2中可以看出，當網頁的PW（m）取值較低時，網頁具有較高的作弊可能性。

3.2.2 網頁主題明確度

定義網頁主題明確度PT（m）的計算公式為：

其中，T（zi）為定義2中主題語義明確度；PT（m）反映了網頁各個主題明確度的平均值，部分作弊網頁中過分堆積特定主題相關的關鍵詞，導致其PT（m）取值明顯高于正常網頁。對實驗數據進行統計繪制，圖3為網頁主題明確度統計圖。

圖3 網頁主題明確度統計圖

3.2.3 網頁主題間相關度

定義網頁主題間相關度PTS（m）的計算公式為：

其中，TS（zi，zj）為定義3中的主題間語義相關度。PTS（m）反映了網頁各個主題之間語義相關度的平均水平，作弊網頁中由于主題堆積導致其主題間語義相關度取值過高。對此針對實驗數據繪制了統計圖如圖4所示。

圖4 網頁主題間相關度統計圖

圖4 顯示，作弊網頁取值與正常網頁具有較大的不同。取值高于0.001后，網頁作弊的可能性隨著取值的變大而不斷增加。

3.2.4 網頁主題綜合明確度

定義網頁主題綜合明確度PTA（m）的計算公式為：

其中，δzi表示主題zi在網頁m中的權重。PIA（m）考慮到各個主題在網頁中的權重，對T（zi）進行了加權求和，反映網頁整體的主題明確度。作弊網頁中的主題堆積現象導致網頁整體主題明確度取值過高。如圖5所示描繪了對實驗數據的統計結果，可以看出作弊網頁與正常網頁的差異，隨著取值的不斷上升，網頁作弊的可能性也不斷提高。

圖5 網頁主題綜合明確度統計圖

3.2.5 網頁主題詞匯語義相關度PWS（m）

定義網頁主題詞匯語義相關度PWS（m）計算公式為：

其中，Sim（wi，wj）是詞匯wi，wj的語義相似度。PWS（m）考察主題內詞匯之間的語義相似度，取值過高可能是主題堆積與關鍵詞堆積導致，這樣的網頁很有可能是作弊網頁。圖6為關鍵詞語義相似度統計圖。

圖6 關鍵詞語義相似度統計圖

從圖6中可以看到，大部分網頁的網頁關鍵詞語義相似度的取值在0～4之間。當取值超過4時，網頁作弊的可能性迅速上升，當取值超過6時，網頁作弊可能性幾乎達到100%。

TSSD方法以網頁內容作為輸入，每個網頁看作一個單獨的文檔，對于不同長度的網頁，文檔規模也大小不一。部分網頁含有的文本內容較少，只有幾十甚至十幾個詞語，類似于tw eets。有研究顯示，對這樣的短文本進行建模時，由于詞匯數目較少，缺少足夠的詞出現數目，無法推斷詞之間的相關性，導致主題建模結果受到影響［13］。針對這個缺陷，同時為了加強文中方法的檢測效果，本文選取了文獻［3-4］中部分基于內容的統計特征：平均單詞長度，標題單詞數目，Keywords元標簽詞匯數目，錨文本數目，可見內容比例，網頁壓縮率。

（1）平均單詞長度。部分作弊網頁采用熱點詞匯拼接的方式進行作弊，統計顯示網頁平均單詞長度較高的網頁具有高的作弊可能性。

（2）標題單詞數目。標題是網頁內容的概括，在信息檢索中具有很高的權重。作弊網頁常常在網頁標題中添加大量檢索關鍵詞，以增加檢索范圍與權重，導致其標題單詞數目遠高于正常網頁。

（3）Keywords元標簽詞匯數目。Keywords元標簽關鍵詞填充是一種常見的作弊手段，部分作弊網頁在Keywords元標簽中添加了大量關鍵詞，導致其詞匯數目明顯高于正常網頁。

（4）錨文本數目。搜索引擎中，錨文本可以同時提高所在網頁與指向網頁的排名。作弊網頁之間通常相互鏈接，并大量使用錨文本來增加彼此的權重。因此，作弊網頁中通常具有更多的錨文本。

（5）可見內容比例。一些HTML標簽并不會被瀏覽器翻譯，例如網頁頭部meta標簽，圖片標簽中alt屬性等。然而這些標簽通常被作弊網頁利用，作為關鍵詞堆積的隱藏目標。這里的可見內容比例定義為網頁中無標記文本的長度除以網頁總長度，以比特為單位。正常網頁注重網頁的布局與文本的裝飾，文本標記較多，可見內容比例較低；而作弊網頁注重關鍵詞的堆積，文本標記相對較少，導致其可見內容比例較高。

（6）網頁壓縮率。一些搜索引擎給予網頁中多次出現的關鍵詞較高的權重，因此部分作弊網頁添加了大量的重復關鍵詞與重復內容，造成網頁內容的冗余。對此可以利用壓縮率來測試網頁的冗余，其中壓縮率為網頁壓縮后的大小除以網頁壓縮之前的大小。具有較高重復內容的作弊網頁，其壓縮率遠遠小于正常網頁。文中采用GZIP算法來進行網頁壓縮。

3.3 特性提取

TSSD方法以網頁文件作為輸入，每個網頁對應一個單獨的文件，文件內容即網頁源碼。本文中特征提取的步驟如下：

（1）網頁預處理：對每一個網頁m，進行預處理，得到網頁正文內容。例如，去掉htm l標簽、腳本與布局等。

（2）生成詞集文檔：使用Lucene提取正文中的詞匯，并去掉停用詞與無用的標記與符號，生成詞匯集合W（m）。

（3）LDA主題建模：以W（m）作為輸入進行主題建模，得到m的主題模型，包括文檔-主題矩陣、主題-詞語矩陣以及詞匯表等。

（4）語義分析與特征提?。簩嫿ê玫哪Ｐ瓦M行計算，得到語義特征集以及統計特征集，最終將m表示為語義特征和統計特征組成的向量。

3.4 分類學習

TSSD方法將網頁用語義特征和統計特征組成的特征向量來表示，然后使用W eka中的機器學習算法進行分類學習，如決策樹，貝葉斯方法等。圖7為使用C4.5算法獲得的決策樹的一部分。

圖7 決策樹（部分）

4 實驗與結果分析

4.1 數據集

實驗中使用了2個公共數據集：WebbSpamCorpus與WEBSPAM-UK2007。其中，WebbSpamCorpus包含了超過350 000個作弊網頁，是已知最大的作弊網頁數據集。WEBSPAM-UK 2007包含了105 896 555個網頁，專門用以進行作弊網頁檢測研究。

實驗將以上2個數據集混合，進行隨機選取，去掉其中的跳轉頁面與空白頁等無效頁面，最后得到一個包含18 724個正常網頁與2 560個作弊網頁的數據集，其規模與作弊網頁比例近似于文獻［3］中使用的數據。

實驗中使用開源工具JGibbLDA作為主題模型推斷的實現工具，并使用開源機器學習工具W eka進行作弊網頁的分類測試。使用精確率（precision）、召回率（recall）與F1測度（F-measure）作為分類結果的評價標準。

4.2 結果分析

為測試方法的檢測效果，本文進行了多組實驗：首先對LDA中K與twords的不同取值進行了對比測試，然后測試了機器學習中不同分類器的分類效果，最后與文獻［3］的統計特征進行了對比測試。

4.2.1 K與twords對結果的影響

在LDA方法中，主題數K與主題中關鍵詞數twords的取值對建模結果影響較大。對此，實驗中對實驗數據構建了多組主題模型，分別取值K，twords=4，5，6，7，8，9，10，并采用w eka中C4.5分類器進行分類測試。最后結果如圖8所示。

圖8 不同參數的結果對比

從圖8中可以看到，隨著K與twords取值的上升，Spam類的Precision、Recall與F-measure值都在不斷上升。當取值為10時，作弊頁面的查全率最高，同時獲得了較高的精確率與F-measure值。

4.2.2 比較不同分類器對分類結果的影響

實驗中對Weka中不同分類器在實驗中的檢測效果進行了對比分析。選取K=10，twords=10，并使用了C4.5、Random Forest、Random Tree、NaiveBayes、REPTree分類器進行了分類對比。結果如圖9所示?？梢钥闯?，使用RandomForest分類器可以獲得最好的分類效果。為了增強檢測效果，實驗隨后使用Boosting與Bagging方法來提高Random Forest分類器的分類效果。結果如表1所示。

圖9 不同分類算法的結果

表1 AdaBoost與Bagging分類效果 %

結果顯示，使用Boosting與Bagging方法均可以提高Random Forest分類器的分類效果，其中Boosting方法提升作弊網頁的查全率與正常網頁的精確率，而使用Bagging方法則提升可作弊網頁的精確率與正常網頁的查全率。

4.2.3 與傳統檢測方法的效果比較

為了比較基于主題的檢測方法與其他檢測方法的效果，實驗中模擬了文獻中Ntoulas提出的基于內容的檢測方法，并使用本文提出的TSSD方法在同一實驗數據上與其進行對比。方法選取Random Forest分類器，結果如表2所示。

表2 TSSD與N tou las方法比較 %

實驗結果顯示，TSSD方法可以獲得更高的精確率、查全率與F-measure值，在各項指標上均優于Ntoulas的檢測方法。由此可見，TSSD方法可以有效的對作弊網頁進行識別，并且比起傳統的基于統計特征的檢測方法可以獲得更好的檢測效果。

5 結束語

針對傳統的基于內容的作弊網頁檢測方法的檢測只停留在淺層統計特征的缺陷，本文提出基于主題與語義的作弊網頁檢測方法TSSD，對網頁內容進行主題建模與語義分析，提取了一系列深層的語義特征，提升了檢測層面。實驗結果顯示，該方法可以獲得較高的精確率、查全率與F1測度，具有良好的檢測效果。

［1］ Gyongyi Z，Garcia-Molina H.Web Spam Taxonomy［C］// Proceedings of the 1st International Workshop on Adversarial Information Retrieval on the Web.Chiba，Japan：［s.n.］，2005：576-587.

［2］ Spirin N，Han J.Survey on Web Spam Detection：Principles and Algorithm s［J］.ACM SIGKDD Explorations Newsletter，2012，13（2）：50-64.

［3］ Ntoulas A，Najork M，M anasse M，et al.Detecting Spam Web Pages Through Content Analysis［C］//Proceedings of the 15th International Conference on W orld W ide Web.New York，USA：ACM Press，2006：83-92.

［4］ Prieto V M，álvarez M，Cacheda F.SAAD，a Content Based Web Spam Analyzer and Detector［J］.Journal of System s and Software，2013，86（11）：2906-2918.

［5］ Gy?ngyi Z，Garcia-Molina H，Pedersen J.Combating Web Spam with Trustrank［C］//Proceedings of the 30th International Conference on Very Large Data Bases.New York，USA：ACM Press，2004：576-587.

［6］ Benczur A A，Csalogany K，Sarlos T，et al.SpamRankˉˉˉ Fully Automatic Link Spam Detection Work in Progress［C］//Proceedings of the 1st International Workshop on Adversarial Information Retrieval on the Web.New York，USA：ACM Press，2005：57-64.

［7］ Castillo C，Donato D，Gionis A，et al.Know Your Neighbors：Web Spam Detection Using the Web Topology［C］//Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.New York，USA：ACM Press，2007：423-430.

［8］ 陳小飛，王軼彤.一種基于鏈接結構的Spam網頁過濾算法［C］//第27屆中國數據庫學術會議論文集.北京：中國計算機學會數據庫專業委員會，2010.

［9］ 魏小娟，李翠平，陳 紅.Co-Trainingˉˉˉ內容和鏈接的Web Spam檢測方法［J］.計算機科學與探索，2010，（10）：899-908.

［10］ Wang W，Zeng G，Tang D.Using Evidence Based Content Trust Model for Spam Detection［J］.Expert System s with Applications，2010，37（8）：5599-5606.

［11］ Wu B，Davison B D.Cloaking and Redirection：A Preliminary Study［C］//Proceedings of the 2nd International Workshop on Adversarial Information Retrieval on the Web.New York，USA：ACM Press，2005：33-40.

［12］ Blei D M，Ng A Y，Jordan M I.Latent Dirichlet Allocation［J］.Journal of Machine Learning Research，2003，（3）：993-1022.

［13］ Hong Liangjie，Davison B D.Empirical Study of Topic Modeling in Twitter［C］//Proceedings of the 1st Workshop on Social Media Analytics.New York，USA：ACM Press，2010：80-88.

編輯 索書志

SPam Web Detection Method Based on ToPic and Semantic

YI Junkai，LIU Mufan，WAN Jing
（College of Inform ation Science and Technology，Beijing University of Chem ical Technology，Beijing 100029，China）

Web spam detection can be considered as a bi-classification problem.Currently，content-based spam web detection mainly uses statistic features，however，they are just at a junior level and have several limitations.The topic and semantic based spam Web detection method is presented which uses both semantic features and statistic features，expanding the spam detection to topic-level.The method conducts topic modeling，mappings the content to topic space，and computes and extracts the semantic features based on its topic distribution in topic space，and uses both semantic and statistic features to detect the spam.Experimental results show that the proposed method perform s better in term s of precision，recall and F1values.

classification；topic model；Latent Dirichlet A llocation（LDA）；semantic feature；semantic sim ilarity

易軍凱，劉慕凡，萬 靜.基于主題與語義的作弊網頁檢測方法［J］.計算機工程，2015，41（9）：311-316.

英文引用格式：Yi Junkai，Liu Mufan，Wan Jing.Spam Web Detection Method Based on Topic and Semantic［J］. Computer Engineering，2015，41（9）：311-316.

1000-3428（2015）09-0311-06

A

TP309

10.3969/j.issn.1000-3428.2015.09.057

中央高校基本科研業務費專項基金資助項目（ZZ1311）。

易軍凱（1972-），男，教授，主研方向：信息安全，人工智能，語義挖掘；劉慕凡，碩士研究生；萬 靜（通訊作者），講師。

2014-07-10

2014-09-19 E-m ail：wanjing@mail.buct.cn