圖像型垃圾郵件過濾技術綜述

摘 要：從基于圖像特征的圖像型垃圾郵件的檢測難點入手，總結了目前用于識別垃圾郵件的圖像特征，將其歸類為文件屬性、圖像屬性等八類特征。對已經用于圖像型垃圾郵件分類的五種分類算法，包括支持向量機、決策樹法、最大熵模型、DS證據理論、貝葉斯算法進行了理論分析與效果比較。最后對圖像型垃圾郵件過濾技術的研究方向進行了展望。

關鍵詞：圖像型垃圾郵件；人為干擾；垃圾郵件圖像；特征分析；分類算法

中圖分類號：TP391 文獻標志碼：A

文章編號：1001-3695(2008)09-2579-04



Survey on imagebased spam filtering



WAN Ming cheng，GENG Ji，CHENG Hong rong，CHEN Jia

(School of Computer Science Engineering， University of Electronic Science Technology of China， Chengdu 610054， China)

Abstract:This paper analyzed the difficulties of detecting imagebased spam with the features of images in detail. The features of spam images were divided into eight categories such as file attribute features， image metadata and so on. Then，

discussed and compared five classification algorithms which have been used in imagebased spam filtering were outlined， including support vector machines， decision tree method， maximum entropy model， the DS evidence theory， Bayesian algorithm and the effect of these algorithms. Finally，gave some future directions of research on the techniques of imagebased spam filtering.

Key words:image based spam；human disturbance；spam images；feature analyze；classification algorithms



近年來，大量的垃圾郵件充斥著個人郵箱和企業郵箱，給社會造成了重大損失。據2007年10月中國互聯網協會反垃圾郵件中心發布的調查數據顯示，用戶每周收到的郵件中55.85%為垃圾郵件。這使得企業用戶每天處理垃圾郵件的時間最長達0.6 h^[1]。這些垃圾郵件一方面消耗網絡帶寬并占用大量的存儲資源；另一方面浪費用戶大量時間去清除這些垃圾郵件。更嚴重的是，這些垃圾郵件通常包含大量的不良信息。幸運的是，在與垃圾郵件斗爭的過程中，人們提出了很多有效的垃圾郵件檢測算法，如貝葉斯算法^[2~4]、文本聚類^[5~7]、基于語義的過濾算法^[8~10]等。但是很多垃圾郵件檢測算法都依賴于郵件中的文本內容。垃圾郵件制造者為了逃避這些傳統的基于文本的垃圾郵件過濾器的檢測，將大量廣告信息嵌入到圖像中。這種將廣告信息嵌入到圖像中的垃圾郵件一般稱為圖像型垃圾郵件。該類郵件在2006年開始爆發。據Ironport的報告顯示，圖像型垃圾郵件占垃圾郵件數量的比例從2005年7月的3%上升到2006年7月的20%^[11]。這種類型的垃圾郵件瞬間引起社會各界的高度重視。在各方的努力下，這種類型的垃圾郵件占總垃圾郵件數量的比例已降至7%^[12]。圖像型垃圾郵件與文本型垃圾郵件相比造成了更大的帶寬消耗、更多的存儲空間浪費，其大小是文本型垃圾郵件的10~20倍^[13]。

基于文本內容的垃圾郵件過濾器依靠文本內容來判別垃圾郵件。對于圖像型垃圾郵件，許多學者提出了基于垃圾郵件所含的圖像（以下簡稱垃圾郵件圖像）所具有的特征來判別垃圾郵件，并取得了令人鼓舞的成績。



1 圖像型垃圾郵件檢測難點

圖像型垃圾郵件檢測與文本型垃圾郵件存在很多的不同點，通過對垃圾郵件圖像的深入分析發現，通過區分垃圾郵件圖像特征來識別垃圾郵件主要存在四個方面的困難：

a)垃圾郵件圖像沒有統一的定義。一個清楚、準確的定義可以幫助人們有效地界定一樣事物。垃圾郵件也不例外。中國互聯網協會反垃圾郵件中心將垃圾郵件明確地定義為以下五類郵件^[1]：（a）收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件；（b）收件人無法拒收的電子郵件；(c)隱藏發件人身份、地址、標題等信息的電子郵件；(d)含有虛假信息源、發件人、路由等信息的電子郵件；(e)含有病毒、惡意代碼、色情、反動等不良信息或有害信息的郵件。然而對于具備哪些特征的圖像可被認為是垃圾郵件圖像卻沒有如此明確的定義。目前已有兩位學者試圖對垃圾郵件圖像進行定義。賴均^[14]將以下三類圖像定義為垃圾郵件圖像：具有特定目的的政治、宗教圖像；具有商業目的的宣傳圖像；色情圖片。Mark Dredze等人^[15]則簡單地將垃圾郵件圖像定義為：如果一幅圖像包含在垃圾郵件之中，則認為該圖像為垃圾郵件圖像。為準確判定圖像型垃圾郵件，急需一個對垃圾郵件圖像的明確定義，并且對垃圾郵件圖像的定義應有助于憑借垃圾郵件圖像特征來區分垃圾郵件，而不是通過垃圾郵件來區分垃圾郵件圖像。

b)缺乏垃圾郵件圖像語料庫。公共的標準語料庫不但可以為研究提供可信的數據來源，而且能夠為各種算法的評價提供統一的測試集。但遺憾的是，垃圾郵件圖像語料庫相當少。大部分研究者所使用的垃圾郵件圖像主要有兩個來源：從垃圾郵件集SpamArchive^[16]中提取出垃圾郵件圖像；從個人郵箱中收集^[17]。而正常圖像則主要通過三類途徑獲?。海╝）從個人郵箱中收集^[18]；(b)利用搜索引擎并使用“photo”“baby”“graphic”等關鍵詞在網上搜索^[19]；(c)手工生成一些圖像^[20]?？上驳氖?，部分研究者^{[15，21]}將其使用的語料庫公開，形成了一些可用語料庫?，F在可用的語料庫信息總結如表1所示。

c)人為干擾。為阻止嵌入圖像中的廣告信息被提取出來，垃圾郵件制造者常使用一些干擾技術如CAPTCHA（completely automated public turing test to tell computers and humans apelles ，全自動區分計算機和人的圖靈測試）^[22]來為圖像添加人為干擾，如圖1所示。這些干擾技術使得一些特征提取手段失去了作用，如降低了OCR的文字識別率。目前，垃圾郵件制造者一般通過兩步來構造一幅垃圾郵件圖像^[21]：首先利用模板構建一幅圖像；然后再對圖像添加隨機化干擾。構建圖像的模板常見的有四種：波浪型、動態型、變形型、旋轉型。常見的隨機化干擾技術有：對模板圖像進行水平或垂直移動、裁剪、旋轉、模糊；隨機添加干擾圓點、線條、光柵、干擾幀、隨機比特、干擾圖形；改變模板大小、字體、字符大小、字符顏色、線條顏色以及切分文字等。這些干擾在很大程度上阻礙了對垃圾郵件圖像的識別。

d)圖像處理效率低。在實際應用中，對垃圾郵件過濾器有較高的實時性要求。而現在的圖像處理技術一般都會占用很長的時間，并且可能隨著圖像的大小變化而呈線性變化。有些圖像型垃圾郵件識別算法處理每封郵件所需的時間可能達到2~3 s^[20]，這將直接影響到算法的實用性，并且要提取出區分性好的特征非常困難。

2 垃圾郵件圖像特征分析

自從圖像型垃圾郵件出現以來，人們便對該類型垃圾郵件給予了高度重視，并從不同角度提出了許多垃圾郵件圖像的特征。這些特征大致可分為以下幾種：

a)文件屬性特征。垃圾郵件制造者需要發送大量的垃圾郵件，其自身也要考慮時間和帶寬等因素，致使其發送的郵件大小受到限制。那么在選擇圖像文件時就會選取圖像壓縮率高的圖像格式，從而使得生成的垃圾郵件圖像文件較小。因此可以選取文件的大小和格式作為特征^[23]。常見的垃圾郵件圖像格式有.jpeg、.gif、.png。

b)圖像屬性特征。圖像的頭信息可以為區分圖像提供一定的依據。這些信息包括圖像的高、寬、面積、幀數、顏色表、索引值等。因此也可以將這些圖像屬性作為垃圾郵件圖像的特征^[15]。文件屬性和圖像屬性最大的優點就是提取速度快，因為其幾乎不涉及圖像處理算法。

c)顏色特征。垃圾郵件圖像大多是由計算機產生，并非自然場景圖像，因此它具有一些與其他圖像不同的顏色特征。已分析出的特征包括顏色的異質性、顏色矩^[24]、色飽和度、主色覆蓋范圍以及紅、綠、藍三色的平均值^[15]。顏色是圖像的重要特征，其區分能力較好，且具有較好的魯棒性。

d)邊緣特征。邊緣信息通?？梢院芎玫胤从硤D像中對象的形狀特征，所含對象的不同則可以通過邊緣信息區分出來。例如垃圾郵件圖像中通常含有大量文字，因此其表現出來的邊緣信息也就不同。可以將邊緣的一些特征如邊緣方向和邊緣方向的自相關性^[18]作為垃圾郵件圖像的特征。

e)文本區域特征。為逃避基于文本的垃圾郵件過濾器的檢測，大量文本信息被垃圾郵件制造者嵌入到圖像中。而正常郵件圖像一般不含或含有少量的文字，因此出現了眾多的垃圾郵件圖像中文本區域的定位算法，如基于形態學的文本區域定位算法^[25]、基于顏色層的文本區域定位算法^[26]。獲取文本區域后即可根據文本區域的特征區分垃圾郵件圖像和正常圖像^[27]，這些特征包括文本區域的數量和文本區域的面積等。f)文字內容信息。既然圖像中含有大量的廣告信息，則可以用一些文字識別工具^{[28，29]}將這些文字提取出來，然后利用傳統的基于文本的郵件檢測方法，如采用文本語義分析^[30]或利用關鍵詞匹配^[31]就可以判斷一封郵件是否為垃圾郵件。其結構如圖2所示。但這種方法的有效性依靠文字識別的準確度，且效率較低。

g)噪聲特征。正常圖像通常不會含有大量人為干擾，而垃圾郵件制造者通常會向垃圾郵件圖像中加入噪聲干擾來阻止文字識別。通過對圖像中文字區域周圍噪聲干擾的檢測，即可為垃圾郵件圖像的判定提供依據。使用周邊復雜度可以描述一幅文字圖像的可閱讀性，其定義為P²/A。其中： P為文字區域的周長； A為文字區域的面積^[32]。利用P²/A就可以衡量一幅圖像是否含有干擾。無干擾的文字圖像中P²/A的值一般在^{[15，150]}中^[33，34]。垃圾郵件制造者弄巧成拙，這些干擾成了判定垃圾郵件圖像的一個較好的特征。

h)其他特征。除了上述一些顯著的特征外，垃圾郵件圖像還具備一些其他特征，包括紋理特征、位置特征、自相似性等。由于大量垃圾郵件圖像不是自然場景圖像，一般不含有紋理，且很多垃圾郵件圖像位于一個Web服務器，而正常郵件很少使用這種方式，圖像的位置也可以是它的一個特征^[20]。自相似性則指垃圾郵件圖像被分成小塊后，每小塊的模式特征相似^[24]。

3 圖像型垃圾郵件分類算法

對于垃圾郵件圖像的判定，一般采用如圖3所示的分類結構。其中有兩方面的因素比較重要：a)選取具有區分性較好的特征；b)選取準確度高、效率好的分類算法。目前，基于機器學習的分類方法受到高度重視。在垃圾郵件圖像檢測中用到的分類算法大致有支持向量機、決策樹法、最大熵模型、D-S證據理論、貝葉斯算法。

3.1 分類算法

1)支持向量機（support vector machine，SVM） 它是一種基于統計學習理論的機器學習方法。統計學習理論針對小樣本統計問題建立了一套新的理論體系，最近十多年間發展迅速，成為各界研究的熱點。支持向量機也隨之發展，通過構造最優分類平面來分類。在傳統的基于文本內容的垃圾郵件過濾算法中，支持向量機就表現出了很好的性能^[35，36]，在垃圾郵件圖像分類中也得到了學者的肯定，取得了比較理想的效果^[19]。

2)決策樹法 該方法起源于概念學習系統，是一種基于規則的方法。它采用某種算法構造一顆類似于流程圖的樹型結構。該樹的每一個內部節點代表一個待測試的屬性，一條邊代表一個測試結果，一個葉子節點代表一個分類結果，因此從樹根到葉子的一條路徑可認為是一條分類規則。決策樹所產生的規則較易理解，分類速度快。但遺憾的是，在垃圾郵件圖像分類中表現效果不佳，有待改進^[23]。

3)最大熵模型 它是一種廣泛應用于信號處理領域的技術，目前已成為一個比較成熟的統計模型。其基本思想是：給定訓練樣本，選擇一個與訓練樣本一致的模型；最大熵模型應選擇與這些觀察相一致的概率分布，而對于除此之外的情況，模型賦予均勻的概率分布^[37]。Mark Dredze等人^[15]創造性地將最大熵模型引入到垃圾郵件圖像檢測中，并取得了較好的效果。

4)D-S證據理論20世紀60年代末和70年代初，Dempster和Shafer建立起了證據理論，被稱為D-S證據理論。該理論是對概率論的進一步擴充，現已在模式識別、決策系統等諸多領域得到應用。李茹等人^[38]使用D-S證據理論對傳統的文本過濾算法與色情圖像檢測算法的結果進行融合，對色情型圖像垃圾郵件進行過濾并獲得了令人滿意的結果。

5)貝葉斯算法 它是一種應用廣泛的分類算法，其理論基礎是Thoms Bayes提出的一種基于概率統計的推理理論。早在2002 年，Paul Graham^[39]便提出將Bayes 算法應用于垃圾信息處理領域。目前，該分類算法已經在垃圾郵件檢測領域占有重要地位。鑒于該算法在文本型垃圾郵件過濾上取得了驕人的成績，Mark Dredze等人^[15]將樸素貝葉斯算法應用到垃圾郵件圖像分類中，但效果不是非常理想。

3.2 算法對比

對垃圾郵件分類算法的評價指標有召回率R（recall）、正確率P（precision）、精確率Accur（accuracy）、錯誤率Er（error rate）及F值；前面三個指標較為常用。這些評價指標同樣適用于郵件圖像的分類算法。如果一個郵件圖像分類結果如表2所示，則以上評價指標可由式（1）~（5）計算：

R=TP/(TP+FN)(1)

P=TP/(TP+FP)(2)

Accur=(TP+TN)/(TP+FP+FN+TN)(3)

Er=1-Accur(4)

F=2PR/(P+R)(5)

表2 垃圾郵件圖像判定結果

幅

判定結果垃圾郵件圖像正常圖像

系統判定為垃圾郵件圖像TPFP

系統判定為正常郵件圖像FNTN

由于圖像型垃圾郵件爆發時間較短，目前還沒有形成公用的標準語料庫，大部分學者所使用的圖像型垃圾郵件語料庫都是自己搜集或人工構造的，這給算法評價帶來了困難。

目前有幾位學者嘗試使用不同的分類算法作少量對比實驗。Mark Dredze等人從垃圾郵件庫SpamArchive中獲得垃圾郵件圖像9 503張，個人收集垃圾郵件圖像3 239張，共12 842張圖像作為垃圾郵件圖像。從個人郵箱中收集正常郵件圖像2 550張作為正常圖像集，選取文件屬性特征、圖像屬性特征、顏色特征、邊緣特征、任意像素測試結果作為特征向量。對最大熵模型分類算法、樸素貝葉斯分類算法和ID3決策樹算法進行比較，發現最大熵模型效果最好，其精確率達97%；其次為決策樹法，精確率為93%；最后為樸素貝葉斯算法，精確率為85%。Seven Krasser等人^[23]收集3 711張不相同的垃圾郵件圖像和1 999張不相同的正常郵件圖像作為語料庫，選取文件屬性和圖像屬性作為特征集，對C4.5決策樹算法和支持向量機算法進行比較發現，支持向量機算法的性能略優于C4.5決策樹算法。

各種分類算法都有其優缺點，針對不同的特征集，其表現各異。因此，在確定分類算法時可選用多種算法進行比較。按照算法性能指標進行評價，選取性能較優的算法。

4 結束語

圖像型垃圾郵件的爆發給社會造成了很大影響。在各界人士的努力下，圖像型垃圾郵件已經在一定程度上得到了遏制。但是，圖像型垃圾郵件并未銷聲匿跡，在垃圾郵件中所占比例仍然較高，且圖像型垃圾郵件也可能出現新的變種，所以還有大量的工作值得去做：a）應對圖像型垃圾郵件作更深入的分析，選取區分性更好的特征。b）圖像特征提取速度較慢，不適合實時性要求較高的垃圾郵件過濾器的要求。因此，可以優化特征提取算法，并選擇容易提取的特征。c）目前，垃圾郵件圖像識別的準確率不高，而垃圾郵件檢測需要較低的誤判率，應進一步提高準確率。d)在分類算法上，還有大量高效的算法未曾引入到圖像型垃圾郵件檢測領域，如Boosting算法、粗糙集算法等，所以可以嘗試新的算法以提高系統性能。

參考文獻：

［1］中國互聯網協會反垃圾郵件中心.2007年第三次中國反垃圾郵件狀況調查報告[EB/OL]. http://www.antispam.cn.

[2]KIM H J，SHRESTHA J，KIM H N，et al.User action based adaptive learning with weighted Bayesian classification for filtering spam mail[C]//Proc of Advances in Artificial Intelligence.[S.l.]:SpringerVerlag，2006:790798.

[3]YANG Zhen，NIE Xiangfei，XU Weiran，et al.An approach to spam detection by naive Bayes ensemble based on decision induction[C]//Proc of the 6th International Conference on Intelligent Systems Design and Applications.2006:861-866.

[4]ANAYAT S，ALI A，AHMAD H F.Using a probable weight based Bayesian approach for spam filtering[C]//Proc of the 8th International Multitopic Conference.2004:340-345.

[5]SASAKI M，SHINNOU H.Spam detection using text clustering[C]//Proc of International Conference on Cyberworlds.2005.

[6]HSIAO W F，CHANG T M，HU G H.A clusterbased approach to filtering spam under skewed class distributions[C]//Proc of the 40th Hawaii International Conference on System Sciences.2007:53-60.

[7]ZHANG Pengfei，SU Yujie，WANG Cong.Statistical machine learning used in integrated antispam system[C]//Proc of the 6th International Conference on Machine Learning and Cybernetics.2007:4055-4058.

[8]JANG E.Learning to semantically classify email messages[C]//Proc of Intelligent Control and Automation.[S.l.]:Springer，2006:700711.

[9]張秋余，張博，遲寧.自然語言語義理解在反垃圾郵件中的應用[J].計算機應用，2006，26(6): 13151317.

[10]BREWER D，THIRUMALAI S，GOMADAM K，et al.Towards an ontology driven spam filter[C]//Proc of the 22nd International Conference on Data Engineering Workshops.2006.

[11]Ironport. Image spam:the email epidemic of 2006[EB/OL].http://www.ironport.com/technology/ironport_image_spam.html.

[12]Symantec.垃圾郵件現狀報告[EB/OL].(200711).http://www.symantec.com/zh/cn/about/news/release/article.jsp?prid=20071115_01.

[13]Symantec.The new wave of spam [EB/OL].http://www. symantec.com/business/library/article.jsp?aid=new_wave_of_spam.

[14]賴均.反垃圾郵件技術的研究和原型實現[D].成都：電子科技大學，2005.

[15]DREDZE M，GEVARYAHU R， BACHRACH A E.Learning fast classifiers for image spam[C]//Proc of the 4th Conference on Email and AntiSpam.2007.

[16]SpamArchive [EB/OL].http://www.seas.upenn.edu/ ~mdredze/datasets / image_spam/.

[17]BIGGIO B， FUMERA G， PILLAI I，et al.Image spam filtering by content obscuring detection[C]//Proc of the 4th Conference on Email and AntiSpam.2007.

18]NHUNG N P， PHUONG T M. An efficient method for filtering imagebased spam[C]//Proc of IEEE International Conference on Research， Innovation and Vision for the Future.2007:96102.

[19]ARADHYE H B，MYERS G K，HERSON J A.Image analysis for efficient categorization of imagebased spam email[C]//Proc of the 8th International Conference on Document Analysis and Recognition.2005:914-918.

20]WU C T，CHENG K T，ZHU Qiang，et al.Using visual features for antispam filtering[C]//Proc of IEEE International Conference on Image Processing.2005.

[21]WANG Zhe，JOSEPHSON W，LV Qin，et al.Filtering image spam with nearduplicate detection[C]//Proc of the 4th Conference on Email and AntiSpam.2007.

[22]The CAPTCHA project [EB/OL]. http://captcha.net.

[23]KRASSER S， TANG Yuchun， GOULD J，et al.Identifying image spam based on header and file properties using C4.5 decision trees and support vector machine learning[C]//Proc of IEEE SMC Information Assurance and Security Workshop.2007:255-261.

[24]BYUN B， LEE C H， WEBB S，et al.A discriminative classifier learning approach to image modeling and spam image identification[C]//Proc of the 4th Conference on Email and AntiSpam.2007.

[25]許洋洋，袁華.一種基于內容的圖像垃圾郵件過濾方法[J].山東大學學報：理學版， 2006，41(3): 37-42.

[26]KIM J S， KIM S H， YANG H J，et al.Text extraction for spammail image filtering using a text color estimation technique[C]//Proc of New Trends in Applied Artificial Intelligence.[S.l.]:SpringerVerlag，2007:105114.

27]WU C T. Embeddedtext detection and its application to antispam filtering[D].California: University of California，2005.

[28]GOCR[EB/OL].http://jocr.sourceforge.net/.

[29]ABBYY.ABBYY FineReader 7.0 professional [EB/OL].http://www.abbyy.com/.

[30]FUMERA G，PILLAI I，ROLI F.Spam filtering based on the analysis of text information embedded into images[J].Journal of Machine Learning Research，2006，7:2699-2720.

[31]ISSAC B，RAMAN V.Spam detection proposal in regular and textbased image emails[C]//Proc ofIEEE Region 10 Conference on TENCON.2006:1-4.

[32]CHEW M， BAIRD H S. Baffle text:a human interactive proof[C]//Proc of SPIEIST Electronic Imaging.2003:305-316.

[33]BIGGIO B， FUMERA G， PILLAI I，et al.Image spam filtering using visual information[C]//Proc of the 14th International Conference on Image Analysis and Processing.2007:105110.

[34]FUMERA G，PILLAI I，ROLI F.Image spam filtering using textual and visual information[C]//Proc of MIT Spam Conference.2007.

[35]WANG Ziqiang， SUN Xia， LI Xin，et al.An efficient SVMbased spam filtering algorithm[C]//Proc of the 5th International Conference on Machine Learning and Cybernetics.2006:3682-3686.

[36]ISLAM M R， CHOWDHURY M U， ZHOU Wanlei. An innovative spam filtering model based on support vector machine[C]//Proc of International Conference on Computational Intelligence for Modeling， Control and Automation， and International Conference on Intelligent Agents， Web Technologies and Internet Commerce.2005:348-353.

[37]宋國杰， 唐世渭， 楊冬青，等.基于最大熵原理的空間特征選擇方法[J].軟件學報，2003，14(9):15441550.

[38]李茹，李弼程.基于DS證據理論的郵件篩選方法[J].計算機工程與設計，2005，26(10):2833-2836.

[39]GRAHAM P.A plan for spam [EB/OL].http:// paulgraham.com/spam.html.