基于深度學習的網頁違規圖片檢測

余 聰，李柏巖，劉曉強

（東華大學計算機科學與技術學院，上海 201620）

0 引言

近年來，隨著信息技術的高速發展，網站已經成為企業和機構與用戶交互的重要平臺，許多線上業務都必須依托網站開展。然而，由于網絡世界的虛擬性、開放性，網絡監管變得尤為困難，尤其是一些色情、暴力、垃圾廣告等不良圖片的傳播，使得網絡應用面臨著巨大的風險。

針對網站中可能出現的大量不良圖片，使用人工監管的方式，無疑需要耗費巨大的人力成本。隨著深度學習的快速發展以及深度卷積神經網絡在抽象特征提取上的巨大優勢，深度學習的方法明顯優于傳統的圖像識別算法。通過設計一個基于深度學習的智能圖像審核系統，實現違規圖像的自動識別，不僅可以大大節約審核人力，還可以快速、精準地對不良圖像進行過濾。

網絡違規圖片檢測目前也受到了工業界的關注。近年來，針對互聯網上傳播的違規圖片，工業界通常提供單一接口檢測單類違規圖片的服務，這種檢測方式存在著一定的局限性，不適用于一些中小型企業的實時在線圖片監測需求。首先，對于多類違規圖片檢測，用戶通常需要購買多個接口，檢測成本高，集成效率低；其次，工業界訓練的模型復雜，對硬件要求高。本文針對目前網絡違規圖片實時監測的需求，提出了一種基于深度學習的網頁違規圖片檢測方案。主要貢獻如下：

（1）構建了多類別違規圖片數據集。基于卷積神經網絡的圖像識別技術，需要通過大量的數據集來學習圖像中的抽象特征。本系統待檢測的圖片均為不良圖片，現有的公開數據集十分有限。本文主要通過抽取公開數據集、網絡爬蟲、提取視頻關鍵幀并對得到的數據進行清洗的方式構建違規圖片數據集。

（2）基于MobileNet 設計了一個輕量級模型對色情、暴力和廣告等三類不良圖片實現一次性檢測，在保證準確率的前提下，提高了模型檢測的效率。

實驗和應用表明，該模型用于檢測網頁違規圖片時，準確率高、速度快，可以為中小型網站提供一種低成本的違規圖片檢測服務。

1 網頁違規圖片檢測整體框架

網頁違規圖片檢測主要分為樣本庫構建、模型構建、網頁圖片檢測三部分，如圖1 所示。為了構建圖片檢測模型，首先通過網絡爬蟲、提取視頻關鍵幀、抽取公開數據集等方式構建初始樣本庫，由于違規圖片樣本數量有限，使用數據增強的方式來擴大訓練樣本數量；然后以MobileNet 作為骨干網絡，搭建違規圖片檢測模型（illegal picture detection model, IPDMnet），在保證模型準確率與檢測速度的前提下，對模型進行訓練并優化；在網頁圖片監測階段，以爬蟲方式爬取得到網頁圖片，并利用違規圖片檢測模型IPDMnet 對爬取的圖片進行檢測，最后輸出檢測結果。

圖1 網頁違規圖片檢測整體框架圖

2 基于多分類的網頁違規圖片檢測模型

2.1 樣本庫構建

通過對實際業務需求的分析，將需要檢測的違規圖片分為正常、色情、暴恐、垃圾廣告這四類。數據集樣本庫的來源如下。

2.1.1 正常圖片

主要指不包含違規內容的圖片。本文首先從公開數據集ImageNet 選取20 種最常見的類別，如人物圖、動物圖、風景圖等，再從每個類別隨機抽取一定數量的圖片構建正常圖片樣本。

2.1.2 色情圖片

主要指包含淫穢信息的圖片。本文構建的色情圖片分為真人和動漫兩大類。由于公開的色情數據集十分有限且分辨率低，真人類色情圖片主要通過抽取NSFW 圖像數據集的方式構建，動漫類色情圖片主要通過網絡爬蟲的方式從國外不良網站爬取。

2.1.3 廣告圖片

主要指包含二維碼、手機號、推銷標語等具有明顯推銷意圖的圖片。本文主要通過網絡下載的方式構建。

2.1.4 暴恐圖片

主要指包含明顯打斗、血腥場景的圖片。目前沒有公開的暴恐圖片數據集，本文主要從影視視頻和暴恐視頻數據集提取視頻關鍵幀進行數據集構建。

2.2 數據預處理

為了提高模型的訓練速度以及模型的準確率，需要對訓練的圖像數據進行預處理。本文主要從數據清洗和數據增強方面提高圖像數據的質量。

2.2.1 數據清洗

由于采集的圖片大多來自于網絡，圖片的形狀、大小不一，將對模型訓練產生一定的影響。比如圖片的高寬比過大或者過小時，圖片會嚴重變形、失真，故本文將采集到的圖片數據進行過濾，去除高寬比大于5或者小于0.2的圖片；而當圖片的尺寸過小時，圖片識別度大大降低，尺寸過大時，影響模型訓練速度與成本，故本文將可用的圖片數據限制在10 K～10 M之間。

實驗表明，圖片的格式類型同樣會影響模型的訓練，比如單通道灰度圖像、多通道的RGB 圖像和BGR 圖像等。為了提高訓練集數據質量與規范，本文將訓練集數據規范為RGB 類型。對單通道的灰度圖像，先進行通道擴充；對于BGR圖像，先將其轉化為RGB圖像。

2.2.2 數據增強

為了進一步擴大訓練數據量，從而提升模型性能，采用多種數據增量技術。傳統的隨機縮放裁剪方法，可以產生大量圖片碎片，成倍擴充數據量。但針對本文處理的違規圖片，特別是色情、暴恐類圖片，當它們被裁切之后，往往會失去原有的屬性，造成對應的標簽錯誤。因此，本文在輕量級數據增強技術的基礎上，引入一種免搜索的自動數據增強策略TrivialAugment。傳統的自動數據增強方法如AutoAugment往往是以數據增強策略作為搜索空間，并結合強化學習得到搜索方法，但這類自動數據增強的方式往往搜索空間巨大，實驗代價高。TrivialAugment 不需要任何搜索，方法十分簡單：先定義一個圖像增強策略集合，每次隨機選擇一個圖像增強策略，并隨機確定它的增強幅度，最后對圖像進行增強。整個過程不需要任何超參數，所以不需要任何搜索。

本文首先對已有數據集圖像分別水平翻轉90°、180°、270°，將數據擴大為原來的4 倍，再引入TrivialAugment 進行自動數據增強。實驗表明，TrivialAugment 在本文的違規圖片數據集上具有良好的應用效果。

2.3 基于MobileNet的違規圖片檢測模型

2.3.1 IPDMnet核心結構

傳統的深度卷積神經網絡，如AlexNet、VGG、GoogLeNet、ResNet 在圖像分類領域都取得了良好的效果。但是，這些傳統的深度卷積神經網絡往往模型復雜、計算量大，對硬件資源有限、模型速度要求快的場景并不適用。本文采用輕量級網絡MobileNetV2 作為骨干網絡。MobileNetV2網絡是google 團隊在2018 年提出來的，該模型準確率高、參數小、運算量低。此外，最近研究表明，通道注意力機制如SE-NET 在提升深度卷積神經網絡性能方面有巨大的優勢。但是，傳統的注意力模塊往往需要增加大量參數，提高了模型的復雜度。因此，本文在模型中引入一種輕量級注意力模塊ECANET來提升模型性能。

MobileNetV2的優勢主要源于倒殘差結構,而SE注意力模塊在殘差網絡結構上有良好的表現。Hu 等通過消融實驗證明，將SE 模塊引入殘差結構之后，能夠有效提高殘差模型的性能。由于倒殘差結構與殘差結構提取特征的方式十分類似，ECA 模塊也相當于對SE 模塊的一個改進，本文受此啟發，將ECA 模塊引入Mobile-NetV2中的倒殘差結構之后，構建基于倒殘差結構和ECA 分支的block 塊。構建的block 塊為IPDM模型的核心部分，如圖2所示。實驗表明，ECA 與倒殘差結構的融合在本文的違規圖片數據集上能夠取得良好的效果。

圖2 IPDMnet核心結構示意圖

2.3.2 倒殘差網絡

倒殘差結構主要分為三個部分：升維卷積PW1、特征提取卷積DW、降維卷積PW2，并借鑒ResNet 的殘差結構，使用shortcut 將輸入與輸出相加，如圖3所示，它主要是為了適配DW 卷積而設計的。由于DW 卷積自身的計算特性決定了它不能改變通道數量，所以如果上一層輸出的通道數較少，DW 卷積只能在低維空間提取特征，效果并不好。所以倒殘差結構給每個DW卷積都配備了一個PW 卷積用于升維，通過升維系數設定。這樣即使輸入通道比較低，經過一個PW 卷積升維后，DW 卷積都可以在一個相對更高維的空間提取特征。另一方面，相關實驗表明，激活函數在高維空間能增加非線性能力，在低維空間會破壞特征，因此，在經過PW2 卷積的降維操作后，不再使用激活函數，而是使用一個linear層線性輸出。

圖3 倒殘差結構示意圖

2.3.3 ECA-NET分支

ECA-NET 是一種極輕量級的注意力模塊，它以SE 模塊為基礎，通過引入一維卷積，不僅避免了特征維度的縮減，并且保證了通道間的信息交互，在降低復雜度的同時，保持了模型性能。ECA 模塊主要包含三個部分：全局平均池化產生對應特征圖，計算得到自適應的kernel_size，應用kernel_size 到一維卷積產生對應通道權重，如圖4所示。通過自適應函數得到一維卷積的卷積核大小，可以使得通道數較大時進行更多的通道信息交互。自適應卷積核大小計算公式為：

圖4 ECA網絡結構示意圖

公式（1）中表示輸入的通道數，其中= 2，= 1，表示選擇最近的奇數。

本文模型IPDMnet 的輸入為224 × 224 大小的圖片，特征提取部分包含1 個卷積層和7 個基于倒殘差結構和ECA 的block 塊，其中構建的block 塊為模型的核心部分。第一個卷積層采用32 個3 × 3 的卷積核，卷積核步長為2，卷積層后面設置一個BN 層，以加快模型的收斂，激活函數使用ReLU6；每個block 塊在倒殘差結構之后構建ECA 分支，并給對應的通道加權；分類器部分采用一個平均池化下采樣層avgpool 和一個全連接層，為了防止模型過擬合，在全連接層中加入dropout 層并設置dropout 值為0.2。由于本文做的是4分類，最后全連接層的神經元個數設為4。

3 實驗結果分析

3.1 數據集

本文通過爬蟲爬取、提取視頻關鍵幀、抽取公開數據集的方式構建初始樣本庫，并對得到的樣本進行清洗，構建多類違規圖片數據集。由于在現實應用場景中，正常圖片出現的概率遠遠大于違規圖片，所以構建數據集時，正常圖片數據集的比例也要大于違規圖片。本文構建的數據集如表1所示。

表1 數據集描述

3.2 實驗環境與評價指標

實驗平臺操作系統為CentOS 7.7.1908，支持軟件版本為Python 3.6、PyTorch 1.10.0。執行訓練的服務器CPU 為Intel（R）Xeon（R）Silver 4208，64 G內存，GPU為4核GTX2080Ti。

為驗證違規圖片檢測模型IPDMnet 的可行性，本文采用準確率、每張圖片平均檢測速度，模型參數大小評判模型的性能。各項評價指標的計算方法如下：

公式（2）中，表示分類正確的樣本數，表示樣本總數。

公式（3）中，表示檢測100 張圖片所消耗的時間，單位為毫秒（ms）。

3.3 模型性能分析

實驗將數據集劃分為訓練集和測試集的比例為8∶2。通過反復的訓練實驗，最后將模型主要訓練參數設置如下：learning_rate：0.0001，batch_size:16，num_workers:8，模型采用Adam優化器，交叉熵損失函數。由于本文違規圖片數據集樣本有限，為了得到更好的訓練效果，首先，將模型在Caltech 256 數據集上進行遷移學習，得到預訓練模型，最后再在訓練集上迭代訓練100輪。

根據上述實驗設置以及模型評價指標，本文主要從經典深度卷積神經網絡、基于注意力機制的Transformer、輕量級網絡三個方面進行實驗對比。以傳統的深度卷積神經網絡ResNet34 作為骨干網絡，再融合ECA 注意力機制，模型準確率能夠達到97.07%，預測單張圖片需要6.08 ms；使用Swin_Transformer_Tiny 模型進行實驗，模型準確率雖然也能夠達到96.98%，但是預測單張圖片需要12.67 ms，模型復雜度較高；最后，使用IPDMnet 進行實驗，模型準確率與表現較優的ECA-ResNet34 準確率十分接近，但檢測速度明顯優于它和其他模型，并且模型復雜度大大降低。由于本文的違規圖片檢測模型主要為中小型企業提供服務，綜合考慮準確率與檢測成本，IPDMnet相比于其它模型將會有較大優勢。

表2 不同模型的檢測效果比較

4 結論與展望

網頁違規圖片監測是維護網絡安全的重要環節，而不良圖片種類繁多、形式多樣，對圖片實時監測提出了挑戰。本文針對色情、暴恐和廣告違規圖片類別，構建相應的數據集，構建了一個基于深度學習算法的網絡結構模型，同時實現多類違規圖片的檢測。實驗表明，該模型準確率高、檢測速度快、模型輕量，可為中小型企業提供網頁違規圖片實時監測服務。但由于違規圖片內容復雜，具有一定的混淆性，加上違規圖片數據集有限，對于一些特征比較模糊的圖片，容易出現誤判。接下來的工作將進一步擴充數據集，并對模型進行優化，提高

模型的識別范圍以及模型準確率。