面向中文用戶評論的自動化眾包攻擊方法

王麗娜，郭曉東，汪潤

（1. 武漢大學空天信息安全與可信計算教育部重點實驗室，湖北 武漢 430072；2. 武漢大學國家網絡安全學院，湖北 武漢 430072）

1 引言

在自媒體時代，用戶評論社區中的每一個網絡用戶都可以自由地發布自己的觀點，其中包括用戶對產品的質量或服務的評論。例如美國最大的用戶評論平臺Yelp，平均每天有三百多萬的用戶訪問，擁有超過1.71億條評論。在國內，隨著淘寶、京東、大眾點評等電子商務平臺的發展，越來越多的消費者選擇通過商品評論社區來分享自己的購物體驗、評價商品質量和服務。用戶在發布評論的同時也傾向于依賴其他用戶的評論做出消費決策。文獻[1-2]指出用戶評論的傾向性（積極或消極）是影響商品口碑的一項重要因素，此外，文獻[3-4]的調查研究表明商品的口碑會從多個方面影響消費者的消費決策，比如消極評論的增加會導致餐館減少 5%～9%的收入，另一項研究[5]表明80%的美國用戶承認會參考用戶評論來選擇購買的產品和服務。面對自由開放的用戶評論社區，針對某一件商品或某一款服務，發布大量相同傾向性的用戶評論，比如大量好評或大量差評，從而提升或降低商品或服務的口碑，能產生巨大的商業利益，所以惡意組織或個人選擇多種方式生成大量的虛假評論來攻擊競爭對手或提升自身產品的影響力，其中，面向文本的眾包攻擊是一種被廣泛應用的虛假評論生成方法。面向文本的眾包攻擊，簡稱為眾包攻擊(crowdturfing attack)，即采用眾包的方式雇傭數個網絡寫手，捏造大量不符合事實的評論[6]，詆毀競爭對手或提高自己的口碑。惡意的眾包攻擊會對公平競爭產生非常負面的影響，不僅對商家造成傷害，也會破壞用戶評論社區的健康環境，導致用戶評論的可信度下降，消費者將失去主要的獲取網絡商品信息的渠道[7-9]。

傳統基于人工的眾包攻擊方法具有以下不足。1) 攻擊成本高、效率低，基于人工的眾包攻擊方法需要支付大量的酬勞，并且效率低，難以形成大規模的攻擊行動；2) 攻擊效果差，在面對大規模的真實攻擊場景中，需要在限定的時間內生成大量的虛假評論，導致了人工生成的評論質量低，效果差。因此針對傳統眾包攻擊中的諸多不足，一種新型的攻擊方式逐漸被關注，即自動化眾包攻擊(automated crowdturfing attack)[10]，兩者的比較如圖1所示。在人工眾包攻擊中，攻擊者將任務分發給網絡寫手，網絡寫手撰寫大量的虛假評論。而自動化眾包攻擊方法使用計算機程序取代網絡寫手，由程序自動撰寫大量虛假評論。自動化眾包攻擊利用機器學習模型在特征表示方面的巨大優勢，自動地生成大量高質量、逼真的用戶評論。這種攻擊方式可以有效地滿足大規模、真實場景的攻擊要求，能夠快速地生成大量的高質量用戶評論。因此，自動化眾包攻擊成為目前用戶評論社區攻擊的重要手段。

圖1 傳統眾包攻擊與自動化眾包攻擊的比較

近些年來，針對文本自動化眾包攻擊的研究大多針對英文文本。文獻[10-18]提出了面向英文用戶評論的虛假評論生成方法和自動化眾包攻擊方法。這類方法采用獨熱向量（該向量的索引位置為 1，其他位置為0）表示英文字母，任意2個字母之間都是孤立的，無法表示語義層面上的相關信息，這使面向英文文本的方法并不適用于面向中文用戶評論的自動化眾包攻擊。英文中的每個單詞都由空格或標點隔開，不同長度的單詞也都由 26個基礎字母組成，這種簡單的語言結構更利于深度網絡的學習；而中文句子中的詞匯沒有明顯的分界，且組成每個詞匯的漢字數量龐大，漢字與漢字之間本身又具有一定的語義聯系，使中文句子的結構比英文句子的結構復雜，這給中文的處理造成了困難。

針對上述問題，本文利用嵌入網絡學習漢字間上下文語義關系的特性，解決英文方法中獨熱向量表示方法不能捕捉漢字之間語義聯系的問題，提出了一種面向中文文本的自動化眾包攻擊方法，流程如圖2所示，具體如下。1) 利用漢字嵌入網絡方法學習漢字間的語義距離，其中語義接近的漢字所表示的向量距離相近，語義較遠的漢字則向量距離較遠。同時漢字嵌入網絡本質上是一種低維映射，可以有效減少后續網絡體積，包括神經元個數和訓練參數個數，加快訓練速度。2) 基于長短期記憶網絡(LSTM，long short-term memory)模型進行句法學習，并解決中文評論生成中的長依賴問題。例如中文評論“衣服收到，做工精細，沒有色差…衣服上身效果特別好”中，2個漢字的組合“衣服”相互長依賴，但與評論中間省略的漢字依賴性很小，擁有記憶長依賴特性的LSTM網絡在該類問題上表現效果優異，通過多層LSTM網絡可以進一步學習中文評論中漢字的排列規律。3)采用Softmax全連接網絡來生成大量多類型中文評論，滿足自動化眾包攻擊的需求。Softmax全連接網絡基于之前兩層網絡的計算生成一組漢字概率分布，Softmax函數不同的分層對應不同漢字的生成概率，基于生成概率進行隨機抽樣可以得到多個可選擇的高概率漢字，生成評論中每個位置上的漢字都有更多的選擇，則可以組合成多種內容，從而獲得大量多類型的生成評論，但是評論的內容質量會下降。所以本文進一步使用溫度參數T來平衡生成評論的質量和多樣性。參數T對分層的漢字生成概率進行縮放，T越大，分層間隔的差異越小，挑選每個漢字的概率趨同，隨機抽樣會抽取更多的低概率漢字，使模型生成評論類型更多但質量下降；T越小則結果相反。

圖2 面向中文文本的自動化眾包攻擊流程

為了驗證所提文本攻擊方法的有效性，本文通過以下3個角度進行驗證。1)基于語言學的文本相似性分析。對評論進行語言學分析是鑒別評論內容虛假的主要手段，例如詞袋分析、LIWC分析等。這里使用基于語言學分析的分類器來對比生成評論和真實評論的相似性，并驗證生成評論的真實性。2)基于文本拷貝檢測的文本生成多樣性評估。生成句型單一的虛假評論并不能滿足自動化眾包攻擊的需求，本文使用拷貝檢測工具來對比本文攻擊方法和傳統基于名詞替換的攻擊方法，并驗證生成評論的多類型。3)基于人工的文本真實性測試。機器手段只能分析生成評論的句子構成和特征，句子的可讀性仍然需要端到端的用戶調查方式來評估。實驗結果表明，本文提出的面向中文文本的自動化眾包攻擊方法，能夠快速、高效地生成大量的高質量文本，可以有效地應用于大規模、真實的用戶評論社區攻擊場景中。本文的主要貢獻如下。

1) 提出了一種基于漢字嵌入 LSTM 模型的自動化眾包攻擊方法，該方法面向中文用戶評論社區，可以自動地生成大量逼真的虛假評論。

2) 提出了一種基于漢字的嵌入方法，該方法可以有效地學習漢字之間的語義關系，能夠生成更加真實的中文虛假評論。

3) 提出了一種基于漢字的隨機抽樣方法，通過在抽樣分層函數中引入溫度參數T來控制每一個漢字的采樣概率，可以有效地平衡本文攻擊方法生成虛假評論的質量和數量，極大地提高了自動化眾包攻擊的效果。

2 相關工作

2.1 文本生成方法

傳統的自動文本生成技術，比如n-gram模型和基于文本模板的模型[12-14]，在模仿真實文本時都有局限性，這些技術所生成的文本存在語法錯誤、詞不達意等問題，很可能會被用戶判斷為虛假內容。隨著統計模型和神經網絡的發展和普及[15-16]，基于LSTM[17]模型的文本生成技術逐漸引起了研究者的關注。Yu等[18]的研究表明基于 LSTM 模型的文本生成技術可以生成更加連貫的文本。Auli等[19]的研究工作表明，基于LSTM網絡的語言生成模型已經成為一種結構良好且極具前景的文本生成方法。LSTM 網絡模型被廣泛用于各個領域，Kannan[20]將真實用戶內容聚類，使用LSTM網絡模型構建效果良好的自動電子郵件應答器；Karpathy等[21]使用雙向LSTM網絡模型來生成圖像的文本描述，并在諸多圖片檢索實驗中取得了良好的效果；Serban等[22]使用一種擴展和分層遞歸編碼的LSTM模型來生成電影場景中的對話文本，能夠高度還原電影對話的連貫性；Shang等[23]通過搜集大量社交網絡中的對話文本，使用LSTM 模型實現了社交軟件中的自動問答。雖然LSTM 模型在文本生成領域已經取得了多個成果，但是這些研究旨在提高生成文本的質量。對于自動化眾包攻擊，不僅需要文本質量足以欺瞞用戶，還要產生足夠多的不同類型文本來改變評論區的褒貶比例，達到影響消費者的消費決策的目的，這是傳統文本生成技術不能滿足的。

2.2 英文眾包攻擊方法

針對傳統眾包攻擊方法存在的成本高、規模小、效果低等不足，自動化眾包攻擊方法逐漸吸引了研究者的關注。近些年，研究者主要圍繞面向英文用戶評論的虛假評論生成和自動化眾包攻擊等展開了一系列的研究工作。Bartoli等[11]在2016年提出了自動生成虛假評論的可能性，并使用神經網絡模型實現生成方法，通過真實用戶調查研究，驗證了自動生成虛假評論的可行性。Yao等[10]在 2017年提出自動化眾包攻擊的方法，針對最大的英文評論平臺Yelp，研究者使用神經網絡模型學習意大利餐廳評論，生成一套虛假評論模板，然后通過關鍵詞替換的方式生成針對日本餐廳的虛假評論，結果表明這些虛假評論足夠真實且可以欺騙母語為英語的用戶。Yu等[18]在2018年提出了一種針對社交網絡里惡意競爭的自動化眾包攻擊方法，研究者以Twitter平臺為例，將評論文本按情感傾向聚類成不同極性的評論集，使用神經網絡有針對性地學習并生成對應極性的虛假評論，實驗表明 85.2%的生成評論具有正確的語法并具有一定的語義。這些研究成果表明自動化眾包攻擊方法是一種十分有研究意義的新型攻擊方式，會給各類評論系統帶來巨大的威脅。雖然面向英文用戶評論的自動化眾包攻擊方法已經取得了比較好的效果，但直接用于進行中文自動化眾包攻擊的效果并不好[24]。原因主要在于，面向英文的自動化眾包攻擊使用基于字符的循環神經網絡(char-level RNN)模型，Graves[25]和 Lebret[26]等的研究表明，在英文自然語言生成的問題上，基于字符的循環神經網絡模型比基于詞匯的循環神經網絡（word-level RNN）效果更好。但常用漢字比常用英文字母龐大得多，字符集數量的差距導致每個字符對應的字向量也成倍增長，進一步使攻擊模型的參數、占用的內存和計算開銷都成倍增長。同時由于英文和中文本身的區別，例如英文字母間沒有語義關系，而漢字之間存在語義關系，英文詞匯由空格天然分割，漢字詞匯沒有明顯分割，所以上述面向英文用戶評論表現良好的自動化眾包攻擊方法并不適用于中文用戶評論。

3 攻擊方法概述

3.1 問題描述

面向中文的自動化眾包攻擊方法使用計算機程序自動地生成大量中文虛假評論，這些評論混雜在真實評論中不容易被分辨，且能夠在一定程度上影響用戶的消費決策。本文只關注生所成評論的文本內容能否接近真實評論且不易被鑒別，而其他鑒別虛假評論的因素，如評論與發布者本身的關系、發布者的影響力、發布者的評論歷史、評論的發布日期、發布者的IP地址等不在本文考慮范圍內。眾包攻擊方法的假設前提如下。1)攻擊者有獲取大量評論語料的能力。知識豐富的攻擊者可以從用戶評論社區上獲得足夠多的真實評論語料來訓練攻擊模型。2) 攻擊者可以利用比較容易獲得的計算資源來訓練攻擊模型，比如個人電腦、辦公電腦、小型服務器、租用的云計算服務器等進行訓練。

本文攻擊模型使用的數學模型如下：給定一個含有n條真實評論的訓練語料集R={r1,r2,r3,…,rn-1, rn}，語料集中包含v個不同的漢字，組成漢字集V。對于每條評論r，按順序將t位置上的漢字表示為wt。攻擊模型通過學習wi之間的語義距離和ri對應的句法，并接收生成長度參數s，生成高質量的虛假評論集R'={r1', r2', r3', …}，其中，R'包含所有漢字的數量即為參數s，虛假評論r1'、r2'、r3'等由攻擊模型輸出的評論劃分標記分開。則攻擊達到的效果為：R和R'在語言學分類上大致相同，即Tag(ri')=Tag(rj)，真實評論集R中任意 2條評論ri和rj不會高度相似，同時R'中的任意評論ri都不與R中任意評論rj高度相似，即sim(ri',rj) ≤ sim(ri,rj)。

3.2 方法描述

攻擊方法的流程如圖3所示。首先抓取真實評論獲得原始語料，對原始語料預處理后得到訓練語料，然后經計算依次得到漢字嵌入向量、中間隱向量、漢字概率分布。最后基于漢字概率分布隨機抽樣生成評論。

圖3 攻擊方法流程

1) 原始語料預處理。從淘寶抓取的原始語料包含大量漢字文本內容之外的元素，所以數據清洗刪除這類元素包括emoji表情、顏文字和外文字符。然后去除影響嵌入向量計算重復疊詞和極少使用的漢字，將文本統一編碼為unicode格式方便模型訓練。為了在語料中劃分每條評論，本文在每條評論的起始位置添加起始標記(start of review)，評論末尾添加結束標記(end of review)。

2) 漢字嵌入向量生成。在預處理之后，訓練語料只包含與中文相關的語素。對比英文語素，中文漢字之間包含豐富的語義相關性，學習這種語義信息可以使攻擊模型生成更加逼真的虛假評論。嵌入網絡是一種有效且應用廣泛的神經網絡結構，將訓練語料輸入漢字嵌入網絡，經過多輪迭代訓練后得到關于每個漢字的嵌入向量(embedding vector)，其中，嵌入向量的距離關系表示漢字之間的語義關系。

3) 中間隱向量生成。嵌入向量僅包含語義距離關系，句子構成和排列方式是生成評論中更重要的信息。LSTM網絡具有序列敏感特性，被廣泛應用于文本生成領域，本文中使用LSTM網絡從訓練語料中學習句子構成和排列方式，得到包含句法信息的中間隱向量，用于獲得漢字概率分布。

4) 獲得漢字概率分布。LSTM網絡學習到的寫作方式只是用一些難以琢磨的中間隱向量(hidden vector)表示，所以需要一層全連接網絡將隱向量所代表的概率分類到每一個漢字元素上。Softmax函數是應用廣泛的多分類函數，其簡單且高效的表現是許多輸出網絡激活函數的首選。隱向量輸入Softmax全連接網絡，經過前向傳播算法和Softmax分層函數計算后輸出漢字概率分布，其中把概率最大的漢字作為預測漢字，對比預測漢字與訓練漢字的誤差，經反向傳播算法計算并更新模型參數，訓練完畢后Softmax網絡得到一種隱向量與漢字概率的映射關系。

5) 隨機抽樣獲得生成評論。漢字嵌入網絡、LSTM網絡和Softmax網絡整體構成一個攻擊模型，給定一個起始字符、生成長度參數s和溫度參數T。起始字符作為評論生成的種子，生成長度參數s作為模型輸出的迭代輪次，每一輪次輸入之前已經生成的漢字，基于當前輸入漢字序列計算輸出漢字概率分布，然后對概率分布進行隨機采樣即可生成下一個漢字。溫度參數T控制Softmax的抽樣概率，將在第4節詳細說明。這里將評論起始標記送入攻擊模型，記為w0，模型計算P(w1|w0)，然后對所有漢字進行隨機抽樣得到w1，然后再將w0、w1輸入攻擊模型計算P(w2|w0,w1)，從而得到漢字w2，以此類推，最后得到生成評論集{w0,w1,w2,…,ws}。

攻擊模型經上述流程后生成的虛假評論如表 1所示，其中每條評論都是從樣本中隨機抽取的，ID表示各評論在表1中的順序。溫度參數T越大，生成的評論靈活性越高，攻擊模型可以生成多種多樣豐富的表達，但用詞不當、語序錯誤的風險也會增加。

4 攻擊方法的設計與實現

在本文的攻擊方法實現中，首先利用漢字嵌入網絡從預處理后的訓練語料中學習漢字之間的語義關系，包括漢字共現統計和漢字嵌入權重計算；然后使用LSTM網絡在嵌入向量基礎上學習句子組成和順序關系，生成中間隱向量，通過Softmax全連接層將隱向量映射到每一個漢字的概率，按漢字概率分布隨機抽樣獲得生成評論。

表1 不同溫度參數T下生成的虛假評論樣例

4.1 漢字嵌入網絡

本文采用向量空間模型(VSM)[27]，即嵌入網絡來學習漢字之間的語義距離。嵌入網絡分為字嵌入網絡和詞嵌入網絡。通常詞嵌入網絡比字嵌入網絡能更好地表示語義，因為現代漢語的基本語義元素是詞匯，詞匯中的漢字拆分后可能和原來的語義不同，但是詞嵌入網絡有一個中文分詞的預處理過程，這個分詞過程往往需要一個由語言學專家總結的中文詞典[28]。而中文用戶評論是一種非常新穎的文體且更新速度很快，里面存在很多的網絡新詞匯，例如表1例句中的“版型”(指服裝輪廓)、“炒雞”（超級）等，中文詞表是不隨網絡新詞匯的增加隨時更新的，且更新耗費大。同時中文分詞算法上存在一定的偏差，不能解決交集型歧義，例如“天真的你”會被劃分成“天/真的/你”，不能解決組合型歧義，例如“網球拍賣完了”會被劃分為“網球/拍賣/完/了”，考慮嵌入網絡本身也存在著映射上的偏差，2個計算過程帶來的誤差累加也是不可忽視的。而漢字直接嵌入不存在這些問題，統計語言模型直接從語料中學習成詞的規則和句法，按照規則和句法自動造詞，極大地保證了生成文本的靈活性，讓生成的虛假評論看起來更加接近網絡語言，更加真實。基于以上特點，本文使用漢字嵌入網絡來構建自動化眾包攻擊模型。漢字嵌入網絡首先計算窗口內2個漢字的聯合概率分布，例如評論“質量非常好”，如圖4所示。

給定一個大小為2的窗口，通過滑動窗口統計每2個漢字的共現頻次。然后分別對于每一個漢字，統計所有與之共現的漢字頻次，然后按頻次占比轉化為共現概率值，沒有共現則概率為0。所以每一個漢字wt都對應一個長度為V的概率向量p，其中向量p位置i上概率值pi表示漢字wt與漢字wi的共現概率，此概率向量作為嵌入網絡的輸出損失判別依據。漢字嵌入網絡結構如圖 5所示。

圖4 統計漢字共現概率

圖5 漢字嵌入網絡

如圖5所示，漢字嵌入網絡包括一個節點數量為V的輸入層，一個節點數量為嵌入向量長度d的線性隱含層和一個節點數量為V的概率輸出層。其中輸入層依次接收每個漢字的獨熱向量，輸出層依次以對應漢字的概率向量為損失判別依據。嵌入網絡通過如式(1)所示的最大化對數似然函數，反復迭代使輸入漢字通過前向傳播計算能夠正確得到對應概率向量。其中輸入層與隱層之間維度為V×d的全連接權重矩陣M為所需要的嵌入矩陣，M對應行i所包含的權重向量即是索引為i漢字的嵌入向量。

其中，c表示漢字wt的上下文環境，P(wt+j|wt)表示wt與wt+j的漢字共現概率。計算對數似然函數的誤差后，使用反向傳播算法更新權重矩陣，然后通過反復迭代，最終得到一個關于漢字集V的漢字嵌入向量矩陣。

4.2 多層LSTM網絡

本文利用LSTM網絡學習真實評論中的句子構成和排列規律。在處理序列數據的問題上，LSTM是一種被廣泛應用的神經網絡模型，例如短文本分類[29]、自動問答[30]、圖片標注[31]、自動摘要[32]等。LSTM模型通過記憶單元來存儲和利用那些句子中長距離的依賴元素，這使LSTM能夠學習較長的句子且保證良好的效果。多層LSTM網絡使用多層非線性函數的組合來學習句子中每個漢字之間的概率分布，即當2個或多個漢字經常按序出現在一起時，網絡可以捕捉到這種統計特征。由于在線評論往往是長短不一的，本文使用一種窗口方法來解決這個問題，窗口方法假設一個漢字的出現只與它前面窗口內的漢字排列順序有關，和窗口外的漢字無關。具體為將訓練語料中的所有評論首尾拼接在一起組成一個長文本，由于每條評論都有起始標記和結束標記，所以每條評論在長文本中是容易被劃分的，也容易被LSTM模型捕捉到。然后設定一個固定窗口，窗口在長文本上以步長為1來滑動抽取漢字段交由 LSTM 模型學習，這個窗口通常設置為100，這對生成短評論文本來說是足夠的。

4.3 Softmax全連接網絡

在真實的攻擊場景中，需要兼顧虛假評論的真實性及多樣性，本文在Softmax全連接網絡中引入了溫度參數T來平衡評論真實性和多樣性。在多分類問題上，Softmax全連接網絡是一種表現優異的神經網絡結構，能夠將LSTM網絡輸出的低維中間向量重新映射到漢字集中的每一個漢字。網絡包括d個輸入神經元和v個輸出神經元，激活函數使用Softmax函數。因為攻擊模型不僅需要生成逼真的虛假評論，而且需要虛假評論在數量上具有一定的規模，同時具有各種各樣的類型，在訓練語料的基礎上可以產生新的詞匯或句子的組合。所以本文使用Softmax函數時引入了一個重要的溫度參數T，具體如式(2)所示。

其中，k表示漢字集中漢字的索引，et表示全連接網絡的輸出向量，et j表示輸出向量et在索引j的分量。當T小于1時，降低了攻擊模型選擇出現可能性較低字符的概率，所以攻擊模型在生成文本序列時就會有較大概率選擇可能性較大的一些字符，這樣生成的評論質量較高，但也限制了文本生成的種類。隨著溫度參數T升高，攻擊模型選擇低概率字符的機率增大選擇高概率字符的機率減少，這樣就可以生成豐富多樣的文本，當然隨著多樣性的豐富，生成的文本也會伴隨著更多的錯誤，比如詞匯組合不匹配、上下文不一致等問題。

5 實驗與結果分析

在中文評論社區的自動化眾包攻擊中，生成的虛假文本具備真實性強、類型廣泛等特點。因此，本文從以下幾個角度來對比和分析攻擊方法的有效性：1) 將傳統面向英文文本的生成方法與本文方法進行對比；2) 從語言學角度分析本文方法生成的虛假評論與真實評論的相似性；3)驗證本文攻擊方法在拷貝檢測上優于傳統基于詞替換的攻擊方法；4)驗證本文生成的虛假評論能夠欺騙用戶并影響用戶的消費決策。為了防御文中所提的攻擊方法，本文中給出了一種可行的防御方法。

5.1 數據集

淘寶網的商品分類廣泛，具有如電子產品、家居用品、衣物用品等多種分類。本文針對一種最常見的自動化眾包攻擊場景，從淘寶網的衣物評論社區中抓取了51 121條好評數據，來模擬攻擊者提高商家口碑的攻擊方式。原始評論集中的所有評論隨機打亂順序后，按3:2的比例劃分，其中30 672條評論作為攻擊模型訓練數據集，20 449條評論作為實驗測試數據集。

5.2 英文生成方法對比

傳統針對英文環境的自動化眾包攻擊方法通常采用 Char-LSTM 模型，已有實驗[10]表明該模型可以生成高質量的英文評論。但Char-LSTM用于生成中文虛假評論有諸多缺點。1) 特征稀疏。直接將中文漢字映射為獨熱向量，則訓練語料中包含大量的零值，稀疏的特征使模型訓練緩慢。2) 參數數量多。Char-LSTM模型訓練所需的參數大約為本文模型的10倍。模型的參數往往決定模型訓練所需的內存，顯然更小的內存消耗使經濟成本和時間成本都有所降低。3) 缺少漢字之間語義表示。在英文中，英文字母之間并沒有語義聯系。學習漢字之間的語義聯系可以使生成中文評論更具靈活性，例如表1中的新詞匯“炒雞”（超級）和“稀飯”（喜歡），靈活使用漢字使生成的中文評論看起來更逼真。

針對以上問題，對比實驗設置如下。對于Char-LSTM 模型和漢字嵌入 LSTM 模型同樣采用CPU-i7-6700K、GPU-TiTanX和內存32 GB的硬件環境，為了突出漢字嵌入LSTM模型的改進部分，這里設置2種模型相同部分的LSTM網絡同樣為3層，每層1 000個神經單元，激活函數采用ReLU，初始學習率設置為0.01，訓練400輪。實驗結果如表2所示。

如表 2所示，在模型結構相同的情況下，Char-LSTM模型所需要的參數約為54 MB，漢字嵌入LSTM模型所需訓練參數約為4.3 MB，在模型訓練中，參數的數量往往決定模型的內存和時間開銷，進一步決定模型成本開銷。并且，在迭代 400輪后，Char-LSTM 的損失仍然遠高于漢字嵌入LSTM 模型，訓練所需時間也明顯多于漢字嵌入LSTM模型。對比實驗表明漢字嵌入LSTM在處理中文評論上性能優于Char-LSTM模型。

5.3 生成評論與真實評論對比

基于語言學分析的分類器也是目前主要的虛假評論檢測手段[6,33-34]，攻擊方法生成的虛假評論文本要欺騙分類器檢測，就要在這些語言學細節上接近真實評論文本。對于虛假評論文本的語言學分析主要分為3個維度[34]：基于語法分析維度、基于語義分析維度、基于文體元數據分析維度。本文從這3個維度中提取出5組共113個分類特征用于訓練軟間隔SVM線性分類器。

1) 詞袋特征。詞袋特征是一種不考慮詞序將句子表示為一個詞集合的方法。詞袋特征在文本分類、情感極性分析、圖像識別等領域中應用廣泛。在惡意眾包論壇中的虛假評論數據集檢測上，詞袋特征能夠達到 89.6%的準確率[35]。本文使用 jieba分詞工具[36]將一條評論中的每個句子表示為一個詞集合，然后將不同詞集合的最大余弦相似度來作為該條評論的一個分類特征。

2) 結構特征。評論的結構特征用來表示一條評論的基本結構，包括評論中的詞匯數量、句子數量、句子的平均詞匯數量和詞匯的平均漢字數量，一共4個分類特征。

表2 模型實驗對比

3) 詞性特征。通過對評論中的詞匯進行詞性標注，并統計詞頻的方式表示為評論的詞性特征。Li等[37]的研究表明真實評論和虛假評論在語法特征上呈現不同的特點：真實評論包含更多的名詞和形容詞，而虛假評論包含更多的動詞、副詞和代詞。本文使用jieba中的POS(part of speech)工具，將評論進行分詞并標注詞性，然后分別統計名詞、形容詞、動詞、副詞和代詞的數量，作為5個分類特征。

4) 極性特征。情感極性分析是一種語義分析方法，通過統計不同情感詞的數量來分析一條評論所代表的情感傾向。研究表明虛假評論比真實評論包含更多的情感詞，表現為更積極或更消極[37]。本文使用snownlp工具[38]給出評論的情感分數，分數在[0,1]之間，然后將情感分數距中性分數(0.5)的距離作為一個分類特征。

5) 文體特征。LIWC(linguistic inquiry and word count)工具[39]被廣泛應用于英文文本的文體特征提取。本文使用基于LIWC開發的中文文體特征提取工具 TextMind[40]，TextMind將簡體中文常用的5 000個詞匯劃分為102個類別，例如社交、情感、認知、感知、生理、空間、時間、金錢、宗教等。本文使用TextMind工具對評論進行詞匯標注，然后統計每類詞的數量作為102個分類特征。

實驗使用測試集中隨機抽取的1 000條真實評論和攻擊模型生成的1 000條虛假評論用于訓練軟間隔SVM線性分類器，并采用10折交叉驗證來計算平均精確率和召回率。精確率(precision)表示為由分類器成功標記為虛假評論和所有由分類器標記為虛假評論數量的百分比，召回率(recall)表示為由分類器標記為虛假評論和數據集中所有虛假評論數量的百分比，精確率和召回率隨溫度參數T的變化如圖6所示。

圖6 語言學分析-對比真實評論和生成評論

在溫度參數T為0.1時，精確率和召回率都接近100%，這表示SVM分類器很夠準確地標記出虛假評論。隨著溫度參數T增大，分類器的分類能力下降。在溫度參數為1.0時攻擊效果最好，精確率為55%，召回率為56%，這表示分類器接近隨機分類（50%分類精確率），分類器并不能很好地辨別出數據集中的虛假評論。隨著溫度參數T的繼續增大，攻擊模型生成的虛假評論質量下降。對比實驗表明，當溫度參數T在0.8到1.2時，攻擊模型生成的虛假評論具有和真實評論一樣的真實性。

5.4 生成評論與訓練語料對比

在語言學分析的角度上，雖然攻擊模型生成的虛假評論可以欺騙分類器的檢測，但是傳統基于名詞替換的攻擊方法也可以產生接近真實的虛假評論。這是因為基于名詞替換的方法采用數個通用的模板，這些模板基本來自某些典型的真實評論，然后通過把模板中物品或服務的名詞，替換為與攻擊目標相關的名詞來生成虛假評論。這種傳統攻擊方法生成的虛假評論除了部分名詞不同于模板外，其他文本部分和模板完全相同，這就使基于語言學分析的分類器并不能檢測出這種攻擊方式。為了進一步對比和分析本文攻擊方法優于傳統名詞替換的攻擊方法，這里使用拷貝檢測來驗證。拷貝檢測通過計算2個文本的內容相似度來判斷文本是否存在剽竊行為。這里采用Winnowing[41]工具來進行拷貝檢測實驗，Winnowing是一種已被證明效果很好且被廣泛應用的方法。Winnowing方法使用散列函數將文本映射為一組與之對應且唯一的指紋信息，然后對于待檢測文本和待比較數據集都生成這樣的指紋信息，最后采用 Jaccard指數計算指紋信息之間的相似度。本文采用待檢測文本與待比較數據集中每條文本相似度的最大值作為拷貝檢測分數，分數范圍為 0～1，分數越高則代表待檢測文本越有可能是拷貝而來的虛假評論。

實驗假設用戶評論社區的防御工作者可以獲取到包含攻擊模板的評論數據集，實際上這很容易做到，防御工作者可以查找所有已經存在于評論社區的評論，而基于名詞替換的虛假評論一旦出現在評論社區中就可以被用來檢測其他新發布的評論。

對于本文攻擊方法，選取訓練集中的所有真實評論作為待比較數據集，選取攻擊模型生成的1 000條虛假評論作為待檢測數據集，本文方法的拷貝檢測分數為待檢測中所有虛假評論拷貝檢測分數的平均值；對于名詞替換方法，同樣選取訓練集中的所有真實評論作為待比較數據集，然后基于該數據集抽取所有標注為名詞詞性的詞匯組成名詞集，并隨機從待比較數據集中抽取1 000條真實評論作為模板，用名詞集中的名詞隨機替換掉模板中的名詞，最后將這1 000條評論作為待檢測數據集，實驗結果如圖7所示。同時選取測試集中所有評論和訓練集中的評論作為參照，實驗結果如圖8所示。

圖7 拷貝檢測-對比名詞替換方法和漢字嵌入LSTM方法

圖8 拷貝檢測-對比漢字嵌入LSTM方法和真實評論

如圖7所示，名詞替換法的拷貝得分為0.536分，高于所有溫度下的漢字嵌入 LSTM 方法，即Winnowing拷貝檢測工具更容易檢測出名詞替換方法生成的虛假評論，隨著溫度參數T增大，漢字嵌入LSTM方法的拷貝得分逐漸變小，生成的虛假評論更不容易被檢測。同時，圖8說明本文攻擊方法生成的虛假評論不是簡單地復制訓練集中的真實評論，而是在訓練集的基礎上生成了新的評論。在溫度參數T為0.9時，虛假評論有最接近真實評論的拷貝得分。實驗表明本文方法比傳統基于名詞替換的攻擊方法有更好的實用性。

5.5 生成評論的用戶調查

本文使用用戶調查的方式，驗證攻擊方法生成的虛假評論對用戶的影響。考慮到具體的攻擊場景，實驗邀請 50名具有豐富安全背景知識的參與者，填寫調查問卷。50名參與者被分為5組，每組10人，每組的調查問卷分別對應溫度參數T為0.2、0.5、0.8、1.0和1.3。每個參與者被分配30條評論，包括測試集中隨機抽取的20條真實評論和10條攻擊模型生成的虛假評論。問卷要求參與者判斷 30條評論中每條評論是否有提高商品口碑的作用，并標記出 10條認為是模型生成的虛假評論。實驗統計標準采用召回率和有效率，召回率(recall)定義為成功標記出虛假評論和問卷中所有虛假評論數量的百分比，有效率(helpfulness)定義為問卷中所有虛假評論中被標記為有效的百分比。統計所有調查結果取平均值后結果如表3所示。

隨著溫度參數T逐漸變大，參與者識別虛假評論的召回率在逐漸下降，這表明越來越多的虛假評論被參與者遺漏，且更多的虛假評論被標記為有作用。當溫度參數為1.0時，攻擊模型表現最好，參與者遺漏掉了43%的虛假評論并將48%的虛假評論標記為有作用。調查表明本文攻擊方法產生的虛假評論具有欺騙用戶和并影響用戶消費決策。

表3 用戶調查的實驗結果

5.6 防御方法

針對本文的自動化眾包攻擊方法，這里給出一種可行的防御方法。在理想情況下，防御模型用于辨別的任何標準都可以由攻擊模型來對應解決，所以使用一種機器學習模型防御另一種機器學習模型的攻擊是不可行的。但是對于同一數據集，無論訓練多少種機器學習模型，每個模型所能學習到的句子概率分布是相同的。根據數據集所含信息量一定的這個特點，本文給出了一種可行的防御方法，如圖9所示。

圖9 中文自動化眾包攻擊的防御方法流程

本文防御方法假設：1) 評論社區的防御工作人員可以獲得用于訓練攻擊模型的評論訓練集RA，并且可以獲取一個和訓練集RA不相同的真實評論數據集RG；2) 評論社區的防御工作人員了解攻擊模型的結構。防御方法流程如下：針對訓練評論數據集RA和真實評論數據集RG這2個數據集，分別使用本文攻擊方法訓練攻擊模型MA和MG，訓練好的攻擊模型可以根據輸入漢字預測下一個漢字的概率分布。然后將待檢測評論逐字輸入到2個攻擊模型中，得到2個不同的概率分布PA和PG，通過對數似然比(log-likelihood ratio)計算概率分布PA與概率分布PG的距離。最后將待檢測評論的中每個漢字得到的對數似然比求和取平均得到平均距離，若平均距離接近攻擊模型PA則判定該條評論是虛假評論，否則判定評論為真實評論。防御方法流程的偽代碼如算法1所示。

算法1防御方法

輸入

攻擊評論語料集RA；

真實評論語料集RG；

測試評論T；

輸出

針對防御方法和基于語言學分類器方法的對比實驗，采用精確率作為對比標準，精確率(precision)定義為成功標記為虛假評論和所有標記為虛假評論數量的百分比，實驗結果對比如圖 10所示。

如圖10所示，隨著溫度參數T的增大，防御方法檢測虛假評論的精確率穩定在97%左右，語言學分類器的精確率逐漸降低，最低處為53%。實驗表明防御方法能夠有效檢測出攻擊模型生成的虛假評論，但是該防御方法的不足也是明顯的，需要假設訓練數據集已知，因此如何設計更加實用的防御方法是未來研究的重點。

圖10 防御方法與語言學分類器的對比

6 結束語

本文面向中文用戶評論社區，提出了一種有效的自動化眾包攻擊方法。利用漢字嵌入方法，LSTM網絡、Softmax全連接網絡和引入溫度參數T的隨機抽樣方法，設計并實現了一種自動化眾包攻擊方法，該方法可以生成大量具有真實性、多類型及實用性的虛假評論，能夠有效地滿足大規模、真實場景下的攻擊要求。實驗中，本文將傳統面向英文文本的生成方法與本文方法進行對比。在語言學角度分析文中方法生成的虛假評論與真實評論的相似性。驗證本文攻擊方法在拷貝檢測上優于傳統基于詞替換的攻擊方法。驗證本文生成的虛假評論能夠欺騙用戶并影響用戶的消費決策。實驗表明本文提出的攻擊模型和方法是可行且有效的。本文中提出了一種可能的防御方法，但是該方法假設模型訓練的數據集已知。因此在未來的研究中，需要重點研究針對這類攻擊的有效防御方法，增強用戶評論社區抵御針對自動化眾包攻擊的安全威脅。