大眾認知安全防護關鍵技術研究進展

范偉健,王永濱

（中國傳媒大學智能融媒體教育部重點實驗室，北京 100024）

1 引言

隨著社交網絡被大眾廣泛使用，信息的數字化傳播方式潛移默化地改變了公共媒體空間的整體結構。人們可以通過微信、微博、自媒體等各種網絡平臺便捷地獲取大量信息。但在享受這些便利的同時，大眾也必須面對一些別有目的的信息傳播帶來的一系列問題，如過濾氣泡，虛假信息，政治分化和仇恨言語等。

例如，在2016年美國總統大選期間，一條關于選舉的虛假新聞在世界范圍廣泛傳播［1］。虛假信息的影響范圍已經擴展到了全球。此外，Covid-19疫情爆發以來，其相關信息也成為了全球互聯網錯誤信息的主要話題［2］。

在網絡與社會現實的不斷交互下，“后真相”現象也不斷增多，反映著當前網絡輿論場域一種不信任、無法形成共識的狀態［3］。針對數字化信息的定量分析與自動檢測成為一個亟待解決的社會問題。為了能夠更快更好地解決這一問題，郭斌等人提出了一個跨學科研究方向稱為“認知安全（Cognition Security,CogSec）”，定義為通過了解人與虛假新聞之間的互動模式、認知行為以及社會影響與傳播機制，來探索識別虛假新聞、維護人類認知安全的有效途徑［4］。

除了上述提到的內容，人工智能技術的發展對數字化信息的識別與審核提出了更高的要求：從原先人工創作到人機協作或機器生成的文本、圖像和音視頻內容［5］。例如，通過深度偽造技術（Deepfake）生成真實人物從未說過的音頻或篡改真實的視頻內容［7］。這類內容被一些有心之人用于偽造政客言論和不實證據，嚴重影響了公眾輿論和政治局勢［7］。

綜上所述，公共空間數字化轉型對輿論形成、傳播過程和大眾認知安全都具有重大影響。為了能夠在巨量數字化信息中保護大眾安全，需要計算機科學、語言學、社會學、心理學、法學、神經科學、認知科學以及腦科學等多角度的綜合研究。本文首先從CogSec的概念出發，調研了現有研究的相關概念，以及涉及認知安全防護現存的主要研究任務；其次，調研現有用于大眾認知安全防護的關鍵技術和進展；最后，討論了大眾認知安全防護的主要挑戰和未來方向。

2 認知安全防護

郭斌等人在明確定義認知安全和認知安全防護的概念后提出了認知安全領域。其原始出發點主要是針對虛假新聞，并延伸至關于虛假新聞帶來的一系列問題的解決技術。具體定義如下［4］：

定義1認知安全：指虛假新聞對人類認知的潛在影響，包括錯誤認知、不實知識獲取、有偏見的決策等。

定義2認知安全防護：致力于有效干預，確保人的認知安全，包括認知機制研究、信息傳播模式挖掘、虛假新聞早期檢測、惡意機器人檢測等技術。

在調研過程中發現虛假新聞并不能代表造成當前網絡環境中有害現象的數字化信息。表1總結了包括虛假新聞在內的現有研究涉及到的數字化信息的相關概念［8-12］。

表1 現有研究工作中出現的相關概念

在本文中，將認知安全的概念進行擴充，將虛假新聞延伸至無效信息，并將無效信息定義如下：

定義3無效信息：在網絡平臺中發布的信息，且至少屬于以下情況之一：a）沒有包含實質內容；b）包含不實內容；c）具有惡意目的；d）包含未經驗證的內容。

雖然在現有的研究中還沒有發現直接研究認知安全防護領域的工作。但現有的一些相關學科和任務已經有了不同程度的進展，其部分成果如下：

（1）社交機器人

社交機器人能夠通過特定程序或算法模仿真實用戶的社交行為，且具有一定自主決策能力［12］。Salge等人指出，推特中有約8.5%的賬戶為社交機器人，并頻繁參與新聞、熱點事件、商業交流等社交活動［13］。社交機器人最初是為了自動地為用戶提供真實新聞和信息而提出的，但最近有越來越多的社交機器人傳播謠言與有害信息，加劇了輿論沖突［14］。

（2）回音室效應

指在一個相對封閉的網絡環境中，一些觀點相近的聲音不斷重復，令處于相對封閉環境中的大多數人認為這些觀點就是事實的全部。而該封閉網絡外部的任何信息，都很難在這個網絡中傳播或者不會達到這個網絡中。隨著推薦算法的興起，回音室效應進一步加劇。當用戶總在瀏覽自己喜歡的信息時，其認知行為會被潛移默化地影響［15］。例如，Barberá等人發現，政治話題的信息主要在具有相似意識形態偏好的用戶之間傳播［16］。在社交網絡中，高度同質化的回音室效應會降低人們識別無效信息的能力，從而助長無效信息的傳播［17］。

（3）媒體可信度

Jamieson等人的研究表明，新聞媒體在報道事實的同時，經常會考慮政府的影響、受眾偏好、贊助商喜好等因素［18］。即媒體由于主觀性而無法公正、客觀地報道新聞事件，是認知偏差的一種表現形式。在各方面的綜合影響下，網絡媒體往往不經過核實就發布報道，這為無效信息的傳播提供了機會。

（4）虛假新聞和謠言識別

用戶的認知局限性和社交媒體平臺特性等因素導致虛假新聞和謠言的傳播。傳統的虛假新聞和謠言通常以文本模態進行傳播。然而，網絡社交平臺的發展使其擁有了更多的模態，使其具有更強的吸引力和更大的影響力［19］。

（5）虛假評論

指評論者對產品或服務發表的內容與自身真實感受不一致的評論［20］。評論者發布虛假評論的主要動機是獲得情感補償和/或財物等利益，如商家出于不良競爭的目的雇傭利益團體中的用戶發布虛假評論。評論是網絡口碑的主要傳遞途徑，為用戶提供參考意見，幫助他們了解產品或服務的優勢與不足，同時可以使商家進行有針對性的改進。而真實用戶對于虛假評論的識別能力往往較低，難以識別出帶有欺騙性質的評論內容［21］。

（6）文本生成檢測

當前許多研究表明，文本生成模型已經可以生成類似人類語言風格的文本，特別是在語法、流暢性、連貫性和對知識的使用方面［22,23］。文本生成模型已經應用在故事生成、對話回復生成、代碼自動補全等多個任務中。然而文本生成模型也面臨著被惡意使用的情況，如虛假新聞、虛假產品評論和垃圾郵件的生成［24］。

3 關鍵技術

本部分在上述擴展后概念的基礎上，從認知機制、基于內容、基于信息傳播、基于社交行為和新興技術五個角度概述大眾認知安全防護的關鍵技術。

3.1 認知機制

以內容交互為核心的網絡用戶行為，如發布、轉發、點贊等，會極大地影響數字化信息的傳播和影響力。了解網絡平臺上大眾分享、轉發等行為的機制對于他們的認知安全防護至關重要。

神經科學一直被廣泛應用于人機交互的相關領域。其領域內的相關研究為大眾認知安全防護提供了許多理論基礎。例如，Dmochowski等人發現相對于文本，人們觀看視頻時大腦活動更加活躍［25］。Falk等人的研究表明小群體的個體神經反應可以用來預測大規模群體的行為［26］。Hasson等人則發現，不同個體的大腦在觀看復雜場景時，表現出高度一致的行為傾向［27］。

同時還有一些研究旨在學習社交網絡中的信息分享機制。例如，Scholz等人［28］提出了一個神經認知框架來理解信息分享的機制。他們發現分享操作與用戶自我表達和強化社會聯系的動機有關。Hodas等人通過分析人格類型、情緒、大腦反應以及人們分享的內容類型之間的聯系發現用戶的分享行為可以通過性格和當時的情緒狀態來預測［29］。Falk等人通過觀察用戶翻閱信息時的神經反應發現個體在信息分析的初始過程中會產生更大的心理活動［30］。

除了神經科學領域外，Lewandowsky等人從心理學角度，通過觀察用戶對錯誤信息的記憶程度，研究認知因素在識別錯誤信息中的作用。并將大眾在面對錯誤信息時的認知問題分為持續影響效應、說服難度、傾向接受自己的知識和對錯誤信息的接受四類［31］。

3.2 基于內容特征的關鍵技術

盡管網絡媒體平臺上數字化信息包含許多社會語境內容，但建立可靠的識別系統所必需的主要特征來源是直接從信息內容中提取的特征。而基于內容特征的關鍵技術可以分為文本表征分析、心理語言學因素分析和多模態表征分析。

（1）文本表征分析

現有網絡無效信息的識別通常依賴于文本內容中的寫作風格或語言特征（如詞匯特征、句法特征、和主題特征等）。最直接的文本表征的方法是將識別任務視為文本分類問題，并使用 RST［32］，LIWC［33］和text-CNN［34］等技術進行研究。例如，Egele等人［35］使用七個文本內容特征對網絡信息進行建模，然后通過判斷之后發布的信息是否偏離已創建的模型來檢測社交機器人。

此外，真實的信息往往會引發用戶的悲傷、快樂和信任的情感，而虛假新聞往往會引發公眾的驚訝、恐懼和厭惡。Alonso等人提出了一種融合多種情感特征提取器的虛假信息檢測方法［36］。

（2）心理語言學因素分析

由心理學相關研究表明，基于事實的陳述在內容和質量上都與虛構的陳述不同。寫作風格特征旨在用可量化的特征來識別不同的內容風格。Potthast等人［37］就利用真實新聞和虛假新聞在寫作風格上的差異，提出了一種用于檢測虛假新聞的元學習模型。Marouf等人針對網絡不當言論數據集，使用LIWC工具構建了六種不同心理學因素特征［38］。

（3）多模態表征分析

帶有視覺內容的信息要比純文本信息傳播的速度更快，并且越來越多的信息通過圖像進行傳播，已經有大量研究聚焦于預測帶有誤導內容多模態信息。

Garimella和Eckles從WhatsApp收集了2500幅圖像樣本，并進行標注。他們根據這個數據集進行了不同類型的圖像識別研究，如斷章取義的圖像、篡改圖像、誤導圖像等。該研究還發現，帶有暴力因素的圖像比其他圖像信息傳播速度更快［39］。

Volkova等人提出了使用文本、視覺和詞匯特征檢測誤導信息的模型［40］。Zlatkova等人通過比較文本和圖像之間不同特征組的表現來完成關于圖像聲明的真實性判斷任務［41］。Wang等人在分析了社交媒體圖像推文后，發現帶有篡改圖像的推文會有更高的用戶參與度［42］。

3.3 基于信息傳播的關鍵技術

建模信息如何傳播有助于分析無效信息的傳播機制，為阻止無效信息的擴散提供理論依據和技術支撐。在社會學、物理學和計算機科學中，社交網絡中的信息傳播一直是研究熱點之一。信息傳播建模、信息源檢測和影響力最大化分析等研究都為大眾認知安全防護提供研究路徑與可靠方法。

（1）傳播機制

社交網絡中的虛假信息往往會導致社區內的同質化和社區間的兩極分化，且虛假內容傳播的早期階段往往表現為病理模式。Friggeri等人通過分析Facebook上的謠言傳播發現，在社交平臺中謠言的擴散深度比普通信息更深［43］。Liu等人發現真實新聞和虛假新聞的傳播模式存在明顯差異［44］。

為了理解社交網絡的脆弱性，提高用戶對虛假新聞的應變能力，Wang等人提出了一個多變量跳躍傳播引導框架，該框架對輿論的傳播動態進行建模，引導輿論達到理想狀態［45］。Martins等人提出了一個觀點傳播模型CODA，將用戶的不同觀點視為離散變量，將每個觀點建模為連續的觀點函數，目標用戶根據鄰居觀點的貝葉斯描述來決定是否改變自己的觀點［46］。Yang等人為了描述用戶角色之間的交互操作及其對信息傳播的影響，提出了角色感知的信息傳播模型［47］。Gilani等人通過分析真實用戶和社交機器人在推特上發布和轉發的行為，發現社交機器人在信息傳播中起著非常重要的作用［48］。

（2）關鍵節點影響機制

Morone等人將滲透理論引入到社會網絡影響節點發現中，發現大量弱連接（低度）節點可以成為最優影響者［49］。Amati利用動態轉發圖中節點的度、親密度、之間度和PageRank中心度來尋找Twitter中最有影響力的用戶［50］。Qiu等人結合網絡嵌入、圖卷積和注意力機制提出一個基于深度學習的影響力預測框架，學習用戶潛在的社會表征來評估其社會影響［51］。

（3）影響機制

社交網絡用戶是否會被影響，取決于其相關社區的組成部分和結構，而不是社區的規模大小。因此，以目標用戶的鄰居為代表的不同社會環境和影響可以被認為是社會影響的驅動機制。Kramer等人的研究證明了Facebook中每個用戶的情緒都會受到其他用戶的影響［52］，這為大規模的社會影響和傳染提供了實驗基礎。

Abebe等人從人們心理敏感性變化的角度研究了信息傳染的過程，并提出了一個社會觀點的動態模型，綜合利用群體觀點的最大化和最小化來影響社會輿論［53］。Messias等人則從影響力的角度出發，提出了惡意社交機器人的行為策略，包括定期發布某個熱門話題的推文、不同的發布間隔和內容完整性［54］。Abokhodair等人通過分析社交機器人的發布行為、社交結構、群體行為特征及影響網絡，發現社交機器人如果擁有更多類似人的社交行為就會提高其傳播影響力［55］。

3.4 基于社交行為技術

社交行為主要包含用戶的發布、轉發、評論和點贊數等操作以及這些操作的時間信息。分析和挖掘現有網絡平臺中社交行為數據具有重要的價值。

Ma等人利用時間序列的社會語境特征來檢測網絡謠言［56］。Jin等人通過挖掘評論中支持或反對意見，提出了一種用于謠言檢測的可信度傳播網絡模型［57］。Ruchansky等人通過結合信息的文本特征、用戶評論和發布者特征，提出了基于RNN的虛假新聞檢測模型［58］。Shu等人通過研究發布者、信息內容和用戶之間的社會關系，提出了一個用于對人與內容的交互進行建模的關系嵌入網絡，并將該模型用于檢測虛假信息［59］。

Boshmaf等人利用社交機器人與人類用戶在好友數、發文時間間隔、發布內容和賬戶屬性等方面的差異特征，提出了一種基于隨機森林的社交機器人檢測方法［60］。Haustein等人分析真實推特用戶和社交機器人在轉發科學類文章方面的差異，發現社交機器人在涉及主題、來源等方面的轉發往往沒有主題聚焦的特性［61］。此外，Varol等人發現，與人類用戶相比，社交機器人的社交行為選擇更加隨意，它們與真實用戶之間的雙向交互更少［62］。

3.5 新興技術

目前最先進的文本生成模型已經能夠生成接近人類語言風格的文本，特別是在語法、流暢性、連貫性以及對現實世界知識的使用上。文本生成模型的發展使其能夠服務于各種各樣的應用中，包括故事生成、對話回復生成、代碼自動補全等。然而，文本生成模型也可能被濫用，如虛假新聞生成、虛假產品評論生成和垃圾郵件等。Gao等人發現推特中63%的無效信息是基于模板生成的［63］。因此，構建能夠最大限度地減少文本生成模型誤用帶來的威脅的工具是很重要的。

表2 列舉了現有的一些典型的文本生成模型［24］。對于語言模型任務，可以在特定領域的語料庫上對這些訓練過的文本生成模型進行微調，以生成適配各自領域的文本。例如，Adelani等人對GPT-2模型在產品評論的特定領域進行微調，生成了模仿真實用戶評論風格的虛假評論［64］。

表2 文本生成模型

而在最近的GROVER相關研究中，有研究者發現從文本生成模型中檢測虛假信息的最佳模型還是其模型本身。此外，RoBERTa檢測器可以泛化到在其預訓練期間未看到的數據源上，該檢測器可以在推文中準確地識別出機器生成的推文，性能表現遠遠超過了傳統的機器學習模型和復雜神經網絡模型。同時，在檢測由文本生成模型生成的新聞文章和由微調的GPT-2模型生成的產品評論任務中，RoBERTa檢測器也優于現有的模型。

4 挑戰與未來

雖然在大眾認知安全防護這一新興研究領域內還沒有針對性的研究，但相關學科和相似任務的研究已經為該領域研究提供了初步的理論基礎和技術支撐。今后，這一領域仍有許多研究挑戰與實際問題需要解決，本部分將討論其中一些急需解決的問題。

（1）對于大眾認知安全防護，首先要了解人類對無效信息的認知機制。而認知機制的研究涉及認知科學、心理學、神經科學等多個學科。針對當前網絡媒體平臺的發展，需要深入研究具體的認知問題。例如，個體認知對群體行為的影響；滿足用戶認知偏好的無效信息的特征；社交行為對個體認知的影響等。

（2）信息傳播模型和影響力模型是人類社會的一種普遍現象，它有助于社會網絡中觀點動力學、行為塑造和認知偏好的研究。因此對社交網絡上有影響力的用戶進行評估，最大化地提高其在信息傳播過程中的影響力，有助于中斷無效信息的傳播進程。這就需要加快研究在新的網絡媒介中信息的傳播理論，以及真實信息對大眾的快速影響最大化機制。

（3）網絡媒體平臺中的信息通常具有極高的時效性，平均傳播時間不超過三天，且無效信息的傳播往往在早期階段就已造成極大的影響。因此，針對無效信息的早期發現是一個重要的課題。盡管關于虛假新聞的早期發現這一相似任務已經進行了一些研究，但其性能表現仍有待提高。

（4）隨著深度學習和大規模預訓練模型的成果應用，現有的模型研究通常只給出相關任務的結果，而針對結果的決策依據幾乎沒有解釋。然而，無效信息挖掘過程中的可解釋性以及模型透明性對于說服大眾具有不可替代的作用。隨著可解釋機器學習的發展和知識圖譜的引入，深度學習模型也具有了一定的可解釋，但為了能夠更好地獲取大眾的信任，如概率圖模型、基于復雜規則的知識圖譜和人機交互機制等可解釋技術依舊需要進一步探索。

5 結論

本文針對認知安全這一全新的研究課題，為了更加準確描述認知安全防護的內容，在通過相關領域和研究任務的充分調研后，擴展了認知安全的相關概念并回顧了一些現有研究的代表性成果，包括社交機器人、回聲室效應、媒體可信度、文本生成檢測等。然后，本文通過認知機制、基于內容、基于社交網絡、基于社交行為和新興技術五個角度分析了涉及大眾認知安全防護的現有研究工作進展，并討論了這一新興領域所面臨的實際問題。大眾認知安全防護的研究仍處于起步階段，相關領域的研究人員仍面臨許多挑戰和問題。