面向網(wǎng)絡(luò)欺凌文本檢測模型的算法解釋及其故事化呈現(xiàn)研究

關(guān)鍵詞： 網(wǎng)絡(luò)欺凌； 文本檢測； ＬＩＭＥ 算法； 算法解釋； 數(shù)據(jù)故事化

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２４．０９．００５

〔中圖分類號(hào)〕ＴＰ３９１.１ 〔文獻(xiàn)標(biāo)識(shí)碼〕Ａ 〔文章編號(hào)〕１００８－０８２１ （２０２４） ０９－００５９－１２

網(wǎng)絡(luò)欺凌檢測研究是一個(gè)融合心理學(xué)、教育學(xué)、行為科學(xué)和信息技術(shù)等多學(xué)科的社會(huì)科學(xué)研究， 基于檢測模型監(jiān)管網(wǎng)絡(luò)欺凌行為符合信息資源管理領(lǐng)域?qū)τ跀?shù)據(jù)規(guī)范、隱私管理和信息合規(guī)性檢驗(yàn)的要求。聯(lián)合國指出， 網(wǎng)絡(luò)欺凌是“使用數(shù)字技術(shù)的欺凌， 它可以在社交媒體、消息傳遞平臺(tái)、游戲平臺(tái)和手機(jī)上進(jìn)行， 這是重復(fù)的行為， 旨在嚇唬、激怒或羞辱那些被針對的人”［１］ 。從我國關(guān)于加強(qiáng)網(wǎng)絡(luò)文明建設(shè)的建議中得知［２］ ， 網(wǎng)絡(luò)欺凌行為會(huì)對個(gè)人身心健康、社會(huì)穩(wěn)定甚至國家安全造成潛在威脅，實(shí)現(xiàn)對欺凌行為的準(zhǔn)確識(shí)別和有效應(yīng)對具有戰(zhàn)略和現(xiàn)實(shí)意義。因此， 本研究旨在通過對網(wǎng)絡(luò)欺凌檢測模型結(jié)果進(jìn)行算法解釋， 并以數(shù)據(jù)故事方式呈現(xiàn)欺凌文本， 為實(shí)現(xiàn)實(shí)時(shí)性、局部性和精準(zhǔn)化的網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理提供參考依據(jù)， 有助于維護(hù)網(wǎng)絡(luò)秩序和構(gòu)建良好的網(wǎng)絡(luò)環(huán)境。

提高結(jié)果的可解釋性是促進(jìn)算法模型廣泛應(yīng)用于社會(huì)科學(xué)研究的重要舉措， 可有效增強(qiáng)研究人員對模型決策的認(rèn)可、信任與理解。通過對用戶信息行為合規(guī)性檢驗(yàn)與隱私權(quán)保護(hù)的思考， 本研究構(gòu)建了一個(gè)識(shí)別網(wǎng)絡(luò)欺凌文本特征、算法解釋方法和故事化呈現(xiàn)的理論框架。該框架將故事化解釋方法與情報(bào)學(xué)領(lǐng)域的信息檢索相結(jié)合， 是數(shù)據(jù)故事化方法在網(wǎng)絡(luò)治理方面的應(yīng)用拓展。目前， 網(wǎng)絡(luò)欺凌檢測研究大多關(guān)注用戶特征［３］ 、語言類型［４］ 、檢測方法［５］ 等內(nèi)容， 并取得了一定的研究進(jìn)展， 但對網(wǎng)絡(luò)欺凌檢測的可解釋性以及故事化呈現(xiàn)方面的探索有待加強(qiáng)。本研究試圖回答以下研究問題： ①網(wǎng)絡(luò)欺凌檢測模型的高準(zhǔn)確性是否代表其具有高應(yīng)用價(jià)值與可信度？ 如何權(quán)衡檢測模型準(zhǔn)確性與可解釋性之間的關(guān)系？ ②增強(qiáng)算法解釋對于指導(dǎo)網(wǎng)絡(luò)欺凌模型實(shí)踐應(yīng)用有何價(jià)值？ ③故事化方法在網(wǎng)絡(luò)欺凌檢測結(jié)果解釋中發(fā)揮了何種作用？ 如何將模型預(yù)測結(jié)果和解釋結(jié)果應(yīng)用于故事化框架中？

１相關(guān)研究

１.１網(wǎng)絡(luò)欺凌檢測模型

網(wǎng)絡(luò)欺凌檢測模型是一種用于自動(dòng)識(shí)別和分類網(wǎng)絡(luò)欺凌行為的算法程序， 能夠分析文本、圖像、音視頻或其他形式的欺凌內(nèi)容。為分析現(xiàn)有研究中涉及的網(wǎng)絡(luò)欺凌檢測模型分析對象， 本研究在Ｗｅｂｏｆ Ｓｃｉｅｎｃｅ Ｃｏｒｅ Ｃｏｌｌｅｃｔｉｏｎ、中國知網(wǎng)ＣＮＫＩ 等核心數(shù)據(jù)庫中進(jìn)行檢索與篩選， 以“主題＝網(wǎng)絡(luò)欺凌檢測模型”“主題＝網(wǎng)絡(luò)欺凌檢測模型ＡＮＤ 主題＝文本”“主題＝網(wǎng)絡(luò)欺凌檢測模型ＡＮＤ 主題＝圖像”“主題＝網(wǎng)絡(luò)欺凌檢測模型ＡＮＤ 主題＝音視頻” 檢索式在中國知網(wǎng)數(shù)據(jù)庫中進(jìn)行檢索， 分別得到４篇、４篇、０篇、０篇文獻(xiàn)。并以Ｔｏｐｉｃ＝“ｃｙｂｅｒｂｕｌｌｙｉｎｇ ｄｅ?ｔｅｃｔｉｏｎ ｍｏｄｅｌ”、Ｔｏｐｉｃ＝“ｃｙｂｅｒｂｕｌｌｙｉｎｇ ｄｅｔｅｃｔｉｏｎ ｍｏｄ?ｅｌ” Ａｎｄ Ｔｏｐｉｃ＝“ｔｅｘｔ”、Ｔｏｐｉｃ＝“ｃｙｂｅｒｂｕｌｌｙｉｎｇ ｄｅｔｅｃ?ｔｉｏｎ ｍｏｄｅｌ” Ａｎｄ Ｔｏｐｉｃ＝“ｉｍａｇｅ”、Ｔｏｐｉｃ＝“ｃｙｂｅｒｂｕｌ?ｌｙｉｎｇ ｄｅｔｅｃｔｉｏｎ ｍｏｄｅｌ” Ａｎｄ Ｔｏｐｉｃ＝“Ａｕｄｉｏ ｏｒ ｖｉｄｅｏ”檢索式在Ｗｅｂ ｏｆ Ｓｃｉｅｎｃｅ 核心數(shù)據(jù)庫進(jìn)行主題檢索，分別獲得文獻(xiàn)１４４ 篇、７８ 篇、２４篇和１３篇。其中， 文獻(xiàn)類型、發(fā)表時(shí)間不做限制。在已發(fā)表文獻(xiàn)中， 網(wǎng)絡(luò)欺凌檢測模型不同分析對象分布如圖１ 所示。可見， 文本分析在網(wǎng)絡(luò)欺凌檢測模型研究中占比最高， 這是因?yàn)槲谋緝?nèi)容相較于其他形式對判斷網(wǎng)絡(luò)欺凌行為更加方便、直觀。因此， 本研究重點(diǎn)對網(wǎng)絡(luò)欺凌文本進(jìn)行算法分析與案例研究。

現(xiàn)有研究多利用智能傳感設(shè)備和機(jī)器學(xué)習(xí)方法對用戶行為進(jìn)行檢測， 通過尋找關(guān)鍵敏感特征或訓(xùn)練檢測模型識(shí)別網(wǎng)絡(luò)欺凌行為。①智能傳感設(shè)備主要通過語音或行為判斷是否屬于欺凌行為， 例如，Ｙｅ Ｌ 等［６］ 通過傳感器數(shù)據(jù)（文本或音視頻）識(shí)別用戶的運(yùn)動(dòng)類型， 并結(jié)合分析音頻源的情感識(shí)別方法，為辨別欺凌任務(wù)或行動(dòng)提供一種新方法。Ｚｈａｏ Ｚ Ｈ等［７］ 基于智能傳感器的活動(dòng)識(shí)別、基于情緒的語氣識(shí)別， 使用主成分分析算法識(shí)別哪些特征空間對欺凌行為分類最具辨別力。Ｇａｔｔｕｌｌｉ Ｖ 等［８］ 基于手機(jī)傳感器方法識(shí)別用戶欺凌行為， 利用人類活動(dòng)識(shí)別（Ｈｕｍａｎ Ａｃｔｉｖｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ， ＨＡＲ）模型將用戶分類為欺凌、網(wǎng)絡(luò)欺凌、欺凌受害者和網(wǎng)絡(luò)欺凌受害者。②機(jī)器學(xué)習(xí)方法利用上下文內(nèi)容、情感傾向和情緒特征等信息識(shí)別網(wǎng)絡(luò)欺凌。Ｐａｒｕｃｈｕｒｉ Ｖ Ｌ等［９］ 提出了具有Ｎ 元語法特征選擇的七層卷積神經(jīng)網(wǎng)絡(luò)模型， 可在基于辱罵詞的單詞級(jí)別和基于同義詞的字符級(jí)別檢測網(wǎng)絡(luò)欺凌。已有學(xué)者總結(jié)分析了現(xiàn)有的基于深度學(xué)習(xí)的網(wǎng)絡(luò)欺凌檢測技術(shù)， 調(diào)查發(fā)現(xiàn)， 深度學(xué)習(xí)憑借高效處理大規(guī)模多元數(shù)據(jù)、隱藏層自動(dòng)提取特征等優(yōu)勢［１０］ ， 在識(shí)別網(wǎng)絡(luò)欺凌上超越了傳統(tǒng)的機(jī)器學(xué)習(xí)算法。亦有研究提出了自訓(xùn)練的ＥＬＭｏ （ Ｅｍｂｅｄｄｉｎｇｓ ｆｒｏｍ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌｓ） －ＴｅｘｔＣＮＮ 檢測模型［１１］ 和跨層連接的多通道ＤＢｉＳＡＣ網(wǎng)絡(luò)欺凌檢測模型［１２］ ， 通過提取文本特征和分析語義信息實(shí)現(xiàn)對網(wǎng)絡(luò)欺凌文本的檢測。綜上所述，詞向量、文本特征和上下文語義信息是識(shí)別網(wǎng)絡(luò)欺凌文本的關(guān)鍵。

１.２面向網(wǎng)絡(luò)欺凌檢測模型的解釋方法

可解釋性方法是用戶理解并信任模型檢測結(jié)果的技術(shù)手段之一。對于未知的文本內(nèi)容， 僅依靠模型準(zhǔn)確性指標(biāo)評(píng)估網(wǎng)絡(luò)欺凌分類結(jié)果并不可信， 應(yīng)提供支持文本分類結(jié)果的關(guān)鍵特征。通過解釋特定特征的分類， 可用于監(jiān)控和識(shí)別網(wǎng)絡(luò)欺凌。面向網(wǎng)絡(luò)欺凌檢測模型的可解釋性方法有特征重要性分析［１３］ 、局部解釋方法［１４］ 、梯度類激活圖［１５］ 和因果解釋［１６］ 等。其中， ①特征重要性分析方法通過計(jì)算或獲取每個(gè)特征的重要性分?jǐn)?shù)（分?jǐn)?shù)代表特征對于模型決策的影響程度）， 了解數(shù)據(jù)特征與網(wǎng)絡(luò)欺凌的關(guān)聯(lián)程度， 來識(shí)別可能的欺凌特征； ②局部解釋方法用于解釋網(wǎng)絡(luò)欺凌檢測模型在特定樣本或數(shù)據(jù)點(diǎn)上的決策， 以幫助理解模型是如何判斷某個(gè)輸入是否屬于網(wǎng)絡(luò)欺凌的； ③梯度類激活圖等可視化方法利用梯度信息表示欺凌類別與神經(jīng)元的關(guān)聯(lián)程度， 并以熱力圖形式顯示對于預(yù)測結(jié)果有重要影響的關(guān)鍵特征； ④因果解釋方法使用因果圖、潛在因果模型或其他因果推斷技術(shù)， 幫助人們理解輸入特征與欺凌行為之間的因果關(guān)系。研究發(fā)現(xiàn)， 單一的可解釋性方法并不能滿足網(wǎng)絡(luò)欺凌檢測模型的解釋需求， 往往需要多種技術(shù)結(jié)合起來。例如， 在一項(xiàng)仇恨言論檢測研究中， Ａｎｓａｒｉ Ｇ 等［１４］ 提出， 通過文本的數(shù)據(jù)增強(qiáng)來提高深度學(xué)習(xí)模型的性能和可解釋性， 并采用ＬＩＭＥ（Ｌｏｃａｌ Ｉｎｔｅｒｐｒｅｔａｂｌｅ Ｍｏｄｅｌ－Ａｇ?ｎｏｓｔｉｃ Ｅｘｐｌａｎａｔｉｏｎｓ）和積分梯度方法識(shí)別與預(yù)測類（是否仇恨）相關(guān)的重要關(guān)鍵字， 生成深度學(xué)習(xí)模型的局部解釋。

機(jī)器學(xué)習(xí)模型與可解釋性方法相結(jié)合，可以為網(wǎng)絡(luò)欺凌檢測提供有效的解決方案。基于機(jī)器學(xué)習(xí)方法（如隨機(jī)森林、深度神經(jīng)網(wǎng)絡(luò)模型）檢測網(wǎng)絡(luò)欺凌行為， 面臨可解釋性差、缺乏合乎道德和無偏見工具的支持等難題。為解決上述困難， ＧｏｌｄｆｅｄｅｒＢ 等［１７］ 提出， 基于面向服務(wù)的架構(gòu)（Ｓｅｒｖｉｃｅ－Ｏｒｉｅｎ?ｔｅｄ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＳＯＡ）的網(wǎng)絡(luò)欺凌檢測新方法， 允許基于類的Ｓｏｆｔｍａｘ 輸出進(jìn)行更好的人工解釋。通過提供一組透明且可解釋的圖表， 使用戶能夠獲得制定決策所需的關(guān)鍵信息， 以提高非專業(yè)人士對模型輸出結(jié)果的可理解性、信任和接受度。提供決策解釋的網(wǎng)絡(luò)欺凌檢測模型在醫(yī)療健康、政府政策以及軍事情報(bào)等領(lǐng)域均能發(fā)揮重要作用， 如情報(bào)機(jī)構(gòu)可以使用網(wǎng)絡(luò)欺凌檢測技術(shù)收集和分析網(wǎng)絡(luò)威脅情報(bào)， 包括識(shí)別潛在的網(wǎng)絡(luò)攻擊、漏洞、惡意軟件與黑客活動(dòng)， 便于情報(bào)機(jī)構(gòu)實(shí)時(shí)跟蹤事件、話題和情報(bào)來源， 從而幫助情報(bào)機(jī)構(gòu)快速響應(yīng)潛在威脅和網(wǎng)絡(luò)攻擊， 并采取及時(shí)的防御措施。

１.３數(shù)據(jù)故事化呈現(xiàn)方式

數(shù)據(jù)故事化是一種將數(shù)據(jù)及數(shù)據(jù)洞見以故事形式進(jìn)行敘述的過程［１８］ ， 該過程可使用可視化圖表、故事板或儀表盤、基于增強(qiáng)現(xiàn)實(shí)的數(shù)據(jù)動(dòng)畫、故事流程圖等方式進(jìn)行呈現(xiàn)。呈現(xiàn)方式的差異展示了不同的故事化解釋效果。

１） 可視化圖表是數(shù)據(jù)故事的一種呈現(xiàn)形式， 旨在向非專業(yè)人士解釋數(shù)據(jù)規(guī)律并使其信任分析結(jié)果。作為一種呈現(xiàn)數(shù)據(jù)洞見的媒介， Ｌｅｅ Ｂ 等［１９］ 介紹了一種支持?jǐn)?shù)據(jù)的敘事可視化工具——ＳｋｅｔｃｈＳｔｏｒｙ，可以借鑒現(xiàn)有的敘事手段， 如漫畫、海報(bào)等， 并通過擴(kuò)展白板動(dòng)畫的敘事功能以發(fā)展出一種更具吸引力的故事化形式。基于可視化圖表促進(jìn)交互式探索，有助于快速輕松地創(chuàng)建個(gè)性化和富有表現(xiàn)力的數(shù)據(jù)圖表。

２） 故事板或儀表盤是一種結(jié)合文本、圖片、音頻或視頻來講述數(shù)據(jù)故事的多媒體顯示方式， 可以幫助將數(shù)據(jù)可視化與數(shù)據(jù)洞見組織成有連貫性的故事。例如， Ｔａｂｌｅａｕ Ｐｕｂｌｉｃ［２０］ 支持在Ｗｅｂ 上發(fā)布交互式可視化， 從而借助帶有圖表注釋的故事面板實(shí)現(xiàn)故事講述。從社會(huì)數(shù)據(jù)中提取知識(shí)和獲得見解，對于改善政府服務(wù)和預(yù)測情報(bào)活動(dòng)具有重要價(jià)值，而數(shù)據(jù)故事化有助于理解和呈現(xiàn)嵌入在數(shù)據(jù)中的見解。為實(shí)現(xiàn)“理解社會(huì)數(shù)據(jù)” 這一目標(biāo)， ＢｅｈｅｓｈｔｉＡ 等［２１］ 實(shí)施了一個(gè)交互式講故事儀表板， 即ｉＳｔｏ?ｒｙ，實(shí)現(xiàn)基于重要特征的智能敘事構(gòu)建， 并使用摘要技術(shù)從多個(gè)級(jí)別和不同視圖講述故事。

３） 數(shù)據(jù)動(dòng)畫通過時(shí)間軸的動(dòng)態(tài)變化展示數(shù)據(jù)的變化和趨勢。增強(qiáng)現(xiàn)實(shí)（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ， ＡＲ）技術(shù)能在現(xiàn)有呈現(xiàn)設(shè)備的基礎(chǔ)上添加數(shù)據(jù)和增強(qiáng)功能， 通過使用ＡＲ 顯示器的多模態(tài)輸入和輸出， 設(shè)計(jì)師可以制作數(shù)據(jù)驅(qū)動(dòng)的故事， 讓受眾沉浸在故事中。已有研究提出了一種新穎的ＨｙｄｒｏｇｅｎＡＲ 演示工具， 利用數(shù)據(jù)驅(qū)動(dòng)的故事敘述和沉浸式ＡＲ 的優(yōu)勢來解釋氫氣分配器的可靠性問題［２２］ ， 從而為用戶帶來更具吸引力的體驗(yàn)和數(shù)據(jù)理解。

４） 故事流程圖通過引入數(shù)據(jù)背后的人物與模型， 將數(shù)據(jù)處理過程及分析結(jié)果作為事件點(diǎn)， 并按照一定邏輯進(jìn)行情景化呈現(xiàn)。故事流程圖需依托特定的數(shù)據(jù)故事模型與結(jié)構(gòu)， 如五元素模型［２３］ 、ＳＰＳＮ模型［２４］ 、金字塔結(jié)構(gòu)［２５］ 和向下鉆取模型［２６］ 等， 并按照收集理解數(shù)據(jù)、明確故事目的、確定關(guān)鍵要素（人物、事件和情節(jié)）、選擇故事模型、敘述故事等步驟進(jìn)行故事呈現(xiàn)， 從而幫助目標(biāo)受眾理解和記憶數(shù)據(jù)故事。

綜上， 數(shù)據(jù)故事化呈現(xiàn)方式具有多種類型， 已在市場營銷、數(shù)據(jù)新聞和社交娛樂等領(lǐng)域開展實(shí)踐研究， 并且數(shù)據(jù)故事形式可輔助網(wǎng)絡(luò)安全監(jiān)管部門更好地理解、分析和應(yīng)對欺凌事件。通過數(shù)據(jù)故事化呈現(xiàn)， 網(wǎng)絡(luò)言論治理團(tuán)隊(duì)可以更容易地分析欺凌數(shù)據(jù)， 理解欺凌事件的發(fā)展和影響， 從而采取適當(dāng)?shù)拇胧﹣砉芾砭W(wǎng)絡(luò)言論。

２ 網(wǎng)絡(luò)欺凌檢測模型的解釋與應(yīng)用

ＬＩＭＥ 算法可應(yīng)用于網(wǎng)絡(luò)欺凌檢測模型， 以解釋模型對于特定實(shí)例的決策， 從而增強(qiáng)模型行為的可解釋性和透明度。此外， ＬＩＭＥ 算法具有模型無關(guān)與局部解釋特性， 因此該算法適用于解釋各種網(wǎng)絡(luò)欺凌檢測模型的特定實(shí)例。

２.１ ＬＩＭＥ 解釋算法的選擇依據(jù)

現(xiàn)有研究的網(wǎng)絡(luò)欺凌檢測模型種類繁多且可解釋性較差， 選擇何種解釋方法需要考慮兩個(gè)方面。一方面， 準(zhǔn)確識(shí)別欺凌行為和增強(qiáng)模型可信度的關(guān)鍵是在檢測模型未知的情況下實(shí)現(xiàn)對輸出結(jié)果的合理解釋， 即“模型無關(guān)”； 另一方面， 網(wǎng)絡(luò)欺凌檢測模型的研究對象通常是某一具體的實(shí)例數(shù)據(jù)， 單個(gè)樣本點(diǎn)的局部關(guān)鍵特征有助于判斷是否屬于欺凌行為， 即“局部解釋”。同時(shí)， 考慮網(wǎng)絡(luò)欺凌數(shù)據(jù)類型的多樣性， 選擇的可解釋性算法應(yīng)適用于多種數(shù)據(jù)類型。已知的模型無關(guān)局部解釋技術(shù)包括局部特征重要性分析、局部代理模型、敏感性分析、ＬＩＭＥ、ＳＨＡＰ 和可視化技術(shù)等。相較于其他模型無關(guān)局部解釋技術(shù)， ＬＩＭＥ 算法具有解釋模型簡單、采樣方法適用于高維復(fù)雜數(shù)據(jù)、模型適應(yīng)性廣、支持分類和回歸任務(wù)的優(yōu)勢。ＬＩＭＥ 是一種模型無關(guān)局部可解釋方法， 算法思想是基于訓(xùn)練的局部代理模型實(shí)現(xiàn)對單個(gè)樣本點(diǎn)的預(yù)測［２７］ ， 并且ＬＩＭＥ 可用于表格數(shù)據(jù)、圖像和文本的解釋。因此， 本研究采用ＬＩＭＥ 方法作為網(wǎng)絡(luò)欺凌檢測模型的解釋手段。

２.２ 基于ＬＩＭＥ 算法的文本解釋原理

基于現(xiàn)有文獻(xiàn)發(fā)現(xiàn)， 文本分析在網(wǎng)絡(luò)欺凌模型中應(yīng)用廣泛。因此， 本研究將文本數(shù)據(jù)作為欺凌模型解釋的重點(diǎn)研究對象。通過ＬＩＭＥ 算法， 用戶可以針對特定輸入文本解釋網(wǎng)絡(luò)欺凌檢測模型的決策， 了解模型是如何基于不同特征做出決策的。這有助于識(shí)別重要特征、證明模型可靠性以及輔助檢測模型治理不良文本。

ＬＩＭＥ 算法在網(wǎng)絡(luò)欺凌檢測模型中的應(yīng)用方式如下： ①選擇一個(gè)特定的待解釋輸入樣本， 并在特定樣本鄰域擾動(dòng)生成新的樣本集； ②使用原始網(wǎng)絡(luò)欺凌檢測模型對生成的擾動(dòng)樣本進(jìn)行預(yù)測， 并基于擾動(dòng)樣本與預(yù)測標(biāo)簽訓(xùn)練一個(gè)簡單的可解釋模型（線性模型或決策樹）， 這個(gè)模型將用于近似原始網(wǎng)絡(luò)欺凌檢測模型在目標(biāo)樣本附近的行為； ③通過局部模型的系數(shù)得知哪些特征對于模型的輸出具有積極或消極的影響， 以及它們的相對重要性； ④可視化局部可解釋模型的權(quán)重和特征重要性。以文本數(shù)據(jù)為例， ＬＩＭＥ 算法的文本解釋原理示意如圖２所示。

面向文本內(nèi)容的算法解釋原理可描述為： ①選定某一特定文本作為解釋對象， 將文本內(nèi)容分割為一個(gè)個(gè)字符串并賦予索引值， 實(shí)現(xiàn)文本到字符串特征的可解釋性表示； ②通過隨機(jī)刪除特征的方式對特定文本進(jìn)行擾動(dòng)， 進(jìn)而生成新的樣本集， 并利用余弦相似度計(jì)算待解釋樣本與擾動(dòng)樣本間的距離作為權(quán)重； ③利用原始黑盒模型對新樣本數(shù)據(jù)進(jìn)行預(yù)測得到其標(biāo)簽信息， 基于擾動(dòng)數(shù)據(jù)及標(biāo)簽訓(xùn)練簡單的可解釋性模型（結(jié)合擾動(dòng)數(shù)據(jù)、標(biāo)簽和距離權(quán)重，返回對特定文本的解釋）。

２.３ＬＩＭＥ 算法在網(wǎng)絡(luò)欺凌檢測模型中的“ 鉆石結(jié)構(gòu)式”應(yīng)用流程

ＬＩＭＥ 算法是針對網(wǎng)絡(luò)欺凌檢測模型預(yù)測結(jié)果進(jìn)行解釋， 從而幫助用戶了解模型是如何基于不同特征做出決策的。ＬＩＭＥ 算法在網(wǎng)絡(luò)欺凌檢測模型的“鉆石結(jié)構(gòu)式” 應(yīng)用流程如圖３ 所示， 包括文本采集、模型訓(xùn)練與預(yù)測、ＬＩＭＥ 算法解釋以及故事化應(yīng)用４ 步。首先， 利用公開數(shù)據(jù)集、網(wǎng)絡(luò)爬蟲和ＡＰＩ 接口等方式采集欺凌文本數(shù)據(jù)集， 經(jīng)過數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理與加工、模型訓(xùn)練與測試等步驟得到欺凌檢測模型。其次， 選擇特定文本作為網(wǎng)絡(luò)欺凌檢測模型的輸入樣本， 若模型預(yù)測結(jié)果判斷為欺凌行為， 則采用ＬＩＭＥ 算法識(shí)別出欺凌特征并可視化， 理解哪些特征對于模型的輸出具有積極或消極的影響， 以及它們的相對重要性， 進(jìn)而實(shí)現(xiàn)對文本預(yù)測結(jié)果的解釋； 若模型預(yù)測結(jié)果判斷為非欺凌行為， 則對非欺凌結(jié)果進(jìn)行解釋性描述并可視化。最后， 對具有欺凌行為的文本及解釋結(jié)果進(jìn)行故事化呈現(xiàn)， 通過明確故事目的、確定故事背景和故事人物、選擇數(shù)據(jù)故事模型、填充故事事件與情節(jié)等步驟實(shí)現(xiàn)模型解釋的故事化呈現(xiàn)。

２.４基于欺凌模型預(yù)測及解釋結(jié)果的故事化呈現(xiàn)框架

基于文本預(yù)測及解釋的故事化呈現(xiàn)框架旨在將模型解釋結(jié)果轉(zhuǎn)化為數(shù)據(jù)故事， 有利于進(jìn)一步提高結(jié)果的可解釋、可理解。根據(jù)數(shù)據(jù)故事化基本流程與模型解釋任務(wù)特性， 本研究將故事化框架分為數(shù)據(jù)層、模型層、解釋層和敘事層４ 部分， 如圖４ 所示。①數(shù)據(jù)層： 對提取的欺凌文本數(shù)據(jù)進(jìn)行加工處理， 并將其劃分為訓(xùn)練集和測試集用于欺凌模型構(gòu)建； ②模型層： 旨在開展多模型（邏輯回歸、樸素貝葉斯、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林、梯度提升模型）性能與解釋效果對比研究； ③解釋層： 提供特定文本在各類欺凌模型中的預(yù)測結(jié)果解釋功能，利用ＬＩＭＥ 算法輔助解釋， 選擇性能較好、解釋可靠的模型進(jìn)行故事化框架搭建； ④敘事層： 在明確故事目標(biāo)的前提下， 將解釋結(jié)果轉(zhuǎn)化為故事要素，并選擇適當(dāng)故事結(jié)構(gòu)進(jìn)行數(shù)據(jù)呈現(xiàn)和故事敘述。

３實(shí)驗(yàn)與分析

為驗(yàn)證網(wǎng)絡(luò)欺凌檢測模型解釋和故事化呈現(xiàn)框架的有效性， 更好地呈現(xiàn)ＬＩＭＥ算法在不同檢測模型中的解釋效果， 本研究將通過實(shí)驗(yàn)對上述框架與方案進(jìn)行實(shí)證研究， 隨機(jī)選擇數(shù)據(jù)集樣本進(jìn)行結(jié)果解釋和故事化呈現(xiàn)。

３.１數(shù)據(jù)準(zhǔn)備

考慮到通過網(wǎng)絡(luò)爬蟲手段獲取媒體平臺(tái)文本內(nèi)容的方式牽涉?zhèn)€人隱私，并且自獲取數(shù)據(jù)缺乏判斷網(wǎng)絡(luò)欺凌的標(biāo)簽信息， 因此本研究采用Ｋａｇｇｌｅ 中網(wǎng)絡(luò)欺凌分類任務(wù)的公開數(shù)據(jù)集［２８］ 。該數(shù)據(jù)集包含４７ ６９２條帶有欺凌類別標(biāo)記的推文， 欺凌類別包括年齡、種族、性別、宗教、其他類型網(wǎng)絡(luò)欺凌和非網(wǎng)絡(luò)欺凌６ 種。通過去除停用詞、刪除標(biāo)點(diǎn)符號(hào)、表情符號(hào)處理、刪除空值和去重等數(shù)據(jù)預(yù)處理操作，得到４５１４３條數(shù)據(jù)， 如圖５ 所示， 各欺凌類型分布相對均衡， 能夠用于訓(xùn)練可識(shí)別模型。

３.２模型選擇

網(wǎng)絡(luò)欺凌類型檢測通過多分類模型實(shí)現(xiàn)， 為選擇性能與效果較好的網(wǎng)絡(luò)欺凌檢測模型， 實(shí)現(xiàn)準(zhǔn)確性與可解釋性之間的權(quán)衡， 本研究采用了邏輯回歸（主要參數(shù)： 優(yōu)化算法選擇參數(shù)ｓｏｌｖｅｒ ＝ “ｓａｇａ”）、支持向量機(jī)（采用默認(rèn)參數(shù)）、隨機(jī)森林（主要參數(shù)： 決策樹個(gè)數(shù)ｎ＿ｅｓｔｉｍａｔｏｒｓ＝ １２８， ｒａｎｄｏｍ＿ｓｔａｔｅ ＝４２）、梯度提升（弱學(xué)習(xí)器的最大迭代次數(shù)ｎ＿ｅｓｔｉ?ｍａｔｏｒｓ＝ ２００， ｒａｎｄｏｍ＿ｓｔａｔｅ ＝ ４２）、樸素貝葉斯（采用默認(rèn)參數(shù)）和神經(jīng)網(wǎng)絡(luò)（主要參數(shù)： 激活函數(shù)ａｃ?ｔｉｖａｔｉｏｎ＝ “ｌｏｇｉｓｔｉｃ”， 最大迭代次數(shù)ｍａｘ＿ｉｔｅｒ ＝ １０，學(xué)習(xí)率ｌｅａｒｎｉｎｇ＿ｒａｔｅ＿ｉｎｔ＝０ ００２）等多種分類模型進(jìn)行欺凌預(yù)測， 并通過半網(wǎng)格搜索原理（ＨａｌｖｉｎｇＧｒｉｄ?ＳｅａｒｃｈＣＶ）進(jìn)行超參數(shù)調(diào)優(yōu)， 實(shí)現(xiàn)不同模型的預(yù)測性能與解釋效果比較。

３.３模型性能與解釋效果度量指標(biāo)

對網(wǎng)絡(luò)欺凌檢測模型的預(yù)測結(jié)果及解釋結(jié)果進(jìn)行指標(biāo)衡量， 對于評(píng)估模型準(zhǔn)確性、可靠性和可解釋性具有關(guān)鍵作用。依據(jù)指標(biāo)度量有助于發(fā)現(xiàn)模型弱點(diǎn)和選擇合適的模型類型， 并將其應(yīng)用于數(shù)據(jù)故事中以實(shí)現(xiàn)更好地解釋。

使用機(jī)器學(xué)習(xí)模型進(jìn)行網(wǎng)絡(luò)欺凌檢測， 常見的性能評(píng)估指標(biāo)包括準(zhǔn)確率（Ａｃｃｕｒａｃｙ）、Ｆ１ 分?jǐn)?shù)（Ｆ１ｓｃｏｒｅ）、精度（Pｒｅｃｉｓｉｏｎ）、召回率（Ｒｅｃａｌｌ） 和受試者工作特征—曲線下區(qū)域（ＲＯＣ－ＡＵＣ）分?jǐn)?shù)等， 對于解釋效果的衡量指標(biāo)有保真度、復(fù)雜度等， 各指標(biāo)名稱及含義如表１ 所示。

各指標(biāo)可通過預(yù)測結(jié)果進(jìn)行統(tǒng)計(jì)性計(jì)算， 其方法如式（１） ～ （４） 所示［２９］ 。其中， ＴＰ 表示真陽性， 即預(yù)測結(jié)果與真實(shí)結(jié)果均為欺凌； ＴＮ 表示真陰性， 即預(yù)測結(jié)果與真實(shí)結(jié)果均為非欺凌； ＦＰ 表示假陽性， 即預(yù)測結(jié)果為欺凌， 真實(shí)結(jié)果卻為非欺凌； ＦＮ 表示假陰性， 即預(yù)測結(jié)果為非欺凌， 真實(shí)結(jié)果卻為欺凌。

通過調(diào)研網(wǎng)絡(luò)欺凌檢測文獻(xiàn)發(fā)現(xiàn)， 衡量網(wǎng)絡(luò)欺凌檢測模型的預(yù)測效果并不僅僅采用單一指標(biāo)， 而是計(jì)算多個(gè)指標(biāo)值綜合檢驗(yàn)?zāi)Ｐ托阅堋＠纾?ＲａｆｉｑＲ Ｉ 等［３０］ 提出了一種多階段網(wǎng)絡(luò)欺凌檢測模型， 實(shí)現(xiàn)了０.７１ 的精度和０.６６ 的召回率， 為解決網(wǎng)絡(luò)欺凌檢測系統(tǒng)的可擴(kuò)展性和及時(shí)性提供方案。由式（４）可知， Ｆ１ 分?jǐn)?shù)具有衡量模型在精度和召回率之間平衡的能力， 并在數(shù)據(jù)集標(biāo)簽存在高度不平衡現(xiàn)象時(shí)， 僅使用準(zhǔn)確性指標(biāo)并不可靠， 因此越來越多的網(wǎng)絡(luò)欺凌檢測文獻(xiàn)使用Ｆ１ 分?jǐn)?shù)作為評(píng)估網(wǎng)絡(luò)欺凌檢測模型性能的關(guān)鍵指標(biāo)。例如， Ｄａｎｉ Ｈ 等［３１］ 提出一種情緒知情網(wǎng)絡(luò)欺凌檢測框架， 使用數(shù)據(jù)中情緒分?jǐn)?shù)的分布來區(qū)分網(wǎng)絡(luò)欺凌帖子和正常帖子的情緒， 實(shí)現(xiàn)ＡＵＣ 得分為０.８０，Ｆ１ 得分為０.６８。Ａｇｒａｗａｌ Ｓ 等［３２］ 使用ＤＮＮ 模型與遷移學(xué)習(xí)相結(jié)合的方法， 檢測３ 個(gè)社交媒體平臺(tái)上的網(wǎng)絡(luò)欺凌數(shù)據(jù)集， 實(shí)現(xiàn)部分樣本集上最高的準(zhǔn)確率為０.９２，召回率為０.９９， Ｆ１ 得分為０.９５。Ｚｈａｏ Ｒ 等［３３］ 使用語義增強(qiáng)邊緣化去噪自動(dòng)編碼器進(jìn)行網(wǎng)絡(luò)欺凌檢測，利用ＭｙＳｐａｃｅ 數(shù)據(jù)集在分類上的平均結(jié)果準(zhǔn)確度達(dá)到８９.７％， Ｆ１ 分?jǐn)?shù)達(dá)到７７.６％。

３.４模型性能及解釋效果評(píng)估

為全面客觀地評(píng)價(jià)模型性能， 本研究采用準(zhǔn)確率（Ａｃｃ）和Ｆ１ 分?jǐn)?shù)（Ｆ１）作為衡量指標(biāo)。網(wǎng)絡(luò)欺凌數(shù)據(jù)集在不同模型下的預(yù)測性能如表２ 所示。除樸素貝葉斯外， 各模型的準(zhǔn)確率相對較高， 并且梯度提升具有最大的準(zhǔn)確率； 而對于Ｆ１分?jǐn)?shù)， 性能由高到低分別為梯度提升、隨機(jī)森林、支持向量機(jī)、邏輯回歸、神經(jīng)網(wǎng)絡(luò)和樸素貝葉斯。

為更好地理解各個(gè)模型在網(wǎng)絡(luò)欺凌檢測任務(wù)上是如何進(jìn)行預(yù)測的， 采用ＬＩＭＥ 算法對單個(gè)實(shí)例結(jié)果進(jìn)行解釋， 在欺凌樣本子集中隨機(jī)選擇部分樣本點(diǎn)， 輸出對結(jié)果影響較大的文本特征， 解釋結(jié)果如表３ 所示。

從上述ＬＩＭＥ 算法解釋結(jié)果看， 對文本Ⅰ的預(yù)測結(jié)果為“ｅｔｈｎｉｃｉｔｙ”（種族欺凌）， 而文本中的“ｎｉｇｇｅｒ”是最能識(shí)別欺凌類型的關(guān)鍵特征， 其他諸如“ｆｕｃｋ”“ｂｉｔｃｈ” “ａｓｓ”“ｓｈｉｔ”等詞匯則帶有濃烈的侮辱性含義， 對于判斷種族欺凌具有積極作用； 但“ｔｅｒｒｏｒｉｓｔ”“ｐｅｄｏｐｈｉｌｅ”“ｒａｐｉｓｔ” 對于判斷種族欺凌并沒有很大幫助， 因此通過考慮這些關(guān)鍵特征， 各模型的ＬＩＭＥ 解釋效果由高到低排序?yàn)樘荻忍嵘倦S機(jī)森林＞支持向量機(jī)＞邏輯回歸＞神經(jīng)網(wǎng)絡(luò)＞樸素貝葉斯。對文本Ⅱ的預(yù)測結(jié)果為“ｒｅｌｉ?ｇｉｏｎ”（宗教欺凌）， 由語義分析可知，“ｉｄｉｏｔ”和“ｍｕｓｌｉｍｓ”是判斷宗教欺凌的核心詞匯， 基于ＬＩＭＥ解釋結(jié)果發(fā)現(xiàn)， 神經(jīng)網(wǎng)絡(luò)與隨機(jī)森林對于文本Ⅱ的預(yù)測具有合理的可解釋性證據(jù)， 而其他４ 類模型僅識(shí)別出部分關(guān)鍵特征。文本Ⅲ是對一些事實(shí)的客觀闡述， 實(shí)際預(yù)測結(jié)果應(yīng)為“ｎｏｔ ｃｙｂｅｒｂｕｌｌｙｉｎｇ”， 但模型解釋結(jié)果出現(xiàn)了差異， 由ＬＩＭＥ 解釋結(jié)果發(fā)現(xiàn)，僅隨機(jī)森林模型作出了正確預(yù)測。因此， 本研究采用隨機(jī)森林模型開展數(shù)據(jù)故事呈現(xiàn)研究。上述研究也回答了研究問題（１） 和（２）， 即模型預(yù)測結(jié)果的高準(zhǔn)確性不能代表更高的模型應(yīng)用價(jià)值與可信度， 可解釋性技術(shù)輔助復(fù)雜模型預(yù)測有利于權(quán)衡模型準(zhǔn)確性與可解釋性之間的關(guān)系。同時(shí)， 算法解釋結(jié)果可檢驗(yàn)?zāi)Ｐ皖A(yù)測的可靠程度， 通過可視化關(guān)鍵特征來判斷模型做出預(yù)測的正確性， 實(shí)現(xiàn)算法的可理解、可解釋。

３.５基于網(wǎng)絡(luò)欺凌模型解釋結(jié)果的故事化呈現(xiàn)

為更好地展示ＬＩＭＥ 算法對于網(wǎng)絡(luò)欺凌檢測模型的解釋結(jié)果， 本研究采用五元素模型（人物、場景、情節(jié)、沖突、解決方案）［３４］ 作為故事呈現(xiàn)方式，如表４ 所示。本研究將基于五元素模型的網(wǎng)絡(luò)欺凌解釋故事生成分為４ 個(gè)階段： ①對于網(wǎng)絡(luò)欺凌文本數(shù)據(jù)集， 通過訓(xùn)練、測試、參數(shù)調(diào)優(yōu)等方式確立合適的網(wǎng)絡(luò)欺凌檢測模型和可解釋性技術(shù)（場景）；②選擇單個(gè)實(shí)例作為待解釋文本（人物）， 利用ＬＩＭＥ等解釋技術(shù)可視化文本關(guān)鍵特征； ③通過刪除關(guān)鍵詞匯、變動(dòng)詞匯排列等擾動(dòng)方法促使預(yù)測結(jié)果發(fā)生由“欺凌” 到“非欺凌” 的轉(zhuǎn)變（沖突）， 其中，單次特征改變發(fā)生的預(yù)測概率變化可看作一個(gè)事件點(diǎn)， 不同事件點(diǎn)的有序排列構(gòu)成故事情節(jié)（情節(jié)）；④在先驗(yàn)知識(shí)的驅(qū)動(dòng)下， 突出識(shí)別真實(shí)預(yù)測結(jié)果的關(guān)鍵特征， 進(jìn)而生成數(shù)據(jù)故事， 最后基于解釋結(jié)果給出預(yù)防欺凌行為的方法和建議（解決方案）。

對于網(wǎng)絡(luò)欺凌檢測， 數(shù)據(jù)故事的生成目的是幫助社交媒體平臺(tái)從源頭上剔除不良用戶， 有效避免網(wǎng)絡(luò)欺凌的發(fā)生。表４展示了某一欺凌文本數(shù)據(jù)通過特征改變成為非欺凌文本的故事化呈現(xiàn)過程。研究發(fā)現(xiàn)， ＬＩＭＥ解釋算法對于識(shí)別文本欺凌特征起到關(guān)鍵作用， 而故事化呈現(xiàn)為非專業(yè)用戶解釋模型預(yù)測結(jié)果、增強(qiáng)數(shù)據(jù)理解提供了可行路徑。同時(shí)，２.２ 與３.４分別從理論與實(shí)踐角度回答了研究問題（３）， 即故事化方法從用戶層面增強(qiáng)了預(yù)測結(jié)果的可理解性和普適性， 模型預(yù)測及解釋結(jié)果可作為數(shù)據(jù)故事的生成要素， 輔助實(shí)現(xiàn)故事易于記憶、易于理解、易于表達(dá)的目的。

４結(jié)論

對網(wǎng)絡(luò)欺凌模型開展算法解釋及故事化呈現(xiàn)研究， 可輔助社交媒體平臺(tái)開發(fā)“在線反欺凌工具”，通過識(shí)別負(fù)面敏感信息來規(guī)范用戶發(fā)言和指導(dǎo)平臺(tái)文明建設(shè)。本研究從網(wǎng)絡(luò)欺凌檢測模型、模型結(jié)果解釋方法和故事化呈現(xiàn)方式３ 個(gè)方面出發(fā)， 明確了３ 個(gè)研究問題， 并確定了研究對象（網(wǎng)絡(luò)欺凌文本）、研究方法（多個(gè)檢測模型、ＬＩＭＥ解釋技術(shù)）、應(yīng)用流程和呈現(xiàn)框架（故事化呈現(xiàn)）， 最后實(shí)驗(yàn)驗(yàn)證故事化呈現(xiàn)框架的可行性。具體而言， 本研究提出了ＬＩＭＥ 算法在欺凌檢測模型中的“鉆石結(jié)構(gòu)式” 應(yīng)用流程， 并構(gòu)建了基于欺凌模型預(yù)測及解釋結(jié)果的故事化呈現(xiàn)框架。針對上述３個(gè)研究問題， 本研究的研究價(jià)值與創(chuàng)新體現(xiàn)在： ①基于ＬＩＭＥ算法對網(wǎng)絡(luò)欺凌檢測模型的預(yù)測結(jié)果進(jìn)行解釋， 并采用數(shù)據(jù)故事化方式呈現(xiàn)解釋結(jié)果； ②探索和提出一種新的面向網(wǎng)絡(luò)欺凌文本檢測的解釋方法， 為決策者提出關(guān)于網(wǎng)絡(luò)言論治理、用戶隱私保護(hù)和安全保障之間的平衡建議提供參考； ③提出了一個(gè)融合網(wǎng)絡(luò)欺凌文本特征、結(jié)果解釋和故事化呈現(xiàn)的理論框架， 其研究成果可為日后的網(wǎng)絡(luò)治理實(shí)踐提供指導(dǎo)。

本研究提供了面向網(wǎng)絡(luò)欺凌文本檢測模型的解釋新方案與新形式， 但也受限于單一語言文本數(shù)據(jù)集， 未囊括多語種、多地區(qū)的欺凌數(shù)據(jù)類型。已有研究發(fā)現(xiàn)， ＢＥＲＴ作為基于自注意力機(jī)制的語言模型， 是一種先進(jìn)的網(wǎng)絡(luò)欺凌檢測模型和深度學(xué)習(xí)模型［２９］ 。因此， 未來一方面可繼續(xù)對不同語種及數(shù)據(jù)類型進(jìn)行研究； 另一方面可對ＢＥＲＴ等檢測模型進(jìn)行探索， 為網(wǎng)絡(luò)欺凌行為的快速識(shí)別與響應(yīng)， 以及實(shí)時(shí)性、局部性和精準(zhǔn)化的網(wǎng)絡(luò)言論管理做出貢獻(xiàn)。