一種干擾系數(shù)自探測(cè)的網(wǎng)絡(luò)事件選取方法

臧 潔,任 旭,馮艷爽,王 妍,肖 萍,魯錦濤

1(遼寧大學(xué) 信息學(xué)院,沈陽(yáng) 110036)

2(榮科科技股份有限公司,沈陽(yáng) 110027)

3(中國(guó)刑事警察學(xué)院 公安信息技術(shù)與情報(bào)學(xué)院,沈陽(yáng) 110854)

0 引 言

近年來(lái),隨著互聯(lián)網(wǎng)的快速發(fā)展、電子產(chǎn)品的快速更新迭代,微博、微信、抖音等網(wǎng)絡(luò)社交和短視頻平臺(tái)的快速崛起,人與人之間的社交變得更為便捷.跨地域、跨年齡、跨文化水平的社交成為了現(xiàn)實(shí),大幅降低了社交成本,改變了人們的生活方式.

民眾可以通過(guò)互聯(lián)網(wǎng)發(fā)表、傳播各種觀點(diǎn)和情緒,這些不同觀點(diǎn)和情緒的總和形成了網(wǎng)絡(luò)輿情.網(wǎng)絡(luò)輿情是由于各種事件的刺激而產(chǎn)生并通過(guò)互聯(lián)網(wǎng)傳播的人們對(duì)于該事件的認(rèn)知、態(tài)度、情感和行為傾向[1],其影響力日益擴(kuò)大.當(dāng)前我國(guó)網(wǎng)民數(shù)量世界第一,互聯(lián)網(wǎng)相關(guān)治理政策的出臺(tái)難以應(yīng)對(duì)互聯(lián)網(wǎng)的快速蔓延.互聯(lián)網(wǎng)上頻繁出現(xiàn)各類(lèi)熱點(diǎn)事件,受到大量關(guān)注的同時(shí),也出現(xiàn)了很多網(wǎng)民隱藏在網(wǎng)名背后表達(dá)自我觀點(diǎn)的狀況.伴隨著民眾發(fā)表的各種言論,熱點(diǎn)事件一再發(fā)酵,往往可以在短時(shí)間內(nèi)造成較大的影響力,而且近年來(lái)很多事例表明,網(wǎng)絡(luò)輿情產(chǎn)生的影響存在向真實(shí)社會(huì)蔓延的趨勢(shì).

對(duì)于網(wǎng)絡(luò)輿情領(lǐng)域的相關(guān)研究,大致從以下3個(gè)方面入手:1)對(duì)網(wǎng)絡(luò)突發(fā)事件輿情的演變勢(shì)態(tài)進(jìn)行分析[1,2],主要關(guān)注網(wǎng)絡(luò)突發(fā)事件發(fā)生后,輿情演變規(guī)律以及及時(shí)發(fā)現(xiàn)潛在的風(fēng)險(xiǎn),以便進(jìn)行應(yīng)對(duì)操作;2)輿情風(fēng)險(xiǎn)定量評(píng)估[3],主要研究網(wǎng)絡(luò)事件發(fā)生后對(duì)其影響力進(jìn)行準(zhǔn)確評(píng)估判斷,精準(zhǔn)掌握事件影響程度;3)從輿情傳播觀點(diǎn)角度定性分析[4],針對(duì)網(wǎng)絡(luò)事件發(fā)生后民眾觀點(diǎn)傾向變化,探討如何應(yīng)對(duì)事件擴(kuò)散所帶來(lái)的一系列影響.以上研究,都可以給相關(guān)部門(mén)在應(yīng)對(duì)輿情時(shí),提供可參考和借鑒的理論依據(jù).

經(jīng)過(guò)研究發(fā)現(xiàn),關(guān)于網(wǎng)絡(luò)輿情方面的研究大多針對(duì)單一事件自身的傳播趨勢(shì)[1-7],并未對(duì)同一時(shí)刻,不同事件共同傳播過(guò)程中所存在的競(jìng)爭(zhēng)關(guān)系進(jìn)行有針對(duì)性的研究.如果關(guān)注多事件,必須找到影響多事件傳播的關(guān)鍵影響因素,重新設(shè)計(jì)具有多事件容量的網(wǎng)絡(luò)事件傳播模型,從理論、建模、實(shí)驗(yàn)等各方面均需結(jié)合多事件傳播的特征進(jìn)行研究,具有一定的難度.

本文以多網(wǎng)絡(luò)事件共同傳播所產(chǎn)生的事件間干擾為出發(fā)點(diǎn),以不同類(lèi)型事件間所產(chǎn)生的干擾效果不同為根據(jù),以mSIR-CA(Multiple SIR-Cellular Automata)模型為核心,提出了一種干擾系數(shù)自探測(cè)的網(wǎng)絡(luò)事件選取方法.隨后,利用粒子群算法與微博平臺(tái)真實(shí)事件數(shù)據(jù)集對(duì)方法進(jìn)行參數(shù)尋優(yōu),經(jīng)過(guò)實(shí)驗(yàn)證明,本文提出的方法對(duì)干擾事件有效性分類(lèi)和干擾強(qiáng)度判斷具有較好的準(zhǔn)確性.

1 問(wèn)題描述及相關(guān)工作

本文在對(duì)網(wǎng)絡(luò)事件擴(kuò)散規(guī)律研究中發(fā)現(xiàn),同一時(shí)刻互聯(lián)網(wǎng)中并不是僅有單一事件進(jìn)行傳播,而是眾多事件同時(shí)進(jìn)行擴(kuò)散傳播,事件的數(shù)量龐大,整個(gè)網(wǎng)絡(luò)空間被這些事件占據(jù).假設(shè)網(wǎng)絡(luò)空間中所有正在傳播的事件構(gòu)成事件集合T,該集合中一部分事件在經(jīng)歷輿情發(fā)生期、發(fā)展期、高潮期以及回落期之后逐漸淡出網(wǎng)民視野,被移出集合T,但立即有新發(fā)生的事件進(jìn)入網(wǎng)絡(luò)空間,并開(kāi)始傳播,即加入集合T.

網(wǎng)絡(luò)用戶(hù)在上線期間,會(huì)在瀏覽各類(lèi)社交平臺(tái)過(guò)程中,接觸到正在處于傳播過(guò)程集合T中的部分事件,但由于在線時(shí)長(zhǎng)和信息瀏覽量的限制,單一用戶(hù)接觸到的事件集合T1為集合T的子集.集合T1中所包含的多個(gè)事件對(duì)于用戶(hù)注意力存在競(jìng)爭(zhēng)關(guān)系,用戶(hù)在此次在線過(guò)程中通過(guò)評(píng)論、轉(zhuǎn)發(fā)、搜索等行為表現(xiàn)對(duì)事件的關(guān)注,注意力落在一個(gè)或有限的幾個(gè)事件中,某一時(shí)刻用戶(hù)僅關(guān)注某一事件.各大平臺(tái)相關(guān)熱搜榜單也從側(cè)面反映出事件間所存在的競(jìng)爭(zhēng)關(guān)系,登榜事件在集合T所包含的所有正處于傳播過(guò)程中事件的競(jìng)爭(zhēng)中取得了一定優(yōu)勢(shì),熱搜榜單通過(guò)數(shù)據(jù)排名量化了競(jìng)爭(zhēng)結(jié)果.

網(wǎng)絡(luò)事件在網(wǎng)絡(luò)空間的傳播和傳染病在人際間的傳播有很多共同點(diǎn),網(wǎng)絡(luò)輿情仿真建模相關(guān)領(lǐng)域不少學(xué)者選擇借助傳染病模型(SIR模型)對(duì)網(wǎng)絡(luò)事件的傳播規(guī)律進(jìn)行研究.部分學(xué)者將傳染病模型應(yīng)用于社交網(wǎng)絡(luò)輿情研究[8-11],也有將傳染病模型應(yīng)用于網(wǎng)絡(luò)謠言與辟謠信息傳播相關(guān)領(lǐng)域[12,13].其他,諸如Chen[5]提出了群體極化模型,借助SIRS模型并引入BA網(wǎng)絡(luò)對(duì)信息擴(kuò)散過(guò)程中的輿論極化現(xiàn)象進(jìn)行研究,并提出了相應(yīng)措施;張雷等[14]通過(guò)KNN算法對(duì)網(wǎng)絡(luò)輿情進(jìn)行定量分級(jí),并結(jié)合SIR模型進(jìn)行仿真模擬.

元胞自動(dòng)機(jī)(Cellular Automata,CA)憑借其并行迭代運(yùn)算的特點(diǎn),在對(duì)網(wǎng)絡(luò)空間以及網(wǎng)絡(luò)用戶(hù)不同狀態(tài)的表現(xiàn)上具有明顯的優(yōu)勢(shì).Alves[15]等于2002年在自由選舉輿情分析中應(yīng)用了元胞自動(dòng)機(jī)理論;方薇[16,17]、黨小超[18]等也在元胞自動(dòng)機(jī)網(wǎng)絡(luò)輿情應(yīng)用中進(jìn)行了諸多探索.近年來(lái),元胞自動(dòng)機(jī)在網(wǎng)絡(luò)輿情方面的應(yīng)用更加細(xì)化,毛乾任等[19]關(guān)注于網(wǎng)絡(luò)輿情觀點(diǎn)聚合,將模糊推理理論與元胞自動(dòng)機(jī)相結(jié)合,研究網(wǎng)絡(luò)輿情中觀點(diǎn)視角下的聚類(lèi)效應(yīng),之后還對(duì)導(dǎo)控策略影響下的網(wǎng)絡(luò)輿情傳播進(jìn)行了研究;姚翠友等[20]提出基于用戶(hù)屬性的微博輿情演化元胞自動(dòng)機(jī)模型,得出相關(guān)部門(mén)可以通過(guò)增加網(wǎng)絡(luò)事件參與度等方式,更好地發(fā)揮輿情引導(dǎo)作用;滕婕等[3]將CA模型與SEIR傳染病模型相結(jié)合,應(yīng)用于群體辟謠信息的擴(kuò)散效果預(yù)測(cè),并對(duì)謠言傳播過(guò)程存在的規(guī)律進(jìn)行研究.

分析以上研究發(fā)現(xiàn),當(dāng)前應(yīng)用于網(wǎng)絡(luò)輿情仿真領(lǐng)域的模型多關(guān)注單一時(shí)間推演,受事件容量限制,無(wú)法完成多事件同步推演.為了更快、更優(yōu)地選取干擾事件,首先需要提出新的模型對(duì)多事件的發(fā)展進(jìn)行推演.

2 mSIR-CA模型

本文結(jié)合多事件發(fā)展特征,將SIR模型和CA模型進(jìn)行融合,提出了mSIR-CA(Multiple SIR-Cellular Automata)模型作為網(wǎng)絡(luò)事件選取方法的事件推演模型.

mSIR-CA模型將經(jīng)典SIR傳染病模型與元胞自動(dòng)機(jī)CA(Cellular Automata)進(jìn)行融合,并將SIR模型的單事件分支結(jié)構(gòu)進(jìn)行改進(jìn),劃分出多事件分支結(jié)構(gòu),通過(guò)元胞個(gè)體興趣偏好模擬真實(shí)網(wǎng)絡(luò)空間的用戶(hù)喜好結(jié)構(gòu).此模型能夠完成不同類(lèi)型事件同時(shí)競(jìng)爭(zhēng)擴(kuò)散的推演工作,其模型矩陣靜態(tài)構(gòu)建如圖1所示.

圖1 mSIR-CA模型矩陣靜態(tài)示意圖Fig.1 mSIR-CA static diagram of model matrix

圖1中,元胞矩陣A為二維有限元矩陣,利用橫縱坐標(biāo)i,j可以確定矩陣中每一個(gè)元胞個(gè)體的位置.元胞鄰域選擇類(lèi)擴(kuò)展Moore型鄰域,用來(lái)對(duì)初始時(shí)刻矩陣中在線用戶(hù)比例Dt0進(jìn)行控制.根據(jù)類(lèi)擴(kuò)展Moore型鄰域構(gòu)建的經(jīng)典元胞狀態(tài)轉(zhuǎn)換表達(dá)式如式(1)所示:

(1)

進(jìn)一步對(duì)基于無(wú)分支順序結(jié)構(gòu)的經(jīng)典SIR狀態(tài)轉(zhuǎn)換關(guān)系進(jìn)行改進(jìn),得到具有分支結(jié)構(gòu)、支持多事件容量的多重SIR狀態(tài)轉(zhuǎn)換規(guī)則,其轉(zhuǎn)換規(guī)則如圖2所示.

圖2 多重SIR狀態(tài)轉(zhuǎn)換規(guī)則Fig.2 Multiple SIR state transition rules

(2)

3 網(wǎng)絡(luò)事件選取方法設(shè)計(jì)

3.1 網(wǎng)絡(luò)事件選取方法流程

不同的事件會(huì)產(chǎn)生不同的干擾效果,如何通過(guò)以上模型構(gòu)建網(wǎng)絡(luò)事件選取方法,使其能夠?qū)Σ煌录蓴_影響下的擴(kuò)散程度進(jìn)行準(zhǔn)確判斷及應(yīng)對(duì),是該過(guò)程的重點(diǎn)內(nèi)容.

網(wǎng)絡(luò)事件選取方法的運(yùn)行過(guò)程如圖3所示.首先,收集部分當(dāng)前網(wǎng)絡(luò)空間中正在傳播的事件,構(gòu)建動(dòng)態(tài)事件池,選取某一事件作為目標(biāo)事件確定事件類(lèi)型屬性以及初始擴(kuò)散指標(biāo);之后,從事件池中選取一組同處于擴(kuò)散過(guò)程中的多個(gè)不同備選干擾事件,將其傳入干擾事件選取方法中,分別與目標(biāo)事件進(jìn)行共同傳播推演,并將結(jié)果與目標(biāo)事件單一傳播結(jié)果進(jìn)行比較;通過(guò)事件選取方法對(duì)其進(jìn)行有效性分類(lèi),分別給出能產(chǎn)生有效影響的建議事件以及無(wú)法產(chǎn)生有效影響的無(wú)效事件,并且通過(guò)推演過(guò)程各項(xiàng)指標(biāo)對(duì)有效事件進(jìn)行排序,最后給出首選、次選建議.

圖3 網(wǎng)絡(luò)事件選取方法運(yùn)行過(guò)程Fig.3 Operation process of interference event selection method

網(wǎng)絡(luò)事件選取方法本質(zhì)上是對(duì)多個(gè)事件進(jìn)行分類(lèi)排序的過(guò)程,能夠根據(jù)不同目標(biāo)事件從相應(yīng)的不同事件組中進(jìn)行推演,將結(jié)果進(jìn)行分類(lèi)排序,最終給出事件選取結(jié)果,具體方法流程圖如圖4所示.

圖4 網(wǎng)絡(luò)事件選取方法流程Fig.4 Network interference event selection method and process

首先構(gòu)建符合目標(biāo)平臺(tái)用戶(hù)偏好比例的網(wǎng)絡(luò)空間,依此建立支撐方法運(yùn)行的靜態(tài)基礎(chǔ)矩陣;之后,根據(jù)具體干擾事件選取方法應(yīng)用平臺(tái)、借助先驗(yàn)知識(shí)事件集對(duì)mSIR-CA模型動(dòng)態(tài)參數(shù)進(jìn)行有針對(duì)性的參數(shù)尋優(yōu),以保證網(wǎng)絡(luò)事件選取方法的準(zhǔn)確性;最后,根據(jù)上文所述事件推演過(guò)程,給出最終的有效性判斷和效果排序建議.

當(dāng)平臺(tái)發(fā)生變化、或者平臺(tái)自身用戶(hù)屬性特征發(fā)生變化、或者模型動(dòng)態(tài)參數(shù)無(wú)法滿(mǎn)足準(zhǔn)確性需要等情況,可以再次進(jìn)行動(dòng)態(tài)參數(shù)尋優(yōu),使其歸于合理范圍,從而提升方法性能.

3.2 動(dòng)態(tài)參數(shù)尋優(yōu)過(guò)程

在網(wǎng)絡(luò)事件選取方法中,對(duì)動(dòng)態(tài)參數(shù)進(jìn)行尋優(yōu)是重中之重,本文采用粒子群算法進(jìn)行模型參數(shù)尋優(yōu),其流程如圖5所示.

圖5 粒子群算法尋優(yōu)流程Fig.5 Optimization process of particle swarm optimization

根據(jù)事件選取方法中待尋優(yōu)參數(shù)個(gè)數(shù)、各參數(shù)尋優(yōu)范圍以及網(wǎng)絡(luò)事件數(shù)據(jù)集規(guī)模設(shè)定粒子個(gè)數(shù)n,每個(gè)粒子攜帶隨機(jī)b1組事件信息進(jìn)行尋優(yōu),其中事件組中包含單個(gè)目標(biāo)事件以及與其相關(guān)聯(lián)的多個(gè)備選干擾事件.

對(duì)圖2中除P01、P10外的其余3組,共6個(gè)人為設(shè)定轉(zhuǎn)換概率閾值參數(shù)進(jìn)行自動(dòng)化尋優(yōu),每組中對(duì)應(yīng)兩個(gè)閾值之和為1,因此每個(gè)粒子僅需對(duì)3個(gè)閾值參數(shù)進(jìn)行尋優(yōu),便可還原為6個(gè)閾值參數(shù)對(duì)應(yīng)值.其中,每個(gè)粒子尋優(yōu)維度d∈(1,2,3,4),迭代次數(shù)上限kmax=25.對(duì)于全局最優(yōu)解,從訓(xùn)練集中整體隨機(jī)抽取b2組事件信息進(jìn)行推演評(píng)價(jià).個(gè)體最優(yōu)解和全局最優(yōu)解,通過(guò)分類(lèi)準(zhǔn)確度以及排序準(zhǔn)確度進(jìn)行評(píng)價(jià),不設(shè)最優(yōu)閾值,25輪尋優(yōu)迭代之后,輸出參數(shù)尋優(yōu)結(jié)果.

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置

本文采用的數(shù)據(jù)集為2020年全年微博熱搜數(shù)據(jù),通過(guò)第三方自行爬取獲得.數(shù)據(jù)集圍繞熱搜話(huà)題條目建立,原始數(shù)據(jù)包含熱搜關(guān)鍵詞、URL鏈接、當(dāng)日話(huà)題被爬取次數(shù)、最高熱度值以及在榜最高位次、上榜時(shí)間等,共計(jì)104252條數(shù)據(jù).

對(duì)原始數(shù)據(jù)集進(jìn)行分析,發(fā)現(xiàn)其包含事件數(shù)量過(guò)多,可用于網(wǎng)絡(luò)干擾事件選取方法訓(xùn)練及驗(yàn)證的有效事件密度低,符合真實(shí)干擾事件關(guān)聯(lián)關(guān)系的事件數(shù)量有限,因此,本文對(duì)數(shù)據(jù)集進(jìn)行了數(shù)據(jù)處理.首先,排除重復(fù)事件,根據(jù)事件選取方法,將事件進(jìn)行篩選分組和類(lèi)型標(biāo)注,對(duì)于存在雙重屬性的部分事件,分別予以標(biāo)注;之后,根據(jù)事件爆發(fā)時(shí)間,將爆發(fā)時(shí)間點(diǎn)接近的每5個(gè)熱搜事件歸為一組,每個(gè)事件組中選取一個(gè)事件為目標(biāo)事件,另外4個(gè)事件作為干擾事件;然后,將干擾事件數(shù)據(jù)與目標(biāo)事件數(shù)據(jù)進(jìn)行綜合比較,對(duì)每個(gè)分組內(nèi)的干擾事件進(jìn)行分類(lèi)標(biāo)注;最后將有效干擾事件按照擴(kuò)散范圍大小進(jìn)行排序標(biāo)注.按照此方法,共計(jì)篩選出240組1200條真實(shí)事件數(shù)據(jù),供參數(shù)尋優(yōu)及方法驗(yàn)證,其中160組800條事件作為真實(shí)事件訓(xùn)練集,80組400條事件作為真實(shí)事件驗(yàn)證集.

實(shí)驗(yàn)使用的有效元胞矩陣大小設(shè)置為100×100,初始元胞在線狀態(tài)密度為Dto=0.70,人為設(shè)定模型轉(zhuǎn)換參數(shù)設(shè)置依次為:P01=0.001;P10=0.0005;P12=0.67;P13=0.33;P2I=0.8;P2R=0.2;P3I=0.7;P3R=0.3.并以此為對(duì)照進(jìn)行參數(shù)尋優(yōu)效果評(píng)價(jià).

網(wǎng)絡(luò)干擾事件選取方法本質(zhì)上是分類(lèi)排序算法,因此在參數(shù)尋優(yōu)后,事件選取方法結(jié)果的準(zhǔn)確性需要通過(guò)計(jì)算分類(lèi)精確率P、分類(lèi)召回率R、分類(lèi)準(zhǔn)確率ACC以及排序準(zhǔn)確率acc進(jìn)行綜合評(píng)價(jià),各指標(biāo)計(jì)算如公式(3)～公式(5)所示:

(3)

(4)

(5)

其中TP、TN、FP、FN分別表示正類(lèi)樣本被準(zhǔn)確判定個(gè)數(shù)、負(fù)類(lèi)樣本被準(zhǔn)確判定個(gè)數(shù)、正類(lèi)樣本被錯(cuò)誤判定個(gè)數(shù)、負(fù)類(lèi)樣本被錯(cuò)誤判定個(gè)數(shù).其中對(duì)于某一備選干擾事件,經(jīng)過(guò)網(wǎng)絡(luò)干擾事件選取方法推演,在有效干擾事件與無(wú)效干擾事件的分類(lèi)結(jié)果中符合真實(shí)事件數(shù)據(jù)集的標(biāo)注結(jié)果,則此事件被認(rèn)定為是正確分類(lèi)判定,反之則為錯(cuò)誤分類(lèi)判定;在事件擴(kuò)散范圍排序結(jié)果中,排序位次符合真實(shí)事件數(shù)據(jù)集的標(biāo)注結(jié)果,則此事件被認(rèn)定為正確排序判定,反之則為錯(cuò)誤排序判定.

實(shí)驗(yàn)運(yùn)行環(huán)境為Windows10 20H2版本644位操作系統(tǒng),計(jì)算機(jī)采用2.30GHz,Intel(R)Core(TM)i7-10875H處理器,16GB內(nèi)存;實(shí)驗(yàn)使用Python3.6實(shí)現(xiàn).

4.2 事件選取方法尋優(yōu)過(guò)程準(zhǔn)確性評(píng)價(jià)

在尋優(yōu)過(guò)程中,實(shí)驗(yàn)記錄每次迭代全局最優(yōu)解參數(shù)下的選取方法在真實(shí)事件訓(xùn)練集的評(píng)價(jià)結(jié)果,因?yàn)榱Ｗ尤核惴ㄖ貜?fù)實(shí)驗(yàn)結(jié)果并不唯一,并且網(wǎng)絡(luò)干擾事件選取方法存在隨機(jī)變量,因此實(shí)驗(yàn)結(jié)果圖為單次實(shí)驗(yàn)結(jié)果,如圖6所示,橫軸為粒子群算法尋優(yōu)輪次,縱軸為各評(píng)價(jià)指標(biāo)結(jié)果數(shù)值.

圖6 參數(shù)尋優(yōu)過(guò)程中方法結(jié)果準(zhǔn)確性變化Fig.6 Accuracy of method results changes in the process of parameter optimization

干擾事件選取方法多次實(shí)驗(yàn)結(jié)果相近,但存在誤差,多組參數(shù)值均可滿(mǎn)足相同的準(zhǔn)確性指標(biāo),因此,可認(rèn)為參數(shù)值應(yīng)處于一定范圍之內(nèi),范圍內(nèi)的參數(shù)值差異不會(huì)對(duì)事件選取準(zhǔn)確率產(chǎn)生顯著影響.

從圖中可以看出,經(jīng)過(guò)改進(jìn)的粒子群算法尋優(yōu)過(guò)程后,事件選取方法整體準(zhǔn)確性有了明顯的提高,其中對(duì)于真實(shí)事件訓(xùn)練集中,有效干擾事件與無(wú)效干擾事件的分類(lèi)準(zhǔn)確率達(dá)到85%以上,對(duì)于事件干擾強(qiáng)度的排序準(zhǔn)確率達(dá)到了75%以上.粒子群算法尋優(yōu)過(guò)程中,初始階段的隨機(jī)參數(shù)設(shè)定值并不理想,準(zhǔn)確率也較差,但是,隨著尋優(yōu)過(guò)程的進(jìn)行,參數(shù)值逐漸向合理區(qū)間靠攏,并在第9輪尋優(yōu)過(guò)后趨于平穩(wěn),所以可將尋優(yōu)結(jié)果參數(shù)認(rèn)定為處于網(wǎng)絡(luò)干擾事件選取方法合理參數(shù)范圍之內(nèi).

4.3 基于驗(yàn)證集的方法準(zhǔn)確性評(píng)價(jià)

使用真實(shí)事件數(shù)據(jù)驗(yàn)證集,對(duì)經(jīng)過(guò)參數(shù)尋優(yōu)后的網(wǎng)絡(luò)干擾事件選取方法進(jìn)行結(jié)果驗(yàn)證,具體驗(yàn)證集事件統(tǒng)計(jì)信息如表1所示.該數(shù)據(jù)集中包含80組事件,共400個(gè)事件,其中目標(biāo)事件80個(gè),有效干擾事件153個(gè),無(wú)效干擾事件167個(gè).

表1 真實(shí)網(wǎng)絡(luò)事件驗(yàn)證集信息Table 1 Real network event verification set information

將網(wǎng)絡(luò)干擾事件選取方法應(yīng)用于真實(shí)事件驗(yàn)證集中,對(duì)事件集中的各事件組進(jìn)行干擾事件選取,并將得到的事件選取結(jié)果與真實(shí)事件驗(yàn)證集中人工標(biāo)記結(jié)果進(jìn)行比較,統(tǒng)計(jì)整理得到事件選取方法結(jié)果中各項(xiàng)分類(lèi)數(shù)據(jù),具體運(yùn)行結(jié)果如表2所示.

表2 真實(shí)網(wǎng)絡(luò)事件驗(yàn)證集信息Table 2 Real network event verification set information

經(jīng)由上述結(jié)果可以求出,網(wǎng)絡(luò)干擾事件選取方法結(jié)果與真實(shí)事件驗(yàn)證集進(jìn)行對(duì)比后的TP、TN、FP、FN數(shù)值,以及真實(shí)事件驗(yàn)證集的分類(lèi)精確率P、分類(lèi)召回率R、分類(lèi)準(zhǔn)確率ACC和排序準(zhǔn)確率acc,結(jié)果如表3所示.

表3 方法驗(yàn)證評(píng)估結(jié)果Table 3 Method validation evaluation results

通過(guò)表3可以看出,干擾事件選取方法應(yīng)用于真實(shí)事件驗(yàn)證集中具有較好的準(zhǔn)確率,但相比尋優(yōu)過(guò)程中使用的訓(xùn)練集,尋優(yōu)參數(shù)設(shè)定下的事件選取方法在事件驗(yàn)證集下的準(zhǔn)確率略有降低,造成該結(jié)果的原因可能有:

1)方法自身存在隨機(jī)變量,使得重復(fù)實(shí)驗(yàn)條件下事件選取結(jié)果存在小幅誤差;

2)真實(shí)事件訓(xùn)練集與驗(yàn)證集所包含事件數(shù)量有限,訓(xùn)練集與驗(yàn)證集分類(lèi)排序比例自身存在差異;

3)粒子群算法尋優(yōu)機(jī)制導(dǎo)致,尋優(yōu)結(jié)果為大量重復(fù)選取后的最優(yōu)結(jié)果,而基于驗(yàn)證集的選取結(jié)果僅為同參數(shù)下單次實(shí)驗(yàn)所得,不可避免會(huì)出現(xiàn)在驗(yàn)證時(shí)準(zhǔn)確率下降的問(wèn)題.

將尋優(yōu)過(guò)后的參數(shù)設(shè)定與人工合理參數(shù)值設(shè)定的網(wǎng)絡(luò)干擾事件選取方法進(jìn)一步進(jìn)行準(zhǔn)確性比較,此實(shí)驗(yàn)同樣采用真實(shí)事件驗(yàn)證集對(duì)其準(zhǔn)確性驗(yàn)證,分別將人工參數(shù)與尋優(yōu)參數(shù)輸入網(wǎng)絡(luò)干擾事件選取方法運(yùn)行真實(shí)事件驗(yàn)證集,得到結(jié)果如圖7所示.

圖7 人工設(shè)定參數(shù)與尋優(yōu)參數(shù)性能對(duì)比Fig.7 Performance comparison between manually set parameters and optimization parameters

網(wǎng)絡(luò)干擾事件選取方法使用尋優(yōu)后的參數(shù)運(yùn)行結(jié)果相較于人工設(shè)定參數(shù),在真實(shí)事件驗(yàn)證集上的準(zhǔn)確率有一定幅度的提高,其中分類(lèi)準(zhǔn)確率提高約3.5%,排序準(zhǔn)確率提高約2.5%.兩者相較于隨機(jī)參數(shù)設(shè)定下的事件選取方法均具有更好的準(zhǔn)確率,說(shuō)明參數(shù)尋優(yōu)對(duì)于網(wǎng)絡(luò)干擾事件選取方法來(lái)說(shuō),是必要且有實(shí)際效果提升的.

4.4 不同規(guī)模模型方法性能對(duì)比

借助mSIR-CA模型,網(wǎng)絡(luò)干擾事件選取方法對(duì)不同事件傳播干擾進(jìn)行推演,模型中其他可變參數(shù)的不同設(shè)定,也會(huì)影響事件選取方法最終的性能指標(biāo).為了充分說(shuō)明所提方法的有效性,又從調(diào)整模型矩陣大小、迭代次數(shù)兩方面進(jìn)行了實(shí)驗(yàn).通過(guò)調(diào)整對(duì)應(yīng)數(shù)值大小,記錄方法單次事件選取實(shí)際運(yùn)行時(shí)間、真實(shí)驗(yàn)證集上的整體分類(lèi)準(zhǔn)確率和排序準(zhǔn)確率,綜合比較不同運(yùn)算量下方法的性能差異.

不同模型參數(shù)設(shè)定下,單次運(yùn)行時(shí)間變化如圖8(a)所示,每組數(shù)據(jù)均重復(fù)進(jìn)行5次之后取平均值,分別記錄了在50×50、100×100、150×150、200×200矩陣大小下,改變模型迭代次數(shù)為250、500、750、1000次情況下的網(wǎng)絡(luò)干擾事件選取單次運(yùn)行耗時(shí).從圖中可知,在相同模型矩陣大小設(shè)定下,事件選取單次運(yùn)行時(shí)間會(huì)隨著迭代次數(shù)增加而線性增加;相同模型迭代次數(shù)設(shè)定下,方法單次運(yùn)行時(shí)間隨著矩陣增大呈平方關(guān)系增加.造成該現(xiàn)象的具體原因?yàn)?模型迭代推演過(guò)程中涉及到大量簡(jiǎn)單運(yùn)算,整體網(wǎng)絡(luò)干擾事件選取方法的絕大部分運(yùn)算時(shí)間消耗在與模型推演相關(guān)的簡(jiǎn)單運(yùn)算中,改變迭代次數(shù)或者矩陣大小,會(huì)直接影響到網(wǎng)絡(luò)事件選取方法的時(shí)間消耗.

圖8 不同規(guī)模模型下網(wǎng)絡(luò)干擾事件選取方法單次耗時(shí)與準(zhǔn)確率對(duì)比Fig.8 Comparison of single time consumption and accuracy of network interference event selection methods under different scale models

不同模型參數(shù)設(shè)定下,對(duì)事件驗(yàn)證集運(yùn)行后的準(zhǔn)確率又進(jìn)行了評(píng)估.通過(guò)調(diào)整模型參數(shù)值,計(jì)算分類(lèi)準(zhǔn)確率ACC以及排序準(zhǔn)確率acc,并與4.3節(jié)中經(jīng)過(guò)尋優(yōu)實(shí)驗(yàn)結(jié)果所采用的100×100大小矩陣以及500次迭代數(shù)值設(shè)定下的干擾事件選取結(jié)果進(jìn)行對(duì)比,結(jié)果如圖8(b)所示.

由結(jié)果可知,通過(guò)改變矩陣大小與推演迭代次數(shù),能夠?qū)W(wǎng)絡(luò)干擾事件選取方法的性能產(chǎn)生較大影響.矩陣大小和迭代次數(shù)設(shè)定小于合理范圍時(shí),干擾事件的分類(lèi)準(zhǔn)確率以及排序準(zhǔn)確率大幅降低;矩陣大小和迭代次數(shù)設(shè)定偏大時(shí),能夠從整體上提高方法的分類(lèi)準(zhǔn)確率以及排序準(zhǔn)確率指標(biāo),但提升幅度較小.

同時(shí),考慮本節(jié)前述實(shí)驗(yàn),矩陣大小以及迭代次數(shù)的增加會(huì)大幅延長(zhǎng)單次事件選取的運(yùn)行時(shí)間,在網(wǎng)絡(luò)干擾事件選取方法運(yùn)行時(shí)間與精確率上需要進(jìn)行取舍.過(guò)于追求準(zhǔn)確率則會(huì)導(dǎo)致運(yùn)行時(shí)間增加,有違網(wǎng)絡(luò)輿情領(lǐng)域相關(guān)研究所尊崇的及時(shí)性原則;為了追求時(shí)間效率簡(jiǎn)化模型規(guī)模,可能會(huì)造成事件選取方法內(nèi)部模型對(duì)于真實(shí)網(wǎng)絡(luò)空間的模擬大幅度失真,使得方法準(zhǔn)確率出現(xiàn)斷崖式下降.該實(shí)驗(yàn)結(jié)果說(shuō)明了本文所述方法參數(shù)設(shè)定能夠兼顧時(shí)間消耗與準(zhǔn)確性,具有較好的性能表現(xiàn).

5 結(jié)束語(yǔ)

本文以不同網(wǎng)絡(luò)事件共同傳播所產(chǎn)生事件間的干擾為依據(jù),以mSIR-CA模型為核心,設(shè)計(jì)了一種干擾系數(shù)自探測(cè)的網(wǎng)絡(luò)事件選取方法.該方法能夠針對(duì)特定事件和事件類(lèi)型差異,從多個(gè)備選事件中選取有效干擾事件和無(wú)效干擾事件,并對(duì)其進(jìn)行排序.以獲取的微博平臺(tái)真實(shí)事件為數(shù)據(jù)集,經(jīng)過(guò)參數(shù)尋優(yōu)后,方法在干擾事件有效性分類(lèi)和干擾強(qiáng)度判斷方面取得了較好的準(zhǔn)確性結(jié)果.

未來(lái)的工作中,將對(duì)事件選取方法所容納的事件影響因素進(jìn)行擴(kuò)充,或與其他現(xiàn)有模型的功能進(jìn)行融合,以使方法理論更加完善.