基于LDA2Vec聯(lián)合訓(xùn)練的熱點(diǎn)主題識(shí)別方法

薛 濤，郭 瑩，胡偉華

(1.西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，陜西 西安 710048；2.西安工程大學(xué) 人文社會(huì)科學(xué)學(xué)院，陜西 西安 710048)

0 引 言

隨著大數(shù)據(jù)時(shí)代的到來(lái)，如何快速?gòu)暮Ａ烤W(wǎng)絡(luò)新聞中獲取有效的熱點(diǎn)話題已經(jīng)成為研究熱點(diǎn)。主題模型[1]作為一種時(shí)效性較高的熱點(diǎn)主題識(shí)別方法，能夠有效提取文檔集及語(yǔ)料庫(kù)中的隱含主題，抽取出詞匯與文檔間的深層次語(yǔ)義關(guān)系，在文本分類(lèi)[2]、話題檢測(cè)與演化追蹤[3]、情感分析[4]等任務(wù)中具有重要意義。如在分析國(guó)際社會(huì)對(duì)中國(guó)形象的關(guān)注重點(diǎn)和熱點(diǎn)趨勢(shì)時(shí)，有利于了解中國(guó)在國(guó)際上的受關(guān)注領(lǐng)域和程度以及形象認(rèn)知變化。

目前，結(jié)合深度學(xué)習(xí)的主題模型研究主要分為3類(lèi)：詞/文檔向量輔助增強(qiáng)的概率主題模型、基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的主題模型和聯(lián)合訓(xùn)練主題模型。詞向量輔助增強(qiáng)主題模型[5-6]是利用已訓(xùn)練好的詞向量提升模型性能，其優(yōu)勢(shì)在應(yīng)用于短文本和領(lǐng)域文本時(shí)，產(chǎn)生的主題詞語(yǔ)義一致性更強(qiáng)。基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的主題模型[7-8]是一種文檔生成模型，但其多數(shù)模型依然以文檔詞袋結(jié)構(gòu)[9]作為模型輸入，產(chǎn)生主題-詞匯的分布，忽略了詞匯間順序和分布的稀疏性[10]。聯(lián)合訓(xùn)練主題模型[11-12]融合了概率主題模型和基于神經(jīng)網(wǎng)絡(luò)模型的優(yōu)勢(shì)，既可以利用潛在主題結(jié)構(gòu)捕獲文檔全局的語(yǔ)義信息，也可以捕獲詞序列中詞匯間依賴(lài)關(guān)系[1]。對(duì)于新聞文本的熱點(diǎn)主題識(shí)別任務(wù)，側(cè)重生成表達(dá)不同主題的詞向量，實(shí)現(xiàn)文本分類(lèi)和主題推斷，所以文中采用聯(lián)合訓(xùn)練主題模型，通過(guò)在主題模型基礎(chǔ)上結(jié)合詞表示、文檔表示以及其他屬性信息，將主題向量和詞向量融合到同一語(yǔ)義空間中形成嵌入式向量模型進(jìn)而學(xué)習(xí)主題。

文獻(xiàn)[13]提出的TWE模型，在LDA主題模型[14]主題-詞分布基礎(chǔ)上，根據(jù)給定單詞和主題詞來(lái)預(yù)測(cè)上下文單詞向量生成詞匯，允許每個(gè)詞匯在不同語(yǔ)境下有不同的向量表示。但該方法獲得的主題詞語(yǔ)義一致性有待商榷，且需要大規(guī)模語(yǔ)料支撐。文獻(xiàn)[15]提出的TopicVec生成式主題詞向量模型，以文檔為單位推斷主題，在PSDVec詞向量模型[16]基礎(chǔ)上使用鏈接函數(shù)輔助生成文檔中的詞匯，由上下文信息和主題共同決定主題中的詞。文獻(xiàn)[17]提出TEWV模型，是一種基于連續(xù)詞袋CBOW模型[18]，將主題信息和上下文信息融合到詞向量中學(xué)習(xí)單詞和主題低維度向量表示的主題增強(qiáng)詞向量模型。上述2種模型產(chǎn)生的主題在文檔上的分布都是稠密的。文獻(xiàn)[19]提出的LDA2Vec模型，結(jié)合LDA主題模型和Word2Vec詞向量模型[20]，來(lái)預(yù)測(cè)中樞詞上下文向量。其不同之處在于它可以產(chǎn)生稀疏可解釋的文檔向量，產(chǎn)生的主題詞可解釋性更強(qiáng)。

鑒于此，本文以文獻(xiàn)[19]提出的LDA2Vec模型為基礎(chǔ)，結(jié)合LDA主題模型考慮全局特征和Word2Vec詞向量模型考慮局部特征的優(yōu)勢(shì)，通過(guò)擴(kuò)展Skip-gram模型[18]，使用主題向量表示文檔向量，訓(xùn)練表達(dá)不同主題的詞向量，注重詞向量、主題向量和上下文向量之間的關(guān)系，旨在不顯著增加主題模型復(fù)雜度的條件下，獲得將稀疏文檔分布、密集詞及主題向量混合的主題模型，使其形成可監(jiān)督、可解釋的主題，提升熱點(diǎn)主題語(yǔ)義一致性、分類(lèi)準(zhǔn)確率和主題的可解釋性。

1 NS-LDA2Vec主題模型設(shè)計(jì)

1.1 問(wèn)題的提出

LDA2Vec是一種聯(lián)合學(xué)習(xí)密集單詞向量和潛在文檔級(jí)混合主題向量的新型主題模型，將模型擴(kuò)展為在同一語(yǔ)義空間訓(xùn)練單詞、主題和文檔向量[21]。根據(jù)其模型實(shí)驗(yàn)結(jié)果來(lái)看，LDA2Vec模型主要存在以下缺陷：①在語(yǔ)料庫(kù)較大的情況下，訓(xùn)練文檔權(quán)重時(shí)需要大量計(jì)算，會(huì)耗費(fèi)很多時(shí)間；②沒(méi)有很好地將詞語(yǔ)上下文信息和文檔的主題信息相結(jié)合，導(dǎo)致上下文向量表示學(xué)習(xí)得到的主題語(yǔ)義一致性及可解釋性差。

1.2 模型框架

通過(guò)解析LDA2Vec模型，在考慮詞語(yǔ)信息和主題信息的基礎(chǔ)上，預(yù)先使用LDA和Word2Vec模型訓(xùn)練語(yǔ)料庫(kù)，用LDA2Vec模型的核心算法進(jìn)行迭代計(jì)算，獲得含有主題信息的文檔向量，然后將其與Word2Vec得到的詞向量聯(lián)合訓(xùn)練得到融合向量，利用該向量完成熱點(diǎn)主題識(shí)別任務(wù)。核心算法在于文檔權(quán)重的訓(xùn)練以及樞軸詞和目標(biāo)詞都確定時(shí)上下文向量表示學(xué)習(xí)的計(jì)算和訓(xùn)練。具體來(lái)說(shuō)，NS-LDA2Vec聯(lián)合訓(xùn)練主題模型會(huì)更側(cè)重生成特定主題下的詞向量和文檔向量，首先以Skip-gram負(fù)采樣算法為基準(zhǔn)，通過(guò)移動(dòng)窗口滑動(dòng)的方式掃描語(yǔ)料庫(kù)，從中提取共同出現(xiàn)的樞軸詞和目標(biāo)詞對(duì)，然后預(yù)測(cè)附近的目標(biāo)詞，最后隨機(jī)初始化語(yǔ)料庫(kù)中每個(gè)文檔的潛在向量，完成中樞詞的上下文預(yù)測(cè)任務(wù)，以獲得含有主題信息的文檔向量。NS-LDA2Vec模型結(jié)構(gòu)如圖1所示。

圖1中，首先使用Word2Vec詞向量模型訓(xùn)練詞向量表示，給定中樞詞，預(yù)測(cè)相鄰的其他單詞，重復(fù)移動(dòng)掃描窗口，提取出現(xiàn)的中樞詞和目標(biāo)詞對(duì)，在此基礎(chǔ)上利用Skip-gram模型的負(fù)采樣思想訓(xùn)練得到表達(dá)不同主題的中樞詞向量。然后在LDA模型的基礎(chǔ)上訓(xùn)練主題矩陣，設(shè)置文檔權(quán)重維度為主題數(shù)，經(jīng)過(guò)Softmax變換得到文檔比例向量，合成文檔矩陣和文檔比例向量得到文檔向量，最后融合該文檔向量和上述詞向量得到上下文向量，該向量基于全局和局部預(yù)測(cè)，通過(guò)中樞詞附近的單詞和全局文檔主題進(jìn)行熱點(diǎn)主題預(yù)測(cè)。將中樞詞的文檔向量和詞向量的總和設(shè)計(jì)為上下文向量，可表示為

cj=wj+dj

(1)

式中：wj為詞語(yǔ)j的詞向量；dj為詞語(yǔ)j的文檔向量。目的是通過(guò)聯(lián)合訓(xùn)練詞向量和文檔向量，產(chǎn)生的詞向量表達(dá)能力更強(qiáng)，尤其是針對(duì)“一詞多義”問(wèn)題，需要考慮在不同主題下不同詞匯的語(yǔ)義差異，以訓(xùn)練出相應(yīng)的詞向量[22]。從模型結(jié)構(gòu)可以看出，方法的主要內(nèi)容可以劃分為詞表示和文檔向量表示2個(gè)模塊。

1.3 詞向量表示

首先，在文檔權(quán)重的訓(xùn)練方面，根據(jù)Skip-gram負(fù)采樣思想訓(xùn)練得到詞向量表示[23]，采用文獻(xiàn)[20]提出的移動(dòng)窗口形式掃描語(yǔ)料庫(kù)，提取窗口中共同出現(xiàn)的中樞詞及目標(biāo)詞對(duì)，然后將中樞詞和目標(biāo)詞表示為同一向量。與LDA2Vec不同的是，文中方法在選擇滑動(dòng)窗口時(shí)，窗口大小選擇固定值，其大小設(shè)置為5，即包含中樞詞前后5個(gè)單詞，動(dòng)態(tài)移動(dòng)窗口，利用中樞詞來(lái)預(yù)測(cè)鄰近窗口內(nèi)出現(xiàn)的所有目標(biāo)詞，最后使用目標(biāo)損失函數(shù)來(lái)區(qū)分基于語(yǔ)料庫(kù)的上下文詞對(duì)和隨機(jī)從負(fù)采樣詞匯池中抽樣的上下文詞對(duì)，從而學(xué)習(xí)上下文信息和主題信息，且采用負(fù)采樣思想，無(wú)需更新每個(gè)訓(xùn)練樣本的權(quán)重，只需要更新部分權(quán)重，這樣不僅可以降低模型計(jì)算量，還能得到更優(yōu)的模型效果。

對(duì)文檔中的每個(gè)中樞詞進(jìn)行預(yù)測(cè)訓(xùn)練時(shí)，以含有主題信息的文檔比例向量為基礎(chǔ)，通過(guò)將觀測(cè)到的詞與邊際分布完全分離，來(lái)最小化負(fù)采樣得到的預(yù)測(cè)詞與目標(biāo)詞之間的損失函數(shù)進(jìn)行訓(xùn)練，最終學(xué)習(xí)到上下文信息和主題信息。該過(guò)程損失函數(shù)的計(jì)算方法為

(2)

式中：cj為上下文向量；wi為目標(biāo)詞向量；wl為負(fù)采樣詞向量。在訓(xùn)練模型時(shí)，隨著迭代次數(shù)增加，隨機(jī)初始化的文檔權(quán)重也會(huì)更集中，產(chǎn)生的文檔主題可解釋性也更好，但迭代次數(shù)過(guò)大也會(huì)產(chǎn)生過(guò)擬合現(xiàn)象，使得效果不佳，通過(guò)多次實(shí)驗(yàn)比對(duì)，方法取迭代次數(shù)為200，同時(shí)通過(guò)優(yōu)化其過(guò)程的損失函數(shù)，使得總損失最小化，從而得到可解釋性主題向量。

1.4文檔向量表示

與LDA模型相同，本模型將文檔向量分解為文檔權(quán)重向量和主題矩陣2個(gè)部分。其中，文檔權(quán)重表示每個(gè)主題在文檔中的重要性。首先，初始化數(shù)據(jù)集中的每一篇文檔的文檔權(quán)重向量，通過(guò)約束文檔向量dj生成一組潛在主題向量t0,t1,…,tk,…,tn,可表示為

dj=pj0·t0+pj1·t1+…+

pjk·tk+…+pjn·tn

(3)

(4)

式(4)可以衡量在特定主題下文檔j的所有文檔中的可能性，通過(guò)調(diào)整超分布中的超參數(shù)λ，發(fā)現(xiàn)在先驗(yàn)參數(shù)α<1時(shí)，每個(gè)主題中的文檔比例相對(duì)稀疏，而α>1時(shí)，文檔比例向量相對(duì)集中。為了增強(qiáng)模型的可解釋性，方法中取α=n-1，n為主題數(shù)目。然后通過(guò)不斷迭代優(yōu)化，使得文檔比例向量變得更集中，最終獲得可解釋性主題向量。

模型的總損失L是Skip-gram負(fù)采樣損失函數(shù)Lneg與優(yōu)化LDA在文檔權(quán)重上的概率分布函數(shù)產(chǎn)生的損失Ld之和，可表示為

L=Ld+Lneg

(5)

在迭代訓(xùn)練結(jié)束后，將文檔表示過(guò)程得到的主題向量、文檔比例向量合成得到文檔向量，將其與詞向量表示得到的中樞向量相加得到，使得預(yù)測(cè)過(guò)程中負(fù)采樣損失和Dirichlet似然項(xiàng)總和最小化，并生成可解釋的文檔表示形式，用于發(fā)現(xiàn)未標(biāo)記文檔集合中的主題或結(jié)構(gòu)，完成后續(xù)熱點(diǎn)主題識(shí)別任務(wù)中的模型的可解釋性分析。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)與預(yù)處理

實(shí)驗(yàn)爬取美國(guó)《紐約時(shí)報(bào)》、英國(guó)《泰晤士報(bào)》、法國(guó)《世界報(bào)》、日本《朝日新聞》等10個(gè)國(guó)際主流媒體17 066篇涉華新聞報(bào)道作為語(yǔ)料庫(kù)，將這些數(shù)據(jù)分成9組不同類(lèi)別的文檔集。在預(yù)處理階段，采用英文停用詞表和自定義的停用詞做文本預(yù)處理，對(duì)缺失值使用正則匹配方法處理，并將數(shù)據(jù)集中的數(shù)據(jù)按照8∶2的比例劃分為訓(xùn)練集和測(cè)試集送入模型訓(xùn)練。根據(jù)主題建模結(jié)果的反饋，改進(jìn)文本處理過(guò)程，使得不同模型在同一語(yǔ)料庫(kù)可以橫向?qū)Ρ取?/p>

2.2 實(shí)驗(yàn)及參數(shù)設(shè)置

本文使用Python語(yǔ)言實(shí)現(xiàn)了NS-LDA2Vec模型，主要由詞向量表示和文檔表示2部分算法組成。其中，詞向量表示部分采用基于Python的gensim包實(shí)現(xiàn)Word2Vec的Skip-gram模型詞向量的訓(xùn)練，其主要參數(shù)設(shè)置如下：詞向量維度size設(shè)置其默認(rèn)為100；訓(xùn)練窗口設(shè)置其默認(rèn)為5；hs參數(shù)設(shè)置為0，表示不使用hs方法，采用負(fù)采樣方法；negative設(shè)置為3，表示負(fù)采樣noise words個(gè)數(shù)。文檔表示部分采用基于Python的sklearn包實(shí)現(xiàn)LDA模型的訓(xùn)練。損失函數(shù)選用層次Softmax。

2.3 性能評(píng)估指標(biāo)

采用綜合指標(biāo)F1值進(jìn)行主題分類(lèi)任務(wù)評(píng)價(jià)，采用主題相關(guān)度評(píng)價(jià)指標(biāo)進(jìn)行主題相關(guān)度任務(wù)評(píng)價(jià)，并通過(guò)可視化主題識(shí)別結(jié)果，對(duì)主題詞可解釋性進(jìn)行分析，驗(yàn)證模型性能。

F1值是評(píng)價(jià)分類(lèi)效果的綜合指標(biāo)，是召回率與精確率的加權(quán)調(diào)和平均值，F(xiàn)1值越高， 說(shuō)明本文方法更有效,可表示

(6)

式中：P為精確度，反映測(cè)試集中預(yù)測(cè)為正類(lèi)正確的比重, 由測(cè)試樣本中預(yù)測(cè)正類(lèi)樣本數(shù)量除以所有預(yù)測(cè)為正類(lèi)的樣本數(shù)得到；R為召回率，反映原有樣本中有多少正類(lèi)樣本被預(yù)測(cè), 由原有樣本中預(yù)測(cè)正類(lèi)的樣本數(shù)除以樣本中總正類(lèi)的數(shù)量得到。由于P和R往往不能同時(shí)提高，文中采用綜合指標(biāo)F1值。

主題相關(guān)度Cv[24]是通過(guò)模型訓(xùn)練得到的主題最相關(guān)的前10個(gè)主題詞，比較其在語(yǔ)料庫(kù)中的共現(xiàn)頻率，對(duì)最終結(jié)果取平均值，來(lái)衡量主題詞間的相關(guān)程度，可表示為

(7)

2.4 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估本文方法的分類(lèi)和主題識(shí)別任務(wù)的可行性和有效性，以經(jīng)典的LDA主題模型、文獻(xiàn)[17]提出的TEWV模型和文獻(xiàn)[19]提出的LDA2Vec模型為基線，將4種模型在測(cè)試數(shù)據(jù)集上進(jìn)行分類(lèi)任務(wù)，其對(duì)應(yīng)F1值變化如圖2所示。

圖 2 不同模型F1值變化Fig.2 F1 value change of different models

從圖2可以看出，LDA分類(lèi)效果最差，TEWV和LDA2Vec模型相對(duì)較好，NS-LDA2Vec模型在分類(lèi)任務(wù)中表現(xiàn)效果最好。在詞向量維度達(dá)到350時(shí)，本文方法模型的F1值達(dá)到了0.898，相較于LDA、TEWV和LDA2Vec模型分別提高了0.328、0.048、0.031，相比之下F1值最高，說(shuō)明樣本數(shù)據(jù)的分類(lèi)效果最好，也符合大多數(shù)分類(lèi)任務(wù)的需求。原因在于NS-LDA2Vec模型不僅在詞向量表示中融入了主題信息，同時(shí)還利用了附加的文檔上下文向量，這樣可以獲得富含主題信息的詞向量表示和稀疏性更好的文檔向量表示，所以文本分類(lèi)效果更好。

為了判斷本文方法模型學(xué)習(xí)到的主題表示、詞向量表示和文檔表示的主題建模效果，對(duì)比4種模型在主題相關(guān)度評(píng)估任務(wù)上的結(jié)果，如表1所示。

表1 主題相關(guān)度結(jié)果

從表1可以看出，主題個(gè)數(shù)為10時(shí)，NS-LDA2Vec、 LDA2Vec和TEWV相較于傳統(tǒng)的LDA模型相比，分別提高了0.088 3、0.076 4、0.069 7。主題數(shù)為20時(shí)，TEWV、LDA2Vec和NS-LDA2Vec取得了比較相近的效果。主題數(shù)為30時(shí)，NS-LDA2Vec、 LDA2Vec和TEWV相較于LDA，分別提升了0.081 8、0.070 4、0.084 4。可以發(fā)現(xiàn)，基于Skip-gram模型聯(lián)合訓(xùn)練詞向量和文檔向量的NS-LDA2Vec比基于CBOW模型的TEWV模型在主題相關(guān)度方面效果更好，這是由于NS-LDA2Vec方法假設(shè)上下文語(yǔ)義依賴(lài)于主題和詞語(yǔ)義，但在主題數(shù)為30時(shí)，文中方法和TEWV模型還存在一定差距，分析原因可能是在計(jì)算主題和詞的相似度時(shí)，參數(shù)調(diào)優(yōu)會(huì)對(duì)結(jié)果產(chǎn)生一定影響，表明在一定范圍內(nèi)，使用文中方法進(jìn)行熱點(diǎn)主題識(shí)別任務(wù)是更加合適的。

將得到的文檔向量和詞向量輸入模型訓(xùn)練，對(duì)主題詞的可解釋性進(jìn)行驗(yàn)證。隨機(jī)選擇一個(gè)主題-詞分布(文中以14號(hào)主題-詞分布為例)，利用pyLDAvis工具包對(duì)該主題的主題-詞分布結(jié)果可視化展示，如圖3所示。圖3(a)圓圈的大小表示主題出現(xiàn)概率的大小，圓圈之間的距離表明不同主題之間的相關(guān)程度，圖3(b)是對(duì)每個(gè)主題的可視化展示，標(biāo)深的顏色即是該主題詞在對(duì)應(yīng)主題下出現(xiàn)的頻率，這樣可以更加直觀地對(duì)熱點(diǎn)主題結(jié)果進(jìn)行觀察和可解釋性分析。

(a) 主題-詞概率分布

(b) 主題可視化圖 3 14號(hào)主題的主題-詞分布Fig.3 Topic-word distribution of topic 14

從圖3可以看出，結(jié)果中提取的主題之間比較清晰分明，沒(méi)有過(guò)多的重疊，交叉現(xiàn)象，原因在于該方法聯(lián)合訓(xùn)練詞信息和主題信息，這樣產(chǎn)生的詞向量中含有大量領(lǐng)域背景信息，在詞推理任務(wù)中，有助于提升詞向量的線性學(xué)習(xí)能力。同時(shí)也可以通過(guò)調(diào)整相關(guān)性參數(shù)，獲得不同相關(guān)性下主題詞排序，便于更好地理解主題信息，主題的可解釋性更好。

綜上所述，與已有的方法相比，本文方法采用聯(lián)合訓(xùn)練詞向量和文檔向量的熱點(diǎn)主題識(shí)別方法，不僅可以提升語(yǔ)義一致性，改善文本隱含語(yǔ)義缺失問(wèn)題，還能夠提高主題識(shí)別結(jié)果的精確性和可解釋性。

3 結(jié) 語(yǔ)

文中針對(duì)概率主題模型無(wú)法充分利用詞間語(yǔ)義關(guān)系以及詞向量模型忽略文檔主題信息的問(wèn)題，提出一種新的熱點(diǎn)主題識(shí)別方法NS-LDA2Vec，通過(guò)聯(lián)合訓(xùn)練文檔向量和詞向量預(yù)測(cè)中樞詞的上下文向量，改善詞語(yǔ)、主題和文檔的表示效果。結(jié)果表明，提出的NS-LDA2Vec模型能夠有效利用詞間語(yǔ)義關(guān)系、主題信息及上下文信息，相比同類(lèi)方法在主題識(shí)別任務(wù)上分類(lèi)效果更好，主題相關(guān)度及語(yǔ)義一致性效果更佳，能在一定程度上提升熱點(diǎn)主題識(shí)別的效果。在下一階段工作中，將研究文本聚類(lèi)方法，之后與本文方法算法結(jié)合，以期找到更優(yōu)話題數(shù)，實(shí)現(xiàn)更好的熱點(diǎn)識(shí)別效果。