基于LDA的輿情評論文本主題提取改進研究

曹銳 孫美鳳

摘? 要： 基于LDA算法原理，提出了兩種對語料庫提供先驗知識的改進策略。一種為對語料庫中特定詞性的詞匯進行增刪以進行相對定向的主題詞的提取改進;另一種是針對輿情評論文本與新聞的相關性，引入新聞主題以期提高主題提取詞匯的語義表達能力。實驗證明，改進對提升輿情評論文本的主題提取準確率有明顯效果。

關鍵詞： 主題提取;LDA;輿情事件評論分析;無監督學習

中圖分類號： TP391? ? 文獻標識碼： A? ? DOI：10.3969/j.issn.1003-6970.2020.10.017

本文著錄格式：曹銳，孫美鳳. 基于LDA的輿情評論文本主題提取改進研究[J]. 軟件，2020，41（10）：7075+85

【Abstract】： Based on the principle of LDA algorithm， two improved strategies for providing prior knowledge to the corpus are proposed. One is to add and delete specific part-of-speech vocabularies in the corpus to improve the extraction of relative targeted topic words; the other is to introduce the topic of news in order to improve the semantic expression ability of topic-extracted vocabularies based on the relevance of public opinion comment texts and news. Experiments show that the improved LDA algorithm has a significant effect on improving the accuracy of topic extraction of public opinion review text.

【Key words】： Topic extraction; Latent Dirichlet Allocation; Public opinion analysis; Unsupervised learning

0? 引言

近年來，Web2.0的普及帶動了互聯網信息量的劇增和網絡交互性的空前提升，網絡輿情的分析顯得愈加重要，網絡輿情是社會輿情在網絡空間的映射[1]。針對網絡輿情主題的稀有性特點——形成的熱點主題只來自少量信息[2]，為了快速、準確地從網絡媒體帶來的大量輿情新聞及對應評論信息中提取熱點主題，需要將主題提取的工作由人工轉化為半自動甚至自動。

LDA（Latent Dirichlet Allocation）[3]是基于BOW模型的一種自動主題提取算法。LDA因為有效訓練不需要任何帶標簽的訓練集的優點得到廣泛應用[4-7]。

但作為一個無監督方法，LDA在實際應用中存在問題，主要有：

（1）每次主題劃分會遺漏部分現實存在的主題[8]。這會極大影響測試集文本包括新文本劃分到該主題的準確度。

（2）代表主題的關鍵詞集合表義不明確[9]。這會使得人為難以判斷主題提取效果是否達到理想的訓練效果，也會影響測試集文本包括新文本劃分為該主題的準確度。

針對上述問題，國內外研究者提出了多種改進方法，主要包含兩個方向：一種是以改進LDA算法本身的不足為研究核心[10-12]，一種是通過提供語料集更多先驗知識以影響LDA算法結果。本文工作遵循第二種思路。

通過提供語料集更多先驗知識的研究有：Zhai[13]等提出通過事先整理的must-link約束集和cannot-link約束集作為先驗知識來在LDA主題劃分過程中更好地聚集同類詞匯和分離異類詞匯。彭云[9]等在文中對must-link和cannot-link進行了詳細的功能測試，發現對準確率有提升作用的主要是must-link約束集。Xu[14]等提出的SW-LDA通過人工構建敏感詞匯集和加入Word2vec技術，利用以上增加的先驗知識有效提高了敏感信息的主題識別量和質量。Li[15]等通過將WordNet的內容和規則引入LDA作為先驗知識，提出了一種提取動態變化的主題的方法，并通過六次實驗證明了算法可行性。專門針對輿情文本分析方面，劉玉文[4]等主要通過引入報道文檔發布的時間信息作為先驗知識使原始LDA模型識別新聞焦點的水平得到提升。

本文研究對象為輿情評論文本，為了提高LDA算法主題劃分的全面性和主題表義的準確性，本文提出了以下改進：

（1）基于詞性對主題表達的作用的先驗知識，對語料庫中特定詞性的詞匯進行針對性的增減，使LDA算法結果能夠納入出現頻率較低的局部主題;

（2）基于輿情評論文本中的主題很大程度受引發評論的新聞中主題影響的特點，利用新聞數據中主題改進評論文本的主題提取。

1? LDA簡介

1.1? LDA模型

LDA是一個基于doc-topic-word的三層貝葉斯模型，其數學推導核心是利用Dirichlet分布和Multinomial分布共軛的性質：

即當數據知識符合Multinomial分布時，參數的先驗分布和后驗分布都保持Dirichlet分布。

按照LDA模型，文檔生成過程如圖1所示。

第一步：從到再到最后對應到第m篇文檔的第n個詞的過程表示在有先驗的文檔-主題分布的情況下，首先計算出對應文檔的實際文檔-主題分布，再由的結果對每個詞計算其可能的主題，因此第m篇文檔的第n個詞的主題即是;

第二步：從到再對應到第m篇文檔的第n個詞的過程表示在有先驗的主題-詞匯分布的情況下，首先計算出對應主題的實際主題-詞匯分布，再由中選取主題的情況下即可對應到具體的第m篇文檔的第n個詞匯。

1.2? Gibbs采樣法

吉布斯采樣（Gibbs Sampling）是訓練LDA模型的方式，它是一種馬爾科夫鏈蒙特卡洛方法（MCMC），使其轉移矩陣收斂，即可得其對應的樣本。

吉布斯采樣對于LDA的訓練過程大致如下：

（1）首先隨機賦予每篇文檔每個詞匯以主題編號;

（2）接著統計每個主題下詞匯的數量和每個文檔中相應主題的詞匯數量;

（3）對每單個詞匯，排除當前詞匯的主題分布，依據其他所有詞匯的主題分布計算當前詞匯分配到每個主題的概率，按照概率分布重新為當前詞匯賦予一個主題;

（4）重復上述過程，直到每個文檔和每個主題、每個主題和每個詞匯間的分布收斂。

1.3? LDA訓練

LDA模型訓練采樣過程所需條件概率公式為[16]：

它正比于和兩個Dirichlet后驗分布的參數估計的乘積。

相應地，LDA模型的訓練過程如下：

（1）對文檔集合中的每篇文檔，進行分詞，并過濾掉無意義詞，得到以詞匯為單位的語料集合;

（2）隨機賦予每篇文檔每個詞匯以主題編號;

（3）依據Gibbs采樣法，對每單個詞匯，排除當前詞匯的主題，依據從剩余所有詞匯及主題按公式（2）計算得到當前詞匯分配到每個主題的概率分布 ，并據此重新為當前詞匯賦予一個主題;

（4）重復上述過程，直到每個文檔和每個主題、每個主題和每個詞匯間的分布收斂。

最后，通常訓練結果會取Gibbs采樣多次迭代后的結果的平均值作為最終的參數估計，使模型質量更好。

1.4? LDA主題推斷

LDA主題推斷（LDA Inference）指利用訓練生成的LDA模型，推斷新文檔的主題分布的過程。

對新文檔的處理，就是按照類似上述LDA模型的訓練過程，加入新文檔后，重新計算該文檔的主題分布。

以下是LDA主題推斷的過程描述：

（1）通過隨機初始化，對當前文檔的每個詞隨機賦予一個主題編號;

（2）重新掃描當前文檔，按照Gibbs采樣的公式，對每個詞重新采樣主題;

（3）重復上述過程直至Gibbs采樣收斂;

（4）統計文檔中的主題分布，該分布就是。

2? 主題提取改進策略

主題提取改進策略分為兩部分：基于詞性的改進策略和基于關聯新聞挖掘先驗主題的改進策略。

基于詞性的改進策略利用LDA在主題提取時依賴詞頻的特點，通過增刪的方式改進不同詞性的詞在詞頻分布上的不平衡，從而有效的解決LDA主題提取時會遺漏低頻主題的問題。但基于詞性的改進策略在有效地挖掘低頻主題的同時也會影響其他主題的穩定性，會提高獲取期望主題提取實驗結果的難度，因此考慮利用LDA在主題提取時可以加入先驗主題的特點，在實驗中添加先驗主題的方式穩定部分主題，再采用基于詞性的方法挖掘剩余需要的主題，可以取得更高效的實驗成果。

先驗主題為了穩定提取評論中的部分主題而存在，因而提取的主要要求是：所有先驗主題需從不同源語料中提取，但又需與評論語料庫中主題內容和含義保持基本一致，不可出現評論語料庫中不存在的主題。

通常，具體輿情事件中評論的主題來自兩大類：一是隨輿情新聞帶來的主題，二是評論自身衍生出的主題。第一類主題顯然更符合先驗主題提取的要求。由此考慮適宜添加的先驗主題可由關聯新聞獲得。對應先驗主題的要求，選取新聞的要求是：與評論語料關聯度高，內容簡潔且不超過評論所涉及的言論范圍。

2.1? 基于詞性的改進策略

從LDA的原理上分析，構成語料庫的單詞的出現頻率會在很大程度影響它被選為主題詞的概率，因此往往會出現與主題無關的高頻詞被提取為主題關鍵詞和與主題有關的低頻詞被舍棄的情況，該情況會導致不能實現較好的主題劃分。本文采用向語料庫加入先驗知識的方法進行改進，具體地說，就是提高有效主題詞匯的頻率。

情感詞對輿情分析的重要性不言而喻。基于對如臺灣大學NTUSD等情感詞典的觀察，以及劉德喜等[17]的研究，確定中文環境的候選情感詞為形容詞、動詞和普通名詞。為了確保有效情感詞不被高頻實體名詞擠掉，同時要人工降低實體名詞的頻率。依據整體語料庫的詞性分布，提高的順序由先到后是：形容詞、動詞和普通名詞。改進由多次基于詞性的統一增刪完成，每次增刪的次數為1。

改進策略對文檔進行預期修改是通過改變當前文檔中各詞性的關鍵詞、關鍵詞詞頻及其權重從而改變主題提取的結果，但對幾乎所有文檔而言，在增刪達到一定程度后，其改變程度會趨于穩定，主要原因有兩種：（1）原文檔被增刪的詞覆蓋達到與原文檔的差異最大化;（2）因為需要增加的詞性詞占原文檔總數比例過高，最終等于回到原文檔的分布。

本文選取TF-IDF+Simhash方法的結果作為改進策略與原文檔差異大小的度量值。TF-IDF是最常用的計算文檔關鍵詞及其權重的方法，Simhash算法是常用的計算文本相似度的算法[18]，它將兩篇文檔降維成64位編碼，再計算它們的漢明距離值并作為結果返回。

本文記單篇原文檔和改進后的文檔經過TF-IDF+ Simhash方法返回的漢明距離值為，含義為原文檔與改進后文檔的關鍵詞差異大小。以為度量值時，文檔趨于穩定的兩種情況分別對應為：（1）值增加到穩定在某個最大值;（2）值先增后減，最終回到最小值甚至為0。

從首次增刪開始到趨于穩定的過程中，每篇文檔會對應出現一組的值，策略選擇優化的方法是：在某次優化中，可以對每篇文檔取排名第x名的值來控制預期與原語料庫的改變程度。對所有文檔計算語料庫的平均值，值越高則主題提取結果與原始語料庫差異越大，依此多次實驗，以值為度量找到最佳的改進方案。

改進策略的算法偽代碼如下：

算法1：基于詞性的詞頻修改策略算法

Algorithm 1： Word frequency modification strategy algorithm based on part of speech

輸入：預處理后的語料庫，預期的值排名，詞性增刪先后順序

輸出：經過改進策略增刪的新語料庫，

讀取待處理詞性集合中的增刪先后順序;

Begin For遍歷每篇文檔;

初始化記錄文檔詞匯集中每個詞匯的詞性;并依據詞性建立子詞匯集;

While循環：

依序對刪除列表集中每種詞性詞匯減1，對增加列表中每種詞性詞匯加1，記所有詞性增刪數量各改變一次為一輪循環，

While終止條件：本輪循環所有值相較于上輪循環所有值的兩兩差值在3以內;

按照讀取的增刪數量改進原文檔，并加入新語料庫;

End For

返回最終新語料庫;

返回全文的距離平均值;

2.2? 基于關聯新聞挖掘先驗主題的改進策略

由先驗主題的提取要求，可得從原始新聞文庫到取得先驗主題的核心步驟是：（1）優選與評論關聯度高的重點新聞，并形成摘要;（2）將所有新聞摘要作為語料庫進行一次LDA主題提取，優選主題提取結果組成先驗主題集參與后續評論語料庫的主題提取實驗。

步驟（1）主要考慮如下兩個問題：一是優選新聞。優選新聞的標準是某條新聞評論數占評論集評論總數的比例，若高于某個預設比例，則認定關聯度高。預設比例一般在1%-10%之間最好，可以兼顧對新聞語料庫的代表性和完整性。二是形成摘要。目前已有許多方法，其類別主要分為從原文抽取型和概括原文重新生成型。前者有：如計算句相似度優選文中幾句主題句作為摘要[19]，或采用關鍵詞聚類將關鍵詞集作為摘要[20]等等。后者有近年一些基于深度學習的模型可以概括全文內容再生成一句話摘要[21]等等。本文不對摘要形成方法做重點研究，本文的摘要形成方法是抽取型，抽取內容來自新聞書寫格式規范——第一段是新聞的導語，起概括全文的作用。因此本文形成摘要的方法是直接將新聞的第一段作為摘要。

步驟（2）將新聞摘要進行LDA主題提取的方式與評論完全相同——先進行預處理后進行實驗，再優選每個主題的關鍵詞，以期在對LDA做最大程度定向處理的同時最小化算法干預，發揮LDA作為無監督算法的本來優勢。

單個先驗主題的最終形式是：

其中表示先驗主題編號，表示對應主題關鍵詞，表示當前主題詞的所占權重。

對先驗主題集優選主題關鍵詞的方法是：先對評論集提取關鍵詞集，再對由關聯新聞得到的每個主題的每個主題詞判斷是否命中評論集的關鍵詞集，若命中則優選成功。最終每個主題所有合格的主題詞及對應權重組成了先驗主題集。

從新聞提取輿情先驗主題的算法偽代碼如下：

算法2：關聯新聞形成先驗主題

Algorithm 2： Related News forming a priori topic

輸入：攜帶評論數的關聯新聞，優選比例

輸出：先驗主題集

從輸入中讀取優選比例;

Begin For遍歷被選出的關聯新聞

若當前新聞評論占比超過;

保留當前新聞，并保留新聞前兩段為新聞摘要;

End For

人工確定新聞主題數;

預處理所有合格關聯新聞的摘要形成語料庫，對語料庫進行LDA主題提取;

對評論集進行TF-IDF提取關鍵詞集，對每個主題保留命中關鍵詞集的主題關鍵詞;

返回所有主題及對應關鍵詞組成的先驗主題集;

3? 實驗與分析

3.1? 數據集與文本預處理

數據集的事件來源是2017年6月16日，中方在洞朗地區施工時，遭到印軍越線阻攔，印方公然派軍隊越過雙方承認的邊界線進入中國境內，嚴重損害中國領土主權。期間中印雙方多次交涉無果，在國內和國際上都引發了廣泛熱議。

圍繞“中印邊境事件”，對2017年6月18日到2017年8月28日期間，出現在互聯網上的評論（主要是今日頭條）進行采集得到短文本約13255條。對其分詞及進行停用詞刪除等預處理后生成數據集。

3.2? 實驗結果與分析

3.2.1? 測試集主題劃分

通過人工分析，將以上輿情評論文本分為以下大致主題：對于中方是否應當通過戰爭解決問題的評論（T1）、對于印方囂張氣焰的評論（T2）、對于中國國內其他問題的評論（T3）、對于尼泊爾和不丹等周邊國家表態的評論（T4）、對于美國插手該事件的評論（T5）、對日本插手該事件的評論（T6）。

通過人工打標測試集記錄共1002條，其中T1有290條，T2有136條，T3有107條，T4有48條，T5有135條，T6有286條。

測試集人工劃分主題的大致方法是：尋找每個主題的評價主體和客體內容。通常評價主體由對事件本身的整理而來，對應客體內容由對測試集的觀察而來，大致規則為：

若某評論文本中同時出現評價主體和客體內容（評價主體對應詞匯較為確定，客體內容對應詞匯相對更多），則屬于該主題。如“印度站在分水嶺，實際侵犯了兩個國家的領土！……”中有明顯的評價主體“印度”和客體內容“侵犯”、“領土”。以上劃分方法是依照對輿情事件的實際解讀劃分的評價對象的全體。

人工劃分的主題數量只影響對LDA訓練時初始主題數的設置，但選擇的最終模型主題數是否等于初始主題是不確定的，可以一對一，也可以一對多，只要形成獨立劃分即可。但如果選取的訓練主題數過高，則文本劃分過于分散，不利于后續LDA主題推斷效果。

3.2.2? 標準LDA實驗結果

下圖展示了直接進行語料庫預處理后的LDA算法結果，可以看見，上述對于topic 3和topic 4的主題劃分沒有出現。

通過LDA主題推斷可以依據模型計算出每篇文檔的主題傾向進而算出每個主題劃分的準確率，但對每次訓練的模型計算測試集的準確率步驟較為繁瑣，又因LDA在訓練結束后提供由高到低的主題詞序列預覽，因此可以先由人工觀察對當前訓練模型的質量做一次基本判斷。

觀察判斷的大致方法是在權重約前10位的詞中尋找每個主題的評價主體和客體內容。觀察判斷規則為：

規則一：若評價主體不存在，則主題高概率不出現。

規則二：若某主題中同時出現評價主體和客體內容，則主題高概率出現。

對于任意主題，符合規則二即認定本次實驗該主題劃分成功，符合規則一即認定本次實驗該主題劃分失敗，對規則一和規則二都不符合的主題本次實驗不計數。

具體地，如上圖實驗觀察主題4關于“尼泊爾”等周邊國家，不存在主體詞，因此劃分失敗。

最后，觀察判斷某主題劃分的穩定性的方法是：若某主題在多次實驗中（至少3次）仍基本符合規則二，則該主題為穩定的高頻主題;若某主題在多次實驗中仍基本符合規則一，則該主題為未被成功劃分的低頻主題。

按照6個主題劃分經過多次實驗后，依據上述規則從觀察上認定使用標準LDA算法的主題劃分結果只能盡量包含六個主題中的四個，而遺漏的兩個主題也是原打標集合中最少的兩個部分，因此，LDA算法確實側重于總體的主題而容易遺漏局部主題。

依照上述規則，同樣測試主題數為topic=12，20等參數值時主題劃分質量，結果如圖2所示，圖中x軸是訓練選擇的主題數，y軸是穩定提取的主題數，沒有出現高于劃分出4個穩定高頻主題的結果，為簡化工作量，方便后續主題改進時的主題劃分，依照滿足要求的最小主題數即topic=6保存主題模型并對測試集進行LDA主題推斷。

下表展示了對于測試集數據進行主題分類的準確率P、覆蓋率R和標準值F1，表中“—”表示在實驗結果中該主題劃分不成功。

3.2.3? 基于詞性的改進實驗

本文得到語料庫的范圍：取最小值等于全文不變時得出，為0;最大值為取全部最大值時得出，約為21。實際實驗中，每篇文檔的穩定通過幾層循環即可達成。另外，選取的排名越高，過擬合的情況也越明顯，因此不適宜取最高值，會明顯降低在測試集的準確率。經過LDA主題提取結果檢驗，最終選取的值排名為由高到低的第四名，得到的值為14.48。

在所有詞性的詞匯集中，＼nr的詞性的詞幾乎是可以確定的，主要是“中國”、“印度”、“日本”等國名和一些地區詞，該詞性詞出現概率過高，需要降低頻次，但本文考慮了保留至少該詞匯至少存在一次的做法，該做法又等同于部分提高了“尼泊爾”等次高頻詞的頻度，使其可更恰當地出現在主題提取結果中。其他詞性的詞進行統一增加，再通過調參數和多次訓練尋找最佳結果。對于單篇文檔，在結束所有詞性處理后，將修改后的文檔返回，并在每個文檔末尾添加被增加的詞。

采用通用改進策略后，該輿情評論可以被大致完整劃分為六個主題，但表義仍不夠明確，實驗結果也不夠穩定，因此需要先驗主題確定部分主題來使實驗結果更好、更穩定。

3.2.4? 基于關聯新聞報道主題的改進實驗

本文輿情事件對應的實際主題不多，因此本文選取的新聞評論占比為1%。

由于關聯度高的新聞較少，可以人工閱讀這些新聞摘要，確定主題數，由于新聞報道的主題類別較為明顯，一般取一對一的主題數即可成功劃分。

加入的新聞先驗主題示例如下。

新聞先驗知識可以對實驗中固定高頻LDA主題的提取有較為明顯的效果，但其仍然依照概率形式參與采樣，不會因為相似的形式和高初始權重而完全覆蓋評論語料庫的主題關鍵詞。

3.2.5? 主題準確率計算實驗結果

同時采用兩種改進策略后，該輿情評論可以被大致完整劃分為六個主題。結果如下表所示：

同時使用兩種改進策略對于數據的準確率P、覆蓋率R和標準值F1如下表。

從上表和前表可以看出，同時使用兩種改進策略后的LDA算法，幾乎在所有主題的分類中都高于標準LDA算法的效果。證明了提出的改進策略的良好效果。

整體查準率與查全率偏低與語義理解有關：當前分詞算法和LDA都不是利用語義理解完成劃分的，而輿情文本語義結構十分復雜，二者間出現了明顯偏差，如分詞后的許多語句人工已無法理解語義。

3.2.6? 對比實驗結果

本文的對比實驗選用標準LDA算法和sentence- LDA算法（簡稱senLDA）[11]，實際實驗設計為對標準LDA、使用改進策略的LDA、標準sentence-LDA、和使用改進策略的sentence-LDA四種算法在每個有效主題上得到的F1值作為參照。

由圖表明，標準sentence-LDA成功劃分了6個主題，且每個主題的F1值與使用改進策略的LDA大致相當，而sentence-LDA算法在使用改進策略后在成功劃分出6個主題的同時取得了最佳的F1值。

4? 結束語

在將輿情評論類數據直接輸入LDA算法進行分析時，往往會出現與主題無關的高頻詞被提取為主題關鍵詞和與主題有關的低頻詞被舍棄的情況，該情況會一方面會導致不能實現較好的主題劃分，另一方面會導致被劃分的主題關鍵詞不能較好表達語義。針對以上問題，提出了通過加入先驗知識，修改語料庫分布的方法，改善了處理效果。

本文采用基于詞頻統一處理，并輔以相關新聞作為輿情事件評論的先驗知識集的方法進行了實驗，實驗結果表明，采用該方法后的LDA主題關鍵詞提取結果，在主題劃分和主題詞表義方面都有了明顯提升。

后續工作中，希望利用更多的詞性在語料庫中分布或在日常語言表達中的規律進行更多針對性的修改，利用有效的規則篩選修改的詞，以期通過更精確的先驗知識使主題提取結果產生更有效、更穩定的改變。

參考文獻

[1]王書夢， 吳曉松. 大數據環境下基于MapReduce的網絡輿情熱點發現[J]. 軟件， 2015， 36（7）： 108-113.

[2]信懷義. 基于異質圖隨機游走的網絡話題優化策略與仿真模型[J]. 軟件， 2016， 37（1）： 105-109.

[3]Blei， David M， et al. “Latent Dirichlet Allocation.” Journal of Machine Learning Research 3（2003）： 993-1022.

[4]劉玉文， 吳宣夠， 郭強. 網絡熱點新聞焦點識別與演化跟蹤[J]. 小型微型計算機系統， 2017， 38（4）： 738-743.

[5]W Zheng， B Ge and C Wang， “Building a TIN-LDA Model for Mining Microblog Users Interest，” in IEEE Access， vol. 7， pp. 21795-21806， 2019.doi： 10.1109/ACCESS.2019.2897910.

[6]F. Gurcan and N. E. Cagiltay， “Big Data Software Engineering： Analysis of Knowledge Domains and Skill Sets Using LDA-Based Topic Modeling，” in IEEE Access， vol. 7， pp. 82541-82552， 2019.

[7]D. Puschmann， P. Barnaghi and R. Tafazolli， “Using LDA to Uncover the Underlying Structures and Relations in Smart City Data Streams，” in IEEE Systems Journal， vol. 12， no. 2， pp. 1755-1766， June 2018.

[8]Daniel Maier， A. Waldherr， P. Miltner， G. Wiedemann， A. Niekler， A. Keinert， B. Pfetsch， G. Heyer， U. Reber， T. Hussler， H. Schmid-Petri & S. Adam （2018） Applying LDA Topic Modeling in Communication Research： Toward a Valid and Reliable Methodology， Communication Methods and Measures， 12：2-3， 93-118， DOI： 10.1080/19312458.2018.1430754.

[9]彭云， 萬常選， 江騰蛟， 等. 基于語義約束LDA的商品特征和情感詞提取[J]. 軟件學報， 2017， 28（3）： 676-693.

[10]Mei Q， Ling X， Wondra M， et al. Topic sentiment mixture： modeling facets and opinions in weblogs[C]. International Conference on World Wide Web， 2007： 171-180.

[11]Balikas G， Amini M R， Clausel M. On a Topic Model for Sentences[C]//Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval. ACM， 2016： 921-924.

[12]R Das， M Zaheer， C Dyer. “Gaussian lda for topic models with word embeddings，” in Proc. 53rd Annu. Meeting Assoc. Comput. Linguistics， vol. 1， 2015， pp. 795-804.

[13]Zhai Z， Liu B， Xu H， et al. Constrained LDA for Grouping Product Features in Opinion Mining[C]//Advances in Knowledge Discovery & Data Mining-pacific-asia Conference. DBLP， 2011.

[14]G Xu， X Wu， H Yao， et al. “Research on Topic Recognition?of Network Sensitive Information Based on SW-LDA Model，” in IEEE Access， vol. 7， pp. 21527-21538， 2019.

[15]C Li， S Feng， Q Zeng， et al. “Mining Dynamics of Research Topics Based on the Combined LDA and WordNet，” in IEEE Access， vol. 7， pp. 6386-6399， 2019.

[16]Heinrich， Gregor. （2005）. Parameter Estimation for Text Analysis.

[17]劉德喜， 聶建云， 萬常選， 等. 基于分類的微博新情感詞抽取方法和特征分析[J]. 計算機學報， 2018， 41（7）： 1574-1597.

[18]陳磊磊. 不同距離測度的K-Means文本聚類研究[J]. 軟件，2015， 36（1）： 56-61.

[19]趙旭劍， 張立， 李波， 等. 網絡新聞話題演化模式挖掘[J]. 軟件， 2015， 36（6）： 1-6.

[20]趙旭劍， 鄧思遠， 李波， 等. 互聯網新聞話題特征選擇與構建[J]. 軟件， 2015， 36（7）： 17-20.

[21]Radford A， Wu J， Child R， et al. & Sutskever， I. （2019）. Language Models are Unsupervised Multitask Learners.