基于詞向量語義聚類的微博熱點挖掘方法

劉培磊，唐晉韜，王 挺，謝松縣，岳大鵬，劉海池

(國防科技大學計算機學院,湖南 長沙 410073)

1 引言

隨著互聯網的發展和信息時代的到來，信息過載(Information Overloading)給人們使用信息帶來了挑戰。為了應對這種挑戰，如何從海量的文本數據中自動挖掘出熱點事件或者熱點話題已然成為一個重要的研究問題[1]。傳統的熱點檢測主要針對網頁、新聞、博客等數據，以較長的篇章為單位進行處理[2]。近十年以來，以Twitter、Facebook、微博、微信等為代表的社交媒體平臺飛速發展，出現了海量的短文本信息。這些社交媒體中短文本數據不同于傳統網頁數據，它們短小、高噪聲、實時、并且包含更多元數據[3]。社交媒體數據的這些特點給傳統的熱點檢測與挖掘技術帶來了挑戰[4]。首先，傳統熱點挖掘是以文檔為單位的。而社交媒體中每條消息相對獨立，并且這些消息通常比較短，有時甚至只包含一兩個句子，因此一條消息很難被視為一篇文檔。而如果將多條消息簡單地合并在一起視為一篇文檔，它們之間又缺少必要的語義聯系與篇章結構。因此，從熱點挖掘角度看，社交媒體數據與傳統網頁等有本質上的不同。其次，傳統的熱點挖掘方法往往使用詞頻-逆文檔頻率TF-IDF(Term Frequency-Inverse Document Frequency)等基于詞頻統計的方法[1]。這種方法主要考慮單詞的統計特征，沒有考慮單詞之間的語義關聯。社交媒體消息短小，且存在大量與熱點無關的噪聲，對基于統計特征的方法具有較大影響。最后，社交媒體中用戶關注的熱點多種多樣，因此同一時段的消息可能涉及不同的熱點，使得熱點挖掘問題變得更加復雜。雖然社交媒體數據具有以上這些問題，但是它的一些特點也給熱點挖掘帶來了便利。每條微博中通常都包含時間信息、轉發次數等信息，部分消息還包含精確的全球定位系統GPS(Global Position System)信息[5]，以及一些實體相關的元信息，比如tag標簽[6]、用戶名、鏈接等。此外，元信息中還有一些與發布者相關的信息，比如注冊地點、粉絲數等。如何充分利用社交媒體數據的這些特點來提升熱點挖掘方法的性能也是一個重要問題。

目前社交媒體上的熱點挖掘研究從多個不同的角度進行[7]，包括社交網絡結構[8]、用戶行為模式[9]、文本內容[10]等。其中基于網絡結構和用戶行為模式的熱點挖掘方法可以檢測到熱點的發生及其發生的地點、時間等信息，但是由于這些方法不直接使用文本內容，因此很難直接抽取到具體內容以及描述熱點的關鍵詞。基于文本內容分析的方法更擅長抽取熱點內容，但是其計算代價高，不利于大規模檢測熱點。此外，基于內容分析的方法往往只適應于檢測和抽取特定類型的熱點事件或者話題，并且需要預先給出熱點類型或者相關關鍵詞[10]。一個可行的思路是將這兩種優勢互補的方法結合起來，即首先利用基于網絡結構或者行為模式的方法檢測熱點，并過濾部分與熱點不太相關的文本數據；而后利用內容分析的方法抽取熱點的具體內容或者關鍵詞。在前期的工作中[11]，我們發現通過對信息流動時空模式的分析可以檢測到熱點的發生及其時間、地點，但是怎樣從大批充滿噪音的微博消息中提取出熱點的具體內容是一個有待研究的問題，尤其是當這批微博消息中包含多個并列熱點的時候。有時單條微博消息中也可能涉及多個熱點，因此以微博消息為單位聚類不夠合理。所以，本文提出從更細的單詞的粒度上進行熱點挖掘，并引入詞向量語義聚類的方法來進一步提升熱點挖掘效果。

Twitter是一個開放的微博平臺，本文的實驗雖然是基于Twitter數據，但是相關的方法和技術對各種社交媒體平臺具有一定普適性。本文的貢獻點包括：(1)基于前期工作，提出了一種結合用戶行為模式與文本內容分析的熱點發現與挖掘方法。(2)針對Twitter等社交媒體數據特點，提出了從單詞層面對熱點進行細粒度挖掘的方法。(3)將詞向量的方法，通過詞向量語義聚類的方法引入熱點挖掘，通過更多地使用語義關聯特征帶來較大性能提升。目前經典的熱點方法通常使用向量空間模型進行文本聚類，然后使用基于TF-IDF等詞頻方法從每個文本聚類中抽取關鍵詞。在實驗部分將本文提出的方法與這些經典方法進行了對比。

2 方法

傳統的基于社交媒體內容分析進行熱點挖掘的方法主要是以單條消息為單位，以關鍵詞檢索和匹配為基礎，較少涉及詞語之間的語義關聯。本文以詞語為單位，通過語言模型任務訓練產生詞向量，利用詞語之間的語義關聯形成語義聚類，從而產生描述熱點的關鍵詞集合。為了方便描述問題，給出如下定義。

定義1(熱點) 熱點對應Twitter中的熱點事件或者熱點話題，可以使用一個五元組表示：hotspot=(time,location,keywords,participants,text-sequence)。其中，time,location,keywords,participants分別表示熱點發生的時間段、地點、關鍵詞以及參與者，text-sequence表示一個消息序列。

定義2(消息序列) 消息序列是一個持續一定時間的Twitter消息集合：text-sequencen=[m1,m2,…,mi,…,mj,…,mn],其中，n表示包含的消息總條數，mi表示其中一條消息。對于任意1≤i

在Twitter中，每條信息mi包含文本和元信息兩個主要部分。其中元信息是普通用戶不可見的，但是可以通過應用程序接口API(Application Program Interface)獲取。元信息中包含消息的發布時間、轉發次數、回復對象等，部分消息還包含GPS定位信息。此外，元信息還包含用戶相關的信息，如注冊地點、注冊時間、粉絲數、自我介紹等等。而消息中的文本部分是普通用戶日常可以看到的部分，由于Twitter公司的限制，每條消息通常都很短，并且相當大一部分消息中包含一些實體。

定義3(實體) Twitter消息中的實體包括標簽、用戶名、轉發符號、網址等等。其中，標簽通常是一個以符號“#”作為前綴的單詞或者字符串，用戶名的前綴是“@”符號，轉發符號是“RT”，而網址通常會被Twitter公司轉化成一種特殊的短網址格式。

定義4(信息流) 消息在不同地點之間轉發可以導致這些地點之間的信息流動，兩個地點之間在日期i的信息流可以定義為當天的所有轉發消息Retweet的集合：information-flowi={rij}，其中rij表示日期i當天的一條Retweet。信息流的強度可以定義為轉發消息的數量#{rij}。值得注意的是，在Twitter中轉發消息Retweet本身也是一條普通的Tweet消息。

2.1 熱點檢測

熱點檢測使用的是基于網絡結構和用戶行為模式的方法，這部分內容在前期工作中有較為詳細的描述[11]，本節只作簡要介紹。通過數據分析發現，世界各地之間的信息流強度具有一定規律性，即信息傾向于從某些地點流向另外一些地點，并且這些信息流的強度通常在有限的范圍內波動。這樣，任意時刻世界各地之間實際上存在一張相對穩定的信息流動圖。而實驗結果表明，現實世界的熱點會引起相應信息流的變化。因此，通過監測信息流動圖的變化就可以檢測到熱點的發生及其時間、地點、參與者以及相關消息。

至此表示hotspot的五元組中只有keywords還完全不知道，因此下面的主要任務就是從消息序列text-sequence或者它的一個子集{mi}中抽取描述熱點的關鍵詞。通過這種熱點檢測方法得到的消息序列可能包含噪聲，即其中部分消息與熱點hotspot無關。并且我們不知道這個熱點具體內容或者它的關鍵詞是什么。更重要的是，信息流的異常可能是由多個熱點共同作用的結果，因此消息序列就可能包含多個熱點相關的消息。

2.2 消息處理

首先檢測到強度發生異常的信息流，抽取這個信息流中的所有轉發消息information-flowi和源地點的所有原始消息{mi}。比如倫敦到紐約的信息流，其源地點就是倫敦。分別去除停用詞后，通過簡單地生成標簽云的方式可以大概地展示這兩個數據集中包含的熱點。通過直觀觀察發現information-flowi具有過濾作用，其中包含的噪音較小，適合用于抽取具有重大影響的熱點(見圖1b)。而原始消息mi中包含很多較小的熱點(見圖1a)，這些熱點的相關消息混雜在一起，給熱點挖掘和關鍵詞抽取帶來挑戰。

Figure 1 Tag clouds of Retweets and Tweets圖1 轉發消息與原始消息的標簽云對比圖

通過這樣的處理，實際上熱點hotspot發生的地點、時間、參與者及相關的消息都可以抽取出來了，接下來就是從相關消息中抽取可以描述熱點的關鍵詞。本文沒有先對所有消息進行聚類，而是直接從消息集合中產生每個詞的詞向量。然后在單詞級別通過詞向量進行詞語的語義聚類，從而達到在同一文本集合中同時挖掘多個熱點的目的。

2.3 產生詞向量

在傳統的特征向量空間模型中，詞語通常被視為構成文本的不可再細分的“原子”(Atom)符號。兩個單詞只要符號本身不同，就認為二者之間沒有任何聯系。比如“計算機”和“電腦”這兩個詞意思非常相近，但是卻會被視為兩個完全不相關的單詞，這被稱為“語義鴻溝現象”。而在使用深層神經網絡處理圖片時人們發現，標注有“計算機”和“電腦”這兩種標簽的圖片會被判斷為相似圖片。受此啟發，研究人員想到了用一個向量來表示一個單詞[10]，就像用一個像素矩陣來表示一幅圖片一樣。這個表示單詞的向量就是詞向量，詞向量與傳統向量空間模型相比有較大優勢。

詞向量模型可以從大規模無標注語料中自動學習得到[12]。基于1954 年Harris 提出分布假說(Distributional Hypothesis)，即“上下文相似的詞，其語義也相似”，詞向量中的信息來自背景語料中單詞的上下文。通常使用神經網絡等機器學習方法在語言模型構建等任務上反復迭代訓練得到單詞的詞向量表示，用得比較多的是連續詞袋CBOW(Continuous Bag-Of-Words)模型和Skip-gram 模型。其中，CBOW是利用上下文預測單詞方法進行訓練，而Skip-gram是利用單詞預測上下文方法進行訓練[12]。為了加快生成詞向量的速度，這兩種模型都沒有考慮詞序信息。另外還有一些更復雜的模型考慮了上下文的詞序信息[13]。通過上述方式得到的詞向量包含了單詞的語義信息，因此可以通過這種向量表示來度量文本之間的語義相似度。

2.4 語義聚類

傳統熱點挖掘方法首先將消息集合{mi}聚類，每個聚類對應一個熱點，然后針對每個聚類抽取高頻詞或者關鍵詞來表示相應的熱點。這種方法以消息為單位，粒度較大，并且只使用詞語的統計特征而沒有用到語義特征，因此聚類效果不太理想。本文引入詞向量和語義聚類的方法，以單個詞語為聚類對象并且充分考慮到詞語之間的語義關聯，以改善熱點挖掘的效果。既然詞向量中了包含了詞語的語義信息，那么不同詞語之間的語義關聯與它們的詞向量距離之間必然緊密相關。基于這個考慮，可以對消息集合{mi}中所有詞語的詞向量進行聚類。然后根據每個單詞到相應聚類質心的距離來排序，選出離質心最近的前n個詞來代表這個聚類。這種方法在本文稱為WVC(Word Vector Clustering)，具體細節請見算法1。使用WVC方法進行聚類的好處在于：每個聚類中的詞語語義上彼此相關，因此選出的前n個詞語就能夠從語義上代表相應的聚類。

算法1WVC算法

Input：Twitter的消息集合{mi}。

Output: clusters and their keywords。

1. for each messagemi

2. input its words into word vector model in sequence

3. load the word vector model;

4. for each word in {mi}

5. generate a vector;

6. clustering all the vectors intokclusters;

7. for each cluster

8. if # words>n

9. then selectnwords nearest to the cluster center;

10. else select all words;

11. end if

12. Output these words as keywords of hotspot;

3 實驗

為了在實際數據集上驗證本文提出的詞向量語義聚類方法WVC的效果，設計了本實驗。具體來說，實驗目的包括對比詞向量技術與經典的TF-IDF方法在抽取關鍵詞方面的效果，以及檢驗基于詞向量語義聚類方法在熱點挖掘中的效果。實驗在Twitter數據集上進行，并利用消息中的tag標簽輔助構造測試集。

3.1 實驗設置

本文所有實驗均部署在ThinkPad s5筆記本電腦上，數據集包含800多萬條Tweet消息。實驗中使用的詞向量生成工具是Google的word2vec[14]，聚類算法是Weka 3.6中的K-means算法[15]，索引和檢索工具是Lucene3.6.0[16]。關鍵詞抽取工具來自開源項目wvtool1.1，使用TF-IDF指標來抽取關鍵詞[17]。

測試數據集使用tag標簽來輔助構造。首先以消息為單位，使用Lucene對數據集中美國東部時區的原始消息建立全文索引，將tag標簽、用戶名、轉發標志等單獨加入索引域。然后通過檢索接口統計每個tag標簽對應的消息數量并排序，挑選其中熱門標簽(包含這個標簽的消息大于一定閾值)。如表1所示，共挑選出9個熱門標簽，每個標簽對應一個熱點。將這個9個標簽對應的所有消息合并在一起作為測試數據集。

Table 1 Hot topics and their corresponding messages

3.2 結果展示

首先對數據集進行一些簡單的預處理操作，包括處理不規范的符號和單詞以及除tag標簽外的所有實體等。然后使用word2vec工具產生詞向量，所有參數使用默認設置。使用K-means算法對所有詞向量進行語義聚類，每個聚類表示一個熱點。聚類數設置為9，迭代次數為50。根據詞向量到相應聚類中心的距離對每個詞向量進行打分并排名，選取每個聚類中前20個單詞作為相應熱點的關鍵詞。實驗中按照下述方式將9個聚類的關鍵詞集合與9個熱點話題標簽一一對應起來：如果這個聚類的關鍵詞中包含某個熱點的tag標簽，那么直接將這個關鍵詞集合與相應的tag標簽對應；剩余的關鍵詞集合通過人工觀察，將每個關鍵詞集合對應到某個特定的tag標簽。熱度最高的前三個標簽的關鍵詞展示在表2中。

Table 2 Keywords of hotspot from WVC

本實驗中關鍵詞抽取的對比方法包括基于詞頻的TF方法和TF*IDF方法。具體來說，首先進行去除停用詞等預處理。在此基礎上，TF方法使用高頻詞來作為關鍵詞。而TF*IDF方法通過TF*IDF指標來抽取關鍵詞，其中統計IDF時需要背景語料，本實驗中分別選取倫敦和美國東部每天的全部轉發消息，一共組合成28篇文檔作為背景語料。這兩種方法從整個數據集中抽取關鍵詞，然后隨機地分成9組。通過上一段中相似的方式將這9個關鍵詞集合對應到9個熱門標簽。使用TF*IDF方法抽取的部分關鍵詞展示在表3中，限于篇幅只展示了最熱門的前三個標簽對應的關鍵詞。通過直觀觀察可以發現，表2中結果整體上要好于表3中的結果。以#ihavenotolerance標簽為例，WVC方法抽取的Liars(騙子)、exceptions(意外)、Sneakers(蛇)、jitney(次品)等詞都是比較常見的人們“難以忍受”的對象。而church(教堂)、faggots(同性戀)等在社交媒體上的年青人群體中，也是較多人的討厭對象。更有趣的是，WVC方法還提出兩個不規范的詞U(表示“你”)和0_o(表示鬼臉的表情符號)。通過瀏覽對應的Twitter消息發現，U是在開玩笑中多次提到(“我無法忍受你”)。相比之下，表3中的絕大多數詞都與#ihavenotolerance標簽沒有直接的語義相關性。

Table 3 Keywords of hot topics from TF method

以上方法主要是用來評測基于詞向量方法WVC抽取關鍵詞的效果。為了進一步檢驗語義聚類的效果，本實驗使用了TF*IDF+方法進行對比。即表1中的每個標簽相關的消息集合不再被合并到一起，而是直接從每個標簽對應的消息集合中直接抽取關鍵詞。在此條件下與WVC進行對比，TF*IDF+方法占了很大的優勢，因為TF*IDF+方法中的聚類過程實際上被認為是絕對正確的。使用TF*IDF+方法抽取的關鍵詞展示在表4中，與表2對比可以直觀地看出：基于詞向量語義聚類的方法在劃分關鍵詞集合過程中是有效的。另外，將表4、表3與表1進行對比可以看出，通過TF*IDF指標提取的關鍵詞通常是一些比較重要而有實質意義的詞，但卻不一定都與熱點話題的標簽語義相關。更嚴格的定量分析將在3.3節給出。

Table 4 Keywords of hot topics from TF*IDF method

3.3 定量分析

3.2節已經直觀地給出了對比實驗的部分結果，本節將更嚴格地定量評估本文所提方法與三個對比方法的實驗結果。由于涉及到語義相關性，本文請使用過社交網絡平臺的三位學生對四個模型的結果進行手工標注，對每個模型的結果提出的要求是“標出你認為與這個標簽相關的單詞”。結果采用“三中選二”的方式，即至少兩個同學認為某個單詞與對應標簽相關才認為這個單詞真的相關，最后以標注的結果為標準答案。

如表5所示，實驗結果使用了三個評價指標：熱點精度、總精度與標簽比率。熱點精度為∑iri/∑iki，其中，ri表示與話題i相關的關鍵詞個數，而ki表示話題i的關鍵詞總個數。總精度為r/n，其中，r表示與9個話題標簽中任一個標簽相關的關鍵詞的總個數，而n表示9個話題標簽包含關鍵詞的總個數。總精度主要考察的是關鍵詞提取方法本身的效果，受熱點聚類過程影響較小。熱點精度與總精度受人工標注的主觀性影響，為了展示更客觀的效果提出標簽比率這個指標。每個話題包含的關鍵詞中會含有一些其它相關標簽，比如表2中熱點標簽#whoeverimarry相關的關鍵詞中包含標簽#foreveralone和#money，而且這兩個標簽在語義上都與標簽#whoeverimarry有一定相關性，所以稱之為“相關標簽”。標簽比率為g/n，其中，g表示相關tag標簽總數，而n表示關鍵詞總個數。由于使用wvtool工具抽取關鍵詞時，過濾掉了所有非英文字母的符號，因此表5中TF*IDF和TF*IDF+標簽比率指標未統計。

Table 5 Quantifiable results of all methods

從表5可以看出，本文提出的WVC方法在三個指標上都是最高的。具體來說，在熱點精度這個指標上，WVC系統甚至超過了TF*IDF+方法，雖然后者從單個熱點話題的消息集合中直接提取關鍵詞。而TF與TF*IDF方法由于使用隨機劃分代替聚類,因此效果較差。在總精度這個指標上WVC方法效果最好，說明在熱點挖掘任務上通過詞向量語義聚類方式提出的關鍵詞比基于詞頻統計方式提取的關鍵詞效果好。TF方法相比另外三種方法差距較大，說明直接使用高頻詞作為關鍵詞效果不佳。再對比標簽比率這個指標，WVC遠高于TF方法，在一定程度上說明前者提取關鍵詞語義關聯性更強。最后對比WVC方法自身的熱點精度與總精度兩個指標，只相差6.1個百分點，這說明通過語義聚類方法來劃分關鍵詞集合具有良好的效果。

4 結束語

本文針對社交媒體文本數據的特點，提出了結合用戶行為模式與文本內容分析的熱點檢測與挖掘方法。在通過內容分析挖掘熱點的過程中，傳統熱點挖掘方法主要是在文檔或者消息的粒度進行聚類，對短小而高噪聲的社交媒體消息效果不佳，并且挖掘得到的關鍵詞語義關聯性弱、對熱點話題描述能力不夠強。針對傳統方法的不足，本文引入基于詞向量語義聚類的熱點挖掘方法。該方法從單詞層面進行細粒度處理，并且充分考慮了詞語之間的語義關聯。在實際數據上的實驗結果表明，本文所提方法效果較好，在三個主要指標上都好于傳統方法。本文提出的方法也存在一些不足，比如用無結構的關鍵詞集合表示熱點。因此，下一步的工作包括：從關鍵詞區分出人名、地點、標簽等實體，使用結構化的關鍵詞來描述熱點話題。

[1] Zhang Rui-qi. The TopNhot topics detecting method based on clustering of key features[D].Beijing:Beijing Institute of Technology,2015.(in Chinese)

[2] Iwata T,Watanabe S,Yamada T,et al.Topic tracking model for analyzing consumer purchase behavior[C]∥Proc of the 21st International Joint Conference on Artificial Intelligence(IJCAI’09).2009: 1427-1432.

[3] Bollen J, Mao H,Zeng X.Twitter mood predicts the stock market[J].Journal of Computational Science,2011,2(1):1-8.

[4] Chen Feng.Hot topics mining in online social medium[D].Shanghai:East China Normal University,2014.(in Chinese)

[5] Wang Sen. Location recommending algorithm based on social network[J].Computer Engineering & Science,2016,38(4): 667-672.(in Chinese)

[6] Wang Xiang, Jia Yan,Zhou Bin,et al.Prediction of user’s tags in micro-blog based on interactive relations[J].Computer Engineering & Science,2013,35(10): 44-50.(in Chinese)

[7] Atefeh F,Khreich W.A survey of techniques for event detection in Twitter[J].Computational Intelligence,2015,31(1):132-164.

[8] Guo Lin.A hotspots mining method of web public sentiment based on short links in social medium[J].Software Guide,2015,14(11):139-141.(in Chinese)

[9] Takahashi T, Tomioka R,Yamanishi K.Discovering emerging topics in social streams via link anomaly detection [C]∥Proc of ICDM’11,2011: 1230-1235.

[10] Huang Xian-ying,Chen Hong-yang,Liu Ying-tao,et al.A novel feature word selecting method of micro-blog short text[J].Computer Engineering & Science,2015,37(9): 1761-1767.(in Chinese)

[11] Liu P Q,Tang J T,Wang T.Information current in Twitter: Which brings hot events to the world[C]∥Proc of the 22nd International World Wide Web (WWW ’13),2013:111-112.

[12] Mikolov T,Yih W,Zweig G.Linguistic regularities in continuous space word representations[C]∥Proc of NAACL-HLT’13,2013: 746-751.

[13] Lai Si-wei.Word and document embeddings based on neural network approaches[D].Beijing:The University of Chinese Academy of Sciences,2016.(in Chinese)

[14] word2vec project [EB/OL]. [2015-10-29].https://code.google.com/p/word2vec/.

[15] Mark H. The WEKA data mining software[J].SIGKDD Explorations,2009,11(1):10-18.

[16] Lucene project [EB/OL]. [2015-10-29].http://apache.justdn.org/lucene/java/.

[17] McCallum A K.Bow: A toolkit for statistical language modeling[EB/OL].[1996-01-07].http://www.cs.cmu.edu/～mccallum/bow.

附中文參考文獻：

[1] 張瑞琦.基于關鍵特征聚類的TopN熱點話題檢測方法研究[D].北京:北京理工大學,2015.

[4] 陳峰.網絡社交媒體的熱門話題挖掘[D].上海：華東師范大學,2014.

[5] 王森.基于位置社交網絡的地點推薦算法[J].計算機工程與科學,2016,38(4): 667-672.

[6] 汪祥,賈焰,周斌,等.基于交互關系的微博用戶標簽預測[J].計算機工程與科學,2013,35(10): 44-50.

[8] 郭林.一種基于社交媒體短鏈接的網頁輿情熱點數據挖掘方法[J].軟件導刊,2015,14(11): 139-141.

[10] 黃賢英,陳紅陽,劉英濤,等.一種新的微博短文本特征詞選擇算法[J].計算機工程與科學,2015,37(9): 1761-1767.

[13] 來斯惟.基于神經網絡的詞和文檔語義向量表示方法研究[D].北京：中國科學院自動化研究所,2016.