校園輿情熱點問題提取與分析

鄭建靈 張艷玲 田俊雄 黃子豪 梁茵

摘要：為從高校各種網絡平臺上的海量言論中提取和分析校園輿情熱點問題，使用爬蟲獲取高校貼吧文本，對獲得的文本數據進行分詞、清洗;然后使用tensorfloW hub中的神經網絡語言模型（NNIM）進行遷移訓練得到文本向量，對文本向量使用基于劃分的K-means聚類，得到多個文本簇團;對簇團使用詞頻一逆文檔頻率算法（TF-IDF），得到每個簇團的關鍵信息并進行人工分析。實驗結果表明，貼吧上的熱點問題主要是考研類和入學類話題。根據分析得出的話題可為高校管理決策提供依據。

關鍵詞：校園輿情;遷移訓練;詞表征;詞頻一逆文檔頻率;K-means聚類

DOI： 10. 11907/rjdk.191649

開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301

文獻標識碼：A

文章編號：1672-7800（ 2020）004-0061-06

O 引言

隨著互聯網技術的普及，社交網絡成為大學生活至關重要的一部分。新媒體潮流促進了信息流動和傳播，也帶來了海量的媒體內容與用戶數據。大學生平常關注的熱點問題，對高校管理有重要的指導意義。

自然語言文本信息的聚類需要將文本信息轉換成數字信息，這一過程叫做文本表征，高強[1]較為完整地闡述了如何將文本信息轉換成數字信息以應用于聚類的過程與技術細節。傳統的文本表征是使用詞頻信息表達文本。文嶠[2]分別使用詞頻、TF-IDF、卡方檢驗、互信息表征文本得到使用各類表征方式的分類準確率與特征維度的關系。但是，單從本文中提取詞頻特征，會忽視詞項語義，無法充分提取文本包含的語義信息，且得到的文本表征存在高維、稀疏等問題;張雪松[3]使用頻繁詞集表示文本以降低文本維度;Mikolov[4]在2013提出Word2vector，使獲取詞項的上下文語義信息成為可能;周順先[5]等使用詞向量聚類質心頻率模型，將得到的特征化文本放入神經網絡語言模型進行分類實驗，得到比單純基于詞頻統計的TF-IDF更好的分類效果;賀益侗[6]分別使用TF-IDF與DOC2VEC表征文本，得到兩個模型，然后使用模型融合得到最后結果。但TF-IDF的表征僅包含詞頻信息，而DOC2VEC能夠反映詞項語義信息卻沒有包含詞頻信息，使用模型融合也沒有真正將詞頻和詞項語義信息結合在一起;黃承慧"、高明霞等[8]提出使用詞頻與詞項語義相結合的方法度量文本相似度，這類方法在各白的實驗中都取得了比單獨使用詞頻信息或詞項語義更好的實驗結果;汪靜[9]在結合詞頻與語義的基礎上，在計算詞頻上加入了詞性的貢獻因子，對文本信息的提取更加深入;鄒艷春[10]使用DBSCAN聚類方法對文本進行聚類;李春青[11]介紹了文本聚類的4種聚類方法;徐維林[12]結合LDA和SVM模型，利用K-means聚類對長文本進行聚類，獲得較好的聚類質量和穩定性;熊祖濤[13]探究了幾種文本表征和聚類方法對短文本進行聚類;周海晨[14]使用TF-IDF作為文本表征，對文章標題進行文本挖掘，建議在不同時期給學生推送內容;劉家成[15]基于TF-IDF和K-means聚類方法研究了價格波動與買家評論的相關性。

直接使用TF-IDF表征文本向量，在應用到大量文本數據進行表征時，不僅存在數據矩陣極其稀疏、運算時間極長等問題，而且該種表征僅體現了詞頻信息，沒有詞義信息。若使用WORD2VEC與TF-IDF相結合的表征方法，在提取詞向量與作為權重的TF-IDF相乘時，同樣耗時過長，難以得到訓練結果。本文直接使用tensorflow一hub中的NNLM模型進行遷移訓練得到文本向量。這種表示方法可以直接指定數據矩陣維度，解決數據矩陣密度稀疏問題，且在運行速度上也有較大提高。

本文首先利用python爬蟲工具，收集高校貼吧中學生發布的言論;再使用python中的jieba分詞將文本切割成一個個詞匯，使用NNLM模型得到關于文本的詞匯及進行遷移訓練，得到每個文本的文本向量;接著使用K-means算法對文本進行聚類，對聚類結果使用TF-IDF算法計算，得到每個簇的關鍵信息，以此分析大學生關注的熱點問題。

1 文本數據預處理

本文所探討的校園輿情內容來自百度貼吧。使用Pv-thon爬蟲技術，在全國各個高校貼吧主頁爬取學生討論內容。本次研究一共爬取全國784所高校共4605942個帖。

1.1 文本分詞

常見的分詞T具有jieha分詞、ltp分詞、thulac等分詞-具。僅從分詞上看，jieba分詞具有精確、搜索引擎、新詞識別等模式，加入字典的詞將直接匹配，安裝使用方便;ltp分詞粒度較大.詞性類型較少，安裝稍復雜;thulac分詞具有世界上最大的人工分詞和詞性標注中文語料庫，分詞速度快。

針對貼吧文本分別使用jieba、ltp分工具，得到如圖l所示結果。

可以看到，ltp分詞中，“新生加群”、“師姐會”、“新生學弟”等沒有被分開，相應在jieba分詞中均被分開?？偟膩碚f，ltp分詞粒度相對較大，即文本會被分割成更長的詞串，而jieha分詞粒度相對較小，就分詞效果而言，分詞粒度小更適合本實驗;此外，為了保證分詞效果，加人人工白定義詞典。ltp分詞將所定義的詞典以特征的方式加入機器學習算法，無法保證輸入的詞能完整切分，而jieha分詞可以匹配白定義詞典中詞及其詞性，故最后選擇jieha分詞作為分詞工具。

1.2文本清洗

首先對單一文本進行清洗，分別加入停用詞，用戶白定義詞典以及對詞性篩選，得到將要用于表征的文本。實驗所采用的停用詞分為兩個部分：①從網上找到的停用詞表，即一些普遍沒有意義的詞及標點符號;②通過人T篩選得到的對于研究沒有意義的詞語。在用戶白定義詞典方面，需要通過人工檢查分詞結果，手動將被錯誤切分的詞合并并定義詞性，然后加入用戶白定義詞典，這樣能夠修正被錯誤分詞的詞語.獲得更多有意義的詞語。篩選掉的部分詞語如表1所示。

從表1可以看出，第一類主要是稱呼用語，第二類是一些單個字，難以表達一個準確意思的動詞，第三類是一些數量詞、序數詞，以及其它對研究主題沒有意義的詞語。在詞性篩選方面，利用jieba分詞的詞性標注功能給每個詞語定義詞性，然后篩選必要的名詞、形容詞、動詞等對實驗較有意義的詞性并保留。

經過單一文本清洗后會對每一篇文本進行詞數檢查，如果詞的個數不足10個，則說明該貼的關注度不高，將舍棄該文本。經過必要清洗篩選后選取其中920351個帖進行研究。

2文本表征

將文本信息轉化成向量信息，文本向量表征的好壞決定最后聚類理論上能否達到最好的結果。特征選擇函數種類繁多，對訓練集和分類算法依賴性也很大，不同研究針對不同的分類應用，采用不同的訓練過程和分類算法，對各評價函數的性能評價結果差異也較大[16]。最常用的文本向量表征方法是TF-IDF模型，屬于基于詞頻的表征方法。但在大量文本下，實驗分詞后詞庫高達382 326個詞。即便通過篩選，也仍有10萬數量級詞量，導致最后的向量空間維度過高，難以直接運行出結果。而使用WORD2VEC模型能夠得到詞的低維度向量空間表示，但利用詞向量有效表示短文本是一個研究難點。常見的方法有以文本所有詞向量的均值表示文本，也有利用TF-IDF值表達每個詞的權重，從而利用權重得到表示文本的向量[8]。但由于使用WORD2VEC模型與TF-IDF權重計算時耗時過長，難以得出運算結果。

遷移學習是利用先驗知識從一個領域和任務類比到另一個領域和任務，本文使用Tensorflow huh中的NNLM中文模型進行遷移訓練獲取文本表征。

神經網絡語言模型（ Nerual Network Language Model，NNLM）由Bengio等[17]于2003年提出。NNLM利用前n-l個詞預測第n個詞同時為最大化目標詞語的概率。NNLM在中間層將句子編碼壓縮成一條稠密特征，解決了表征向量稀疏化問題。同時，由于分類模型作用，該特征能很好地表達句子含義，也具備傳統統計學模型不具備的上下義信息，解決了Word2vec難以表達句子的問題。Tensorflowhub中NNLM模型使用大語料庫進行訓練，能較好地涵蓋各種中文語料庫。使用NNLM遷移訓練貼吧數據，對得到的文本表征將有更好的泛化能力。

文獻[9]提出使用詞性作為影響因子進行權重計算的方法。據此，本實驗采取更簡便的方法，將除名詞、動詞、形容詞等詞性以外的詞全部舍棄，只留下對探究主題有用的詞語，但這樣做的弊端是存在許多離群點。

3文本聚類

文本聚類指白動地將文本集合分組為不同的類別。同一類別中的文本非常相似，而不同類別之間的文本則不相似”1。基本分類方法有劃分方法、層次方法、基于密度的方法、基于網格的方法等[19]。

3.1 K-means聚類

本文使用K-means聚類。K-means聚類是一種基于劃分的聚類方法。通過初始化k個簇心點計算每個點與簇心點的距離，將每個點劃分到距離該點最近的簇心中，然后利用簇中的每個點到簇心的距離計算均值，得到新的簇中心;重復計算點與簇心的距離，更新簇中心，如此迭代一定次數，或者前后兩次每個點到簇中心距離的總和（簇內變差）不超過設定的閾值則停止迭代，輸出聚類結果。

3.2實現思路

根據義本向量表征將每篇文檔向量看成M維空間的一個點，共N個點。本文進行分組對照實驗，將N個點劃分成4個組分別進行文本聚類，聚類思路如下：①在M維空間中，隨機選取10個點作為初始簇中心點;②計算每個點分別到10個簇中心點的歐式距離，將每個點劃分至與其歐式距離最近的質心點簇中;③計算新的簇內變差，即每個點到其所在的簇中心歐式距離的總和，并記錄，設定舊的簇內變差為一1;④根據簇的每個點坐標，將簇內所有點維度相同的值相加，再求每個維度的平均值，得到新的簇中心點;⑤計算新舊簇內變差的差值，若差值小于1或者進行100次迭代計算，然后退出，否則重復步驟②一⑤;⑥重復步驟①一⑤若干次，取多次K-means聚類中得到的最小簇內變差，并以此作為聚類結果。

3.3聚類實驗結果處理

對所有文檔聚類之后，計算每篇文檔所有詞的TF-IDF值，然后根據每個簇中詞的TF-IDF值總和進行排序，篩選得到每個簇的關鍵信息。

3.3.1 詞頻一逆文檔頻率（Tenn Frequency-Inverse Docu-ment Frequency， TF-IDF）

TF-IDF方法對于提取文本庫中某一篇文檔的特征較為有效。通過計算每個詞在當前文檔的頻率，突出該詞在本文中的重要程度，但有可能是沒有意義的高頻詞;再計算詞的逆文檔頻率，與詞頻率相乘，可以降低沒意義的高頻詞TF-IDF值，得到較好表征文本的詞語，但此過程沒有考慮詞義。

根據TF-IDF= TF*IDF計算得出每篇文檔所有詞的TF-IDF值。

設文本庫共有IDI篇文檔，將所有文檔中的不同詞語構成一個詞庫M，詞數為IMI，則每篇文檔對應一個M維向量，文檔向量中每個維度的值為TF-IDF值或0。整個文本庫可以構成一個IDlxIMI矩陣，得到文本向量表征。

3.3.2簇關鍵信息提取

聚類后得到的每個文檔向量歸屬于一個類中。提取聚類結果思路如下：①對每個類建立一個關于詞庫的IMI維向量K，且初始值均為0;②將類內每個文檔向量中維度上的數值與K向量上相應維度的數值相加;③對詞庫向量K進行排序，得到TF-IDF值最高的前7個詞，查找詞庫，得到相應的詞語，作為該類關鍵詞。

4 熱點問題分析

首先，使用Pvthon中jieha分詞對貼吧評論進行分詞并統計詞頻，得到詞頻最高的前20個詞，如圖2所示。

從得到的前20個詞頻上看，學生輿論涉及的話題主要圍繞“學?！?、“專業”、“考研”、“宿舍”、“工作”、“錄取”等關鍵詞展開。

然后，使用TF-IDF算法提取每組每個簇的簇關鍵詞信息，得到每組10個簇的關鍵詞信息，如圖3所示。

（1）每個分組得到最大帖數的簇分別是圖3（a）6、圖3（b）5、圖3（c）7、圖3（d）9，都具有“學?！?、“一本”、“專業”、“新生群”、“同學”和“微信”等關鍵信息。從關鍵信息可以看到，這些簇主要是關于準大學生對將要踏人大學校園的提問，主要有學校、填報志愿、專業、加入各種新生討論群等，其中較有意思的是“微信”這個關鍵詞，一般新生討論群都在QQ建立，微信這個詞出現主要是由于許多大學都開設有公眾號，學生會通過大學公眾號查詢白已是否過線，以及一些專業錄取情況等。將這個簇所包含的信息定義為“入學類”，表2包含了與該簇相關的簇類信息。

從相關簇類關鍵信息可進一步了解到準大學生會在貼吧上咨詢每年的文、理、綜排名情況，每年各學校的錄取情況等。準大學生通過這些方式確認白己的分數是否能考上心儀的大學，以及能否選到理想的專業。

（2）每組第二大帖數的簇分別是圖3（a）9、圖3（b）8、圖3 （c）10、圖3（d）4，都具有“考研”這個關鍵信息。這個簇類主要是關于大學生繼續深造的問題，將簇包含信息定義為“考研類”，表3包含了相關的簇類信息。

結合相關簇類信息可知，每個分組都擁有的關鍵信息增加了“專業”、“資料”、“學院”，其中有3個分組都包含“調劑”、“研究生”等關鍵信息。由此可知，準備考研的大學生關注學校專業方面的問題，此外，大學生報考相應院校還因專業試題不同，會在貼吧上尋求相應幫助，獲取備考資料、詢問相關調劑信息等等，也不乏一些T作方面的討論。

（3）對每個簇進行定義，分為“入學類”、“考研類”、“情感類”、“宿舍類”、“社團類”、“電子產品類”，得到分類表如表4所示。

其中，情感類主要信息有“喜歡”、“愛”、“感覺”、“女朋友”等，主要是關于大學生戀愛問題;宿舍類主要信息有“宿舍”、“空調”、“租”、“人間”等，主要是探討學校宿舍環境、住宿人數等，也有不少討論在校外租房的情況;社團類主要關注社團管理等問題，該簇類是所有簇中最小的簇，可以看到分組c甚至沒有凝聚出該類;電子產品類主要是大學生討論關于購買電腦、手機等問題，也有關于使用手機卡、學校網絡的討論。對每個類別統計其總帖子數，如表5所示。

從表5可以看出考研類帖數最多，是大學生討論最為廣泛的一個話題，其次是入學類帖子。此外，情感類、宿舍類、電子產品類等帖子數量也在30000上下，也是大學生討論的主要問題之一，而社團類帖子數量較少，討論也不多。

通過定義平均回復數評測哪個話題更容易引起學生的強烈反應。

平均回復數=簇類總回復數量/簇類帖子數量

通過計算得到圖4。

從圖4可知，從單項上看，圖4（a）、圖4（c）回復數量最大的是考研類信息，圖4（b）、圖4（d）回復數量最大的是社團類信息，且回復數量第二的也是考研類信息。從帖子基數上看，考研信息一直是貼吧中較為活躍的話題，而社團類信息雖然帖數不多，但一經發布就會有較高人次的討論。計算每類信息的平均回復數量，得到表6。

從表6分析可以得到，考研類、情感類、社團類信息是最為活躍的幾個話題，參與人次位列前三。然后是宿舍類、入學類、電子產品類問題。

最后，將所有貼吧信息全部進行聚類并提取關鍵信息，得到圖5。

由圖5可以得到表7。

其中，帖數最高的類別是考研類，總帖數達267482;其次是入學類，總帖數達232 055;情感類、宿舍類、電子產品類帖數也相差數萬，而社團類帖數相對較少。所得結果與分組結果相近。

5 結語

本文以百度貼吧中高校貼吧作為數據，對相應的學生輿論內容進行數據挖掘，對文本數據使用jieha分詞處理，篩選掉無關詞語;使用tensorflow huh模型進行遷移訓練，將文本信息轉換為數字信息;再利用K-means聚類算法聚類，對得到的聚類結果使用TF-IDF提取每個簇中的關鍵詞，以此挖掘貼吧文本中的焦點問題。

從結果上看，貼吧學生用戶主要有3大群體。

（1）高中畢業的準大學生。主要在高校貼吧咨詢錄取分數線、分數排名以及填報志愿和加入新生群等問題;另外關注學校校舍問題，經常問詢諸如校舍幾人間、是否有空調、外出租房等問題。根據帖數計算這類群體所提問題出現比例約為36.26%。

（2）考研生。他們更多在白己心儀的學校貼吧尋找咨詢通道，也有向學校詢問報考信息、面試情況、尋求復習資料等。其中不乏對不同學校專業的討論，包括是否過線及調劑等問題。根據帖數計算，所占比例約為29.0%。

（3）在校大學生。主要是作為“過來人”給準大學生提供一些咨詢渠道，如新生咨詢群解答新生在貼吧中提出的各類問題等。此外，有關社團類問題也應是在讀大學生所發布，但所占規模僅為0.45%。

因此，高校可在貼吧上設置更為全面詳細的本科生、研究生招生信息，以拓寬宣傳渠道。對于本科生，可以提供相關年份的錄取分數線，包括各個專業的分數線以及相關專業介紹，解答準大學生的各種疑慮，讓準大學生找準適合自己的專業，實現人生價值。同時，學校宿舍也是學生關注的重點問題?？梢愿鶕Ｉ崆闆r在貼吧設立專門模塊，展示校舍的各種優勢，以吸引更多優質生源。對準備考研的學生，可提供學習教材目錄，介紹研究生考試群等等，滿足考研學生需要。此外，電子產品也是學生關注的問題之一，生產商可通過了解學生需求，把握商機，制造更加吸引學生的電子產品;學?？膳c相關公司合作，提供宣傳機會，增加廣告收入。關于學生情感問題，可設立相應的情感輔導老師，在貼吧上進行相應的心理輔導，引導學生積極面對大學生活。

后續主題研究中，可將相似的簇合并并進行重聚類，以得到更多聚類主題。在方法上，可以構建專屬于學生輿論的模型進行遷移訓練。在數據上要獲取更多平臺上的學生輿論，以獲取更多學生關注的問題。

參考文獻：

[1]高強.基于向量空間的文本聚類算法[J].電子世界，2017（20）：61-62

[2]文嶠.基于文本特征提取方法的文本分類研究[J]電腦知識與技術，2018 .14（ 18）： 188-189.192.

[3]張雪松，賈彩燕一種基于頻繁詞集表示的新文本聚類方法[J].計算機研究與發展，2018，55（1）：102-112

[4]MIKOLOV T. SUTSKEVER I， CHEN K， et al. Distributed representa-tions of words and phrases and their compositionalitv[J] Advances inNeural Information Processing Systems， 2013， 10（26）： 3111-3119.

[5]周順先，蔣勵，林霜巧，等.基于Word2vector的文本特征化表示方法[J].重慶郵電大學學報（自然科學版），2018，30（2）：272-279.

[6]賀益侗，基于doc2vec和TF-IDF的相似文本識別[J].電子制作，2018（18）：37-39

[7]黃承慧，印鑒，侯昉.一種結合詞項語義信息和TF-IDF方法的文本相似度量方法[J]計算機學報，2011，34（5）：856-864.

[8]高明霞，李經緯.基于word2vec詞模型的中文短文本分類方法[J]山東大學學報（工學版），2018，11（2）：159-163

[9]汪靜，羅浪，王德強.基于Word2vec的中文短文本分類問題研究[J]計算機系統應用，2018，27（5）：209-215.

[10]鄒艷春.基于DBSCAN算法的文本聚類研究[J]軟件導刊，2016，15（8）：36-38.

[11]李春青文本聚類算法研究[J].軟件導刊，2015，14（1）：74-76.

[12]徐維林，朱宗，高麗，等，基于主題模型的網絡微博輿情分析[J]. 軟件導刊，2016，15（5）：153-154.

[13]熊祖濤.基于稀疏特征的中文微博短文本聚類方法研究[J].軟件導刊，2014，13（1）：133-135.

[14]周海晨.基于爬蟲與文本挖掘的“985”高校圖書館微信公眾號的調研[D].合肥：安徽大學，2017

[15]劉家成，王藝憬，孫燕紅基于TF-IDF算法和K-means聚類的商品評論與價格波動相關性研究——以ThinkPad電腦為例[J].科技創業月刊，2018，31（7）：45-49

[16]單麗莉，劉秉權，孫承杰.文本分類中特征選擇方法的比較與改進[J].哈爾濱工業大學學報，2011，43（ S1）：319-324

[17]YOSHUA BENGIO， REJEAN DUCHARME， PASCAL VINCENT，et al.A neural prohahilistic language modelEJl. Journal of MachineLearning Research. 2003（3）：1137-1155.

[18]nCyc.lopedia of Data Warehousing&Mining Second Edi-tion. 2005（2）：197-203.

[19]韓家煒，裴建等.數據挖掘：概念與技術[M]北京：機械工業出版 社.2012.

[20]11 D 0， MEI H H. SHEN Y. et al. ECharts：a declarative frame-work for rapid construction of weh-basedVisualization[J] Visual In-formatics. 2018（6）：561-567.

（責任編輯：杜能鋼）

作者簡介：鄭建靈（1995-），男，廣州大學計算機科學與網絡工程學院學生，研究方向為文本分析;張艷玲（1970-），女，博士，廣州大學計算機科學與網絡工程學院副教授、碩士生導師，研究方向為人工智能及其應用。本文通訊作者：張艷玲。