基于多特征模型融合的社交評論分析

郭瑞祥 左彬靖 杜成喜 肖明 王杰

摘 要：隨著社交網絡的日益龐大，各類評論信息產生的渠道和數量也飛速增長，通過人工閱讀所有評論來了解口碑情況變得日益困難，所以構建一個精準的口碑評論分值預測模型對商家和用戶來說都顯得日益重要。文章旨在對真實口碑評論數據進行分析挖掘和多維度特征提取，并構建一個基于多特征的加權融合模型對口碑評論的評分值進行預測。通過實驗證明，在當前數據基礎上，該模型可以有效地對口碑評論進行預測，相比傳統方法，效果更好。

關鍵詞：口碑評論；特征提取；機器學習

隨著移動互聯網時代的到來，個人在社交媒體貢獻著大量的內容，發表評論已經成為個人表達個人情緒、消費評價、對事物的看法的一種主要方式，對商家發聲反饋的渠道越來越多，但是發聲的便利性跟渠道的多樣性也帶來了一些問題，商家完整全面聆聽客戶反饋的難度也增大了。“口碑評論”是反映一個商家或景點受歡迎程度的很直接的參考意見，此類評價分散在各個媒體渠道中，想要了解商家的大眾口碑、服務質量，需要逐條地去閱讀各類評價，因數據量巨大很難準確評估商家在大眾心里的印象和口碑。

為了解決上述問題，本文提出一種基于多特征的加權融合模型，針對DataFountain平臺提供的互聯網上用戶對景區評價以及口碑分值的數據集，進行統計特征，N-gram，TF-IDF，Word2Vec多維的特征提取，分別訓練Lightgbm，TextCNN，RidgeRegression模型，進行模型融合。本文選用1/1+RMSE作為評價標準，在該評價標準下，通過實驗比較各算法模型的效果，結果表明，本文提出的方案取得了很好的預測效果。

1 數據描述

本文的數據基于旅游評論數據，大多源于驢媽媽、攜程等第三方平臺爬取，能很好地反映旅游社交評論的情況。主要字段為用戶ID、用戶評價，標簽字段為用戶的評論分值，如表1所示[1]。

2 模型設計及其原理

2.1 模型整體結構

基于數據情況對文本進行特征提取和模型的設計，在數據預處理及分詞去停詞后，主要提取了N-gram，TF-IDF，Word2Vec，情感值等統計特征。基模型的構成為Word2Vec+TF-IDF+N-Gram+Stats-feature+LightGBM，TF-IDF+N-Gram+Ridge，Word2Vec+TextCNN。

模型結構如圖1所示。

2.2 特征分析及算法原理

2.2.1 特征分析

（1）N-Gram。

N-Gram是自然語言處理中一個非常重要的語言模型，在文本特征處理的時候，通常一個關鍵詞作為一個特征。但是這在一些場景下是遠遠不夠的，我們需要進一步提取更多的特征，如考慮兩兩組合提取Bi-Gram特征，根據N-Gram語言模型，計算各個Bi-Gram組合的概率，作為新的特征。本文主要提取了Bi-Gram和Tri-Gram特征。

（2）TF-IDF。

用詞頻來衡量文章中的一個詞的重要性不夠全面，有時候重要的詞出現的不夠多。為了解決這個問題，詞頻—反轉文件頻率（Term Frequency–Inverse Document Frequency，TF-IDF）被提出來了。TF-IDF定義為詞頻（TF）乘以逆文檔頻率（IDF），能有效地反映出一個詞在文檔中的重要性，并且具有簡單快速易理解的特點。

（3）Word2Vec。

Word2Vec[2]是一種詞的向量化表示，把文字嵌入到一個數學空間里，是詞嵌入的一種，是語言模型的一種副產物。用來訓練Word2Vec的語言模型主要有兩種：Skip-gram和CBOW，用一個詞語作為輸入來預測它的上下文稱為Skip-Gram，由詞的上下文來預測詞的本身稱為CBOW。模型結構均為單隱層的神經網絡，如圖2—3所示[3]。

（4）統計特征。

統計特征主要從一些實際的業務場景來考慮，本文主要借助一些外部的情感詞表來對文本中的情感程度進行統計，因為口碑評論分值本身也是一種情感值的反映，所以該類特征解釋性強，效果顯著。其次，還有一些標點統計、特殊詞統計特征，同樣具有明顯的效果。

本文情感值計算參考的詞表主要有：HowNet情感詞典、臺灣大學NTU情感詞典、程度副詞表以及否定詞表。

2.2.2 算法原理

（1）RidgeRegression。

（2）LightGBM。

LightGBM[4]是一個快速的、分布式的、高性能的基于決策樹算法的梯度提升框架，可以用于排序、分類、回歸以及很多其他的機器學習任務中。相比于之前的梯度提升框架（如XGBoost），LightGBM擁有很多優化方法來加快訓練且節省效率。如直方圖算法，將連續的特征值分桶分箱加快訓練過程，減少內存占用；leaf-wise的分裂策略，減少不必要分裂的情況下實現更高準確率；并行學習優化等。

（3）TextCNN。

模型結構如圖4所示[5]。

TextCNN是一種高效的文本分類模型，在CNN中使用不同的filter_size來模擬N-Gram模型，有效地利用文本的局部有序特征，達到極好的分類效果。TextCNN主要模型結構包括embedding層，卷積層，maxpooling，softmax，可以結合embedding層隨機初始化和預訓練詞向量初始化結合來初步改進模型的效果，卷積層中不同的filter_size和region_size來進行詳盡的N-gram特征提取。

3 實驗過程及結果

3.1 實驗過程

實驗過程如圖5所示。

在一個機器學習任務中，數據的預處理部分直接關系到模型的效果，是至關重要的一部分。本文的預處理工作主要有：數字、表情符號、網址等特殊文本的轉化，拼寫檢查更正，停用詞去除，同義詞替換等。預處理完成后，對文本數據進行向量表示，在本文實驗過程中，先對預處理后的文本進行分詞，再訓練一個Word2Vec詞向量來對文本進行向量化。

在文本表示完成后，對整個任務的特征體系進行構建，構建2.2.1節所描述分析的特征。

再進行單模型的訓練比較實驗結果，最終進行加權模型融合選取最佳模型。

4 結語

本文提出一種基于多特征模型融合的口碑評論分值預測模型，通過對特征詳盡的探索分析和模型構建，與一些傳統方法模型相比，取得了更好的效果。對相關行業具有實際的指導意義。

[參考文獻]

[1]DataFountain.景區口碑評價分值預測[EB/OL].（2018-06-23）[2018-11-05].https：//www.datafountain.cn/competitions/283/details/data-evaluation.

[2]LE Q，MIKOLOV T.Distributed representations of sentences and documents[C].Sydney：International Conference on International Conference on Machine Learning，2014.

[3]XIN R.Word2Vec parameter learning explained[M].Evansto：Eprint Arxiv，2014.

[4]KE G L，MENG Q，FINLEY T，et al.LightGBM： a highly efficient gradient boosting decision tree[C].Siem Reap：the Neural Information Processing Systems Conference，2017.

[5]KIM Y.Convolutional neural networks for sentence classification[M].Evansto：Eprint Arxiv，2014.