基于BiLSTM的酒店顧客滿意度評價模型*

高麗君，張宇濤，林昀萱，施慧玲

（1.福州大學經濟與管理學院，福建 福州 350108；2.福州大學數學與計算機科學學院，福建 福州 350108；3.福州大學梅努斯國際工程學院，福建 福州 350108）

1 研究背景及意義

由于交通技術的迅速革新以及我國對基礎設施建設的大力投資，如今人們交通出行變得越來越容易，自然而然對于酒店民宿等住宿場所的需求十分旺盛。根據Trustdata移動大數據監測平臺統計數據顯示，2019年我國在線酒店預訂間夜量同比增長了26.7%，全年酒店間夜量規模超8億[1]。可見在新冠疫情的影響下，酒店行業發展前景依舊一片大好。由于目前消費升級的趨勢，人們對于在外出行十分重要的住宿酒店提出了更高的服務要求。如何高效探究顧客的滿意程度從而識別其需求是當前酒店行業重點關注的問題。

酒店顧客滿意度代表該酒店在房間、交通等硬環境以及員工、服務等軟環境方面滿足顧客期待的程度，是涉及各方面因素的綜合指標。酒店滿意度的研究方法目前包括傳統的問卷調查法、專家法和當前大數據時代適用的在線評價分析法。劉衛鎧[2]實現酒店評論文本的情感極性分析，證明酒店評論數據的有用性。

傳統研究方法存在數據量較低、顧客覆蓋率低、研究維度存在局限性等問題，而在線評價的海量數據能夠在一定程度上避免上述問題。如今，互聯網時代由顧客根據實際體驗在各大網絡平臺發表的在線評論已經成為顧客滿意度的重要載體。當前對于酒店滿意度的研究，許多研究者選擇以海量的在線評論作為文本數據庫，并將文本數據進行整理篩選和分析后，用不同的研究方法對文本數據進行研究。

對酒店在線評論分析較為廣泛應用的傳統方法是定性分析和定量分析。汪家鑫等[3]用SWOT分析法對在線評論數據進行定性分析，提出酒店服務質量提升的策略；劉巖等[4]采用文本聚類方法與TF-IDF（Term Frequency-Inverse Document Frequency）算法對酒店在線評論進行定量分析，其次運用線性回歸分析方法構造酒店顧客滿意度評論模型。而面對在線評論數據量大、非結構性的特點，傳統的模型方法如線性回歸等難以獲得較好的研究效果，因此學者們也利用邏輯回歸、深度學習等機器學習領域技術進行滿意度研究。郭慶等[5]通過Tree LSTM模型對旅游網站評論進行情感分析，以研究用戶對旅游景點的滿意程度；王紅梅[6]提出了一種基于深度學習的滿意度評估方法。可見深度學習由于其結構靈活的特性，抽取特征的高效性，能夠在文本情感分析領域發揮極大的作用。

本研究基于深度學習開展，通過構建雙向長短期記憶網絡對酒店預訂平臺的在線評論進行情感分析獲取顧客滿意度，分別采用Word2vec，GloVe，fastText，BERT詞向量訓練工具預訓練詞向量作為模型詞嵌入層，并與卷積神經網絡（Convolutional Neural Networks，CNN）、長短期記憶網絡（Long Short-Term Memory，LSTM）等模型進行對比分析得出最優模型。本文選取攜程網站上福州市內多家知名酒店的在線評論實例論證。研究有利于顧客進行消費決策時選擇更優的酒店，也有利于酒店研究顧客需求改進不足之處，從而獲得更好的發展，對酒店旅游業的發展具有實際意義。

2 基于BiLSTM的酒店顧客滿意度評價模型構建方法

本文的研究目標是構建一個基于BiLSTM的、能夠提取在線評論信息、計算顧客滿意度的酒店顧客滿意度模型。首先爬取酒店在線評論作為研究數據，數據預處理后，利用詞向量訓練工具預訓練評論語料，建立用于情感傾向分析的神經網絡模型，以情感得分作為酒店顧客滿意度并輸出。

2.1 在線評論數據的獲取與預處理

在線評論是評論主體自身體會的文本表示，一般由客觀描寫語句與主觀感受語句兩者組合。主觀感受語句包含了評論主體的情感傾向與各種態度信息，是文本挖掘的主要目標對象。攜程旅行網是我國主流的旅行服務公司之一，其上的用戶在線評論具有數據量大、涵蓋范圍廣、來源真實等特點，符合酒店顧客滿意度研究所需數據的要求。本文通過爬蟲工具爬取攜程旅行網站上福州三坊七巷亞朵酒店、福州財富·品味酒店、TIME時間城市公寓（福州橘園洲店）、福建省閩江飯店和梅園·悅竹酒店（福州三坊七巷店）等酒店的顧客在線評論作為研究數據。

爬取的原始文本數據中通常會存在一定的干擾信息，并且無法直接被計算機識別處理。對數據進行預處理能夠去除原始文本數據中的冗余信息，規范化數據格式，去除數據噪聲，能夠將原始文本數據轉化成計算機可識別的可處理規范數據。在線評論數據預處理步驟如下。

1）去除原始文本數據中缺失、重復的文本數據。

2）去除無意義數據：在線評論中存在一定量的單字，或者僅有標點或者表情符號的評論。例如“？”“好”等，這些評論文本會對后續研究造成干擾，應該去除。

3）去除特殊符號及表情符號、標點及鏈接，繁體轉簡體，糾正錯別字等操作規范數據格式。

4）分詞：利用Python中現有的jieba工具包對評論文本數據分詞。

5）去除停用詞：由于語言的結構性，在線評論中存在一定量的無實際含義但是能夠承接語句的詞語，如“嗎”“啦”等語氣詞以及“然而”“但是”等連接詞。因此預處理時需要將停用詞去除，以保證后續研究效果不受影響。基于現有的停用詞庫添加自定義停用詞加以改進，獲得酒店領域停用詞表，對文本數據進行去停用詞操作。

2.2 詞向量預訓練

上述數據預處理所獲得的預料數據是詞向量預訓練的基礎。而分詞之后的文本要能夠進入自然語言模型則需要詞向量預訓練。通過詞向量預訓練可以將文本語言向量化。作為詞的分布式表示方法，詞向量在1986年被Hinton[7]提出，而后經過幾十年發展，自然語言領域涌現了Word2vec[8]，GloVe[9]，fastText[10]，BERT[11]詞向量模型。據研究表明，情感分類模型的性能得以有效提高得益于預訓練模型的發展[12]。在研究酒店顧客滿意度時，分別使用Word2vec，GloVe，fastText，BERT進行詞向量預訓練作為后續神經網絡模型的詞嵌入層。

2.2.1 Word2vec

Word2vec是Google開發的最流行的預訓練詞嵌入工具之一。它主要使用CBOW和Skip-Gram模型進行訓練[13]。Word2vec還擁有負采樣[14]和層序Softmax兩種優化訓練方式。本文選擇采用基于Hierarchical Softmax優化技術的Skip-Gram模型訓練預處理完成的酒店評論語料。Skip-Gram模型結構見圖1。

圖1 Skip-Gram模型結構

2.2.2 GloVe

GloVe模型是一種基于全局詞頻統計的詞表征工具，與WordRank[15]，Word2vec等模型相似，利用語料數據庫的統計信息進行詞向量訓練，同時捕捉詞語中的相似度等語義信息。GloVe模型具備利用全局信息的能力，訓練周期較Word2vec模型短且訓練速度更快。

2.2.3 fastText

fastText是一個基于Skip-Gram模型的改進方法，用一組字符級別的n-grams來表示一個單詞。用字符級n-gram求和表示詞語。fastText能夠在大型語料上達到快速訓練的效果，并且可以計算出原始訓練數據不包括的詞語表示。

2.2.4 BERT

BERT是一種語言模型，通過調參使得模型輸出結果的語義表示體現語言的真實含義。其預訓練階段包括兩個任務，一個是掩碼語言模型（Masked Language Model，MLM），還有一個是Next Sentence Prediction[11]。BERT在編碼器和解碼器上分別疊加了6層Transformer，導致其訓練過程極其復雜，培訓時間長且成本昂貴。本文使用Google開源的BERT預訓練模型的源代碼避免了上述問題。

2.3 BiLSTM模型構建

LSTM是由Hochreiter和Schmidhuber等[16]提出的，而后由Graves等[17]對其進行改進。該網絡模型的目的是解決循環神經網絡的梯度消失問題，因此LSTM也被認為是遞歸神經網絡（Recursive Neural Network，RNN）的一種特例[18]。LSTM的核心思想是使用記憶單元存儲輸入的時序信息，而記憶單元則使用“門”結構來篩選存儲至記憶單元的信息，“門”結構包括輸入門、輸出門和遺忘門[16]。而BiLSTM是由兩個LSTM正反向組成的，將正向LSTM的輸出和反向LSTM的輸出簡單疊加，使得模型可以同時考慮上述信息和以下信息。BiLSTM能夠解決傳統LSTM無法獲取詞語前后雙向語義關系的問題[19]。

在構建基于BiLSTM酒店顧客滿意度模型時，需要考慮模型結構、單元個數、網絡層數、優化算法等因素。模型結構分為輸入層、隱藏層和輸出層3層，輸入層負責對輸入模型的數據處理；隱藏層則是由正向與反向LSTM細胞單元層組成的網絡結構，是模型結構中的主體；輸出層的作用是輸出模型的分析結果。本文所構建的BiLSTM模型結構見圖2。

圖2 BiLSTM模型結構

本文使用Tensorflow框架，建立包含3層網絡的BiLSTM顧客滿意度評價模型：第一層為輸入層，輸入經過上述預處理的源文本數據；第二層是word embedding層，使用不同的詞向量將輸入的文本數據轉化為詞向量；第三層為神經網絡預測層，通過訓練BiLSTM神經網絡作為分類器。選擇Adam算法為模型的優化算法，tanh函數為激活函數。詳細的模型建立步驟如下。

步驟一：以進行清洗后未分詞的評論文本作為評論數據集，并按比例劃分為訓練數據集與測試數據集。將訓練數據集輸入模型，構建神經網絡模型的數據輸入層。

步驟二：基于TensorFlow構建BiLSTM模型基本結構，建立卷積層、激活層、池化層、全連接層等。本文選擇使用上文預訓練的詞向量模型作為詞嵌入層。BiLSTM層設計雙向LSTM層疊加，完成詞向量的拼接后輸入輸出層。基本結構完成后初始化參數，在后續訓練中進一步調整優化模型效果。

步驟三：輸出結果后根據樣本的輸出概率與真實值對比，得到損失率、精確值、召回率等指標。如果出現過擬合現象則考慮改變學習率，添加Batch Normalization以及在全連接層進行dropout等方法優化模型。

步驟四：達到預計效果后模型訓練完成，將評論測試數據集輸入模型中進行驗證。將評論數據集中各句評論通過系統輸出的情感值記錄并且綜合平均計算輸出整體數值作為顧客滿意度。

3 實驗與結果分析

3.1 實驗數據

3.1.1 數據獲取

本文通過爬蟲工具爬取攜程旅行網站上福州三坊七巷亞朵酒店、福州財富·品味酒店、TIME時間城市公寓（福州橘園洲店）、福建省閩江飯店和梅園·悅竹酒店（福州三坊七巷店）等酒店的顧客在線評論共14 665條作為研究數據。爬取的文本數據包含用戶ID、評論文本、評分星級三部分內容。爬取的部分評論數據見表1。本文研究的數據對象主要為酒店在線評論的文本內容，包括酒店顧客的好評、差評以及中性評論。

為了直觀了解數據，本文在獲取數據后對酒店在線評論數據進行了統計與分析。表1為評論數據的樣本，表2為研究數據的描述性分析結果。由表2可知，本次爬取的酒店在線評論數據中，五星好評共11 316條，四星評論共2 511條，而一星差評共110條。依靠評論星級可以大致推測出顧客的滿意度情況，但是單純的評分計算較為簡單粗暴，忽略了評論文本所蘊含的信息。因此本文對酒店在線評論文本內容作為研究數據更為細膩的探究顧客滿意度具有一定意義。

表1 評論數據樣本

表2 評論的描述性分析 （段）

3.1.2 數據預處理

首先對去除缺失、無意義文本數據后14 665條酒店在線評論文本數據采用Python中的jieba分詞庫對評論文本數據進行了分詞操作，得到原始單詞835 823個，再通過去除特殊符號和標簽、繁體轉簡體、糾正錯別字等操作規范數據格式。自建酒店領域停用詞表去停用詞，并標注文本語料中性，為后續詞向量預訓練打基礎。經過上述數據預處理去噪后獲得有效單詞464 262個。上述預處理過程數據統計見表3。

表3 預處理數據統計

3.2 詞向量預訓練

基于上述數據處理后的語料，本文采用Word2vec，GloVe，fastText，BERT分別進行詞向量預訓練，作為后續神經網絡模型的詞嵌入層。通過不斷修改模型參數，使得訓練的詞向量在酒店在線評論語料庫上達到更好的效果，并將訓練完成的詞向量保存為后續模型可利用的文件。

Word2vec采用Skip-Gram模型訓練參數，特征向量的維度設置為100，詞最大間距為5，丟棄詞頻小于5的單詞，采用Hierarchica Softmax技巧構建并保存模型，建立詞向量詞典，共計獲得2 580條詞向量。

GloVe參數設置中涉及的一個加權函數，用于將研討文本序列中涉及的低頻詞進行衰減，以減少低頻噪聲帶來的誤差。模型作者Pennington等給出α的經驗值分別為100和0.75。最小詞頻數為5，迭代次數50輪，詞向量維度300，學習速率0.01，窗口大小5。函數的表達式為

fastText在train_supervised模式下，詞向量維度設置為100，上下文窗口為4，迭代次數為4，詞語的最小出現次數為2，損失函數loss選用Softmax。

BERT使用谷歌開源預訓練模型。該模型共有12層，768個隱藏單元，12個自注頭，110萬個參數。通過使用BERT下游模型能夠獲得高質量的詞向量特征。

3.3 模型構建

將數據長度為14 665的酒店在線評論數據集輸入本文構建的BiLSTM神經網絡模型，使用BERT預訓練詞向量作為模型embedding層，進行酒店滿意度模型訓練。通過多次學習優化完成的最優模型超參數為：模型的LSTM隱藏向量維度均為256，batch大小為32；學習率為0.000 1，dropout率為0.4，訓練200輪次。最優模型訓練準確率達到了86.2%。

最后基于本文訓練優化的模型，利用情感傾向值分別計算爬取的酒店在線評論所涉及的福州三坊七巷亞朵酒店、福州財富·品味酒店、TIME時間城市公寓（福州橘園洲店）、福建省閩江飯店和梅園·悅竹酒店（福州三坊七巷店）顧客滿意度。各酒店滿意度見表4。

表4 酒店滿意度預測情況

3.4 比較

模型訓練完成后，除了輸出的酒店顧客滿意度結果外，還應該輸出準確率等評價指標，用于衡量訓練模型效果的好壞。本文選擇準確率、召回值、F1值作為模型的效果評價指標。需要注意的是，由于本文的情感分析任務是一個多分類任務，存在數據集不平衡的情況，評分為5的評論較多，本文需要同時關注，特別關注樣本較少的類別，因此本文采用宏平均作為分類器的評價指標。

本文對比使用Word2vec，GloVe，fastText，BERT所訓練的4種詞向量嵌入模型的訓練效果，4種模型的準確率、召回值及F1值見表5。通過指標對比，發現前3種詞向量嵌入模型的效果較為接近，而BERT-BiLSTM模型能夠取得大幅度升高的訓練效果，準確率、召回值相比其他模型都保持在較高的水平。故而BERT-BiLSTM模型更適合本文所使用的酒店評論數據集的訓練，效果最優。此外，從訓練速度來看，BERT-BiLSTM模型也擁有更快的訓練速度，能夠減少時間的浪費。

表5 不同詞向量嵌入模型準確率、召回值和F1值比較

為了對比研究本文BERT-BiLSTM顧客滿意度模型的效果，本文還同時建立了使用BERT，BERT-CNN與BERT-LSTM的顧客滿意度模型。二者同樣采用本文爬取的14 665條酒店在線評論作為研究數據，選擇效果最好的BERT預訓練的詞向量嵌入模型，對比4種模型的準確率、召回值和F1值見表6。

表6 4種模型的準確率、召回值和F1值比較

由表6可知，加入BERT預訓練的模型均在準確率和精確率上取得了很好的精度，而且在預訓練模型相同的情況下，BERT-CNN模型的準確率為84.8%，BERT-LSTM模型則取得了85.6%的準確率，模型效果較佳。而BERT-BiLSTM模型的準確率為86.2%，以微小的優勢超過了比較模型。并且BERT-BiLSTM模型取得了85.8%的召回值，證明該模型在準確率、召回率以及F1值上都取得了比BERT，BERT-CNN與BERT-LSTM模型更好的效果。說明本文基于酒店在線評論語料訓練的BERT-BiLSTM模型優于其他模型，能夠在酒店顧客滿意度評價方面發揮一定的作用。

4 結論

本文以酒店顧客在線評論為研究數據，通過文本挖掘進行酒店顧客滿意度探究，建立了效果最優的BERT-BiLST模型，實現了預期研究目標。首先對用爬蟲軟件爬取在線評論進行數據預處理；接著采用神經網絡語言模型進行訓練。本文使用攜程網站上福州市內多家知名酒店的在線評論進行評論挖掘，實例論證了各酒店的顧客滿意度水平。探究了4種預訓練詞向量嵌入模型的效果，并通過與CNN，LSTM模型對比模型效果。實例表明，無論是準確率、召回率，還是F1值，本文BERT-BiLSTM的模型效果都更好、更優。

本文雖然對詞向量主流模型以及神經網絡模型都進行了探究，并且獲得了較好的模型效果，但是本文在文本挖掘時忽略了評論文本的隱式特征分析，可能會造成信息遺漏從而影響滿意度評價結果。因此下一步目標是探究如何更好地挖掘評論文本的隱性特征。