基于機器學習和社群互動信息的用戶購買意愿分析

周毅勇

（閩南理工學院實踐教學中心，福建 石獅 362700）

近些年移動互聯網產業呈現井噴式增長，電子商務作為主要的移動互聯網應用之一也取得了顯著的發展，相關統計數據顯示近3 年來全國的電子商務零售額增長巨大。電子商務的發展不僅僅體現在營業額的增加上，而且更多元的電子商務銷售模式也說明了電子商務市場的繁盛，網上商城、微商、直播帶貨這些創新性的銷售方式進一步地吸引更多的網民成為電子商務用戶。其中直播帶貨作為最新崛起的電商新勢力，更是讓消費者的消費模式發生了巨大的變化。隨著短視頻平臺以及社交平臺與電子商務愈發深入的融合發展，越來越多的人參與到和商家的社群互動中并進一步發生購買行為。根據相關數據統計，當前我國的電商直播用戶總數已達到4.64 億，并且在2023 年達到49 144 億元的銷售規模。電商直播和其他電子商務商業模式之間最大的區別在于電商直播所特有的實時社群互動性，由于社群互動讓銷售者能夠更直觀和迅速地接收到廣大消費者的需求和消費反饋，因此對于社群互動信息進行信息提取和分析能夠對消費者的購買意愿實現預測，進而促進銷售行為的改進。相關文獻也研究了社群互動信息的質量與消費者購買意愿的相關性。趙建彬[1]分析了有效的互動信息與消費者購買意愿的相關性，指出良性的互動信息能夠大幅度降低消費者對于產品的風險敏感度，進而正向地積極促進消費者購買產品。趙宏霞等[2]在研究中發現線上社群在價格和渠道兩個方面的互動信息可以顯著提升消費者消費意愿。馮燕芳等[3]的研究表明了生鮮農產品的4 個維度的社群互動信息與消費者購買意愿呈正相關關系。由此可見社群互動關系和用戶購買意愿存在著明顯的相關性，這為人們構建以社群互動信息為預測依據的用戶購買意愿預測模型提供了現實依據。由于社群互動信息在互聯網中多以文本形式存在，因此本文將消費者購買意愿預測過程歸納為社群互動信息文本的預處理、特征提取、數據回歸的過程。機器學習領域中的深度學習技術憑借其高性能廣泛應用于自然語言處理等文本任務中并取得了良好的性能。在2014 年前后，研究者在基于深度學習技術的自然語言翻譯方面取得突破性成果，與傳統的統計機器翻譯不同，基于深度學習技術的自然語言翻譯基于端到端[4]，這意味著模型不需要大量的預處理和單詞對齊。隨后循環神經網絡（RNN） 被提出并應用到語言處理中，研究人員提出了一種端到端的序列學習方法[5]，對序列的結構沒有過多的假設，方法由兩個長短期記憶人工神經網絡組成，一個長短期記憶人工神經網絡用于將輸入映射到固定維度的向量，另一個長短期記憶人工神經網絡用于從向量中解碼輸出序列，模型能夠處理長句子以及對詞序敏感的句子表示。Cho 等[6]提出將輸入句子編碼為向量序列，并使用注意力機制來加強序列的特征編碼。Wu 等[7]試圖處理生詞問題，構造了由使用殘差層的編碼器和解碼器層以及注意力機制組成的長短期記憶人工神經網絡。2019 年，Mccoy 等[8]設計了變換器雙向編碼器模型，利用自監督機制提升文本的編碼性能。以上模型均能實現對于社群互動信息本文的特征提取，但是性能不穩定，且與本文設計的用戶購買意愿預測這一下流任務適配度較低，還需進一步地改進和適配。本文通過實驗對比了長短期記憶人工神經網絡[9]，Transformer[10]兩種類型的編碼器與下流任務用戶購買意愿預測的聯合準確率、訓練時間以及穩定性，實驗結果表明，Transformer 模型在提取社群互動信息本文的特征、預測用戶購買意愿這一任務組合上取得的效果更佳，能夠有效地建模社群互動信息和用戶購買意愿之間的相關性。

1 社群互動信息預處理

在電商直播場景下，社群互動信息的載體主要為直播彈幕和評論，去除掉與產品銷售無關的信息后，結合已有研究成果和直播過程中的實際社群互動情況，本文將電商直播下的社群互動信息細分為4 個維度，分別為產品、價格、渠道以及促銷。這4 個維度的信息將作為社群互動信息中對消費者購買意愿產生影響的關鍵因素，輸入到模型中作為預測的自變量。然而在初始的社群互動信息文本中，這4 個維度的數據是處于隱藏狀態的，因此本文建立了詞庫以便對其進行查找。具體地，本文分別建立產品相關的詞庫p、價格相關的詞庫m、渠道相關的詞庫q以及促銷相關的詞庫d。對一場直播所產生的社群互動信息文本t進行分詞操作，得到集合f。將集合f中的所有元素依次在p、m、q、d4 個詞庫中進行查詢，對同時出現在詞庫和f 中的詞語進行標記并記錄其出現次數，最終構成4 個維度的社群互動信息集合p_set、m_set、q_set、d_set，這些集合的內部元素以其出現的次數作為依據被進行排序。本文將以上集合作為用戶購買意愿預測模型的輸入。

2 基于Transformer 的用戶購買意愿預測模型

2.1 基于Transformer 結構的社群互動信息特征編碼器

本文設計的基于Transformer 的用戶購買意愿預測模型主要分為兩個部分，分別為基于Transformer結構的社群互動信息特征編碼器和用戶購買意愿回歸模塊。圖1 為基于Transformer 結構的社群互動信息特征編碼器結構，由位置編碼模塊、多頭自注意力模塊、前向網絡模塊和一些殘差、正則化模塊組成。其中位置編碼模塊主要對輸入的社群互動信息集合進行空間和時序方向上的位置編碼，多頭自注意力模塊主要計算不同社群互動關鍵詞之間的注意力，前向網絡模塊對通道維度信息進行融合，殘差、正則化模塊負責加快模型訓練收斂速度和提升性能。

圖1 基于Transformer 結構的社群互動信息特征編碼器結構圖

首先模型將社群互動信息集合p_set、m_set、q_set、d_set 轉化為詞嵌入向量，并串聯成輸入序列TIN，與位置嵌入相加作為Transformer 編碼器的輸入，序列TIN的表達式為

社群互動信息編碼器采用多頭注意力機制來從全局范圍學習特征。多頭注意力機制先對原始的輸入序列TIN進行多組自注意力操作，以第i組為例，a為TIN序列中元素，將a與系數矩陣WiQ、WiK、WiV相乘得到Qi、Ki、Vi，計算公式為

將Qi與Ki的轉置相乘得到注意力權重；將注意力權重與Vi相乘得到自注意力操作的輸出，公式為

式中：dk為Ki的第二維度數。最終模型將所有自注意力的計算結果串聯和變換得到自注意力層的整體輸出，公式為

式中：headi=Attention（QiWiQ,KiWiK，ViWiV）。

前向傳播網絡對注意力層的輸出結果進行進一步的特征編碼，由兩層的多層感知機組成，公式為

式中：為上一層網絡的輸出；W1、W2、b1、b2均為多層感知機參數。模型利用殘差連接和層歸一化來加強網絡的深度，進而達到增加參數量和加速訓練的效果，殘差連接和層歸一化的表達式為

基于Transformer 結構的社群互動信息特征編碼器的整體前向計算過程為

式中：L為網絡層數；f為社群互動信息特征向量，即下一步進行用戶購買意愿預測回歸的輸入。

2.2 用戶購買意愿預測回歸

在構建用戶購買意愿預測回歸模型之前，本文先對用戶購買意愿指數進行定義，用戶購買意愿指數由用戶是否購買表示、用戶購買時間、用戶購買數量3 個因素計算得出，具體公式為

式中：i為用戶是否具有購買行為，當用戶發生購買時i=1，未發生購買時i=0；n為用戶購買的商品數量；t為用戶購買的時間，h，向上取整。本文收集了50 000 個活躍用戶的社群互動信息以及其購買意愿指標作為數據集，隨機抽取40 000 條數據作為訓練數據，其余10 000 條數據作為測試數據。本文采用全連接神經網絡作為回歸模型，模型的輸入為社群互動信息特征向量f，輸出為預測用戶購買意愿，模型訓練采用均方誤差（Mean Square Error，MSE） 損失，損失函數公式為

3 用戶購買意愿預測實驗分析

3.1 實驗細節

本文模型由python 編程語言實現，在訓練階段的訓練批次大小設置為128，模型參數的優化算法采用Adma[11]算法。學習率最初設置為0.01，每30個訓練批次學習率下降10 倍。本文實驗運行在Ubuntu 操作系統之上，該系統所運行的硬件平臺配置如下：CPU 為intel 第11 代高頻處理器（6 核4.9 Ghz），內存為64 GB，顯卡為RTX3080Ti，硬盤為1 TB SSD。

3.2 實驗結果分析

本文所用的數據集采集自某手、某音兩個直播平臺的10 個類別直播電商商家，所采集的社群互動數據包括直播間每個用戶的彈幕、評價和購買記錄。在50 000 條的總數據中，訓練數據的數量為占40 000，測試數據占10 000。數據在被采集后，本文對數據進行了分詞、篩選和詞量統計等數據清洗操作。

文中實驗使用Transformer 進行社群互動信息特征編碼。本文通過實驗比較了典型的卷積神經網絡（CNN） Resnet50 模型[12]、雙向長短期記憶人工神經網絡模型和Transformer 模型的預測準確率。由于本文最終任務被定義為回歸任務，因此實驗定義預測值與基準值相差小于0.1 為預測正確。為了測試模型的穩定性，實驗還計算了測試結果的回歸方差。實驗結果見表1。

表1 基于不同模型的社群互動信息特征編碼方法性能對比實驗結果

表1 實驗結果表明，Transformer 模型的準確率比CNN 模型、雙向長短期記憶人工神經網絡模型有明顯的提升，說明在社群互動信息特征編碼階段上，Transformer 模型所編碼的特征作為購買意愿預測回歸模型的輸入時，其效果要優于使用卷積神經網絡（CNN） 模型和循環神經網絡（RNN） 模型所編碼的特征。并且Transformer 模型的結果方差最低，說明在本文任務上Transformer 模型所編碼的特征最為穩定。綜上，本文所提出的基于Transformer的社群互動信息特征編碼和用戶購買意愿預測模型的預測準確率最高、方差最低，在用戶購買意愿預測任務中具有優良的性能。

4 結論

關于社群互動信息對于用戶購買意愿影響的研究，能夠深度地挖掘電商直播過程中對用戶正向引導的有效模式，具有重要的應用價值，能夠進一步提升直播電商領域的活力。本文首先利用Transformer 模型對文本形式的社群互動信息數據進行特征編碼，然后將特征作為輸入來訓練用戶購買意愿預測回歸模型，最后在實驗階段將本文所提出的特征編碼模型與CNN 模型、雙向長短期記憶人工神經網絡模型進行了對比，本文所提出的模型在預測準確率、穩定性上都優于其他模型，表明本文所提出的模型能夠基于社群互動信息對于用戶購買意愿進行有效的預測。