一種基于注意力機制的冷啟動流量套餐推薦系統(tǒng)

摘要：通信公司經(jīng)常會推出各種類型的流量套餐，針對現(xiàn)有客戶將新的套餐精確地推送給他們。系統(tǒng)也會根據(jù)用戶的需求和現(xiàn)有的流量套餐自動匹配。對于深度推薦系統(tǒng)而言，最嚴重的問題往往是數(shù)據(jù)的缺乏和面臨冷啟動。在推薦系統(tǒng)中，用戶錯誤點擊也會對冷啟動時用戶的關系信息造成噪聲，從而影響整個推薦系統(tǒng)的能力。因此，本文針對流量套餐推薦系統(tǒng)開展研究，圍繞以下關鍵問題開展研究：如何解決給出新用戶或新物品完美的推薦，如何更好地使用多種類型的數(shù)據(jù)，準確、有效地滿足用戶需求。

關鍵詞：注意力機制；冷啟動；推薦系統(tǒng)

本文研究的主題是基于注意力機制的冷啟動流量套餐推薦系統(tǒng)。與目前流行的冷啟動模型采用的深度神經(jīng)網(wǎng)絡（DNN）架構(gòu)相比，本文提出了一種基于注意力機制的冷啟動流量套餐推薦系統(tǒng)。通過引入注意力機制，該系統(tǒng)能夠更好地學習并挑選出與客戶數(shù)據(jù)相關性更高的特征，從而提升模型的魯棒性和準確性。此外，基于注意力的冷啟動模型還能夠降低運算成本，因為它只關注用戶偏好的內(nèi)容，而非全文，從而提高整體性能。該模型適用于多個場景，并具有較強的泛化能力。在使用注意力機制的冷啟動模型中，所采用的注意力機制能夠有效訓練模型，捕捉到用戶的多種需求，并逐步進行優(yōu)化，從而實現(xiàn)更強的泛化能力。注意力機制能夠?qū)⑿畔R聚到低維向量中，使得模型能夠區(qū)分用戶的特征，從而更好地滿足用戶的需求。同時，在保存用戶信息的過程中，可以更好地理解用戶需求，并在不同場景下應用，提升模型的泛化能力。

一、研究背景

（一）選題意義

隨著移動互聯(lián)網(wǎng)的普及，流量套餐成為人們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠帧Ａ髁刻撞屯扑]系統(tǒng)的目的是根據(jù)用戶的需求和使用習慣為其提供最適合的流量套餐。然而，在冷啟動情景下，即用戶剛開始使用移動網(wǎng)絡時，由于缺乏用戶個性化的行為數(shù)據(jù)，傳統(tǒng)的基于協(xié)同過濾或內(nèi)容過濾的推薦算法往往無法有效地進行套餐推薦。

針對冷啟動情景下的流量套餐推薦問題，基于注意力機制的推薦系統(tǒng)能夠引入更多的上下文信息，提高推薦效果。通過精準的流量套餐推薦，幫助用戶快速找到適合自己的套餐，避免出現(xiàn)流量不足或浪費現(xiàn)象，提升用戶對移動網(wǎng)絡的整體滿意度，從而提升用戶體驗。另一方面，通過精細化的推薦策略，運營商能夠更好地理解用戶需求，減少套餐變更和退訂，提高流量資源的利用效率，降低運營商的成本。

因此，開展一種基于注意力機制的冷啟動的流量套餐推薦系統(tǒng)的研究具有重要的理論和實際意義，對于提升用戶體驗、降低運營成本以及推動移動網(wǎng)絡市場的發(fā)展具有積極的影響。

（二）國內(nèi)外研究現(xiàn)狀

當前的推薦算法依賴于用戶－產(chǎn)品行為矩陣，但對于歷史交互數(shù)據(jù)較少的產(chǎn)品，推薦準確性會大幅下降。對于新用戶和新增產(chǎn)品，由于缺乏足夠豐富的歷史行為數(shù)據(jù)，現(xiàn)有的推薦算法無法應用。此外，現(xiàn)有推薦算法缺乏可解釋性，使營銷人員無法明確了解模型的決策依據(jù)和可靠性。因此，迫切需要使用冷啟動和可解釋性算法來優(yōu)化和補充推薦算法。

在2020年，Cheng Zhao等人提出了一種基于評論的層面用戶偏好轉(zhuǎn)移模型。他們引入了一個名為CATN的跨領域推薦框架，利用評論文本提取用戶和產(chǎn)品的多個方面，并通過注意力機制學習方面的相關性。此外，他們還利用志同道合用戶的輔助評論來增強用戶的方面表示。他們通過端到端的優(yōu)化框架增強了模型的魯棒性。在實際數(shù)據(jù)集上，CATN在評分預測準確性方面明顯優(yōu)于其他模型，并能夠以精細的粒度揭示用戶跨領域的方面聯(lián)系，從而具有可解釋性。

在2023年，Shilong Liu等人提出了一種將注意力機制和元學習相結(jié)合的新型冷啟動推薦模型。該模型通過學習用戶和項目之間的權(quán)重來增強個性化用戶興趣建模的能力，從而提高了冷啟動推薦的性能。他們在兩個公開推薦數(shù)據(jù)集上驗證了該模型，與三種基準方法相比，該模型平均絕對誤差和均方根誤差至少降低了2.3%和2.5%。

國內(nèi)外的研究者們已經(jīng)在基于注意力機制的冷啟動流量套餐推薦系統(tǒng)上進行了一些研究，并取得了積極的進展。這些研究工作對于解決冷啟動問題、提高推薦準確性和改善用戶體驗具有重要意義。

（三）研究內(nèi)容

推薦系統(tǒng)算法可以通過用戶偏好，利用大數(shù)據(jù)進行深度分析，以為用戶提供個性化的推薦建議。它的主要功能是根據(jù)用戶歷史記錄和偏好，向他們推薦最可能喜歡的項目或服務。然而，推薦算法往往面臨數(shù)據(jù)集不夠大的問題。由于收集用戶的興趣和行為數(shù)據(jù)成本較高，無法構(gòu)建足夠大的用戶信息，從而影響推薦系統(tǒng)的準確度。此外，推薦系統(tǒng)也容易受到用戶提供的反饋信息不準確的干擾，導致推薦結(jié)果的不準確。例如，用戶注冊后可能沒有提供有效信息，或者用戶信息可能被錯填。目前許多推薦系統(tǒng)對特征處理不夠復雜，沒有充分考慮不同性別、年齡、行業(yè)等細節(jié)，也沒有進行深入的用戶畫像分析，這可能導致推薦結(jié)果不準確。推薦系統(tǒng)反應時長也是影響用戶體驗的重要因素。用戶使用推薦系統(tǒng)時往往會遇到各種延遲，推薦系統(tǒng)的計算能力有限，導致耗時較長，無法與用戶的實時需求同步保持。

本成果通過使用SimCSE優(yōu)化和Attention優(yōu)化機制，進行新產(chǎn)品匹配和重要特征提取，由Meta-Embedding、LIME模型定向生成目標訂購用戶列表、目標推薦理由，實現(xiàn)新產(chǎn)品/優(yōu)惠包推薦目標客戶以及相應的推薦理由、精準營銷能力，為產(chǎn)品營銷提供數(shù)智化支撐。針對現(xiàn)有技術(shù)的缺點，本文的目的和要解決的技術(shù)問題如下：

1.基于Meta-Embedding的冷啟動推薦提升新產(chǎn)品推廣和精準率

基于SimCSE對比學習到新產(chǎn)品的歷史相似產(chǎn)品，提取種子用戶基本信息、通話、流量、費用等行為特征，通過Meta-Embedding梯度的元學習訓練生成新產(chǎn)品ID的embedding生成器，當推薦新產(chǎn)品時，經(jīng)過訓練的新產(chǎn)品embedding生成器匹配用戶生成推薦概率，以此向目標訂購用戶推薦新產(chǎn)品。重點解決新產(chǎn)品發(fā)展初期辦理量少、缺少訂購標記樣本，導致現(xiàn)有推薦模型準確性低問題，提升智能優(yōu)選模型的泛化能力，大幅提高新產(chǎn)品推廣效率和精準率。

2.基于LIME的可解釋推薦理由生成助力差異化賣點營銷

LIME是一種事后解析方法，即在建立模型之后所做的解釋。基于Attention注意力機制優(yōu)化LIME建立樣本時的隨機采樣機制，得到attention權(quán)重計算新生成的樣本與想要解釋的預測點的距離，以此篩選用來解釋的用戶特征，基于篩選的用戶特征生成可解釋推薦理由。營銷人員根據(jù)推薦理由做出決策是否可靠和對用戶有針對性差異化賣點營銷，理解用戶需求點，輔助營銷話術(shù)，促進用戶訂購行為。

二、基于注意力機制的冷啟動的流量套餐推薦系統(tǒng)

（一）流量套餐推薦系統(tǒng)

對于深度推薦系統(tǒng)而言，面臨的最嚴重問題之一是數(shù)據(jù)的缺乏和冷啟動。當冷啟動物體時，由于交互信息有限，很難學習到合理的關系。同時，在推薦系統(tǒng)中，用戶的錯誤點擊也會引入噪聲，對冷啟動用戶關系信息造成影響，從而影響整個推薦系統(tǒng)的能力。為了解決這個問題，MWUF（Meta Warm Up Framework）將冷啟動分為Cold-Start和Warm-Up階段。其中，Cold-Start階段是完全沒有樣本的情況，Warm-Up階段是有少量樣本的情況。在cold-start階段，MWUF使用公共初始化的ID Embedding以及兩個Meta Networks。其中，Meta Scaling Network使用物品的特征作為輸入，通過Scaling Function將冷啟動ID Embedding轉(zhuǎn)化為Warmer Embedding。而Meta Shifting Network使用全局交互的用戶作為輸入，利用Shifting Function強化物品的表示。Dropout Net則加入了Dropout機制來減少不良ID Embedding的影響，避免模型過度依賴ID Embedding。

為了更好地學習ID Embedding，Meta Embedding框架可以給ID Embedding設置適當?shù)某跏贾担蒙善鬏敵鯥D Embedding的初始化值。MAIL框架由雙塔結(jié)構(gòu)組成，其中一個塔解決了冷啟動推薦問題，另一個塔專注于常規(guī)的排序任務。零樣本塔使用雙自動編碼器進行跨模態(tài)重建，通過高度對齊的隱藏特征為新用戶獲取虛擬的喜好，排序塔則根據(jù)零樣本塔生成的行為偏好為用戶提供推薦結(jié)果。MAIL的排序塔和模型結(jié)構(gòu)無關，可以使用任意的基于Embedding的模型實現(xiàn)，并通過端到端的協(xié)同訓練來達到良好的效果。

使用基于注意力機制的冷啟動推薦算法的流量套餐推薦系統(tǒng)，可以根據(jù)用戶的歷史行為、偏好和活躍時間等信息，有針對性地向用戶推薦套餐，提高用戶黏性并增加再次選擇流量套餐的機會。根據(jù)冷啟動套餐的特點，可以更有效地為新用戶推薦套餐或向用戶推薦新套餐。

（二）技術(shù)方案

針對現(xiàn)有技術(shù)中的問題，本文提供一種基于冷啟動的流量套餐推薦系統(tǒng)。該系統(tǒng)利用冷啟動算法對現(xiàn)有的用戶特征建立關系，從而在樣本稀缺的情況下對新出現(xiàn)的物品或用戶進行推薦。為解決現(xiàn)存的技術(shù)難題，在冷啟動算法中引入注意力機制，增加模型對關系數(shù)據(jù)的建模能力。

為了實現(xiàn)以上技術(shù)方案，本文采用如下技術(shù)方案：

步驟S1、用戶數(shù)據(jù)獲取：由于冷啟動算法初期沒有實際場景的數(shù)據(jù)，需要使用歷史或抽象數(shù)據(jù)構(gòu)造用戶數(shù)據(jù)，以便在沒有用戶的情況下進行推薦。

步驟S2、建立用戶畫像：根據(jù)用戶信息、用戶行為、社交偏好、文本內(nèi)容、興趣物品等維度構(gòu)建用戶畫像，以滿足用戶需求。在建立用戶畫像時需要獲取用戶的基本信息和歷史動作等數(shù)據(jù)作為基礎，并利用數(shù)據(jù)挖掘等方法構(gòu)建用戶畫像。同時，需要定期獲取新用戶數(shù)據(jù)來更新用戶畫像。

步驟S3、推薦模型訓練：利用上一步驟S2所建立的高質(zhì)量數(shù)據(jù)作為訓練集，并引入Attention模塊的深度神經(jīng)網(wǎng)絡模型進行訓練。

S31、DNN層：通過多層DNN網(wǎng)絡將輸入特征X轉(zhuǎn)換為高維特征，該高維特征提取了用戶與各個特征之間的關系。

S33、Attention層：在DNN層中引入注意力機制，使模型能夠更快地關注重要點，提高準確度。注意力層的應用可以選擇多種方式，例如使用通道注意力機制SE Block對特征通道上的相關性建模，強化重要特征以提高準確度。在自然語言處理中，注意力機制主要用于定位關鍵的token。

在注意力機制層的應用上可以用很多種選擇，將高維特征映射為后，情況一利用通道注意力機制SE Block對特征通道上的相關性建模，把重要的特征強化提升準確度，這里將輸入特征先經(jīng)過全局平均池化將數(shù)組壓縮至1×1×C維的一個向量，來獲得這個特征圖的全局感受野。

（1）

在經(jīng)過激活操作后，通過輸入計算出不同通道的權(quán)值，并將其乘到之前的特征圖上，作為整個Block的輸出，從而得到一個重新加權(quán)后的特征圖。

（2）

情況二利用混合注意力模塊，例如GAM保留了對空間和通道上信息來增強跨緯度交互的重要性。輸入特征會先后經(jīng)過通道注意力和空間注意力模塊并與各階段的特征相融合得到最后的輸出，具體公式表現(xiàn)為：

output= Ms （Mc （X '） X '）（Mc （X '）X '）" " " " （3）

情況三利用多尺度注意力模塊SK Block，從多尺度的特征角度出發(fā)，來引入多個帶有不同感受野的并行卷積核分支來學習不同尺度下的特征圖權(quán)重，使得網(wǎng)絡能夠挑選出更加合適的尺度特征表示，利用了多分支結(jié)構(gòu)的實際理念避免了獲得單一特征的局限性。當輸入特征進入SK Block時會利用split操作利用不同卷積核大小的卷積捕獲到不同尺度下的語義信息，再將不同尺度的特征進行融合，豐富了當前場景的語義信息，最后進行softmax，為更適合的特征賦予更高的權(quán)重。

注意力層的添加方式有多種，一般來說可以根據(jù)具體場景下碰到的問題進行添加，從而來達到抑制不相關特征，放大重要特征的作用。

S34、DNN輸出層：利用DNN層與Attention層所提取出的特征，再經(jīng)過一層全連接層，將最后的輸出轉(zhuǎn)換為預測值。

S35、損失優(yōu)化器：損失函數(shù)采用二元交叉熵，計算最后的預測值和真實值之間的誤差，計算二分類的預測結(jié)果是或不是，可以理解為預測標簽的概率，當預測樣本和真實樣本之間的標簽值越接近時，損失值越小反之損失值越大。

（4）

采用AdamW優(yōu)化器并利用反向傳播方式不斷更新誤差和修改權(quán)重，AdamW就是在Adam優(yōu)化器加上L2的正則，這樣在計算梯度的時候會加上對正則項求梯度的結(jié)果。利用AdamW優(yōu)化器可以對本身比較大的權(quán)重，受到更大的懲罰。

S36、Dropout層：在訓練過程中，對于每個輸入x，Dropout層會將一部分神經(jīng)元的輸出設置為0。具體來說，對于每個神經(jīng)元i，生成一個0到1之間的隨機數(shù)r，如果r小于某個指定的丟棄率p（通常是0.5），則將神經(jīng)元i的輸出設置為0，否則保持原始輸出，具體公式為：

（5）

其中x為Dropout層的輸入、mask為一個與x形狀相同的二進制掩碼矩陣，其中將一部分元素設置為1，部分元素設置為0，mask生成的以概率為基準進行的、p為丟棄率，表示要丟棄神經(jīng)元的比例、y為Dropout的輸出。

在測試階段，由于不再需要隨機丟棄神經(jīng)元，所以Dropout層不會進行任何操作，并且將所有神經(jīng)元的輸出乘以 （1-p） 以進行縮放。這種隨機丟棄部分神經(jīng)元的操作，可以看做是在每次訓練中都在采樣不同的網(wǎng)絡子集，從而達到正則化的效果，提高了模型的魯棒性和泛化能力。

S37、優(yōu)化模型訓練：通過提前停止訓練，即在驗證集上的性能不再提升時停止訓練，可以節(jié)省訓練時間；使用模型剪枝技術(shù)也可以減少模型的復雜性，提高訓練速度。在硬件允許的情況下，可以嘗試將訓練數(shù)據(jù)劃分為多個部分，在多臺設備上并行訓練模型，從而加快訓練速度；同時可以考慮使用預訓練模型或遷移學習來初始化模型參數(shù)。預訓練的模型通常具有較好的初始狀態(tài)，可以加快訓練收斂速度。

步驟S4、推薦模型預測：將模型預測以及文本后處理整合到系統(tǒng)中，給出最優(yōu)的推薦模型。

具體地，在滿足整體移動套餐的推薦前提下，利用數(shù)據(jù)結(jié)合Attention模型調(diào)優(yōu)出最佳的冷啟動推薦模型參數(shù)。并根據(jù)系統(tǒng)設計整體流程，執(zhí)行并反饋出結(jié)果。

三、結(jié)束語

本文圍繞基于注意力機制的冷啟動的流量套餐推薦系統(tǒng)開展研究。相比于現(xiàn)階段的冷啟動模型所采用的DNN架構(gòu)，提出了一種基于Attention的冷啟動的流量套餐推薦系統(tǒng)。加入Attention機制使得模型具有更強的學習能力，能夠從大量的客戶數(shù)據(jù)中挑選出相關性較大的特征，并進行準確的相關性映射輸出，從而提高模型的魯棒性和準確度。此外，基于Attention的冷啟動模型有助于減少運算成本，因為它只聚焦于用戶偏好的部分內(nèi)容，而不是全文，從而提升整體性能。該模型適用于多場景，具有很強的泛化能力。

在使用Attention的冷啟動模型中，所采用的Attention機制可以有效地訓練模型，捕捉到用戶的多種需求，并逐步優(yōu)化，從而實現(xiàn)強泛化能力。Attention機制能夠?qū)⑿畔⒕酆系降途S向量中，使得模型能夠區(qū)分用戶特征，能更好地聚焦于用戶的需求。同時，在保存用戶信息的過程中，可以更好地理解用戶需求，能在不同場景下應用，提升模型的泛化能力。

作者單位：白取鑫 艾力亞斯江 王厚永 林強 呂冬梅

中國移動通信集團新疆有限公司

參" 考" 文" 獻

[1]曹鵬鵬. Q縣移動分公司客戶套餐匹配度測算及提升對策研究[D].太原理工大學，2022.

[2]梁斐云. 非平衡數(shù)據(jù)下電信用戶套餐智能化推薦研究[D].中南財經(jīng)政法大學，2021.

[3]杜晶. 基于機器學習的電信套餐推薦系統(tǒng)的設計與實現(xiàn)[D].中南財經(jīng)政法大學，2020.

[4]張曉靜. 電信用戶套餐推薦模型研究[D].云南大學，2020.