面向互聯(lián)網(wǎng)上網(wǎng)服務(wù)行業(yè)的用戶畫像系統(tǒng)設(shè)計(jì)*

楊歐亞 龔 婕 魏松杰

（1.南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094）（2.清華大學(xué)自動化系 北京 100084）

1 引言

近年來，互聯(lián)網(wǎng)上網(wǎng)服務(wù)營業(yè)場所在縮小城鄉(xiāng)信息差距、解決流動人口和低收入群體上網(wǎng)問題、豐富人民群眾精神文化生活等方面發(fā)揮了積極作用，已經(jīng)成為社會發(fā)展中不可或缺的一環(huán)。截止2018年底，我國互聯(lián)網(wǎng)上網(wǎng)服務(wù)行業(yè)用戶規(guī)模達(dá)到1.19億。但是，由于移動產(chǎn)業(yè)迅速擴(kuò)張，互聯(lián)網(wǎng)上網(wǎng)服務(wù)營業(yè)場所受到不小的沖擊。為了擺脫困境，上網(wǎng)服務(wù)營業(yè)場所需要不斷轉(zhuǎn)型與升級，為用戶提供個性化服務(wù)，提高用戶滿意度，以此提升用戶粘性。為了實(shí)現(xiàn)個性化服務(wù)，企業(yè)必須了解用戶的平臺特征。互聯(lián)網(wǎng)上網(wǎng)服務(wù)營業(yè)場所雖然有用戶的各種行為數(shù)據(jù)，但是不能直觀有效地表現(xiàn)出用戶特征。基于目前這種現(xiàn)狀，本文研究了為互聯(lián)網(wǎng)上網(wǎng)服務(wù)行業(yè)用戶進(jìn)行畫像的方法。

用戶畫像就是對所在領(lǐng)域中收集的用戶數(shù)據(jù)進(jìn)行標(biāo)簽化和結(jié)構(gòu)化處理，歸納出一個用戶的全貌［1］。用戶畫像構(gòu)建完成后，用戶的畫像就是一種可供計(jì)算機(jī)讀取和識別的用戶模型［2］。用戶畫像不僅可以刻畫用戶平臺特征，也為管理層提供可靠的數(shù)據(jù)支撐，使經(jīng)營決策更加高效和精確。本文針對互聯(lián)網(wǎng)上網(wǎng)服務(wù)行業(yè)特性，通過對平臺業(yè)務(wù)分析，構(gòu)建了與平臺業(yè)務(wù)相結(jié)合的用戶畫像系統(tǒng)。

2 需求分析與用戶畫像技術(shù)

2.1 需求分析

用戶畫像的建立依賴于所擁有的數(shù)據(jù)，只有通過數(shù)據(jù)分析才能建立相應(yīng)的畫像［3］。經(jīng)過對互聯(lián)網(wǎng)上網(wǎng)服務(wù)行業(yè)的深入調(diào)研，目前，基本所有的上網(wǎng)服務(wù)場所都會記錄用戶的三類數(shù)據(jù)：用戶基本信息數(shù)據(jù)、用戶消費(fèi)行為數(shù)據(jù)以及用戶的上網(wǎng)行為數(shù)據(jù)。針對數(shù)據(jù)特點(diǎn)，本文構(gòu)建的用戶畫像系統(tǒng)從基本屬性、消費(fèi)屬性、興趣屬性三個方面刻畫用戶平臺特征。本文構(gòu)建畫像系統(tǒng)時，分析的數(shù)據(jù)來源于某互聯(lián)網(wǎng)上網(wǎng)服務(wù)場所2019年1月1日到2019年4月29日收集的用戶數(shù)據(jù)。

2.2 用戶畫像技術(shù)

用戶畫像是通過分析與用戶相關(guān)信息后，抽取有用信息進(jìn)行標(biāo)簽化和結(jié)構(gòu)化處理，完美地抽取出一個用戶全貌的過程［4］。構(gòu)建用戶畫像主要分為標(biāo)簽體系構(gòu)建和標(biāo)簽匹配兩部分。

標(biāo)簽體系是用戶畫像描述用戶特征的維度體系，是構(gòu)建用戶畫像的基本框架［5］。標(biāo)簽體系的構(gòu)建要結(jié)合業(yè)務(wù)需求，從不同的維度去刻畫用戶。不同領(lǐng)域的用戶畫像體系有不同的側(cè)重點(diǎn)。標(biāo)簽匹配其實(shí)質(zhì)是給用戶打標(biāo)簽，是用戶畫像的核心工作［6］。標(biāo)簽匹配時，需要對數(shù)據(jù)進(jìn)行挖掘，從海量繁雜的數(shù)據(jù)中提取有用的信息，主要用到的方法包括統(tǒng)計(jì)方法、文本挖掘算法、相似度計(jì)算方法、分類聚類算法等［7］。對數(shù)據(jù)進(jìn)行挖掘后，即可為用戶標(biāo)記標(biāo)簽。標(biāo)簽分為定性標(biāo)簽和定量標(biāo)簽。定量標(biāo)簽使用可量化的數(shù)據(jù)進(jìn)行標(biāo)記，定性標(biāo)簽則使用關(guān)鍵詞進(jìn)行標(biāo)記［8］。由于定性標(biāo)簽使用關(guān)鍵字，無法量化，所以進(jìn)行標(biāo)簽標(biāo)記時，需要為定性標(biāo)簽計(jì)算權(quán)重。通過使用權(quán)重系數(shù)，使得定性標(biāo)簽?zāi)軌蚓珳?zhǔn)的表達(dá)用戶特征［9］。

3 用戶畫像系統(tǒng)總體設(shè)計(jì)

面向互聯(lián)網(wǎng)上網(wǎng)服務(wù)的用戶畫像整體架構(gòu)分為三層：數(shù)據(jù)源層、標(biāo)簽體系層、標(biāo)簽匹配層。數(shù)據(jù)源層中的數(shù)據(jù)來源于互聯(lián)網(wǎng)上網(wǎng)服務(wù)場所記錄的用戶數(shù)據(jù)。標(biāo)簽體系層是設(shè)計(jì)能夠表現(xiàn)用戶特征的標(biāo)簽。標(biāo)簽匹配層是通過對數(shù)據(jù)源層中的數(shù)據(jù)進(jìn)行挖掘分析，為用戶匹配合適的標(biāo)簽。標(biāo)簽匹配層是系統(tǒng)中的核心模塊，針對不同的維度特征，采用不同的方法挖掘數(shù)據(jù)，為用戶標(biāo)記標(biāo)簽。具體架構(gòu)如圖1所示。

圖1 用戶畫像系統(tǒng)架構(gòu)圖

4 標(biāo)簽體系層

4.1 基本屬性標(biāo)簽體系

根據(jù)互聯(lián)網(wǎng)上網(wǎng)服務(wù)場所平臺收集的基礎(chǔ)信息，本文設(shè)計(jì)的基礎(chǔ)屬性標(biāo)簽如表1所示。

表1 基本屬性標(biāo)簽

4.2 消費(fèi)屬性標(biāo)簽體系

根據(jù)互聯(lián)網(wǎng)上網(wǎng)服務(wù)場所平臺消費(fèi)特點(diǎn)，本文設(shè)計(jì)的消費(fèi)屬性標(biāo)簽如表2所示。

表2 消費(fèi)屬性標(biāo)簽

4.3 興趣屬性標(biāo)簽體系

根據(jù)中國社會科學(xué)網(wǎng)發(fā)布的《2018中國互聯(lián)網(wǎng)上網(wǎng)服務(wù)行業(yè)發(fā)展報告》，用戶到上網(wǎng)服務(wù)場所的主要上網(wǎng)行為是游戲、直播、影視和音樂，其他上網(wǎng)行為的用戶占比不足一成。針對這個特點(diǎn)，本文用戶興趣畫像關(guān)注于游戲、直播、影視、音樂方面。同時為了全面細(xì)致的描述用戶的興趣屬性，對興趣屬性標(biāo)簽進(jìn)行了標(biāo)簽分級，這樣可以清楚地展示標(biāo)簽之間的結(jié)構(gòu)與關(guān)聯(lián)關(guān)系［9］。本文設(shè)計(jì)的興趣標(biāo)簽體系如表3所示。

表3 興趣屬性標(biāo)簽

5 標(biāo)簽匹配層

5.1 數(shù)據(jù)預(yù)處理及數(shù)據(jù)采集

互聯(lián)網(wǎng)收集的用戶數(shù)據(jù)需要經(jīng)過對數(shù)據(jù)進(jìn)行預(yù)處理后才能使用。數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清洗、數(shù)據(jù)整合、數(shù)據(jù)標(biāo)準(zhǔn)化。數(shù)據(jù)標(biāo)準(zhǔn)化本文采用的線性函數(shù)轉(zhuǎn)換方程進(jìn)行標(biāo)準(zhǔn)化。如式（1）所示。

其中，Xnormal標(biāo)準(zhǔn)化后的數(shù)值，Xmax表示該指標(biāo)的最大值，Xmin表示該指標(biāo)的最小值，X表示該指標(biāo)的初始值。

數(shù)據(jù)采集包括兩個部分：軟件數(shù)據(jù)爬取模塊、網(wǎng)頁數(shù)據(jù)爬取模塊。軟件數(shù)據(jù)爬取模塊用于爬取軟件相關(guān)信息，包括軟件類型、軟件官網(wǎng)、軟件開發(fā)公司，其目的是建立一個可以包含游戲、音樂、影視以及直播軟件的數(shù)據(jù)庫。軟件數(shù)據(jù)在各類下載中心有大量結(jié)構(gòu)化數(shù)據(jù)，通過爬取和清洗即可。網(wǎng)頁數(shù)據(jù)爬取模塊用于爬取用戶訪問網(wǎng)頁內(nèi)容，用于后續(xù)的網(wǎng)頁興趣分析。

5.2 數(shù)據(jù)挖掘?qū)?/h3>

5.2.1 用戶價值挖掘

根據(jù)美國數(shù)據(jù)庫營銷研究所的研究，用戶數(shù)據(jù)中消費(fèi)金額、消費(fèi)頻率和消費(fèi)時間間隔三個要素構(gòu)成了用戶價值分析的重要指標(biāo)［10］。選取消費(fèi)中用戶消費(fèi)金額、用戶消費(fèi)次數(shù)、用戶消費(fèi)間隔作為用戶價值模型的參考指標(biāo)，使用K-means聚類算法對數(shù)據(jù)進(jìn)行聚類，從而挖掘用戶價值。

傳統(tǒng)K-means算法存在隨機(jī)選取初始化中心的缺陷［11］，針對該問題，本文采用局部可達(dá)密度的概念優(yōu)化選取初始化中心［12］。下面介紹局部可達(dá)密度中涉及的概念。

定義1：第k距離

定義d（kO）為點(diǎn)O的第k距離，d（O，P）為點(diǎn)O到點(diǎn)P的距離。如果滿足如下條件，則d（kO）=d（O，P）。

1）在集合中至少存在k個點(diǎn)P′∈D{O}，使得d(O,P′)≤d(O,P)

2）在集合中至多存在k-1個點(diǎn)P′∈D{O}，使得d(O,P′)＜d(O,P)

定義2：k距離鄰域N（kO）

設(shè)N（kO）為O的第k距離鄰域，需滿足式（2）。

定義3：可達(dá)距離d（kO，P）

設(shè)d（kO，P）為點(diǎn)P到點(diǎn)O的第k可達(dá)距離，需滿足式（3）。

定義4：局部可達(dá)密度ρk(O)

局部可達(dá)密度定義為式（4）。

從上面公式中可以看出，局部密度越大，越可能是聚類的簇中心。但如果只按局部密度進(jìn)行選擇，則可能選擇的初始點(diǎn)過于密集。為此本文引入了距離的因素。本文改進(jìn)后其K-means選取初始化中心點(diǎn)集的步驟如下（數(shù)據(jù)集用D表示，數(shù)據(jù)集大小為n，初始化中心點(diǎn)集用C表示，K-means初始化中心個數(shù)用k表示）。

Step 1：計(jì)算出數(shù)據(jù)集D中每個樣本i的局部可達(dá)密度ρi，并利用式（1）進(jìn)行標(biāo)準(zhǔn)化得到ρ'i。

Step 2：在D上選取可達(dá)密度最高的一個點(diǎn)作為初始中心C1，C=｛C1｝。

Step 3：repeat

在D上利用式（5）計(jì)算每個樣本i距離C中每個初始中心點(diǎn)Cj的距離d（Cj，x）i。

對于xi∈D，disi=min｛d（Cj，x）i｝，并利用式（1）進(jìn)行標(biāo)準(zhǔn)化得到dis'i。

利用式（6）計(jì)算每個樣本i的權(quán)重因子γi。

選取權(quán)重因子最大的樣本iγmax作為Ci，C=C∪{Ci}，直到找出k個初始化中心。

Step 4：輸出k個初始化中心。

本文采用了SSE（誤差平方和）的方式對聚類效果進(jìn)行度量。隨著聚類簇?cái)?shù)k值的增大，總SSE迅速下降。當(dāng)K值大于實(shí)際的簇?cái)?shù)時，隨著k的增大，總SSE的值將呈緩慢下降的趨勢。多次聚類后SSE變化如圖2所示。

圖2 誤差平方和SSE遞減趨勢圖

從圖中可以看出，k值為4時，是個轉(zhuǎn)折點(diǎn)，所以聚類簇?cái)?shù)應(yīng)該劃分為4。由于聚類時將各項(xiàng)數(shù)據(jù)都進(jìn)行了標(biāo)準(zhǔn)化，如果直接取簇中心進(jìn)行分析則不能直觀表達(dá)用戶消費(fèi)價值特征，本文將聚類結(jié)果與原始數(shù)據(jù)結(jié)合，按類別對原始數(shù)據(jù)計(jì)算均值，結(jié)果如表4所示。

表4 用戶消費(fèi)價值聚類結(jié)果

從表中可以看出，有明顯四類不同特征的消費(fèi)群體。可以用低價值用戶、較低價值用戶、較高價值用戶以及高價值用戶來進(jìn)行標(biāo)簽匹配。

5.2.2 用戶網(wǎng)頁興趣挖掘

用戶網(wǎng)頁興趣挖掘?qū)嶋H是對用戶訪問的網(wǎng)頁分類，通過網(wǎng)頁類型映射用戶的網(wǎng)頁興趣［13］。目前，基本所有網(wǎng)頁為了提升自己的網(wǎng)站排名，都在網(wǎng)頁的＜title＞和＜meta＞標(biāo)簽中，標(biāo)注了網(wǎng)頁所包含的關(guān)鍵信息。本文即利用網(wǎng)頁中的這些標(biāo)簽中的文字對網(wǎng)頁進(jìn)行分類，從而挖掘用戶興趣。其流程如圖3所示。

圖3 用戶網(wǎng)頁興趣挖掘流程圖

網(wǎng)頁文本提取是指提取網(wǎng)頁中＜title＞和＜meta＞中的文本內(nèi)容用于文本分類。文本預(yù)處理主要分為文本分詞，停用詞過濾。本文采用空間向量模型對文本進(jìn)行表示。如果使用網(wǎng)頁中全部詞條作為特征，則會導(dǎo)致特征向量的維數(shù)特別巨大［14］。近年來在中文文本分類中使用較多的特征抽取方法包括文檔頻率（DF）、互信息（MI）、CHI統(tǒng)計(jì)和信息增益（IG）［15］。通過對文本分類中不同特征抽取方法進(jìn)行試驗(yàn)，發(fā)現(xiàn)基于信息增益（Information Gain）的方法進(jìn)行特征抽取結(jié)果較好。

上網(wǎng)服務(wù)行業(yè)中，用戶訪問的網(wǎng)頁雖然大部分都是影視、音樂、直播以及游戲類網(wǎng)頁，但有的用戶會訪問一些其他網(wǎng)站，比如新聞、數(shù)碼、購物類網(wǎng)站。這種訪問類型雖然也代表了用戶興趣，但這些興趣并不是互聯(lián)網(wǎng)上網(wǎng)服務(wù)行業(yè)所關(guān)注的。針對這種現(xiàn)狀，采用多次二分類的思想解決這一問題。本文隨機(jī)選取了10000個屬于影視、直播、游戲、音樂以及其他網(wǎng)頁類型網(wǎng)頁，用于訓(xùn)練分類模型。分別對實(shí)驗(yàn)語料中的每一類進(jìn)行實(shí)驗(yàn)。選定某一類樣本為正樣本，則其余各類都是負(fù)樣本。使用支持向量機(jī)構(gòu)造分類器［16］。通過大量有標(biāo)注的網(wǎng)頁進(jìn)行訓(xùn)練得到影視、音樂、直播、游戲分類器模型。

提取的網(wǎng)頁特征經(jīng)過分類器模型即可獲得分類結(jié)果，用戶興趣類型標(biāo)簽就可以根據(jù)分類結(jié)果進(jìn)行匹配，這樣就完成了對用戶網(wǎng)頁興趣挖掘。

5.3 標(biāo)簽標(biāo)記層

對互聯(lián)網(wǎng)上網(wǎng)服務(wù)場所收集的用戶數(shù)據(jù)進(jìn)行預(yù)處理以及相應(yīng)的數(shù)據(jù)挖掘之后，即可為用戶標(biāo)記標(biāo)簽。基本屬性的標(biāo)簽比較簡單，直接抽取相應(yīng)信息即可進(jìn)行標(biāo)記。消費(fèi)屬性的標(biāo)簽需要利用經(jīng)過統(tǒng)計(jì)與聚類算法挖掘后的數(shù)據(jù)進(jìn)行標(biāo)記。興趣屬性中的軟件興趣標(biāo)簽根據(jù)建立的軟件數(shù)據(jù)庫進(jìn)行查找逐級標(biāo)記標(biāo)簽，網(wǎng)頁興趣標(biāo)簽則根據(jù)分類結(jié)果進(jìn)行標(biāo)記。

基本屬性和消費(fèi)屬性的定性標(biāo)簽由于其唯一性，權(quán)重系數(shù)為1。興趣屬性中的定性標(biāo)簽權(quán)重需要計(jì)算得出。其計(jì)算過程如式（7）所示。

其中，ωtarget為要計(jì)算的標(biāo)簽的權(quán)重，timetarget為標(biāo)記該標(biāo)簽的上網(wǎng)行為所用時間，timetotal為用戶上網(wǎng)的總時間，N(t)為時間衰減函數(shù)，如式（8）所示。

其中t表示距離用戶最后一次產(chǎn)生該行為的時間間隔，N0是設(shè)置的時間權(quán)重系數(shù)，可根據(jù)業(yè)務(wù)進(jìn)行設(shè)置。λ是一個衰減常數(shù)，可以根據(jù)實(shí)際應(yīng)用場景進(jìn)行調(diào)整，利用指數(shù)衰減函數(shù)作為時間衰減因子，能體現(xiàn)標(biāo)簽的熱度隨著時間逐漸冷卻的過程。

對用戶進(jìn)行標(biāo)簽標(biāo)記之后，即可形成用戶的完整用戶畫像。通過用戶畫像，不但可以為用戶提供個性化服務(wù)，也可以為互聯(lián)網(wǎng)上網(wǎng)場所的發(fā)展提供指導(dǎo)。

6 系統(tǒng)測試

本文使用經(jīng)典數(shù)據(jù)集Balance-Scale、Wine和Iris驗(yàn)證本文提出的K-means算法改進(jìn)。為保證實(shí)驗(yàn)結(jié)果的穩(wěn)定性，將實(shí)驗(yàn)次數(shù)設(shè)為100次。K-means算法以及本文算法在三組數(shù)據(jù)集上的聚類準(zhǔn)確率如表5所示。

表5 兩種算法在測試數(shù)據(jù)集上的準(zhǔn)確率

從表5可以看出，經(jīng)過改進(jìn)的K-means算法在準(zhǔn)確率上面比原始K-means算法要高，說明改進(jìn)的K-means算法是有效的，可以使用此方法對用戶價值進(jìn)行聚類挖掘。

本文改進(jìn)的算法在于優(yōu)化初始點(diǎn)選擇，為了進(jìn)一步驗(yàn)證算法改進(jìn)的有效性，本文分別用K-means算法以及改進(jìn)的算法在Iris數(shù)據(jù)集運(yùn)行多次，給出了每次運(yùn)行時所選取的初始中心點(diǎn)（用行號表示）、迭代次數(shù)、準(zhǔn)確率。本文提出的算法，多次運(yùn)行后結(jié)果比較穩(wěn)定，不再一一列出，只給出穩(wěn)定后的初始中心、準(zhǔn)確率以及迭代次數(shù)。如表6所示。

表6 兩種算法對Iris數(shù)據(jù)集測試表

從表6可以看出，本文提出的改進(jìn)K-means算法可以有效降低運(yùn)行時迭代次數(shù)，同時具有較好的穩(wěn)定性，性能有了較大提升。

本文使用人工標(biāo)記的10000多個網(wǎng)頁類型的數(shù)據(jù)作為訓(xùn)練測試數(shù)據(jù)集進(jìn)行驗(yàn)證基于信息增益（IG）進(jìn)行特征抽取的優(yōu)勢。采用10折交叉驗(yàn)證法進(jìn)行實(shí)驗(yàn)。對于每個分類器模型，將訓(xùn)練測試數(shù)據(jù)集隨機(jī)分成10份，將其中9份作為訓(xùn)練數(shù)據(jù)，1份作為測試數(shù)據(jù)，用訓(xùn)練數(shù)據(jù)訓(xùn)練分類器，用測試數(shù)據(jù)測試訓(xùn)練得到的模型。重復(fù)過程10次，使得每一份都能作為測試數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。取10次實(shí)驗(yàn)的準(zhǔn)確率的平均值作為準(zhǔn)確率的估計(jì)。分別用不同的特征抽取方法進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表7所示。

表7 不同特征抽取方法在測試數(shù)據(jù)集上的準(zhǔn)確率

從表7可以看出，使用特征抽取后的準(zhǔn)確率比不使用特征抽取的準(zhǔn)確率有顯著提升，證實(shí)了文本分類中使用特征抽取的必要性。在不同的特征提取方法中，使用信息增益（IG）提取特征的準(zhǔn)確率最高，說明在對網(wǎng)頁進(jìn)行分類時，信息增益抽取特征具有一定的優(yōu)勢。

7 結(jié)語

本文針對互聯(lián)網(wǎng)上網(wǎng)服務(wù)行業(yè)現(xiàn)狀，設(shè)計(jì)了可以用于互聯(lián)網(wǎng)上網(wǎng)服務(wù)行業(yè)的用戶畫像系統(tǒng)。針對互聯(lián)網(wǎng)上網(wǎng)服務(wù)不同數(shù)據(jù)特點(diǎn)采用不同的挖掘方法。對于用戶的基本屬性，直接抽取數(shù)據(jù)匹配標(biāo)簽；對于消費(fèi)屬性，經(jīng)過統(tǒng)計(jì)與聚類算法挖掘等方式匹配標(biāo)簽；對于用戶的興趣屬性，通過網(wǎng)絡(luò)爬蟲的方式得到一個可以用于分析的數(shù)據(jù)集，用戶的軟件興趣標(biāo)簽通過采集的軟件數(shù)據(jù)庫匹配得到，對于網(wǎng)頁興趣標(biāo)簽則通過分類算法進(jìn)行標(biāo)簽匹配。此外，本文對K-means算法進(jìn)行了改進(jìn)，通過對初始中心選取進(jìn)行優(yōu)化，使得算法的準(zhǔn)確率和穩(wěn)定性都有了較大的提升。