基于TF—IDF改進算法和喜好度的視頻用戶分類

李芳芳　王占剛

摘要：根據(jù)用戶觀看的視頻時長與視頻的實際時長信息來計算用戶對該視頻的喜好度，在spark內(nèi)存計算框架下，以喜好度作為特征項，使用樸素貝葉斯，TF-IDF和改進了的TFC-IDFC分類算法，對視頻用戶屬性進行分析，建立用戶年齡區(qū)間的分類模型。此分類模型適合視頻網(wǎng)站運營商將信息準確的推薦給用戶，同時可提高信息的利用率。考慮到傳統(tǒng)的TF-IDF算法沒有體現(xiàn)特征項在類內(nèi)和類間的分布特點，提出了改進的TFC-IDFC算法，通過正確率和F1值兩個指標對以上三種分類算法的評價，證明了加權(quán)的分類算法比不加權(quán)的算法分類效果更好，改進的TFC-IDFC算法比傳統(tǒng)的TF-IDF算法效果更優(yōu)。

關(guān)鍵詞：TF-IDF；喜好度；spark；視頻；用戶分類

0引言

在現(xiàn)今的日常生活中，網(wǎng)絡(luò)視頻已成為人們學習、娛樂、交流的主要途徑。然而用戶在享受豐富視頻資源的同時，視頻查找過程卻消耗了越來越多的時間和精力。如何充分利用用戶在視頻網(wǎng)站瀏覽行為以及視頻觀看行為信息進行分析，建立用戶標簽，將用戶想要的信息準確的推薦給用戶，實現(xiàn)精準運營，已成為近年數(shù)據(jù)分析領(lǐng)域的熱門研究之一。

由于視頻與文字、圖片、語音相比數(shù)據(jù)量大，分析過程復(fù)雜，目前基于用戶分析大部分都集中在對微博、手機上網(wǎng)日志，社交網(wǎng)絡(luò)等領(lǐng)域的研究，很少對視頻網(wǎng)站數(shù)據(jù)進行分析。馮婷婷通過用戶瀏覽視頻的行為，利用支持向量機等分類器進行性別推理；張慷通過大數(shù)據(jù)平臺對DPI上網(wǎng)日志和用戶信息進行深度分析，形成手機用戶畫像；張巖峰等人通過用戶在微博上的言行等信息，提出了對用戶的個性化維度進行分類分析的方法；王雯等人通過關(guān)聯(lián)規(guī)則挖掘的方式對原短文本進行特征補充，提出了一種spark平臺上對短文本特征擴展及分類方法；Francisco等人從用戶關(guān)系網(wǎng)絡(luò)信息中學習用戶特征，使用PageRank等方法進行分類；Fernandes等人以Twitter為例，用SVM算法對真實用戶和虛假用戶進行分類檢測。

Spark作為一種基于內(nèi)存計算的分布式計算框架，在計算性能上比Hadoop要快的多，適合于迭代算法和交互式數(shù)據(jù)分析，能提升大數(shù)據(jù)處理的實時性和準確性，應(yīng)用在機器學習、數(shù)據(jù)挖掘等領(lǐng)域；TF-IDF算法簡單快速，結(jié)果比較符合實際情況，但傳統(tǒng)的TF-IDF并沒有考慮特征項與類之間的關(guān)聯(lián)。所以，本文通過用戶行為分析計算出喜好度作為特征值，利用Spark框架與改進的TF-IDF算法訓練用戶年齡區(qū)間的分類模型，計算出每個特征項的權(quán)重優(yōu)化模型，提高分類結(jié)果。endprint