基于大數據技術的網絡熱搜關鍵詞提取算法

王珊珊，梁同樂

（1.廣東輕工職業技術學院信息技術學院，廣東廣州，510300；2.廣東郵電職業技術學院計算機學院，廣東廣州，510630）

0 引言

針對基數過大的網絡熱搜關鍵詞提取很容易出現提取查全率低的現象，證明以往研究存在一定的局限性[1]。因此，有必要對網絡熱搜關鍵詞提取算法展開優化設計。大數據技術作為一種信息化技術，主要針對巨量資料展開，具有高效性、真實性的優勢，以其強大的統一功能在眾多技術中脫穎而出，成為線下主流應用技術?；诖耍欣碛蓪⒋髷祿夹g應用在網絡熱搜關鍵詞提取算法中，基于大數據技術設計網絡熱搜關鍵詞提取算法，希望能夠在提高網絡熱搜關鍵詞提取查全率的同時，為網絡熱搜關鍵詞提取方面的發展提供新思路。

1 大數據技術

大數據技術主要是通過互聯網的優越性，徹底打破了時間以及空間的限制，在海量信息中挖掘出有價值的信息[2]。大數據技術下的信息特征為以多元的方式呈現數據，形成龐大的信息隊列，其中也隱含了實時性的優勢。大數據下借助信息化技術為依托，通過在大量數據中提取出有價值的信息，并挖掘數據中存在的內部規律[3]。結合國外針對大數據技術的研究中，主要將大數據技術分為兩大類，包括：數據存儲技術以及數據處理技術?；诖髷祿夹g具有效率高、精度高、使用方便等優點，已經被廣泛應用在各個領域中?；诖?，本文設計的基于大數據技術，網絡熱搜關鍵詞提取算法，其具體內容，詳見下文。

2 基于大數據技術的網絡熱搜關鍵詞提取算法

2.1 確定網絡熱搜關鍵詞特征的模糊空間

網絡熱搜關鍵詞信息特征的模糊空間示意圖，如圖1所示。

在圖1中，以A、B、C為網絡熱搜關鍵詞信息特征的模糊空間中的映射直線。結合ai1、ai2與ai3的關系可見，網絡熱搜關鍵詞信息特征空間維數越大，網絡熱搜關鍵詞信息特征模糊空間的面積越?。环粗?，網絡熱搜關鍵詞信息特征模糊空間的面積越大。因此，網絡熱搜關鍵詞信息特征的模糊空間只適用于對單一網絡熱搜關鍵詞信息特征進行描述，針對綜合網絡熱搜關鍵詞信息的特征還需要基于大數據技術，加權融合網絡熱搜關鍵詞。

圖1 網絡熱搜關鍵詞信息特征的模糊空間示意圖

2.2 基于大數據技術加權融合網絡熱搜關鍵詞

在確定網絡熱搜關鍵詞特征的模糊空間的基礎上，本文針對綜合網絡熱搜關鍵詞信息的特征通過大數據技術進行加權融合[4]。本文以網絡熱搜關鍵詞語義的重要程度為指標，以關鍵詞中的Hamming距離為標準，計算網絡熱搜關鍵詞模糊語義距離。設其為Sim（x,y），可得公式（1）：

公式（1）中，n 指的是網絡熱搜關鍵詞語義特征矢量；i指的是綜合網絡熱搜關鍵詞信息的特征個數，為實數；w指的是平滑系數；m 指的是摩擦系數；k指的是網絡熱搜關鍵詞信息權值系數；g指的是關鍵詞隸屬度函數；μ指的是關鍵詞特征嵌入維數；x指的是網絡熱搜關鍵詞信息一維距平化Hamming距離橫坐標；y指的是網絡熱搜關鍵詞信息一維距平化Hamming距離縱坐標。網絡熱搜關鍵詞信息一維距平化Hamming距離橫坐標以及縱坐標能夠直接決定關鍵詞在模糊語義距離屬性中的具體點位信息，即為模糊語義特征描述?；谀：Z義距離屬性的基本特征，計算網絡熱搜關鍵詞信息模糊特征數值以及網絡熱搜關鍵詞信息特征距離，得到模糊語義網絡熱搜關鍵詞信息特征距離綜合信息表，為基于大數據技術加權融合網絡熱搜關鍵詞提供基礎信息。并以此為網絡熱搜關鍵詞分數索引，網絡熱搜關鍵詞分數越高證明其在網絡熱搜關鍵詞提取時的優先級越高，從而保證了盡可能多的關鍵詞結點被提取。

2.3 提取網絡熱搜關鍵詞

采用大數據技術Reduce中的稀疏表示技巧，得到完整的基于大數據技術的網絡熱搜關鍵詞提取算法，可得公式（2）：

公式（2）中，u指的是網絡熱搜關鍵詞提取頻率。以公式（2）為基于大數據技術提取網絡熱搜關鍵詞的最終方程式，根據網絡熱搜關鍵詞特征矢量的位置，輸出網絡熱搜關鍵詞提取結果。至此，完成基于大數據技術的網絡熱搜關鍵詞提取算法設計。

3 實例分析

3.1 實驗準備

本文通過設計實例分析的方式，在web平臺中選取2個真實數據集作為實驗對象。首先，使用本文設計的提取算法基于大數據技術提取網絡熱搜關鍵詞，通過matalb軟件記錄網絡熱搜關鍵詞提取的查全率，將其設為實驗組；再使用傳統提取算法提取網絡熱搜關鍵詞，同樣通過matalb軟件記錄網絡熱搜關鍵詞提取的查全率，將其設為對照組。由此可見，本次實驗主要內容為測試兩種提取算法的查全率，網絡熱搜關鍵詞提取的查全率越高證明提取更加全面、可靠。通過設置10次實驗，針對matalb軟件測得的查全率，記錄實驗數據。

3.2 實驗結果分析與結論

將兩種提取算法下的查全率進行對比，查全率對比結果，如下表1所示。

表1 網絡熱搜關鍵詞提取查全率對比

根據表1可知，通過實驗組測得的查全率高于對照組兩倍以上，基于大數據技術設計的網絡熱搜關鍵詞提取算法在查全率方面相比傳統算法具有明顯的優勢。綜上所述，設計的網絡熱搜關鍵詞提取算法對網絡熱搜關鍵詞提取更全面，有理由直接投入現實應用。

4 結束語

文章針對基于大數據技術的網絡熱搜關鍵詞提取算法展開研究，通過以上研究可以表明，利用本文設計的基于大數據技術的網絡熱搜關鍵詞提取算法能夠在網絡熱搜關鍵詞提取過程中取得顯著的應用效果，解決以往網絡熱搜關鍵詞提取難的問題。因此，有理由加大大數據技術在網絡熱搜關鍵詞提取中的應用力度。由此可見，未來網絡熱搜關鍵詞提取算法方面的發展可以以大數據技術為核心，為網絡熱搜關鍵詞提取領域的研究提供學術意義。