基于卷積神經網絡的短文本分類研究

陸正球 毛煥宇 王海穎

摘 要：隨著移動互聯網的發展，如何從大量的文本中挖掘出有價值的信息并提供參考成為一種新的需求，文本分類作為信息檢索和挖掘的關鍵技術，能夠實現對不同類型文本的自動分類。文章提出了基于卷積神經網絡的短文本分類方法，首先通過jieba實現文本的分詞，然后通過開源工具word2vec實現了詞向量，最后通過卷積層、最大池化層和全連接層完成新聞數據的分類。實驗結果顯示，基于卷積神經網絡的文本分類具有較高的分類效果。

關鍵詞：文本分類；卷積神經網絡；word2vec

隨著移動互聯網的飛速發展和個人移動終端功能的日益強大，人們從網絡中獲取的信息越來越多，由此產生的大量信息數據多以文本的形式出現，如何從這些文本中挖掘出有價值的信息并給用戶提供參考價值就顯得尤為重要。

1 卷積神經網絡

卷積神經網絡是一種專門用來處理具有類似網絡結構的數據的人工神經網絡，使用的是普通的神經元網絡，每層由多個二維平面組成，而每個平面由多個獨立神經元組成。卷積和池化作為一種無限強的先驗[1]，在提取特征上體現了高度的置換不變性，局部感受與權值共享兩個主要特征使得卷積神經網絡可以有效地減少參數學習的數量級，從而降低了模型的復雜度，提高了模型的可用性。

通常卷積神經網絡中一般包含4層：輸入層、卷積層、池化層以及全連接層。

2 基于卷積神經網絡的文本分類

基于卷積神經網絡的短文本分類的過程一般包括數據預處理，特征提取、文本分類3個階段。

2.1 數據預處理

由于數據集來源于互聯網，因此首先需要對數據集進行一系列預處理，包括去掉文本中的所有標點符號、數字和符號，只保留下含有較多語義信息的中文文本。而后通過Jieba分詞開源庫的精確分詞模式來完成對短文本數據集的分詞步驟。

經過數據預處理后，得到的數據和格式如表1所示。

2.2 特征提取

本文采用Mikolov等提出的Skip-Gram神經網絡語言模型，在完成基礎數據集的預處理和分詞操作后，利用無監督學習方式的Skip-Gram模型訓練出每個詞的分布式特征表示，即詞向量，然后，將訓練好的詞向量進行組合得到每條短文本的分布式特征。相比傳統的人工特征提取方式，此次提取的方式既可以控制特征維度，又可以不影響詞與詞在空間中的相對位置關系。

在具體實現的過程中，使用Google在2013年開源的詞向量計算工具—Word2vec，不僅可以在百萬數量級的詞典和上億的數據集上進行高效地訓練，而且該工具實現了訓練結果—詞向量（Word Embedding），可以很好地度量詞與詞之間的相似性。

2.3 文本分類

在文本分類中，本文將采用卷積神經網絡模型完成最終的分類任務。卷積神經網絡在結構上最大的特點就是卷積層和Max-pooling層的交替累積[2]。其中，卷積層接收來自通過word2vec處理后的詞向量，在該層共設置256個卷積核，設置每個卷積核的大小是5。每類卷積核都能夠提取出不同的局部特征圖，并且對輸入數據的局部特征進行描述，Max-pooling層可對每張特征圖中表達能力最強的特征進行二次提取，全連接層部分完成了文本的分類任務，并最終通過Softmax實現歸一化操作，如圖1所示。

3 實驗

首先從互聯網上獲取并經過處理的文本數據進行訓練和測試，包括體育、財經、房產、教育、科技、體育、娛樂、時政、游戲等10個大類，其中每個分類有6 500條數據。為了便于進行數據的訓練、驗證和測試，將其中5 000條用于訓練，500條用于驗證，1 000條用于測試。

本文所使用的開發與訓練的實驗環境如表2所示。

首先進行數據訓練，在驗證集上經過5輪迭代后的最佳分類效果是96.1%。其中準確率和誤差loss如圖2—3所示。

同時，使用測試集上的數據進行測試，得到的數據集結果顯示如下，其中測試的誤差是0.13，測試的準確率是96.27%，除了時尚類別外，其他類別的預測準確率都高于95%。其中體育類的測試為100%，整體的precision、recall和F1值都是96%，如圖4所示。

最后，使用剩余的10 000條數據進行預測，系統隨機選擇其中6個類別，從實驗結果可以發現原文的標簽和預測的標簽結果都是一樣的，如圖5所示。

4 結語

通過對短文本分類問題的研究，本文提出了一種基于卷積神經網絡算法的短文本分類模型。經過大量的文本數據進行了測試，實驗結果表明，基于卷積神經網絡的文本分類方法具有較高的分類效果。

[參考文獻]

[1]高云龍.基于改進卷積神經網絡的短文本分類研究[D].長春：吉林大學，2018.

[2]蔡慧萍.基于卷積神經網絡的短文本分類方法研究[D].重慶：西南大學，2016.