機器學習分類算法在社區(qū)問答系統(tǒng)中的應用

孫熙然

摘要：機器學習被廣泛應用到自然語言處理中，社區(qū)問答提供了新的有趣的研究方向。在傳統(tǒng)問答領域，通過分類算法研究用戶交互行為并分析其交互方式，能夠促進用戶交互與相關崗位結(jié)構(gòu)的開發(fā)。在此背景下，針對SemEval語義測評大賽提供的語料庫進行了研究，基于KNN算法、隨機森林等分類方法對問題的答案進行分類，并對分類結(jié)果進行分析和研究。實驗結(jié)果表明，GBRT和隨機森林這兩種算法的分類效果最好。

關鍵詞： 答案分類; 自然語言處理; 機器學習; 隨機森林;最鄰近節(jié)點算法

中圖分類號：TP39? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）12-0195-03

Abstract：Machine learning is widely used in natural language processing， and community question answering provides a new and interesting research direction. In the field of traditional Question Answering（QA），it can promote the development of user interaction and related post structure by studying user interaction behavior and analyzing its interaction mode through classification algorithm. In this context， this paper studies the corpus provided by SemEval semantic evaluation contest， classifies the answers based on KNN algorithm， random forest and other classification methods， and analyzes and studies the classification results. Experimental results show that GBRT and random forest algorithm are the best.

Key words：answer classification; natural language processing; machine learning; nearest neighbor node algorithm; nearest neighbor node algorithm

1引言

現(xiàn)如今許多社會活動都是通過互聯(lián)網(wǎng)進行，國內(nèi)以知乎、BBS論壇、豆瓣社區(qū)等為主，人們通過發(fā)帖、回帖，以問答的形式交流。無論國內(nèi)還是國外，人們通過社區(qū)問答（CQA）的形式在論壇和社交網(wǎng)絡上進行互動，在此上下文中的用戶交互是相當開放的，因此有很少的限制，每個用戶都可以發(fā)布帖子提問，同時也可以回答一個或多個問題。從好的方面來說，這意味著一個人可以自由地提問問題并且期待能得到一些好的、有用的答案。但在消極的方面上，提問者需要瀏覽所有相關的答案，并且需要進一步判斷這些答案的意義，即答案是否對解決問題有益。通常情況下，許多答案只是松散地與實際問題有關，有的時候甚至改變了話題的方向。一般來說，一個常見的問題可能有上百個答案，其中絕大多數(shù)的答案并不能滿足用戶的信息需求。因此，在一長串答案中找到所需的信息是非常耗時的。分類問題及其算法是機器學習的一個重要分支，Cover和Hart在1967年提出了基于距離度量的KNN分類算法[1]，在此之后，Breiman 等率先完成對于初期決策樹（DT）分類算法的闡釋，此即CART 算法，其特點在于借助樹結(jié)構(gòu)算法這一形式，完成對于數(shù)據(jù)的拆分形成離散類[2]，進入21世紀后在前人的研究上Breiman提出了隨機森林（RF）分類算法[3]，本論文針對社區(qū)問答系統(tǒng)的研究主要基于隨機森林分類算法展開。

本次研究基于SemEval給出的語料庫，針對社區(qū)問答系統(tǒng)中給定的帶有短標題和擴展描述的問題，對其每一個答案按如下分類：好（good），代表肯定有關;可能（potential），表示可能有用;另外其他情況分類為壞（bad），例如答案與問題無關，問題與答案為一組對話，語言為非英語等。

2機器學習分類算法及隨機森林算法

機器學習能夠借助計算機這一媒介，基于網(wǎng)絡存在的海量數(shù)據(jù)中研究以及學習數(shù)據(jù)出現(xiàn)規(guī)律以及存在方式，進而提前判定以及推測潛在信息，最終實現(xiàn)分類、回歸以及聚類等相關問題的有效解決。當前最常見的機器學習方式分為監(jiān)督、半監(jiān)督以及無監(jiān)督三類[4]。監(jiān)督學習問題，數(shù)據(jù)輸入對象往往提前配置分配標簽，借助大量數(shù)據(jù)進行訓練得出模型，隨后借助模型完成后續(xù)推測。若輸出變量具備連續(xù)性時，即回歸問題，若其呈現(xiàn)離散狀態(tài)，即分類問題。無監(jiān)督學習問題特點在于不會配置標簽，其重點在于研究數(shù)據(jù)可能存在的隱藏結(jié)構(gòu)，以此為基礎判定有無可區(qū)分組以及集群。半監(jiān)督學習基于二者間，借助適量標記數(shù)據(jù)以及海量未標記數(shù)據(jù)進行訓練和分類，雖然與標記數(shù)據(jù)相比未標記數(shù)據(jù)更容易獲得，但是少數(shù)標記樣本訓練深層神經(jīng)網(wǎng)絡會導致過度擬合[5]，如圖1所示，為一種有監(jiān)督學習的分類流程圖。

隨機森林（RF）算法關鍵點在于將經(jīng)由CART算法[6]構(gòu)設的尚未剪枝分類決策樹，視為基分類器，將Bagging[7]以及隨機特征選擇[8]進行有機融合，確保決策樹模型具備豐富性與多元性。其原理具體表現(xiàn)為：基于原始樣本大量借助Bootstrap法對于訓練集進行抽取處理，隨后各訓練集均訓練各自的決策樹模型，完成以上步驟之后，全部基分類器投票最高類別或其一，此即最終類別。具體步驟如下所示：

（1） 通過Bootstrap 法自原始訓練集中抽選數(shù)量為 k的樣本，確保各樣本容量均與原始訓練集保持一致;

（2） 基于k個樣本依次構(gòu)設與之對應的k個決策樹模型，進一步獲取k種分類結(jié)果;

（3） 對于各k種分類結(jié)果進行記錄，從中決定最優(yōu)分類結(jié)果。

最終分類結(jié)果選取的分類決策公式[9]如下：

[x=argmaxYi=1kIhix=Y]

其中 ， H（x）表示組合分類模型 ， hi是單個決策樹分類模型，Y 表示輸出變量（或稱目標變量）， I（·）為示性函數(shù)。

與傳統(tǒng)的分類算法相比，隨機森林分類算法具有高準確性等優(yōu)點，所以近年來無論理論還是方法在許多領域都有了比較迅速的發(fā)展。有研究者提出了一種基于隨機森林分類器的耕地提取方法[10]，通過分類實驗結(jié)果表明該方法可以在不降低分類性能代價的前提下減少特征冗余;文獻[11]研究了基于隨機森林特征選擇和Ceemd的短期光伏發(fā)電預測;唐洵等學者提出基于特征選擇與隨機森林的混合模型[12]，用以檢測網(wǎng)絡社區(qū)中的惡意評論，通過實驗得到了良好的判斷準確率。

3 實驗數(shù)據(jù)

3.1 英語數(shù)據(jù)集

使用了SemEval語義測評大賽提供的三個數(shù)據(jù)集：訓練，擴展和測試。所有的數(shù)據(jù)以xml格式存儲，文本編碼為UTF-8編碼。

數(shù)據(jù)集包含的屬性如下：

QID： 問題的內(nèi)部標識;

QCATEGORY： 問題的類別;

QDATE： 問題發(fā)布的時間;

QUSERID： 發(fā)布問題的用戶的內(nèi)部標識符;

CID： 注釋的內(nèi)部標識符;

CUSERID： 用戶發(fā)布評論的內(nèi)部標識符

CGOLD： 人類對評論即答案的評價標簽，為Good， Bad， Potential， Dialogue， on-English， 或 Other。

3.2 特征提取

從樣本中共提取了八個特征，問題和答案對的特征（特征有可能是答案單獨的特征，有可能是問題和答案結(jié)合產(chǎn)生的特征）。其中包括答案中有多少詞，網(wǎng)址連接的個數(shù)，圖片數(shù);答案的標題和問題標題的基于tfidf的余弦相似度;答案的內(nèi)容和問題的內(nèi)容的余弦相似度;答案內(nèi)容和問題標題的余弦相似度;答案的用戶id和問題的用戶id是否相同（若相同，很大概率是對話）

4實驗結(jié)果及分析

針對實驗所用數(shù)據(jù)集使用的如下分類算法與隨機森林算法為參照：有邏輯回歸（Logistic Regression）分類器，梯度提升回歸樹（gradient boosting regression tree），K近鄰分類器（KNN）。

分類結(jié)果如表1所示：

根據(jù)精確率，召回率，f1分數(shù)，可以看出隨機森林和gbrt這兩種分類算法的效果最好。但是gbrt對于類別potential的分類不是很好。KNN對于potential的分類效果較其他算法好一些，但是耗時較其他算法有些長，可能是由于測試集的數(shù)據(jù)不夠多，造成了這一結(jié)果。后續(xù)研究中可以改進的內(nèi)容包括在特征提取方面，可以從語義的角度考慮，以及在分類時使用神經(jīng)網(wǎng)絡，可以更加有效地處理數(shù)據(jù)，分類的結(jié)果也會更準確。

參考文獻：

[1] Cover T，Hart P.Nearest neighbor pattern classification[J].IEEE Transactions on Information Theory，1967，13（1）：21-27.

[2] Breiman L，F(xiàn)riedman J H，Olshen R A，et al.Consistency[M]//Classification And Regression Trees. Belmont：Routledge，2017：318-341.

[3] Breiman L.Random Forests[J].Machine Learning，2001，45（3）：261-277.

[4] （土）Ethem Alpaydin.機器學習導論[M].范明，昝紅英，牛常勇，譯.北京：機械工業(yè)出版社，2009.

[5] Mayer C，Paul M，Timofte R.Adversarial feature distribution alignment for semi-supervised learning[J].Computer Vision and Image Understanding，2021，202：103109.

[6]Denison David G. T.，Mallick Bani k.，Smith Adrian f. M.. A bayesian cart algorithm[J]. Denison david g. T.;mallick bani k.;smith adrian f. M.，1998，85（2）.

[7] Bauer E，Kohavi R.An empirical comparison of voting classification algorithms：bagging，boosting，and variants[J].Machine Learning，1999，36（1/2）：105-139.

[8] Stoppiglia H，Dreyfus G，Dubois R，et al.Ranking a random feature for variable and feature selection[J].Journal of Machine Learning Research，2003，3：1399-1414.

[9] 方匡南，吳見彬，朱建平，等.隨機森林方法研究綜述[J].統(tǒng)計與信息論壇，2011，26（3）：32-38.

[10] Su T F，Zhang S W，Tian Y N.Extracting croplands in western Inner Mongolia by using random forest and temporal feature selection[J].Journal of Spatial Science，2020，65（3）：519-537.

[11] Niu D X，Wang K K，Sun L J，et al.Short-term photovoltaic power generation forecasting based on random forest feature selection and CEEMD：a case study[J].Applied Soft Computing，2020，93：106389.

[12] 唐洵，湯娟，周安民.基于特征選擇與隨機森林混合模型的社區(qū)惡意評論檢測研究[J].現(xiàn)代計算機，2020（19）：22-26.

【通聯(lián)編輯：唐一東】