基于Adaboost框架下自動編碼器提升方法的文本分類

山東科技大學電氣與自動化工程學院 劉廣秀 宋單單

基于Adaboost框架下自動編碼器提升方法的文本分類

山東科技大學電氣與自動化工程學院 劉廣秀 宋單單

【摘要】針對文本分類問題，使用深度學習算法中的自動編碼器模型網絡建造Adaboost框架下的弱分類器，并且在自動編碼器神經網絡部分引入噪聲，引入神經元間歇性工作機制，更改不同參數以及層數構造弱分類器。利用神經網絡的稀疏性提高分類器的泛化性，加入Adaboost框架實現深度學習的集成算法。

【關鍵詞】SAE；Adaboost；文本分類；激勵函數

0 引言

大數據時代的到來，網絡的普及，信息量呈爆炸性趨勢增長，人們迫切需要一種實用性技術來有效的地組織和管理信息。從大量的信息中獲取有效信息變得尤為重要。文本挖掘、自然語言處理、信息檢索等技術很好地解決了信息過載時代的文本數據管理問題，文本分類技術作為這些領域的重要基礎，在近年來得到了快速發展和廣泛關注［1］。文本分類的方法有很多，典型的有樸素貝葉斯分類器［9］、BP神經網絡分類器、K近鄰算法（KNN）、支持向量機（SVM）分類器等，這些分類器在文本分類中均取得了很好的效果。并且在傳統分類器的使用上，有很多學者提出了改進方案，使得分類效果有所提升。比如基于深度信念網絡的文本分類器算法［10］，基于稀疏編碼器的文本分類算法［7］等。深度學習作為一種新興的多層神經網絡降維算法，通過組建含有多個隱層的神經網絡深層模型，對輸入的高維數據逐層提取特征，以發現數據的低維嵌套結構，形成更加抽象有效的高層表示［8］。傳統BP神經網絡梯度越來越稀疏，易于收斂于局部最優，有標簽的訓練數據類別涵蓋不全，且類別比例差別較大，使用深度學習網絡很易產生過擬合問題。根據已有的深度學與boosting結合案例，本文提出Adaboost與編碼器深度學習算法相結合算法。結合深度學習網絡提取特征良好的特點，本文提出使用深度學習網絡中的SAE網絡作為Adaboost框架下的弱分類器，使用不同激勵函數等參數變換構造不同的自動編碼器網絡，加入Adaboost框架的思想實現深度學習集成算法。

1 Adaboost算法

Boosting算法是一種把若干個分類器整合為一個分類器的方法，能夠將預測精度僅比隨機猜度略高的弱學習器增強為預測精度高的強學習器，這在直接構造強學習器非常困難的情況下，為學習算法的設計提供了一種有效的新思路和新方法.作為一種元算法框架，Boosting幾乎可以應用于所有目前流行的機器學習算法以進一步加強原算法的預測精度，因此應用十分廣泛，產生了極大的影響。Boosting方法有許多不同的變形，更具一般性的AdaBoost形式由ROBERT E.SCHAPIRE和YORAM SINGER在1999年提出，其核心思想是針對同一個訓練集訓練不同的分類器，然后把這些弱分類器集合起來，構成一個更強的最終分類器［5］。Adaboost的算法流程如下：

第1步：給定一組具有標簽的訓練數據集：

第2步：初始化訓練數據的權值分布。每一個訓練樣本最開始時都被賦予相同的權值：1/N。

第3步：使用弱學習算法，迭代m=1，2，3…M次。

a.使用具有權值分布的全訓練集，進行基本元分類器Cm訓練得到hm，或按照權重w1i對訓練集進行采樣后對元分類器Cm訓練得到分類器hm。

b.計算Cm在訓練數據集上的分類誤差率公式：

即Cm在訓練集上的誤差率就是被Cm分類錯誤的樣本的權值之和。

c.計算弱分類器Cm的權值系數公式：

d.更新訓練數據集的權值公式：

Zm是規范化因子，使得Dm+1為一個概率分布：

第4步：組合各弱分類器得到最終分類器表達式：

上述式子組成了Adaboost算法的基本步驟。Adaboost算法的自適應性在于：前一個基本分類器分錯的樣本會得到加強，加權后的全體樣本再次被用來訓練下一個基本分類器。

2 降噪稀疏自動編碼器

基本自動編碼器的描述如下：自動編碼器是運用了反向傳播進行無監督學習的神經網絡，學習的目的就是輸出信號盡可能復現輸入信號。為了實現這種復現，自動編碼器就必須捕捉可以代表輸入數據的最重要的特征，就像主成分分析那樣，找到可以代表原信息的主要成分［4］?；镜淖詣泳幋a器接收輸入向量，在激活函數的作用下對其進行線性變化，得到一個編碼結果［3］。本文選取sigmoid函數作為激活函數，計算公式如下：為編碼參數，為解碼參數。其中是一個的權重矩陣。的轉置矩陣，是偏置向量。

稀疏自動編碼器是加上一些約束條件得到的新的Deep Learning方法。在AutoEncoder的基礎上加上L1的Regularity限制（L1主要是約束每一層中的節點中大部分都要為0，只有少數不為0），我們就可以得到Sparse AutoEncoder法［2］。

降噪自動編碼器是在自動編碼器的基礎上，在訓練數據中加入噪聲，所以自動編碼器必須學習去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入［7］。因此，這就迫使編碼器去學習輸入信號更加魯棒性的表達，這也就促使了它的泛化能力比一般編碼器強。DA可以通過梯度下降算法去訓練。

3 基于Adaboost算法和降噪稀疏自動編碼器的文本分類模型

本文以DSAE（降噪稀疏自動編碼器）為弱分類器基本原型［8］，調整層數以及激勵函數種類構造不同條件下的弱分類器，使用NLPIR分詞系統提取文本特征，使用TFIDF作為詞語的權值，根據該權值來選擇特征詞，并統計詞頻作為文本特征訓練集。整個算法的流程圖如圖1所示。

圖1 基于Adaboost算法和SAE網絡的人體損傷程度預測流程

設計基于SAE網絡弱預測器［6］：每個分類器可能出現的不同特征設計：加入稀疏懲罰項、不加入稀疏懲罰項、神經網絡預訓練的激發函數使用sigmoid函數、神經網絡訓練數據是否加入噪聲、神經網絡監督微調部分使用激發函數sigmoid函數、神經網絡監督微調部分使用tanh函數、神經網絡的層數變化、節點數變化。以變化自動編碼器參數等方式，實現每個分類器的結構互異性，加大各個分類器的分類各異性，實現網絡的結構設計使得不同弱預測器具有不同的預測傾向性，運用Adaboost集成各個弱分類器加大集成分類器的泛化性，使得分類器分類效率更高。

參考文獻

［1］M.S.Bartlett，G.Littlewort，M.G.Frank，C.Lainscsek，I.Fasel，and J.R.Movellan.Recognizing facial expression∶Machine learning and application to spontaneous behavior.In CVPR，volume 2，pages.568-573，2005.

［2］J.Mairal，F.Bach and J.Ponce.Sparse Modeling for Image and Vision Processing.Foundations and Trends in Computer Graphics and Vision.vol 8.number 2-3.pages 85-283.2014.

［3］孫志軍，薛磊，許陽明.深度學習研究綜述［J］.計算機應用研究，2012，29（8）∶2806-2810.

［4］Hinton，G.E.and Salakhutdinov，R.R.Reducing the dimensionality of data with neural networks.Science 2006.

［5］曹瑩，苗啟廣，劉家辰，高琳.AdaBoost算法研究進展與展望［J］.自動化學報，39（6）∶745-758.

［6］Bengio，Y.，Lamblin，P.，Popovici，P.，Larochelle，H.Greedy Layer-Wise Training of Deep Networks.NIPS 2006.

［7］Pascal Vincent，Hugo Larochelle，Yoshua Bengio and Pierre-Antoine Manzagol.Extracting and Composing Robust Features with Denoising Autoencoders.ICML 2008.

［8］殷力昂.一種在深度結構中學習原型的分類方法［D］.上?！蒙虾＝煌ù髮W，2012.

［9］張雪峰.設計貝葉斯分類器文本分類系統［J］.電腦知識與技術，2005（20）.

［10］陳翠平.基于深度信念網絡的文本分類算法［J］.計算機系統應用，2015，24（2）∶121-126.