深度學習在文本表示及分類中的應用研究

崔瑩

摘要：近年來，隨著深度學習的快速發展，其已在多個應用領域開花結果，尤其在語音識別和圖像處理領域接連取得重大突破，然而仍在某些領域處于起步階段，如自然語言處理（NLP）領域，特別是對文本的表示及分類相關問題上的應用。自然語言處理任務中的文本分類技術是實現人機自由交互的關鍵技術，如何對文本內容進行提取和分類，從眾多非結構化的文本中提取出有效的信息，成為了解決文本信息管理中的關鍵手段。本文首先從深度學習基本概念開始，對首要任務及主要模型等方面進行介紹;其次分析討論深度學習在文本表示中的研究進展及應用策略;進而對基于深度學習的文本分類技術進行進一步介紹;最后，對深度學習在文本表示及分類中的應用難點進行展望。

關鍵詞：深度學習;自然語言處理;文本分類;文本表示

中圖分類號：TP18? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）16-0174-04

開放科學（資源服務）標識碼（OSID）：

Abstract： In recent years， deep learning has made a significant breakthrough in speech recognition and image processing. And it is still in the initial stage in the field of natural language processing （NLP）， which belongs to the category of human cognition， especially for the application of text representation and classification. The text categorization technology in natural language processing task is the key technology to achieve man-machine interaction. How to extract effective information from many unstructured texts and extract and classify text contents become the key means to solve text information management. This paper first introduces the main task and the main model of deep learning basic concepts; secondly discussed that deep learning research progress and application of strategies in the text; then further introduction of text classification technology based on deep learning; finally， the prospect of the application of deep learning difficulties in the text representation and classification.

Key words： deep learning， NLP， classification， text representation.

1? 前言

近年來，隨著深度學習的快速發展，其已在多個應用領域開花結果，尤其在語音識別和圖像處理領域接連取得重大突破，然而仍在某些領域處于起步階段，如自然語言處理（NLP）領域，特別是對文本的表示及分類相關問題上的應用。從 2006 年開始，研究者們便開始基于大規模無標注的語料上，利用深層神經網絡進行無監督學習，為每個詞學到一個分布式表示，并在形式上把每個單詞用一個固定維數的向量表示，將該向量作為詞的底層特征。在此特征基礎上，Collobert & Weston完成了詞性標注、命名實體識別和語義角色標注等多個任務[32]，RichardSocher等人利用遞歸神經網絡在句法分析、句子表示和情感分析等多個任務中開展應用，這也為文本的表示提供了新的思路[3][4][5][6][7]。

本文對當前基于深度學習的文本的表示和分類的研究進展重點展開分析，并對深度學習在自然語言處理領域未來可能的發展空間進行探討。 本文首先對深度學習的基本概念進行描述;其次再圍繞文本表示和文本分類兩個方面，對當前深度學習的研究現狀及應用策略進行重點分析討論;最后是結束語，對有待深入研究的難點進行展望。

2? 深度學習概述

深度學習是新興的一個機器學習研究領域，它起源于對人工神經網絡的研究，是基于深度神經網絡（deep neural network，DNN）一類學習方法的統稱。其首要任務是通過特征來對待處理問題中的對象進行表示，主要動機是對怎樣從數據中自動地提取多層的特征表示進行研究，通過數據驅動的方式，并采用一系列非線性的處理，提取原始數據中從低層到高層、從具體到抽象、從一般到特定語義的特征是其核心思想。傳統的機器學習方法由于對人工選取特征或表示過于依賴，且不具備自動抽取和組織信息的能力，因此具備無特征監督學習特點的深度學習得到了前所有為的進展。

近年來，在自然語言處理領域深度學習模型的應用已經取得了一定成果，并成為研究熱點之一，其研究主要是在對詞語、句子和斷章的學習表示及相關應用上。目前在深度學習研究領域有些使用比較主流的模型包括：卷積神經網絡、深度信念網絡、長短期記憶模型、自動編碼器、深度玻爾茲曼機以及循環神經網絡等。

Mikolo[8]等人通過利用神經網絡模型學習提出了一種名為詞向量或詞嵌入的新向量表示，其中包含了字詞的語法信息和語義信息，同詞袋表示相比，詞向量表示具有稠密、低維、連續的特點。Socher 等人[23]利用遞歸自動編碼的改進模型處理情感分析中的語義合成問題。Collobert 等人[24]利用詞向量方法處理自然語言處理任務，如命名實體識別、詞性標注、語義角色標注、短語識別等。Li 等人[26]在知識庫基礎上，將多柱卷積神經網（MUTI-COLUMN）應用于問答系統中來解決問題的分類。Cui 等人[27]將深度學習的方法用于解決學習主題表達問題和處理統計機器翻譯消歧問題。另外，Zhang 等人[25]則用深度卷積信念網來學習詞匯與句子層面的特征，并處理解決句子中詞之間的相關分類問題。自然語言處理領域范圍較廣，覆蓋了不同層次、不同性質的各種問題，這就要求我們在處理不同類型問題時，需要針對各類型問題特點，設計相應的深度學習模型，才能更好地解決處理到任務。

2.1卷積神經網絡模型（CNN）

卷積神經網絡可以看成是一個BP網絡的擴展，由多層的神經元通過有規律的連接而形成的，同時融合了共享權值和局部感受野、時間域或空間域上的三種結構性次采用的方法。卷積神經網絡能夠通過對大量的輸入與輸出來學習兩者之間的映射關系。圖 1為卷積神經網絡模型，模型有兩個隱藏層（c1、c2），每層是由多個神經元組成的二維平面（特征 map）組成，S1、S2為池化層。通過三個卷積核的卷積操作，將輸入X 映射為含有與卷積核相同數量的特征 map，池化后得到S1，再將S1作為輸入，經過卷積核的卷積、池化操作生成S2層的特征map，最后所有神經元通過全連接層連接成一個向量輸入到分類器中。在BP神經網絡、卷積神經網絡的權重調整中都采用了梯度下降方法，這樣做的目的是可使得權值從朝著梯度下降最快的方向進行調整，進而使網絡收斂速度加快。由于在同一特征映射面上具有相同的神經元權值，因此網絡可以并行學習，這也是相對于普通的神經元網絡來講卷積網絡的一大優勢。

2.2長短時記憶神經網絡模型（LSTM）

在傳統的神經網絡中，假設所有的輸入、輸出之間的映射關系是相互獨立的。但對于許多任務來說，需要其先前輸入的計算信息。比如預測句子中的下一個單詞，應最好知道在它之前有哪些單詞出現。遞歸神經網絡（RNN）（如圖 2）主要用于序列的模型預測，可以充分對上下文信息加以利用，對當前單詞進行記憶，并對這個時刻之前的所有單詞信息進行實時更新，基于序列從而更好的預測。正因為RNN基于序列的優點，使其在許多NLP任務中顯示出巨大的成功，比如不分段連續手寫識別、自主語音識別。特別是，遞歸神經網絡（RNN）最常用的類型是長短時記憶神經網絡（LSTM）（如圖 3）。LSTM 是 RNN一種特殊的類型，其本質思想和基本架構與RNN相同，但LSTM可以學習長期依賴信息，要比RNN捕獲更長時間的有效性特征。

3? 文本表示

在對文本數據進行分類之前，首先要將文本數據轉換成模型可以處理的定量化形式。因此，文本表示是文本分類的基礎，由于文本文檔是由大量字符組成的集合，其內部包含了非結構化或半結構化的信息，所以在被分類器所識別之前，必須要將其轉換為一種計算機可以理解的語言。在實際研究分析中，將文本的內容轉換成為機器可以理解的結構是有多種樣式的，可以用字、詞、短語、n-gram等不同形式分別形成向量或者樹的結構。在面向自然語言處理的深度學習中，目前常見的文本表示模型有One-hot representation、詞向量、詞袋模型、向量空間模型等。

3.1 One-hot representation

One-hot representation表示方法基礎思想：通過使用一個很長的向量來對每個詞進行表示;其中值為1的維度只有一個，該向量代表了當前的詞;其他絕大多數的元素值都為0;向量的維度表示詞表的大小。其純粹的向量表示形式只能對每個單詞進行獨立的表示，詞與詞之間的相關性無法得到表達，具有高維、稀疏性等缺點。

3.2 詞向量表示

Firth 提出了一種利用相近鄰的詞來表示當前的詞，其主要思想是：通過對不同范圍的上下文相近鄰詞進行計算，從而可以計算得到當前表示詞的多種不同表達值。例如當前中心詞的前后詞都可以通過計算來得到對當前中心詞的表達值。在這種思想基礎之上，所產生的詞表達方式被稱為Distributional similarity。這個思想也被譽為在現代統計自然語言處理中最成功的思想之一。

詞向量的表示方式是上述類似思想的延續和擴展，為了使相關或者相似的詞，能夠在距離上更接近（可以使用傳統的歐氏距離來對向量的距離進行衡量），Hinton提出了一種使用Distributed representation來表示詞的方式，通常稱為詞向量。詞向量本質是一種低維實數向量。用這種方式表示的向量，例如“話筒”和“麥克”的距離會遠遠小于“天氣”和“麥克”的距離。在目前自然語言處理中，詞向量的方式是深度學習得以應用的首選表示方式。

詞向量一般是依賴對語言模型的訓練來獲得。其中，常見的方式是在對訓練語言模型的過程中，同步訓練得到詞向量。通過使用大規模的無監督的文本語料數據集訓練得到的分布式詞向量中包含有更多的語義和語法的信息，并可以為模型提供一個較好的初始值[21]。在2008年Collobert 和 Weston首次提出了一種特殊的詞向量的計算方法[17]，文中對他們基于詞向量完成的眾多項自然語言處理任務進行了系統而詳細的總結，如短語識別、詞性標注、語義角色標注、命名實體識別等工作。

3.3 詞袋模型

詞袋模型是用一組無序的單詞來表達一個文檔或一段文字，忽略文本的語法和語序，文檔中的每個單詞都是獨立出現的，并不依賴于其他單詞是否出現。同時，文檔或文字段僅僅被看作是由若干個詞匯組成的集合。詞袋模型最典型的應用便是文檔分類。定義一個文檔集合D，其中共包含有M個文檔，通過提取文檔里所有單詞，構成一個由N個單詞組成的詞典。詞袋模型本質上可以認為是一種統計直方圖。基于詞袋模型表示，每個文檔都可以用一個N維向量來表示，進一步利用計算機便可以完成對海量文檔進行分類的任務。

3.4? 向量空間模型

向量空間模型（Vector space model，VSM）由Salton于20世紀70年代提出，并將其成功應用于著名的SMART（System for the mechanical analysis and retrieval of text）文本檢索系統中。該方法主要思想是：將對文本內容的處理轉換為對向量空間中的向量運算，并用空間上的相似度來對語義相似度進行表示。當文本被表示為文檔空間向量時，便可通過計算向量之間余弦的距離來對文本間的相似性進行度量。

4 文本分類

文本分類是自然語言處理領域重要的研究方向。文本分類是指通過對文檔的特征（主題、內容或屬性）進行分析，將大量的文本自動地劃歸到一個或多個類別的過程，詳見圖 4。在文本分類方法中，主要分為兩類：一類分類方法是基于知識工程的，另一類方法是基于機器學習的。基于知識工程的分類方法中需要大量的領域專家知識和知識庫作為分類過程的支撐，其對人力資源的要求較高且其規則不能窮舉，顯然不足以應對當今如此豐富的信息世界。正因如此，基于機器學習的文本分類技術得到不斷發展，如支持向量機（Support vector machine，SVM）、K近鄰算法（K Nearest Neighbor，KNN）、神經網絡（Neural Nets）、決策樹和最小二乘等。SVM的應用是文本分類中近幾年來最重要的進展之一。以上方法已經可以解決很多應用問題，但要求數據量較小、分布均勻、標注較準確。在大規模的應用中，文本分類技術在很多問題上仍存在挑戰。例如文本表示、非線性問題、數據集偏斜、多層分類、標注瓶頸、Web 頁面分類、算法的可擴展性等。

國內的文本分類的研究出現比較晚，但是其發展卻是非常的快。其早期主要是將外國的文本分類方法應用于中文的分類中，然而由于英文文本和中文文本存在著很大的差異，中文的文本分類算法在已有算法基礎上上進行了調整和修改，使得其更加符合中文的文本特點。同時，國內也對文本分類領域加大了基礎研究力度，產生了大量高效的算法，并且其中的一些算法已經被成功的運用到實際應用領域中，促進了中文文本分類技術的發展。如李榮陸等人的最大熵模型，王強等人提出的類別噪聲裁剪算法。由姜鶴等人提出的一種減少特征向量空間維數的特征提取的方法，大大提升了進行文本分類時對系統資源的利用率[28]。晉幼麗、周明全等人將 SVM 和 K-means兩種算法進行了很好地結合，并將其應用于文本中，首先利用 K-means 算法對文本進行聚類，然后在聚類的結果上選取訓練樣本，并在選取后的樣本上對 SVM 分類器進行訓練，并將訓練好的分類器用于進行文本分類[26]。劉少輝等人將改進的向量空間模型很好的應用于文本分類中，并使用了一種基于向量空間模型的特征項權重計算的方法[29]。張培穎等人在文本分類中通過使用詞語的語義相關性，大大降低了詞語的稀疏性對文本分類的影響[27]。許增福等人提出了一種基于神經網絡的文本分類方法，該方法中結合模糊理論，利用模糊理論自身的特點來構建神經網絡[30]。戚孝銘，施亮等人提出了一種特征選擇算法，該算法基于模擬退火算法結合蜂群算法，能夠快速地尋找最優解，并且避免陷入局部的最優，可以很好地得到最優特征。朱顥東等人提出了一種特征選擇方法，該方法解決了特征空間稀疏性，利用了類別的相關性和交叉熵來降低特征空間的稀疏性[31]。

由于傳統的機器學習方法主要是線性和淺層非線性的方法，因此對于復雜詞句的語義內容會帶來許多誤差。通過深度學習的技術學習文本深度特征，解決文本分類的方法，已有許多學者在探索。針對文本稀疏性和模糊性問題，Wang 等人提出語義聚類和卷積神經網絡對數據建模，增強上下文的語義相關性。Johnson 等人提出一個半監督卷積神經網絡學習框架，更有效的利用無標記數據。特別是，Zhou 等人提出的c-lstm模型，利用 CNN 提取文本句子特征，并被送入短期記憶遞歸神經網絡（LSTM）獲得的句子表征，在情緒分類和文本分類有較好的表現。借助大量數據，深度學習模型可自主學習詞句內在的句法特征和語義特征，較好的理解表示文本，有效填補人工提取特征的缺陷，具有較好的魯棒性和普適性。

5? 結語

在現階段以深度學習方法為主要方法的特征學習研究中，還存在著許多問題有待被進一步探索解決。例如在一個特征表示優于另一個特征表示時的主要因素是什么？假設給定一個表示對象，我們應該如何學習好的特征來表示？諸如此類的基本問題， 都有待被深入研究解決。在已有的深度學習模型研究中，存在著另一方面的難點，即在模型構建過程中如何對參數進行優化調整。主要參數例如深度網絡的層數、網絡的學習速率以及正則化等問題。當然也有一些可能的解決方案，如：采用多核機來提升網絡的訓練速度;在不同的應用場合中，選擇合適的具有針對性的優化算法等。在未來可能會被進一步研究的方向有：更多的利用深度學習的方法，自動地從原始文本中獲取特征，從而減少模型對標注數據的依賴，盡量少的從標注信息中學習特征;通過對神經網絡復雜度進行優化，在能夠完成任務的同時盡量降低模型的復雜度。

面向自然語言處理的深度學習研究工作中，盡已經有的深度學習算法模型如遞歸神經網絡、循環神經網絡和卷積神經網絡等均已經得到較為顯著的應用，但仍需要對其進行不斷深入研究和探索。在自然語言處理領域中，圍繞何時的深度學習模型的構建等研究工作仍有著非常廣闊的空間。

參考文獻：

[1] Bengio， Yoshua， Rejean Ducharme， Pascal Vincent. A neural probabilistic language model. Advances in NIPS . 2001.

[2] G.E.Hinton， S.Osindero， Y.Teh. A fast learning algorithm for deep belief nets. Neural Computation . 2006.

[3] Richard Socher，Brody Huval，Christopher D.Manning，Andrew Y.Ng. Semantic Compositionality through Recursive Matrix-Vector Spaces. Proc.ACL2010 . 2010.

[4] Richard Socher，Jeffrey Pennington，Eric H. Huang，Andrew Y. Ng，Christopher D. "Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions". Manning. Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing . 2011.

[5] Socher， R，C.D.Manning， A.Y.Ng. Learning continuous phrase representations and syntactic parsing with recursive neural networks. Proceedings of the NIPS-2010Deep Learning and Unsupervised Feature Learning Workshop . 2010.

[6] Richard Socher，Cliff Lin，Andrew Y Ng，Christopher Manning. Parsing naturalscenes and natural language with recursive neural networks. Proceedings of theTwenty-Eighth International Conference on Machine Learning . 2011.

[7] Mikolov， T.， Chen， K.， Corrado， G.， & Dean， J. （2013， January 17）. Efficient Estimation of Word Representations in Vector Space. arXiv.org.

[8] Mikolov， T.， Sutskever， I.， Chen， K.， Corrado， G.， & Dean， J. （2013， October 17）. Distributed Representations of Words and Phrases and their Compositionality. arXiv.org. //Proceedings? of? the? 27th Advances? in? Neural? Information? Processing? Systems? （NIPS 2013）.South Lake Tahoe， Nevada， USA， 2013： 3111-3119.

[9] Bengio， Y.， Ducharme， R.， Vincent， P.， & Janvin， C. （2003）. A neural probabilistic language model. The Journal of Machine Learning Research， 3， 1137–1155.

[10] Turney， P. D.， & Pantel， P. （2010）. From frequency to meaning： vector space models of semantics. Journal of Artificial Intelligence Research， 37（1）.

[11] Morin， F.， & Bengio， Y. （2005）. Hierarchical Probabilistic Neural Network Language Model. Aistats.

[12] Mnih， A.， & Kavukcuoglu， K. （2013）. Learning word embeddings efficiently with noise-contrastive estimation， 2265–2273.

[13] Mikolov， T.， Karafiát， M.， Burget， L.， & Cernock?， J. （2010）. Recurrent neural network based language model. Interspeech.

[14] Mikolov， T.， Yih， W.， & Zweig， G. （2013）. Linguistic Regularities in Continuous Space Word Representations. Hlt-Naacl.

[15] Mikolov， T.， Le， Q. V.， & Sutskever， I. （2013， September 17）. Exploiting Similarities among Languages for Machine Translation. arXiv.org.

[16] Collobert， R.， Weston， J.， Bottou， L.， Karlen， M.， Kavukcuoglu， K.， & Kuksa， P. （2011）. Natural Language Processing （Almost） from Scratch. Journal of Machine Learning Research， 12（Aug）， 2493–2537.

[17] Barkan， O.， & Koenigstein， N. （2016， March 14）. Item2Vec： Neural Item Embedding for Collaborative Filtering. arXiv.org.

[18] Le， Q. V.， & Mikolov， T. （2014， May 16）. Distributed Representations of Sentences and Documents. arXiv.org.

[19] LECUN Y， BENGIO Y， HINTON G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[20] SOCHER? R，? PERELYGIN? A，? WU? J，? et? al.? Recursive? deep? models? forsemantic? compositionality? over? a sentiment? treebank[C]//Proceedings? ofthe? 2013? Conference? on? Empirical? Methods? in? Natural Language Processing （EMNLP 2013）. Seattle， Washington， USA， 2013： 1642.

[21] Socher? R，? Pennington? J，? Huang? E? H，? et? al.? Semi-supervised? recursive? autoencoders? for predicting? sentiment? distributions[C]//Proceedings? of? the? Conference? on? Empirical? Methods? in Natural Language Processing. Association for Computational Linguistics， 2011： 151-161.

[22] Collobert? R，? Weston? J.? A? unified? architecture? for? natural? language? processing：? Deep? neural networks? with? multitask? learning[C]//Proceedings? of? the? 25th? international? conference? on Machine learning. ACM， 2008： 160-167.

[23] Zhang D，? Wang D. Relation? Classification? via? Recurrent? Neural? Network[J].? ar Xiv? preprint ar Xiv：1508.01006， 2015.

[24] Dong? L，? Wei? F，? Zhou? M，? et? al.? Question? answering? over? freebase? with? multi-column convolutional neural networks[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational? Linguistics? and? the? 7th? International? Joint? Conference? on? Natural? Language Processing. 2015， 1： 260-269.

[25] Cui L， Zhang D， Liu S， et al.? Learning? topic? representation? for? smt? with? neural networks[C]//Proceedings? of? the? 52nd? Annual? Meeting? of? the? Association? for? Computational Linguistics. 2014， 1： 133-143.

[26] 晉幼麗， 周明全， 王學松. SVM 和 K-means 結合的文本分類方法研究[J]. 計算機技術與發展， 2009， 19（11）： 35-37.

[27] 張培穎， 王雷全. 基于語義距離的文本分類方法[J]. 計算機技術與發展， 2013， 23（1）：128-130.

[28] 姜鶴.SVM 文本分類中基于法向量的特征選擇算法研究：碩士學位論文[D].上海：上海交通大學.

[29] 劉少輝， 董明楷， 張海俊， 等. 一種基于向量空間模型的多層次文本分類方法[J]. 中文信息學報， 2002， 16（3）： 9-15， 27.

[30] 許增福， 梁靜國， 田曉宇. 基于加權模糊推理網絡的文本自動分類方法[J]. 哈爾濱工程大學學報， 2004， 25（4）： 504-508.

[31] 朱顥東， 鐘勇. 基于類別相關性和交叉熵的特征選擇方法[J]. 鄭州大學學報： 理學版，2010， 42（2）： 61-65.

[32] 奚雪峰，周國棟. 面向自然語言處理的深度學習研究[J]. 自動化學報，2016，42（10）：1445-1465.

【通聯編輯：唐一東】