基于特征選擇和深度信念網絡的文本情感分類算法

向進勇 楊文忠 吾守爾?斯拉木

摘 要：由于人類語言的復雜性，文本情感分類算法大多都存在因為冗余而造成的詞匯量過大的問題。深度信念網絡（DBN）通過學習輸入語料中的有用信息以及它的幾個隱藏層來解決這個問題。然而對于大型應用程序來說，DBN是一個耗時且計算代價昂貴的算法。針對這個問題，提出了一種半監督的情感分類算法，即基于特征選擇和深度信念網絡的文本情感分類算法（FSDBN）。首先使用特征選擇方法（文檔頻率（DF）、信息增益（IG）、卡方統計（CHI）、互信息（MI））過濾掉一些不相關的特征從而使詞匯表的復雜性降低;然后將特征選擇的結果輸入到DBN中，使得DBN的學習階段更加高效。將所提算法應用到中文以及維吾爾語中，實驗結果表明在酒店評論數據集上，FSDBN在準確率方面比DBN提高了1.6%，在訓練時間上比DBN縮短一半。

關鍵詞：深度信念網絡;深度學習;特征選擇;半監督的情感分類算法;受限波爾茲曼機;文本情感分類

中圖分類號： TP391.1

文獻標志碼：A

英文標題

Text sentiment classification algorithm based on feature selection and deep belief network

英文作者名

XIANG Jinyong1，2， YANG Wenzhong1*， SILAMU·Wushouer2第三作者的名字書寫，與文后文獻17的寫法不同，此處表述是否正確？請核實。英文作者的書寫，在落款中，是姓氏大寫，名字要小寫，照此規定，中文姓名中，哪個是姓氏，哪個是名字，也請明確?；貜停壕S吾爾族姓名中點后面的是父親的名字

英文地址（

Abstract： Because of the complexity of human language， text sentiment classification algorithms mostly have the problem of excessively huge vocabulary due to redundancy. Deep Belief Network （DBN） can solve this problem by learning useful information in the input corpus and its hidden layers. However， DBN is a time-consuming and computationally expensive algorithm for large applications. Aiming at this problem， a semi-supervised sentiment classification algorithm called text sentiment classification algorithm based on Feature Selection and Deep Belief Network （FSDBN） was proposed. Firstly， the feature selection methods including Document Frequency （DF）， Information Gain （IG）， CHI-square statistics （CHI） and Mutual Information （MI） were used to filter out some irrelevant features to reduce the complexity of vocabulary. Then， the results of feature selection were input into DBN to make the learning phase of DBN more efficient. The proposed algorithm was applied to Chinese and Uygur language. The experimental results on hotel review dataset show that the accuracy of FSDBN is 1.6% higher than that of DBN and the training time of FSDBN halves that of DBN.

Key words： Deep Belief Network （DBN）; Deep Learning （DL）; Feature Selection （FS）; semi-supervised sentiment classification algorithm; Restricted Boltzmann Machine （RBM）; text sentiment classification

0 引言

如今，互聯網上社交媒體的數據量大幅度增長。個人和組織試圖從這些大型數據集中提取有用的信息，以便作出更好的判斷并提高客戶滿意度。例如，在決定是否購買產品或服務之前，客戶會查看其他人對產品的評論。同樣，產品的制造商也使用這些信息來提高產品的服務和質量。然而，由于網絡上有大量的可用數據，人們手工的去標注這些數據是不現實的，因此，文本情感分類（確定文檔中表達的情緒是積極的、中立的還是消極的）將對商業智能應用程序、推薦系統和消息過濾應用程序有幫助和益處。

為了構建一個準確的情感性分類器，在過去的幾年里，許多研究者嘗試將深度學習算法與機器學習算法相結合[1-4]。深度學習算法具有處理數百萬個參數的能力，可以極大地提高模型預測的能力。其中一個典型的例子是Socher等[4]提出的基于情感樹的遞歸神經網絡訓練，它能準確預測文本情感，準確率達85%以上;然而在有監督訓練方法中需要大量的標記訓練數據，手工標記這些數據常常是困難和費時的。

文獻[5]中提出了半監督學習的新方法，它的目的是利用大量的未標記數據和標記數據構建文本情感分類器。文獻[6]稱半監督深度學習模型可以在獲得良好的性能的同時避免上述問題。然而目前的深度學習算法對于大型應用程序來說計算成本很高。

此外，大多數分類算法使用固定大小的數字特征向量作為輸入，而不是使用原始的變長文本文檔，因此，有必要將一個文檔語料庫轉換為一個矩陣，每個文檔表示一行，每個詞語表示一列，每一列表示詞語在語料庫中發生的情況。由于人類語言的復雜性，特征項的維度可能超過1萬維度，而其中大多數是嘈雜的或冗余的。這將導致分類錯誤的數量和計算時間的增加。

為了克服上述缺陷，使學習階段更高效、更準確，必須進行有效的特征選擇，其目的是過濾訓練集中出現的非必要特征項，只選擇有意義的特征項。Forman[7]提出了多種特征選擇的方法。結果表明，采用特征選擇方法可以通過消除噪聲特征來減少輸入數據的維數，從而提高分類算法的性能，因此，本文提出的方法可以更快地訓練出分類模型，減少內存消耗，并得到更高的結果精度。

1 相關工作

在本章中，介紹相關特征選擇算法和半監督深度學習的理論背景。

1.1 特征選擇

特征選擇是通過選擇相關特征的子集來簡化模型構建的過程。它有兩個主要角色：第一個作用是通過減少詞匯輸入的大小來提高分類器的訓練過程的效率;第二個作用是通過過濾不重要的術語或噪聲特征來提高預測精度，因此，可以縮短訓練時間，也可以得到更好的模型表示。特征選擇是一種比較常用的特征維數約減的方法，選擇出更具有代表特征。特征選擇的好壞對情感文本分類的效果有很大的影響。

基本上，特征選擇技術可以分為三類：過濾技術、包裝技術和嵌入技術。在學習算法之前，使用基于過濾的技術作為預處理步驟。根據一些標準對特征進行排序，如果它們的分數超過適當的預先定義的閾值，就會進行選擇。包裝器技術使用一種學習算法來選擇和評估所有特性中的一個子集。嵌入式技術作為訓練過程的一部分進行特征選擇。

在這三種類型中，基于過濾的方法是最適合的，因為它簡單、快速，并且獨立于分類器。它具有良好的可擴展性，可以有效地應用于大型應用。文獻[8-9]對特征選擇的方法進行了研究，基于過濾器的技術有文檔頻率（Document Frequency， DF）[9-10]、信息增益（Information Gain， IG）[10]、卡方統計（CHI-square statistics， CHI）[11-12]、互信息（Mutual Information， MI）[13]等，在所有特征選擇算法中，本文使用文檔頻率、信息增益、卡方統計、互信息作為基于特征選擇和深度信念網絡的文本情感分類算法（text sentiment classification algorithm based on Feature Selection and Deep Belief Network， FSDBN）框架中的特征選擇方法，用實驗證明哪種特征選擇方法與深度信念網絡（Deep Belief Network， DBN）結合可以取得最好的文本情感分類效果。

1.1.1 文檔頻率

文檔頻率方法的基本思想是：統計每個詞的文檔頻率值，根據預先設定的最小文檔頻率值以及最大的文檔頻率值來除去一些沒有代表的特征，如果特征t的文檔頻率值在最小和最大閾值之間，則保留此特征t;否則就刪去此特征。這種方法理解與實現起來比較簡單，適用于大規模數據集，閾值的設定可能會影響到特征選擇的效果，從而影響到文本分類的效果。

1.1.2 信息增益

信息增益（IG）能夠度量某個特征包含類別信息的多少，一個特征詞的信息增益等于該特征出現前后的信息熵之差，通常會對某一文檔、類別或是整個數據集來計算，根據IG方法的定義，某個特征的信息增益越大說明該特征對于分類就越重要。

信息增益的公式（1）如下，針對某個具體的類別ci，對于特征t的信息增益如式（1）：

其中表示特征t不出現，那么特征t對于整個訓練集的信息增益如式（2）：

1.1.3 卡方統計

卡方統計（CHI）能表示兩個變量的相關性，CHI兼顧了特征存在與特征不存在時的情況。根據CHI的定義以及公式可知特征與類別的CHI值越大，就表示這個特征就越重要。

文獻[10]分別根據卡方統計（CHI）以及互信息（MI）的特征選擇方法給語料中的中文特征詞賦予了一定的權重。

有的研究人員也使用了改進的卡方特征選擇技術[12]來避免卡方統計量的缺點“低頻詞缺陷問題”（它只統計文檔是否出現詞而不管出現幾次）。這會使得它對低頻詞有所偏袒（因為它夸大了低頻詞的作用），甚至它會出現一些情況，一個詞在一類文章的每篇文檔中只出現一次，其卡方值卻大過了在該類文章99%的文檔中出現了10次的詞，其實后面的詞才是更具代表性的，但只因為它出現的文檔數比前面的文檔中詞少了“1”，特征選擇的時候就可能篩掉后面的詞而保留前者）。

1.1.4 互信息

互信息（MI）是信息論中的一個概念，表示的是一個隨機變量中包含另一個隨機變量的信息量。在文本情感分析任務中，特征項跟情感類別之間的互信息量可以表示特征項推測出情感類別的能力，若特征項與情感類別的互信息為0，這就可以表示特征項不包含任何的特征信息，對文本情感分類沒有任何的貢獻。如果互信息越大，表示特征項包含的情感信息越大，類別間的區分程度也就越大。特征項t與情感類別C之間的互信息量計算公式（4）如下：

不管使用什么樣的特征選擇技術，最終的目的就是減少特征的空間，消除噪聲從而提高分類器的性能。本文使用這四種特征選擇方法與深度信念網絡結合實現半監督的文本情感分類。

1.2 半監督深度學習

半監督深度學習是機器學習的一個分支，它利用少量的標記數據和大量的未標記數據。半監督深度學習算法的一個著名例子是深度信念網絡（DBN），它是由Hinton等最近提出的。DBN是由限制玻爾茲曼機（Restricted Boltzmann Machine， RBM）構造的許多隱藏層組成的。該模型利用大量未標注數據，克服領域依賴和缺乏標注數據缺陷，同時獲得良好的性能[14]。

1.2.1 受限玻爾茲曼機

受限玻爾茲曼機（Restricted Boltzmann Machine， RBM）是一種基于能量的生成隨機模型，其目標是了解其輸入集的概率分布。它由一個輸入層（可見層）和一個隱藏層組成，通過對稱加權連接，但同一層神經元之間沒有連接。圖1顯示了RBM的網絡模型。

為了訓練一個網絡模型，最廣泛使用的算法被稱為對比散度（Contrastive Divergence， CD）。訓練RBM的目的是優化網絡中的權向量，以最小化誤差。為了在盡可能保持輸入數據分布的同時降低網絡的能量，在訓練數據的對數似然時應用了隨機梯度上升，關于方程的更多細節可以參閱文獻[15]。

1.2.2 深度信念網絡

為了獲取更好的性能，一組受限制的玻爾茲曼機器可以定義為深度信念網絡（DBN）。為了構建DBN，本文可以按照以下步驟[16]。

利用一組RBMs作為構建塊，貪婪地分層無監督學習構造DBN。該學習算法有效地利用了未標記數據，在輸入數據中提供了大量的模式，從而比隨機數據產生更好的初始權值。

利用基于梯度下降算法的有監督學習方法，根據指數損失函數訓練DBN。模型的權值通過標記數據來細化，目的是進行模式分類。

圖2顯示了具有一個輸入層的DBN的貪婪分層無監督訓練過程，即輸入層x和三個隱藏層即從下到上分別是h1、h2和h3。較淺的顏色層代表已經過訓練的層，而較深的顏色層則是經過訓練的層從圖中看不出來，請明確是否描述正確？。經過貪婪的分層無監督學習，h3（x）是x的表示。然后，在頂部添加一個輸出層，并使用標記評論來細化權重，以提高識別能力。圖3顯示了完整的DBN。

作者說：圖3與圖2位置放反了。因此，調整圖形的編號即可。

在文本情感分類研究中，DBN采用以詞袋模型表示的矩陣作為輸入。前幾層期望從輸入中提取低層次的特性，而上一層則需要提煉以前學過的特性模式，從而生成更復雜的特征。最后，在輸出層預測評論的情緒傾向，無論是積極的還是消極的。

2 基于特征選擇和深度信念網絡的分類算法

本章將介紹基于特征選擇的深度信念網絡（FSDBN）的主要設計流程。圖4是顯示執行文本情感分類任務的框架。大多數任務與其他文本分類方法相似，分別包括特征提取、數據分隔、模型訓練和測試。然而，在本文題注的算法中有兩個新的任務，即特征選擇和縮減。每個任務的細節如下所述。

2.1 特征提取

在文本情感分類應用中，需要將變長文檔轉換為適合于分類算法的固定大小的數字特征向量。對基于文本的輸入進行特征提取的常用技術是詞袋技術，該技術通過單詞出現來描述文檔，而忽略了單詞的相對位置信息。有兩個主要任務，包括特征定義和加權分數計算。在本文的模型中，本文算法將標記的詞語應用為“特征”（中文使用結巴進行分詞、維吾爾語提取unigram）。

想要提取特性，首先進行分詞（中文使用結巴進行分詞、維吾爾語提取unigram），然后把所有的特征生成一個字典，在一個文檔中，如果該特征出現就賦值為1;否則為0。此外，根據每個詞匯表降序排列的次數排序的前2%詞匯表將被刪除，因為它們中的大多數都是停止詞（例如“的”“是”），或者它們可能是特定領域或通用的詞（例如，酒店評論中的“酒店”）。從理論上講，停用詞可以出現在正訓練數據集或負訓練數據集中，而不帶有任何情緒信息，這可能會增加分類錯誤率，因為它們的情緒含糊不清。在此過程之后，一個文檔語料庫就形成了一個二進制值矩陣，每個文檔表示一行，每個特性或標記在語料庫中表示一列。

2.2 數據劃分

為了使得到的結果更加具有說服力，在中文文本情感分類中，本文選取譚松波博士收集整理的酒店評論語料、京東上獲取的書集書籍評論語料、淘寶上獲取的電腦評論語料。

為了驗證模型FSDBN在維吾爾語文本情感分類中的有效性。相對于中文和英文來說維吾爾語的文本情感開放語料較少，本實驗所使用的維吾爾語文本情感語料是由伊爾夏提·吐爾貢等[17]在這三個維文網站（Alkuy、TianShan、Putbal）上收集的評論數據，然后經過維吾爾族大學生進行手工篩選，最終形成了pos類5000多條句子以及neg類5000多條句子。

在這四個數據集中，本文選取3000個標簽評論（即在每個數據集中，有1500個正面和1500個負面）。

由于所提出的分類器是一種半監督學習算法，利用未標記和標記數據構造分類器，因此，本文方法將數據集劃分為三個集，包括未標記訓練集、標記訓練集和標記測試集。將每個3000個評論的數據集隨機劃分為10個大小相等的文檔，同時為了交叉驗證的目的，仍然在每份文檔中保持平衡的類分布。在每一輪中，本文算法選擇一份文檔作為標記數據集，然后隨機選擇這份文檔中的一半評論作為標記訓練數據集，另一半作為標記測試數據集。其余9個折疊被用作未標記的數據集。

2.3 特征選擇和特征約減

為了提高分類精度，本文的目標是通過特征選擇和特征約減來消除可能導致分類誤差的噪聲特征。在本文的框架中，本文使用文檔頻率、信息增益、卡方統計、互信息特征選擇來確定哪些特征與情感分類最相關，以獲得最高的分類準確性。

本文提出的分類算法經過特征選擇算法來選擇前n%的特征來構建文本情感分類模型，而其他的則不用于分析。每個數據集的最佳n百分比值如表3所示見3.4節實驗。值得注意的是，本文之所以使用帶標簽的訓練數據集來進行特征選擇，僅僅是因為該算法基于監督學習方法，并且避免了測試集出現過擬合問題。

2.4 模型訓練和測試

本文框架中使用的情感分類模型是基于深度信念網絡的。首先，學習算法使用無標記的訓練評論執行貪婪的分層無監督學習;然后，利用基于梯度下降法的監督學習方法，通過帶指數損失函數的訓練來改進模型的權值;在完全構建預測模型后，利用標記數據對模型進行測試;最后的分類結果使用十倍交叉驗證在F值方面的平均。第3章將介紹DBN的學習參數和結構。

3 實驗以及討論

在本章中，為了驗證本文提出的FSDBN算法的性能，將其在準確率和訓練時間方面與其他算法半監督學習算法[1，4，18-20]進行比較。

3.1 實驗設置

本文實驗的目的是評估本文提出的框架與5種半監督學習情感分類器在準確性以及訓練時間方面的性能表現，這5種半監督的文本情感分類器分別是：深度信念網絡（DBN）、混合深信念網絡（Hybrid Deep Belief Network， HDBN）[4]、半監督譜學習（semi-supervised spectral learning）[18]、轉換式支持向量機（Transductive Support Vector Machine， TSVM）[19]、個人/非個人觀點（Personal/Impersonal Views， PIV）[20]。分類器具體概述如下。

譜學習利用數據矩陣特征向量中的信息檢測結構，進行半監督聚類和分類。

TSVM利用未標記數據提高了支持向量機（Support Vector Machine， SVM）的泛化精度。與SVM類似，它使用帶標記的訓練數據學習了一個大范圍的超平面分類器，但同時迫使這個超平面遠離未帶標記的數據。譜學習和TSVM方法是半監督情緒分類的兩種基本方法。

PIV采用個人和非個人的觀點構建半監督分類器。個人觀點包括直接表達說話人對目標對象的感受和偏好的句子，而非個人觀點則集中于對目標對象的陳述進行評價。

DBN是在第1章中提出的經典深度學習方法。

HDBN是RBM和卷積RBM（Convolutional RBM， CRBM）的混合深度網絡結構，底層由RBMs構造，可以快速減少尺寸，提取輸入信息;然后，使用CRBM在上層抽象更復雜的信息;最后，利用基于梯度下降法的有監督學習方法對整個網絡進行了指數損失函數的微調。

同樣，用于評估的5種文本情感分類器的數據集是酒店評論數據、書集書籍評論數據是書集？還是書籍？全文應該統一，請明確?；貜停簳臑闀㈦娔X評論數據以及維吾爾語評論數據。

3.2 參數設置

為了比較結果，本文提出的模型中使用的學習參數與文獻[3-4，21]相同。在訓練前的步驟中，本文對所有的隱藏層和輸出層執行貪婪的分層無監督學習，epoch=30。在有監督學習階段，將epoch設置為30，學習率為0.1，每個epoch設置為0.9。使用的DBN結構為100-100-200-2，表示三個隱藏層中的神經元單元數分別為100、100和200，輸出層中的神經元單元數分別為2（正、負）。

3.4 實驗結果

在從分類準確率和訓練時間方面詳細分析實驗結果和分析結果之前，首先要論證特征選擇和縮減對輸入維數大小的影響。

不同的特征保留率對文本情感分類的準確性以及模型的訓練時間有著一定的影響，在4個文本情感分析數據集上，特征保留率對文本情感分類準確性的影響。如表2所示。

從表2中可以看出使用不同的特征選擇方法進行特征選擇以及特征約減得到的F值不同。比如說使用文檔頻率方法在4個數據集上特征保留率為40%、40%、50%以及30%取得最好的分類效果。故根據表2可以得到表3 FSDBN模型在不同特征選擇方法下的特征保留率。

使用特征選擇可使得特征數目減少。它展示了本文提出的降維方法的性能，該方法可以過濾掉大多數無用的特征。表3顯示了在4個數據集上以及4種特征選擇方法特征減少到原特征的多少時文本情感的分類效果最好。

3.4.1 F值

采用半監督學習方法對4個情感分類數據集進行10倍交叉驗證的分類準確性結果如表4所示。

實驗證明了在三個數據集上本文提出的方法FSDNBN在準確率上都有所提升并且在兩個數據集上的特征選擇算法都是信息增益。

從表4可以看出，FSDBN在三個標記為粗體的數據集中執行了最好的精度結果。另一方面，DBN、HDBN和FSDBN可以在所有數據集中執行得很好。結果證明了深層架構在情感分類中的強大功能。

3.4.2 訓練時間

DBN與FSDBN的訓練時間（從執行特征提取到構建完整模型）結果如圖65所示。比較而言，除了要訓練的特性數量和網絡結構外，本文在相同的環境和相同的參數設置中運行它們。對于要訓練的特性數量，對于DBN，本文使用了完整的特性集，而不進行任何的特性選擇和減少，但是對于FSDBN，本文采用了第2章中描述的方法。

表格（有表名）

表4 半監督文本情感分類算法的F值表4與圖5是否存在重復表達現象，若存在重復表達，請只保留一種表達方式。正文中的引用文字部分和描述需作相應修改或刪除。

在圖65中，可以看到FSDBN在所有數據集中花費的訓練時間比DBN少得多。FSDBN的平均速度可以提高2倍多，在使用維吾爾語評論數據集時幾乎可以提高4倍。這是因為維吾爾語評論數據集比其他3個數據集具有更多的特性，因此，使用FSDBN，刪除了更多的特征，這使得與DBN相比，訓練時間更短，同時仍然保持了良好的準確率。

特別地，顯著提高FSDBN訓練時間的主要因素是它更簡單的深層結構，它替換了幾個隱藏層，但是增加了本文提出的特征選擇方法。

根據實驗結果，可以看出本文提出的FSDBN比其他半監督情緒分類算法更快、更準確。

4 結語

為了解決文本情感分類問題，本文提出了一種名為FSDBN文本情感分類算法，使用基于過濾器的特征選擇技術替換了DBNs中的幾個隱藏層，然后，過濾掉不必要的特性，只選擇有意義的特性。實驗結果表明，在特征選擇和約簡的輔助下，FSDBN的學習階段效率更高。FSDBN的分類精度高于基本的半監督學習算法，如光譜學習、TSVM和個人PIV。此外，FSDBN的性能略好于其他深度學習算法DBN和混合深度信念網絡（HDBN）。此外，還可以觀察到，與傳統的DBN相比，FSDBN花費的訓練時間要少得多。在未來的工作中，計劃將本文的算法并行化并在GPU平臺上運行，以加速其計算。目標是解決現實世界中的大量問題，具有更好的標度能力，同時仍能保持良好的分類準確率。這里的特征選擇方法只使用了文檔頻率、信息增益、卡方統計以及互信息，還可以使用其他的特征選擇方法。

參考文獻 （References）

[1] HINTON G， OSINDERO S， TEH Y. A fast learning algorithm for deep belief nets[J]. Neural Computation， 2006， 18（7）： 1527-1554.

[2] ZHOU S， CHEN Q， WANG X， et al. Hybrid deep belief networks for semi-supervised sentiment classification[C]// Proceeding of the 2014 25th International Conference on Computational Linguistic. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1341-1349.

[3] ZHOU S， CHEN Q， WANG X. Active deep networks for semisupervised sentiment classification.[C]// Proceedings of the 2010 23rd International Conference on Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2010： 1515-1523.

[4] SOCHER R， PERELYGIN A， WU J J. et al. Recursive deep models for semantic compositionality over a sentiment treebank [C]// Proceedings of the 2013 International Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2013： 1631-1642.

[5] DASGUPTA， S， NG V. Mine the easy， classify the hard： a semisupervised approach to automatic sentiment classification [C]// Proceedings of the 2009 47th International Conference on Annual Meeting of the Association for Computational Linguistics and Proceedings of the 2009/4th International Joint Conference on Natural Language of the Asian Federation of Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2009： 701-709.

[6] PANG B， LEE L， VAITHYANATHAN S. Thumbs up？： sentiment classification using machine learning techniques [C]// Proceedings of the 2002 International Conference on Association for Computational Linguistics on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2002： 79-86.

[7] FORMAN G. An extensive empirical study of feature selection metrics for text classification[J]. The Journal of Machine Learning Research， 2003： 1289-1305.

[8] YANG Y， PEDERSEN J O. A comparative study on feature selection in text categorization[C]// Proceedings of the 1997 14th International Conference on Machine Learning. San Francisco， CA： Morgan Kaufmann， 1997： 412-420.

[9] 周茜，趙明生，扈旻.中文文本分類中的特征選擇研究[J].中文信息學報，2004，18（3）：17-23.（ZHOU Q， ZHAO M S， HU M. Research on feature selection in Chinese text classification [J]. Journal of Chinese Information Processing， 2004， 18（3）： 17-23.）

[10] 吳金源，冀俊忠，趙學武，等.基于特征選擇技術的情感詞權重計算[J].北京工業大學學報，2016，42（1）：142-151.（WU J Y， JI J Z， ZHAO X W， et al. Weight calculation of affective words based on feature selection technique[J]. Journal of Beijing University of Technology， 2016， 42（1）：142-151.）

[11] 周愛武，馬那那，劉慧婷.基于卡方統計的情感文本分類[J].微電子學與計算機，2017，34（8）：57-61.（ZHOU A W， MA N N， LIU H T. Emotional text classification based on chi-square statistics [J]. Microelectronics and Computer， 2017， 34（8）： 57-61.）

[12] 裴英博，劉曉霞.文本分類中改進型CHI特征選擇方法的研究[J].計算機工程與應用，2011，47（4）：128-130.（PEI Y B， LIU X X. Research on improved CHI feature selection method in text classification [J]. Computer Engineering and Application， 2011， 47（4）： 128-130.）

[13] BAGHERI A， SARAEE M， de JONG F. Sentiment classification in Persian： introducing a mutual information-based method for feature selection[C]// Proceedings of the 2013 21th International Conference on Electrical Engineering. Piscataway， NJ： IEEE， 2013： 1-6.

[14] BLIZER J， DREDZE M， PEREIRA F. Biographies， bollywood， boomboxes and blenders： domain adaptation for sentiment classification[C]// Proceedings of the 2007 International Conference on Association for Computational Linguistic. Stroudsburg， PA： Association for Computational Linguistics， 2007： 440-447.

[15] LOPES N， RIBEIRO B， GONALVES J. Restricted Boltzmann machines and deep belief networks on multi-core processors [C]// Proceedings of the 2012 International Joint Conference on Neural Networks Piscataway， NJ： IEEE， 2012： 1-7.

[16] 張慶慶，劉西林.基于深度信念網絡的文本情感分類研究[J].西北工業大學學報（社會科學版），2016，36（1）：62-66.（ZHANG Q Q， LIU X L. Research on text emotion classification based on deep belief network[J]. Journal of Northwest Polytechnic University （Social Science Edition）， 2016， 36（1）： 62-66.）

[17] 伊爾夏提·吐爾貢，吾守爾·斯拉木，熱西旦木·吐爾洪太，等.維吾爾文情感語料庫的構建與分析[J].計算機與現代化，2017（4）：67-72.（TUERGONG Y， SILAMU W， TUSERHONGTAI R文獻的書寫中，是姓氏大寫，名字取首字母大寫，請明確中文姓氏中，哪個是姓氏，哪個是名字？， et al. Construction and analysis of Uighur affective corpus [J]. Computer and Modernization， 2017（4）： 67-72.）

[18] KAMVAR S D， DAN K， MANNING C D. Spectral learning[C]// Proceedings of the 2003 International Joint Conference on Artificial Intelligence. San Francisco， CA： Morgan Kaufmann， 2003： 561-566.

[19] COLLOBERT R， SINZ F， WESTON J， et al. Large scale transductive SVMs[J]. The Journal of Machine Learning Research， 2006， 7： 1687-1712.

[20] LI S， HUANG C R， ZHOU G， et al. Employing personal/impersonal views in supervised and semi-supervised sentiment classification[C]// Proceedings of the 2010 48th International Joint Conference on Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2010： 414-423.

[21] RUANGKANOKMAS P， ACHALAKUL T， AKKARAJITSAKUL K. Deep belief networks with feature selection for sentiment classification[C]// Proceedings of the 2017 48th International Conference on Intelligent Systems， Modelling and Simulation. Piscataway， NJ： IEEE， 2017： 9-14.