試題知識點預測： 一種教研知識強化的卷積神經網絡模型

胡國平，張 丹,3，蘇 喻,2，劉青文，李 佳，王 瑞

(1. 科大訊飛股份有限公司，安徽 合肥 230088；2.安徽大學 計算機科學與技術學院，安徽 合肥 230039；3. 中國科學技術大學 計算機科學與技術學院，安徽 合肥 230027)

0 引言

隨著大數據和人工智能的發展，個性化學習的發展越來越快，它能夠為教師提供班級個性化診斷報告，幫助教師輕松掌握班級學習情況；為家長提供學生個性化診斷報告，讓家長對自己孩子的學習情況一目了然；更重要的是為學生提供個性化診斷報告和個性化資源推薦，幫助學生了解自己，并運用大數據和人工智能為學生規劃適合自己的學習路徑，推薦適合自己的個性化學習資源，改變過去“千面一人”的教學模式，讓學習變得簡單高效[1-3]。在個性化學習模式中，無論是個性化診斷報告的生成，還是個性化資源推薦，行之有效的方法是從知識點的維度構建結構化題庫，進而結合學生的學習歷史生成個性化診斷報告和推薦資源[4-6]。因此，如何給試題準確標注知識點是進行題庫構建和個性化學習的首要問題。

試題的知識點是描述試題用到的知識，例如，數學學科的知識點標簽包括“函數的基本概念”、“函數定義域與值域”等。它描述一道試題需要知識，從而根據學生的做題歷史能夠診斷出學生各個知識掌握的程度和準確定位學生需要學習提高的地方，對學生的學習有極大幫助。本文將研究如何對試題進行知識點標注。

傳統的知識點標注有兩種方法，人工標注方法[7]和機器學習方法。人工標注方法即是讓教研人員或一線教師，對每一道試題選擇試題合適的知識點。另外，近年來NLP在教育領域的應用也取得了不錯的效果[8-11]，可以通過文本分類的方法進行知識點自動預測。由于一道試題含有一個或多個知識點標簽，因此知識點標簽預測常作為多標簽分類問題進行解決。常用的有傳統機器學習方法和普通的深度學習方法。

然而，人工標注門檻高，要求標注人員有較強的學科知識。由于試題繁多，耗時耗力，且隨著新題的增加，需要持續投入人力進行標注。

另外，人工標注主觀性強，標注一致性低。因此，統一標準的標簽自動預測能力顯得尤為重要。而機器學習領域目前常用的多標簽分類方法，未結合教研經驗，預測效果有限，尤其對標注語料少的知識點的表現極差。要想達到標準一致，且效果較好的自動標簽預測所面臨的挑戰是巨大的。

為解決以上問題，本文提出了一種教研知識強化的卷積神經網絡方法，簡稱ECNN(Expertise-Enriched Convolutional Neural Network)。本方法希望融合教研和機器學習的優勢來彌補各自在試題知識點標注上的不足。ECNN方法中教研只需投入少量人力進行教研經驗編寫，并且合理結合了教研經驗和機器學習的優勢，使決策和教研信息互相約束。知識點教研經驗即是教研中認為一個知識點下常出現的詞語、公式和模式，對一個學科內的所有試題通用，一個學科只需編寫一份，增加新題不需重新編寫。在ECNN方法中，第一步抽取試題信息；第二步由教研編寫知識點的教研經驗；第三步通過卷積神經網絡對試題信息和教研經驗進行深層語義理解和表達，并使用注意力機制[12]計算教研信息對試題的重要程度，使得和試題相關知識點的教研經驗更重要；第四步將決策和教研經驗互相約束，要求二者相互補充相互制約，提升泛化能力。實驗表明與傳統的機器學習方法和普通深度學習方法相比，本文方法的性能更好。綜上，本文所提出的知識點預測方法的主要創新點如下： (1)提出一種人機結合的框架，能夠在深度學習中融入教研經驗；(2)決策和教研經驗互相約束。

本文的其他部分組織如下： 第一節介紹知識點預測的相關工作；第二節介紹本文提出的ECNN模型；第三節給出實驗方法及結果；第四節簡述結論及下一步工作。

1 相關工作

知識點標簽預測可作為多標簽文本分類問題，并且該問題具有文本短、領域受限、樣本分布失衡、標簽層次化等特點。目前已有的研究工作大多無法針對上述幾個關鍵問題直接給出一個令人滿意的分類模型。根據分類特征的表達方式不同，本節將相關的研究工作總結為以下兩個方面。

1.1 基于淺層特征的文本分類方法

傳統的文本分類方法常采用向量空間模型(vector-space-model，VSM)來描述文本特征，VSM基于詞袋模型(bag-of-words)假設，將文本表示成詞表維度的向量，并基于詞的頻率統計量(TF-IDF等)來刻畫向量的每一維特征[13]。這些特征最后用來訓練SVM、樸素貝葉斯、決策樹等分類模型[14-17]。VSM存在嚴重的特征稀疏問題，研究者們考慮到文檔中的詞共現關系，并據此提出了LSA、LDA等一系列名為隱語義分析的文本分類方法,取得了不錯的效果[18-19]。

然而，無論是向量空間模型還是隱語義分析都基于詞袋假設，因而無法建模詞序、詞語搭配、篇章結構等信息，而這些信息對于文本分類，尤其是對于短文本分類來說是十分重要的特征。另外，上述模型也無法有效地融合領域專家知識和層次化的標簽結構，而這些正是知識點標簽預測問題所面臨的挑戰。

1.2 基于分布式語義表示的文本分類方法

深度神經網絡是一種強大的表示學習方法，并且已經在計算機視覺[20]和自然語言處理[21]等許多任務上取得了驚艷的成果。在NLP任務中，深度學習的核心思想是通過有效的訓練把詞、句子、篇章表達成稠密的矢量(分布式語義表示)，這些矢量不但蘊含了1.1節中所述的基本統計特征，而且刻畫了詞的上下文、句子詞序或者篇章結構等語義信息。常見的文本表示學習方法包括Word2Vector、CNN、RNN等[22-24]，人們一般通過這些方法得到文檔的矢量表達，然后將其輸入到分類損失函數中以訓練最終的文本分類模型。

然而上述方法仍然無法解決領域知識融合及樣本分布失衡等問題。本文通過引入一種基于注意力機制的領域知識融合模型，在一定程度上緩解了樣本分布失衡問題，并有效地提高了分類準確率。

2 ECNN方法

定義知識點集合K={k1，k2，…，km}，試題集合Q={q1，q2，…，qn}，試題知識點對應集合S={sq1，sq2，…，sqn}，其中sqi為試題qi包含的知識點。則本文的目標是給定知識點集合K，試題集合Q，試題知識點對應集合S，對于不在Q中的試題qt，預測該試題的知識點sqt。

本文方法的關鍵點在于能夠融入教研經驗，決策和教研經驗互相約束。一共分為四個部分： (1)試題文本信息抽取；(2)教研經驗獲得；(3)計算教研經驗對試題的重要程度；(4)決策和教研經驗互相約束。

2.1 試題文本信息抽取

本步是為了抽取試題文本信息特征，供對試題做深度語義理解使用。對于給定的試題qi，抽取試題的文本信息Fqi={f1，f2，…，fu}。

試題文本包括題面、答案、解析，如表1。首先抽取題面的信息，如圖1。將試題的題面中的中文和公式進行切割，切割后將中文使用帶有學科詞典和停用詞的分詞器進行分割。再將公式解析成公式樹，從公式樹上抽取語義信息，然后將分詞結果和公式語義信息按順序一起組成如表2所示的unigram特征Fqic。

表1 試題的題面答案解析

圖1 試題的題面信息抽取

題面若奇函數f(x)在(-∞,0)內是減函數,且f(-2)=0,則不等式x·f(x)<0的解集為Unigram特征奇函數/FUN_VALUE_VAR/INTEVAL/NINF/內/減函數/FUN_VALUE/EQUAL/NUM/不等式/VARx/CDOT/FUN_VALUE_VAR/INEQUAL/NUM/解集/TARGET

其中，學科詞典為含有學科專有詞的詞典。例如，數學學科詞典含有函數、定義域、單調遞增等。停用詞指分詞過程中需過濾掉的無用詞。例如: 的、若等。公式樹是將公式解析成樹狀結構，如x?f(x)<0解析成如圖2所示的樹，其中在公式樹上抽取出的特征種類有269類，如表3所示。

圖2 公式樹

特征含義FUN_VALUE_VAR帶變量的函數INTEVAL區間NINF負無窮FUN_VALUE函數EQUAL等于NUM數字VARx變量xCDOT乘TARGET求解目標

然后將試題的答案和解析用同樣的方式抽取unigram特征Fqis，Fqia。Fqic、Fqis、Fqia合并成試題文本信息Fqi={f1,f2,…,fu}。

2.2 教研經驗信息獲得

本步是為了獲取教研經驗，以供在模型中加入教研經驗。對于知識點kj，獲取教研經驗信息Jkj={j1,j2,…,jh}。

對于知識點kj，其教研經驗信息包含此知識點的相關試題中經常出現的詞語、公式及模式信息。教研經驗信息可直接編寫為unigram特征的形式，也可先編寫為如試題的題面一樣的文本形式，再由2.1中的抽取方式抽取成unigram特征的形式。但無論以何種格式編寫，最終都要轉換成unigram特征的表示形式，這樣在后續計算教研信息對試題的重要程度時能取得更好的效果。例如，對于知識點“增函數與減函數”，教研經驗信息Jkj最終表示為表4所示，其中“/”為分隔符。

表4 教研經驗信息

教研經驗信息可人工制作，也可以人機結合制作。人工制作是指由學科專家完全憑自己的經驗進行編寫。人機結合制作是指先由機器通過頻繁模式挖掘出知識點的關鍵詞語、公式和模式，再由學科專家對此結果根據自身教研經驗進行增刪改。兩種方式均需要由多名教研人員參與，多名教研人員先獨立制作，然后根據制作出的多份教研經驗中的unigram特征進行投票。投票高于閾值的unigram特征保留，低于閾值的unigram特征由多名教研人員進行二次投票。二次投票高于閾值的保留，低于閾值的去掉。對比發現人機結合的制作方式能夠更加快速且更加全面的獲得教研經驗信息。

2.3 計算教研信息對試題的重要程度

本步是為了對試題進行深度語義理解，并且由于m個知識點的教研信息對試題并不是同等重要，因此需要計算教研信息對試題的重要程度。

例如，對于表1中的試題，知識點“函數的奇偶性”、“函數的單調性與單調區間”和“不等式求解”要比其他知識點的教研信息重要。計算教研信息對試題重要程度具體的方式是使用注意力機制(attention model)。如圖3所示，首先將試題文本信息和教研經驗都轉換成深層語義表示，然后通過注意力機制計算教研信息對試題的重要程度W={w1,w2,…,wm}。其中W∈Rm，m為知識點個數。

圖3 計算教研信息對試題的重要程度

2.3.1 提取試題深層語義信息

對2.1中抽取的試題文本信息的unigram使用google開源的Word2Vec轉換為word embedding。設試題qi的unigram為式(1)。

qi={f1,f2,…,fu}

(1)

經過word embedding之后，該試題文本信息表示為式(2)。

QEqi={qe1,qe2,…,qeu}

(2)

其中QEqi∈Rd×u，d表示word embedding的維數,u表示qi的unigram數目。將QEqi送入多層卷積和Pooling構成的深層神經網絡中提取其語義特征，得到QDqi，如圖3所示。我們用g(.)表示多層卷積和pooling的非線性變換，整個過程可以表示為式(3)。

QDqi=g(QEqi)

(3)

其中，QDqi∈Rd。

2.3.2 提取教研經驗深層語義信息

同時，對2.2中抽取的m個知識點的教研經驗進行word2vec轉換。設知識點kj的教研經驗表示為式(4)。

Jkj={j1,j2,…,jh}

(4)

經過word embedding之后，該知識點教研經驗表示為式(5)。

JEkj={je1,je2,…,jeh}

(5)

其中JEkj∈Rd×h，d表示word embedding的維數,h表示qi的unigram數目。將JEkj送入多層卷積和Pooling構成的深層神經網絡中提取其語義特征，得到JDqi，如圖3所示。我們用f(.)表示多層卷積和pooling的非線性變換，整個過程可以表示為式(6)。

JDkj=f(JEkj)

(6)

其中，JDkj∈Rd。對m個知識點的教研經驗都做此操作，可得到教研經驗的深層語義表示為式(7)。

JD={JDk1,JDk2,…,JDkm}

(7)

其中m為知識點集合所包含的知識點個數。

2.3.3 注意力機制度量知識點的重要程度

在得到QDqi和JD={JDk1,JDk2,…,JDkm}后，我們使用注意力機制來度量試題QDqi與所有知識點JD之間的相關程度。具體地，對于知識點教研經驗的JDkj，使用一層或多層前向神經網絡計算QDqi和其之間的相似度，前向神經網絡的非線性變換用函數σ(.)表示，相似度計算過程可以表示為式(8)。

wqikj=σ(QDqi,JDkj)

(8)

對于m個知識點，均可得到每個知識點和QDqi的相似度，歸一化后得到式(9)。

Wqi=(wqik1,wqik2,…,wqikm)

(9)

其中Wqi∈Rm，m為知識點個數，這樣使用Wqi對所有知識點的語義表示JD進行加權累和，得到對于試題qi的QDqi的知識點的響應表示Cqi，如式(10)所示。

(10)

其中Cqi∈Rd。

2.4 決策和教研經驗互相約束

最后考慮試題語義信息和教研經驗的互相約束。我們不僅能對試題進行深度語義理解，通過注意力機制計算教研信息對試題的重要程度，而且訓練目標會結合知識點標簽標注信息，并且決策和教研經驗互相約束。

將2.3.1節得到的試題深層語義信息QDqi和2.3.3節得到的教研經驗對試題的重要程度Cqi拼接起來，輸入多層前向網絡，預測知識點。

此過程為式(11)所示。

Pqi=ρ(QDqi,Cqi)

(11)

其中Pqi表示試題含有各知識點的概率，ρ(.)表示多層前饋神經網絡。

模型的損失函數定義為式(12)所示。

(12)

其中Pqikj為試題qi預測含有知識點kj的概率，Tqikj為試題qi真實含有知識點kj的概率，wqikj為知識點kj的教研經驗對試題qi的重要程度，λ和η為損失函數的超參。至此，整個模型描述完成。

3 實驗

3.1 數據集介紹

實驗所用的數據集為某知名教育企業題庫數據，抽取其中高中數學試題，共278 167道試題。

此企業的知識點體系為三級樹狀結構，一級包含12個知識點，二級48個知識點，三級361個知識點。以一級知識點集合為例，知識點體系如表5所示。

表5 知識點體系

試題為文本格式，其中的公式為latex格式，每道試題上均標有一個或多個三級知識點。詳細信息見表6。將278 167道試題，在考慮題型、知識點分布的情況下分為8∶1∶1，分別作為訓練集、開發集、測試集。因此訓練集試題數： 開發集試題數： 測試集試題數=222 406∶27 856∶27 905。其中測試集試題知識點標簽為兩位數學學科專家共同標注，然后將不一致部分取出多位專家共同討論確定。

表6 實驗數據集

3.2 實驗評價指標

為了評價本文所提出的知識點預測方法ECNN的預測效果本文分別驗證知識點預測任務下的整體效果和單知識點的效果。整體效果和單知識點效果均采用精準率(precision，P)、召回率(recall，R)和F1指標來評價ENCC方法和其他對比方法的效果。

3.2.1 整體效果評價指標

整體效果即是所有試題的效果，精準率、召回率、F1值定義如式(13)～(15)所示。

其中n為試題總量。由于一道試題中含有大于等于一個知識點，式中的TPi為試題qi所含知識點被預測出的數量，FPi為試題qi預測出的知識點不是試題qi所含知識點的數量，FNi為試題qi所含知識點未被預測出的數量。

3.2.2 單知識點效果評價指標

為了分析每個知識點的效果，采用單知識點的精準率、召回率、F1值，對于知識點kj，其定義如式(16)～(18)所示。

對于單個知識點kj的效果，TPkj為含有知識點kj且預測出知識點kj的試題數量，TPkj為不含知識點kj且預測出知識點kj的試題數量，FNkj為含有知識點kj且未預測出知識點kj的試題數量。

3.3 對比試驗方法

為了驗證ECNN知識點預測的效果，本文將ECNN與如下實驗方法進行對比：

(1) KNN協同過濾方法[25]。首先，計算待預測試題和已標注知識點試題間的cosine相似度，找出和待預測試題相似度最大的k個試題，也即是和待預測試題最相近的試題。然后，根據k個最相似試題的知識點預測目標試題的知識點。

(2) 傳統機器學習方法。此處選擇了樸素貝葉斯(NB)和支持向量機(SVM)。對試題的題面抽取特征后，對每個知識點進行二分類，通過多個二分類進行多標簽預測。

(3) 普通神經網絡方法。由于試題的題面一般不長，用遞歸神經網絡(RNN)效果略差，此處選擇了深度神經網絡(DNN)和卷積神經網絡(CNN)。首先使用Word2Vec將試題的題面轉換成詞向量，然后通過DNN或CNN進行試題深層語義理解，進行多標簽預測。

3.4 實驗結果及分析

實驗部分從以下四個方面進行試驗并闡明實驗結果：

(1) 對比試驗，ECNN方法相比于對比方法效果是否有提升？

(2) 訓練數據規模對效果是否有影響？隨著數據量的增大，效果是否會持續提升？當數據量很小時，ECNN方法能否準確預測知識點？

(3) 加入的教研經驗是否合理？

(4) 決策和教研經驗互相約束是否合理？

3.4.1 對比試驗

本實驗是為了驗證ECNN方法相對于對比方法效果是否有提升。

其中人工標注方案是高中一線數學老師對測試集中試題進行人工標注，與測試集中知識點標簽進行對比。本實驗將多種方法在相同數據集上進行知識點預測，以整體效果評價指標進行對比，因知識點體系為三級體系，我們同時對比一級、二級、三級效果。但是試題上最終標注的都是三級知識點，因此以三級知識點效果最為重要。

圖4 一級知識點標注效果

實驗結果如圖4、圖5、圖6所示。對于一級、二級、三級知識點，本文的ECNN方法均優于傳統機器學習和普通深度學習方法；ECNN方法的效果幾乎和人工標注結果持平，也即是達到一線數學老師人工標注水平。此外，從圖中，我們還可以看到基于深度結構的模型(DNN、CNN、ECNN)優于傳統機器學習模型(KNN、NB、SVM)，由此可知，基于深度結構的模型能夠充分理解試題與標簽之間的深度語義，比基于淺層特征的傳統模型有更好的表示效果。

圖5 二級知識點標注效果

圖6 三級知識點標注效果

3.4.2 訓練數據規模對效果的影響

本實驗為了驗證(1)當數據量很小時ECNN方法是否有效；(2)數據集規模對效果有怎樣的影響。

由于一些知識點標注數據總量很少，因此不適合設計對所有知識點樣本量個數取值從小到大進行試驗。此處我們將361個知識點按照樣本量從小到大排序，觀察單個知識點預測效果的變化趨勢。雖然知識點間的差異對效果有影響，但是仍可看出數據量從小到大變化時效果的變化趨勢。

數據量從小到大變化時，效果的變化趨勢如圖7所示。其中橫坐標為單個知識點訓練樣本量，縱坐標為單個知識點效果。從圖中可以看出，當數據量很小時，ECNN方法遠優于傳統機器學習方法和普通深度學習方法；隨著數據量的增加，ECNN方法效果增大較快；ECNN方法和普通深度學習方法對于數據量較大時依然能保持隨著數據量的增加效果變好。

圖7 知識點效果F1變化趨勢

3.4.3 加入教研經驗的重要性探討

本實驗為了驗證加入的教研經驗是否合理。

隨機取試題qi，對比教研信息對試題qi的重要程度Wqi和試題知識點sqi。其中，試題qi和sqi如表7所示，Wqi共361維，其中數值最大的15維如圖8所示。其中k1到k15表示知識點如表8所示。

表7 試題及其知識點

圖8 教研信息對試題重要程度

k1等差數列的通項公式k2等差數列的性質k3等差數列的判定與證明k4等差數列的應用k5等差數列的求和k6等差數列與等比數列的綜合應用k7數列的分類k8等比數列的通項公式k9等比數列的性質k10等比數列的求和k11等比數列的判定與證明k12等比數列的應用k13數列的概念及表示法k14數列的函數特征k15一次和二次函數

由圖8可以看出，和教研信息對試題最重要的知識點為等差數列的通項公式、等差數列的性質、等差數列的判定與證明，其中前兩個為試題本身所含有的知識點，而第三個知識點為同一個二級知識點下的相鄰知識點，由此可看出加入教研經驗是合理的。

另外知識點等差數列的判定與證明在決策和教研信息互相約束時被去除，此實驗在3.4.4節中說明，此處不做詳細說明。

3.4.4 不同種類教研經驗對效果的影響

本實驗為了探討詞語、公式、模式三種教研經驗對效果的影響。

分別使用教研經驗中的詞語、公式、模式、詞語+公式、詞語+公式+模式五種方式在高中數學學科上進行實驗。

實驗結果如圖9所示。可以觀察到，詞語和公式教研經驗更有利于提高召回率，模式教研經驗更有利于提高準確率，三種教研經驗一起使用效果要優于使用其中一種或兩種教研經驗。

圖9 三級知識點效果對比

3.4.5 決策和教研經驗互相約束的重要性分析

本實驗為了證明在損失函數中將決策和教研信息互相約束是否合理。

將2.4節中的損失函數改為式(19)。

(19)

進行對比試驗，觀察整體效果變化情況。

實驗結果如圖10所示，可以觀察到，在損失函數中去掉決策和教研經驗的互相約束，效果有所下降，可以得出決策和教研經驗互相約束是合理的。

圖10 三級知識點效果對比

4 總結

針對人工標注、傳統機器學習和普通深度學習在知識點標注任務上的缺陷，即人工標注門檻高，耗時耗力、傳統機器學習未考慮文本的深層語義和教研先驗知識、普通深度學習未考慮教研先驗知識，本文提出了一種教研知識強化的卷積神經網絡ECNN方法，該方法分為四步: 第一步為試題文本信息抽取；第二步為獲取教研經驗信息。此信息同一學科通用，由教研提前制作完成后直接使用即可；第三步對試題和教研經驗進行深層語理解，計算各知識點教研信息對試題的重要程度；第四步將試題信息和教研先驗信息融合，決策和教研信息互相約束，預測試題知識點。通過大量對比試驗，證明了本文所提出的ECNN方法的合理性和可解釋性。

本文所提出的知識點預測方法、教研先驗經驗由教研人員人工抽取，后續可考慮從試題信息和試題已標注知識點的信息中自動抽取教研先驗經驗。并且本文對于一道試題的知識點未分主次，后續可對預測結果分主次知識點，而實際上一道試題的知識點是有主次之分的，這也是未來研究方向之一。

[1] 馮建軍. 論個性化教育的理念[J]. 教育科學, 2004, 20(2): 11-14.

[2] Hong, Chin Ming, et al. Intelligent Web-based Tutoring System with Personalized Learning Path Guidance[J]. Computers and Education,2008,51(2): 787-814.

[3] 劉淇,陳恩紅，等.面向個性化學習的學生認知能力分析[J].中國計算機學會通訊, 2017,4(13): 28-35.

[4] 朱天宇,黃振亞,陳恩紅,等. 基于認知診斷的個性化試題推薦方法[J]. 計算機學報, 2017(1): 176-191.

[5] Rupp Andre A, J Templin. The Effects of Q-Matrix Misspecification on Parameter Estimates and Classification Accuracy in the DINA Model[J]. Educational& Psychological Measurement, 2008,68(1): 78-96.

[6] 王曉華, 文劍冰. 項目反應理論在教育考試命題質量評價中的應用[J]. 教育科學, 2010, 26(3): 20-26.

[7] Tatsuoka K K. Rule Spaec: An Approach for Dealing with Misconceptions Based on Item Response Theory[J]. Journal of Educational Measurement, 1983, 20(4): 345-354.

[8] 胡韌奮. 漢語詞匯測試自動命題研究[J]. 中文信息學報, 2017, 31(1): 41-49.

[9] 陳志鵬, 陳文亮. 基于文檔發散度的作文跑題檢測[J]. 中文信息學報, 2017, 31(1): 23-30.

[11] Piech C, Spencer J, Huang J, et al. Deep Knowledge Tracing[J]. Computer Science, 2015, 3(3): 19-23.

[12] Bahdanau D, Cho K, Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate[J]. arXiv preprint arXiv: 1409.0473, 2014.

[13] Soucy P, Mineau G W. Beyond TFIDF weighting for text categorization in the vector space model[C]//Proceedings of the International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc.2005: 1130-1135.

[14] Hu Y. A Bayes Text Classification Method Based on Vector SpaceModel[J]. Computer & Digital Engineering, 2004.

[15] 毛偉, 徐蔚然, 郭軍. 基于n-gram語言模型和鏈狀樸素貝葉斯分類器的中文文本分類系統[J]. 中文信息學報, 2006, 20(3): 29-35.

[16] Joachims T. Transductive Inference for Text Classification using Support Vector Machines[C]//Proceedings of the Sixteenth International Conference on Machine Learning. Morgan Kaufmann Publishers Inc.1999: 200-209.

[17] 朱遠平, 戴汝為. 基于SVM決策樹的文本分類器[J]. 模式識別與人工智能, 2005, 18(4): 000412-416.

[18] Zhang Y F, He C. Research of Text Classification Model Based on Latent Semantic Analysis and Improved HS-SVM[C]//Proceedings of the International Workshop on Intelligent Systems and Applications. IEEE, 2010: 1-5.

[19] Li W B, Sun L, Zhang D K. Text Classification Based on Labeled-LDAModel[J]. Chinese Journal of Computers, 2008, 31(4): 620-627.

[20] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the International Conference on Neural Information Processing Systems. Curran Associates Inc.2012: 1097-1105.

[21] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]//Proceedings of the International Conference on Neural Information Processing Systems. Curran Associates Inc.2013: 3111-3119.

[22] Su Z, Xu H, Zhang D, et al. Chinese sentiment classification using a neural network tool— Word2vec[C]//Proceedings of the International Conference on Multisensor Fusion and Information Integration for Intelligent Systems. IEEE, 2014: 1-6.

[23] Bengio Yoshua, P Vincent, C Janvin. A neural probabilistic language model[J]. Journal of Machine Learning Research. 2003,3(6): 1137-1155.

[24] 劉龍飛, 楊亮, 張紹武,等. 基于卷積神經網絡的微博情感傾向性分析[J]. 中文信息學報, 2015, 29(6): 159-165.

[25] Zhang M L, Zhou Z H. ML-KNN: A lazy learning approach to multi-labellearning[J]. Pattern Recognition, 2007, 40(7): 2038-2048.