基于多模態學習的試題知識點分類方法

李洋洋,譚 曦,陳艷平,唐瑞雪,唐向紅,林 川

(1. 公共大數據國家重點實驗室,貴州 貴陽 550025;2. 貴州大學 計算機科學與技術學院,貴州 貴陽 550025;3. 貴州青朵科技有限公司,貴州 貴陽 550025)

0 引言

2018年,教育部發行了《教育信息化2.0行動計劃》[1]以推動教育的現代化建設,培養創新型人才。在《2020年教育信息化和網絡安全工作要點》中,國家又提出啟動“百區千校萬課”引領行動,樹立區域性標桿,以此推動各地智慧教育建設水平的提升[2]。由此看出隨著教育信息化的發展,智慧教育得到逐步推廣。智慧教育作為一種全面、豐富、多元、綜合的教育方式,既可以提高學生學習的趣味性,又可以調動學生學習的積極性、主動性;還可以突破傳統教學模式中的時空限制。試題知識點分類作為智慧教育領域中的一項基礎性工作,其主要任務是預測試題所考察的知識點。試題知識點是對試題考察內容的概括,如物理學科的知識點包括電磁學、力學、電學等。通過試題知識點分類并結合學生的學習記錄,不僅可以了解學生對知識點的掌握情況,還可以為相似試題檢測[3-4]、智能組卷[5-6]、試卷質量評估[7]、個性化試題推薦[8-9]等下游任務提供支撐。

試題是命題者按照一定的考核要求編寫出來的題目。通過對初高中物理試題的分析可知以下兩點: ①試題由題面、答案、解析等構成; ②試題中存在多源異構數據,如試題文本、圖片等信息。試題信息如表1所示。

表1 試題信息

通過上述試題信息可知,該試題考查的一級知識點為電磁學,二級知識點為電磁學下的電場。隨著知識點層數的增加,知識點的數量也在增加,這不僅會影響試題知識點的分類性能,而且還將加劇小樣本試題占比的程度,導致分類器難以從小樣本試題中學習到有用的特征。傳統的試題知識點分類方法僅關注試題中的文本信息,而試題圖片作為試題的組成部分,也包含直接的語義信息。由于不同模態的試題特征之間存在互補關系,為了使試題的特征信息更加豐富飽滿,本文提出了一種基于多模態學習的試題知識點分類方法。本文主要工作如下:

(1) 結合試題圖片提出了一個基于協同注意力機制的多模態融合模型,分別通過試題文本引導試題圖片的注意力和試題圖片引導試題文本的注意力來融合試題文本和試題圖片的特征,以獲取更豐富的試題語義信息;

(2) 在某教育機構提供的物理試題數據集上進行驗證分析,表明本文所提模型既可有效提高試題知識點的分類性能,可有效緩解小樣本試題知識點分類中的特征稀疏問題。

1 相關工作

針對多模態數據的試題知識點分類問題,其相關工作可分為以下兩種,即試題知識點分類和多模態融合。

1.1 試題知識點分類

傳統的知識點分類方法有兩種,即手工標注方法[10]和基于機器學習的方法。基于手工標注的方法不僅耗時耗力,而且需要具備高水平的專業知識,同時由于不同專家標注標準的不同,因此存在標注主觀性強、一致性低等問題。傳統的基于機器學習的方法主要采用向量空間模型(Vector Space Model,VSM)[11]和支持向量機(Support Vector Machines,SVM)[12]。例如,植兆衍等人[13]設計了一個基于VSM的試題分類系統,對試題按知識點進行分類。朱劉影等人[14]借助TF-IDF提取試題中的關鍵詞,然后將SVM作為分類器對地理試題知識點進行分類。郭崇慧等人[15]利用基于集成學習的方法來構建多個SVM基分類器以預測數學試題考查的知識點。以上方法雖然解決了標注一致性低的問題但僅關注試題文本的淺層特征。因此,梁圣[16]采用雙向長短時記憶網絡(Bidirectional Long Short-Term Memory,Bi-LSTM)對試題進行語義編碼,然后通過分類器對試題知識點進行分類。胡國平等[17]提出了一種教研知識強化的卷積神經網絡方法對試題知識點進行分類。上述研究均利用試題文本信息進行分類,忽略了試題圖片與試題文本之間的深層語義關聯,從而導致對試題的理解不充分。通過對數據集的統計分析可知,在物理試題數據集中約42%的試題均帶有圖片信息。因此,結合試題圖片信息進行試題知識點分類是有必要的。以下將介紹多模態融合的研究現狀。

1.2 多模態融合

多模態由兩種或兩種以上的不同模態數據組合而成。不同模態的數據雖然在本質上是異質的,但是在模態內部的特征中,模態之間又是相互關聯的。多模態融合就是利用計算機進行多模態數據的綜合處理[18],如文本和圖片、視頻和音頻等。本文的多模態數據融合屬于文本和圖片的融合,許多學術專家在此方面進行了大量的研究。例如,Liu等人[19]提出了一個基于注意力機制的多模態神經網絡模型,用于學習多模態試題數據的統一表示,然后將其應用于相似試題檢測中。Yin等人[20]通過嵌入層將異構的試題數據映射到一個統一的空間中,然后采用層級預訓練算法以無監督學習的方式獲取試題的表示,并將其應用到試題難度評估和學生學習行為預測中。Truong等人[21]提出了一種視覺注意力網絡VistaNet,用于對齊不同模態的情感信息,以將其應用于情感分類中。Huang等人[22]結合注意力機制,對文本和圖片分別建模,然后對新生成的文本和圖片特征進行融合,最后使用融合后的特征進行情感分類。Wang等人[23]提出了一個多模態圖卷積網絡來建模文本信息和圖片信息以獲取統一的語義表示,最后將其應用于假新聞檢測中。

上述方法忽略了各模態內部信息與模態之間交互作用的結合,無法有效捕獲不同模態之間的交互。

2 問題定義

給定試題文本T={t1,t2,…,tn}和試題圖片I,其中n為試題文本信息的總長度,試題文本信息包括試題題面文本信息、試題答案和試題解析。試題知識點分類的目標是學習一個分類模型Ω,從中預測試題所考察的知識點Y,即

Ω(T,I)→Y

(1)

3 基于多模態學習的試題知識點分類模型

本文受Zhang等人[24]提出的應用于命名實體識別任務的自適應協同注意力網絡的啟發,提出了一個基于多模態學習的試題知識點分類模型。結合基于Transformer的雙向編碼器表示(Bidirectional Encoder Representation from Transformers,BERT)[25]、文本卷積神經網絡(Text Convolutional Neural Network,TextCNN)[26]、深層卷積神經網絡VGG-Net16[27]和協同注意力機制的特點,采用BERT預訓練模型獲取試題文本的詞向量表示,并通過TextCNN捕獲不同粒度的試題文本特征;然后采用深層卷積神經網絡VGG-Net16捕獲試題的圖片特征;再將兩者的特征通過協同注意力機制進行融合;最后采用全連接層輸出試題知識點的分類結果。本文將從試題文本特征獲取、試題圖片特征獲取、基于協同注意力的多模態試題數據融合和試題知識點分類四個方面介紹該模型。模型結構如圖1所示。

圖1 基于多模態學習的試題知識點分類模型

3.1 試題文本特征獲取

BERT因其在Transformer的基礎上,采用大規模語料訓練使之擁有強大的特征表示能力被廣泛應用于預訓練和下游任務中。因此,本文采用BERT預訓練模型獲取試題文本信息的詞向量。令試題文本序列的詞向量表示如式(2)所示。

w={w1,w2,…,wn}

(2)

其中,w∈n×d,d為詞向量的維度,n為試題文本的長度,wi表示第i個字的詞向量表示。

在分類任務中,TextCNN常被用于建立N-gram的語義特征,本文借助TextCNN的該特點捕獲不同粒度的試題文本特征。令卷積核的窗口大小為[l1,l2,…,lk],卷積核為[H1,H2,…,Hk],Hj∈lj×d,經過卷積后所生成的試題文本特征圖表示式(3)～式(5)所示。

其中,lj為卷積核的窗口大小,f為非線性激活函數,bci為偏置項。C表示所有卷積核對應的特征圖。為了捕獲試題文本中的重要特征,對卷積后得到的特征向量采取最大池化的操作,以輸出試題文本中的重要特征表示如式(6)所示。

(6)

最后,我們將不同卷積核窗口對應的試題文本的重要特征進行拼接,作為試題文本特征表示。

(7)

其中,⊕表示拼接操作。

3.2 試題圖片特征獲取

CNN在圖像處理領域擁有廣泛的應用。為了獲取圖片信息的高階特征表示,現有方法多采用深層卷積神經網絡。本文借助ImageNet中預訓練的VGG-Net16捕獲試題的圖片特征。VGG-Net16由五段卷積神經網絡和三段全連接層組成。由于試題圖片大小不一,因此首先將其處理為固定大小224×224 像素。為了獲取試題圖片的高階特征表示,本文選取VGG-Net16最后一層(池化層)的輸出作為試題的圖片特征,其大小為7×7×512,其中512為圖片特征向量的維度,7×7為特征圖的數量。因此,試題圖片可以被表示如式(8)所示。

(8)

為了獲得相同維度的圖片特征和文本特征,本文借助一個簡單的線性層對圖片特征向量進行轉換,如式(9)所示。

(9)

3.3 基于協同注意力的多模態試題數據融合

由于試題知識點類別繁多,導致小樣本試題知識點分類性能較差。為了捕獲更豐富的試題語義信息,本文采用協同注意力機制,分別通過試題文本引導的試題圖片的注意力和試題圖片引導的試題文本的注意力來融合試題文本和試題圖片的特征。

3.3.1 試題文本引導的注意力機制

通過對試題文本和試題圖片的分析可知,試題文本和試題圖片之間存在一定的關聯。因此,直接利用試題文本特征與圖片特征預測試題考查的知識點將引入更多的噪聲,導致性能下降。通過試題文本引導試題圖片的注意力將會使注意力更多地關注與試題文本相關的區域。

3.3.2 試題圖片引導的注意力機制

通過試題文本引導的注意力機制將會使注意力更多地關注與試題文本相關的區域。通過試題圖片引導的注意力機制可以將注意力更多地關注到與試題圖片相關的試題文本。因此,采用更新后的試題圖片特征引導的注意力機制獲取與試題圖片相關的試題文本的表示,相關計算如式(13)～式(15)所示。

其中,hT為重要的試題文本特征。Wvj、WT、Wβj都為權重矩陣,βj∈k,表示在試題文本中的重要特征的注意力分布,其值在[0-1]之間。為更新后的試題文本特征表示。

3.3.3 多模態試題數據融合

通過上述的協同注意力機制可以得到新生成的試題圖片特征表示和試題文本特征表示。為了獲取更豐富的試題語義信息,本文借助一個多模態門控機制對更新后的試題文本特征和試題圖片特征動態融合,以選擇更適合于試題知識點分類的特征。最后,由于并非所有試題文本中的重要特征都與試題圖片關聯,因此在多模態融合特征中可能會引入一些冗余信息和噪聲。為了解決該問題,本文通過一個過濾門對試題文本與圖片的融合特征中的噪聲進行過濾。多模態融合門的相關公式如式(16)～式(19)所示。

過濾門的相關公式如式(20)～式(22)所示。

3.4 試題知識點分類

經過基于協同注意力機制的多模態試題數據融合模塊后,本文獲得了試題文本和試題圖片特征的融合表示。最后通過一個全連接層輸出試題知識點的分類結果,如式(23)所示。

(23)

其中,y為每類知識點對應的分類概率,Wy為全連接層的權重矩陣。

4 實驗

4.1 數據集介紹

本文所用數據集由貴州青朵科技有限公司提供。該數據集為物理學科試題數據集。試題知識點由該學科教育學領域專家確定,并在其指導下由一線任課教師進行人工標注,對于標注不一致的試題再由任課教師和學科專家共同討論確定。由于并非所有試題都有圖片信息,因此本文從10 000道初高中物理試題中抽取出帶有圖片信息的4 279道試題作為該文的數據集,并將其按照8∶1∶1的比例切分為訓練集、驗證集和測試集。在該數據集中一級知識點有12個,二級知識點有54個。以一級知識點“力學”為例,該教育機構的試題知識點體系結構如表2所示。

表2 知識點體系結構

圖2為試題樣本分布圖,為了便于統計,圖中將樣本量小于100的知識點歸為其他類。通過分析可知,隨著知識點層數的增加,知識點的數量也在增加,這將導致每類二級知識點對應的試題樣本量減少,即小樣本試題占比增加。

圖2 試題樣本分布圖

4.2 實驗評價指標

為了評價本文所提方法對試題知識點的分類效果。本文使用準確率(Accuracy,Acc)、宏平均精準率(Macro_P)、宏平均召回率(Macro_R)、宏平均F1值(Macro_F)作為評價指標。其公式分別為:

其中n為試題總數。P、R、F的表示如下:

令試題所考察的知識點原本為y,則TP表示試題所考察的知識點被正確預測為y的試題數量;FN表示試題所考察的知識點被錯誤預測的試題數量;FP表示試題所考察的知識點本來不是y,但被錯誤預測為y的試題數量;TN表示試題所考察的知識點本來不是y,預測的知識點也不是y的試題數量。

4.3 模型設置

本文分別將RoBERTa和TAL-EduBERT作為預訓練模型訓練試題文本的詞向量。由于試題文本的平均長度為217,因此本文將試題文本長度設置為220,如果試題文本超過該長度,則截斷;反之,則填充。設卷積核的窗口大小為[2,2,3,3,4,4],每個尺寸對應的卷積核數量為256。由于試題中圖片的尺寸大小不一,因此將試題圖片大小處理為固定尺寸224×224×3。圖片特征的維度設置為512,圖片特征圖的數量為7×7。

如果使用預訓練模型提取試題文本詞向量表示,則模型的學習率設置為0.000 01;如果選用隨機生成的詞向量表示,則模型的學習率設置為0.001。損失函數選用交叉熵損失函數,訓練批次為16,Dropout設置為0.5。

4.4 實驗結果及分析

為了驗證本文所提模型的有效性,本文選用TextCNN、Bi-LSTM、FastText、RoBERTa、RoBERTa+TextCNN、TAL-EduBERT+TextCNN作為基線模型。這些模型均僅利用單一的試題文本信息進行分類。一級知識點的實驗結果如表3所示,二級知識點的實驗結果如表4所示。

表3 一級知識點的實驗結果 (單位:%)

表4 二級知識點的實驗結果 (單位:%)

表中“Ours”表示TextCNN的多模態融合模型;“Ours+Ro”表示RoBERTa+TextCNN的多模態融合模型;“Ours+Edu”表示TAL-EduBERT+TextCNN的多模態融合模型。實驗結果表明,本文所提方法在一級知識點和二級知識點上均優于上述基線模型。與TextCNN模型的實驗結果相比,本文所提方法的準確率在一級知識點上提高了3.5%,在二級知識點上提高了4.91%;宏平均F1值在一級知識點上提高了10.51%,在二級知識點上提高了13.47%。這表明結合試題圖片信息可以捕獲更豐富的試題語義信息。

為了證明本文所提方法可以有效提高小樣本試題知識點的分類性能,本文分別選取5個典型的一級知識點和6個典型的二級知識點。在所選一級知識點中,能量、運動和相互作用的試題樣本較多,物質居中,力學和電磁學對應的試題樣本較少。在所選的二級知識點中,知識點歐姆定律和電流與電路的試題樣本占比較高,其余四種占比較低。圖3為五種典型的一級知識點的分類結果, 圖4為六種典型的二級知識點的分類結果。由圖可知,本文所提方法可以顯著提高小樣本試題知識點的分類性能,從而進一步提高總體性能。

圖3 五種典型的一級知識點的分類結果

圖4 六種典型的二級知識點的分類結果

為了進一步驗證本文所提方法的有效性,本文進行了消融分析,即在未使用預訓練模型的基礎上分別去除協同注意力層、多模態融合門、過濾門。Co-att表示去除協同注意力層;Fus-gate表示去除多模態融合門;Fil-gate表示去除過濾門。表5為一級知識點消融實驗的結果,表6為二級知識點消融實驗的結果。通過分析可知,去除協同注意力層、多模態融合門、過濾門中的任意一個都將導致試題知識點分類性能下降。對實驗結果影響最大的為過濾門,其次為多模態融合門,最后為協同注意力層。且過濾門對二級知識點的實驗結果影響最大。原因可能是二級知識點類別繁多,導致試題知識點分類難度較大,通過過濾門可以很好地過濾掉與該類別無關的冗余信息,從而提高細粒度知識點的分類性能。

表5 一級知識點消融實驗結果 (單位:%)

表6 二級知識點消融實驗結果 (單位:%)

5 結語

本文針對小樣本試題知識點分類性能較差的問題,考慮到試題圖片作為試題的一部分,其包含直接的語義信息,因此提出了一個基于多模態學習的試題知識點分類模型。通過結合試題圖片使試題的特征信息更加豐富飽滿。在某教育機構提供的初高中物理試題數據集上進行驗證,相比僅使用試題文本信息的方法,本文所提方法可以捕獲更豐富的試題語義信息,以提高小樣本知識點的分類性能,從而進一步提高總體性能。由于本文試題知識點體系結構為兩層,因此下一步將考慮如何構建級聯模型,同時輸出一級知識點和二級知識點。