基于圖卷積網絡的認知診斷方法

黃佃寬

（廣東工業大學 計算機學院，廣州 510006）

0 引言

隨著人工智能和大數據的發展，更加智能化、個性化的服務成為智慧教育領域的重點研究方向。例如，試題推薦［1］、個性化學習路徑推薦［2］以及學生表現預測［3］等。這些服務所需的一項關鍵和基礎任務是有效、準確地量化學生真實的能力水平，以便為學生提供更便捷、直觀的個性化導學與自我評估，即認知診斷（Cognitive Diagnosis）［4］。

在教育心理學中，認知診斷的目的在于利用學生在學習過程中的做題記錄等信息，對學生能力進行建模，評估學生對于特定知識點的掌握程度。項目反映理論［5］（Item Response Theory，IRT）和DINA 模 型［6］（Deterministic Inputs，Noisy “Any” gate model）作為經典的認知診斷模型在教育領域被廣泛使用。利用推薦領域的方法進行認知診斷也是熱門方向之一，如基于認知診斷的個性化試題推薦方法［7］將推薦領域的協同過濾方法［8］運用于認知診斷過程中，利用協同過濾良好的預測性能提升認知診斷的準確性。近年來，也有研究者嘗試使用循環神經網絡（Neural Net，RNN）來建模學習過程，進而預測學生做題成績。這類基于神經網絡的方法不需要像傳統認知診斷方法那樣手動設計交互函數［9］，并且能夠以非線性的方式建模學生與試題的交互過程，通常有很好的擬合能力，如Yang 等［10］提出的DKT 模型（Deep Knowledge Tracing）利用RNN 追蹤不同時刻學生的知識點掌握程度。但在以往對認知診斷的研究中，由于忽略了學生與試題的高階交互信息，導致對學生能力建模的準確性受到影響。而推薦領域的方法和基于神經網絡的方法雖然在成績預測方面有不錯的表現，但其對于預測結果和學生能力模型沒有很好的可解釋性。

為了能更準確地診斷學生的能力水平，本文提出一種基于圖卷積網絡的認知診斷模型（Graph Convolutional Cognitive Diagnosis，GCCD）。主要貢獻包括：①提出一種建模學生能力的圖卷積算法，通過聚合高階相似學生的做題特征作為高階交互信息，對學生能力進行更準確的判斷；②使用神經網絡非線性地擬合學生與試題的交互過程，并以此預測學生表現；③利用單調性假設保證認知診斷結果的可解釋性。

1 相關工作

1.1 認知診斷

教育心理學領域的學生認知診斷方法常用于診斷學生的知識點掌握程度以及預測學生的做題表現。其中，DINA 模型和IRT 模型是最經典的兩種模型。DINA 是一種離散模型，采用二值向量表示學生是否掌握知識點以及試題是否包含知識點，其中試題所包含知識點的信息通常來自于一個知識點關聯矩陣Q［6］。相較而言，IRT 模型通過logistic 函數將學生或試題特征刻畫為一個連續的單維潛在特征，用于反映學生的綜合能力和試題難度。雖然傳統的認知診斷方法擁有較強的可解釋性，但這些方法的核心步驟為計算學生與試題特征的內積或logistic 函數，無法很好地擬合學生與試題之間的復雜關系［4］，導致對學生表現結果的預測通常不夠準確。有研究將推薦系統領域的協同過濾方法運用于學生表現預測任務中，并取得了不錯的效果。在推薦領域，如Walker 等［12］提出的基于協同過濾的方法將學生和試題分別看作用戶與項目，并使用多維的潛在向量表示它們，將兩個向量的內積作為預測的學生成績；朱天宇等［8］提出的PMF-CD 方法通過將概率矩陣分解與認知診斷相結合，融合學生間的共性與個性進行預測。這些方法都一定程度上實現了對學生成績的預測，但忽略了高階相似學生的做題特征，從而影響了認知診斷結果的準確性，并且將其運用于認知診斷領域時都存在可解釋性不足的問題，沒有合理的方式解釋潛在向量的數值含義。

1.2 圖卷積網絡

圖卷積網絡（Graph Convolutional Network，GCN）通常用于處理非歐空間數據，被廣泛應用于以圖數據形式存儲的場景中。在一個圖數據中，節點的數據表示特征，圖的連接表示結構。類似于卷積神經網絡CNN 采用卷積的方式提取圖片中的特征，基于空間的圖卷積網絡可在非歐空間數據上采取卷積方式聚合鄰居節點的特征，使得每個節點都包含鄰居節點的特征信息，并通過多層的圖卷積提取圖的結構特征［13］。Zhou 等［14］提出高階圖卷積網絡HAGCN，可通過多層的圖卷積聚合高階鄰居節點的信息，使得每個節點的語義更加豐富。近年來，有研究者將GCN 運用于推薦系統領域，例如圖卷積協同過濾方法NGCF［15］把用戶—項目的交互看作一個交互圖，通過將交互圖的交互協作信息編碼到嵌入過程，以提升協同過濾的預測效果。

2 基于圖卷積網絡的認知診斷模型

本文提出一種基于圖卷積網絡的認知診斷模型（Graph Convolutional Cognitive Diagnosis，GCCD），該模型將學生試題交互集成到學生與試題的向量化表示過程，利用學生試題交互圖中的高階交互信息構建帶有交互信息的學生表示，將其視為學生能力向量，與知識點關聯向量結合后輸入到神經交互層對學生做題過程進行非線性建模，用于預測學生的試題作答情況。GCCD 模型結構如圖1所示。

2.1 學生能力建模

本文提出一種用于對學生能力建模的圖卷積算法，能夠捕獲高階相似學生的做題特征，更為準確地構建學生能力向量。學生能力向量αs是學生對于知識點概念熟練程度的量化表示，具體定義為：

αs的維度與Qe相同，其中ask∈[0，1]，表示學生s對知識點k的掌握程度。本算法將學生向量與試題向量作為圖卷積網絡中的節點進行多層的聚合計算，通過歸一化求和的方式聚合每層的節點，使圖卷積中每個學生與試題節點都包含有過多階交互的節點信息。最終通過融合每層圖卷積的節點表示學生能力向量，聚合了多層交互信息的學生能力向量能更準確地反映學生能力情況。圖2 表示學生S2能力向量構建過程。

在第一層，通過將做過相同試題的學生聚合，在第二層形成了該試題節點的表示，該試題節點包含這些學生的共同做題特征。之后層的節點以相同方式進行計算，其中圖卷積層數表示一個學生最遠可聚合到的學生或試題信息。通過多層的圖卷積運算后將每層的學生表示進行融合，可交互圖中高階的鄰居學生做題特征編碼到學生能力向量中。其中，每層的鄰居可被認為是相似學生（試題），因此聚合高階鄰居特征可看作一種協同過濾。GCCD 模型中的圖卷積計算定義為：

Fig.1 Structure of GCCD model圖1 GCCD模型結構

Fig.2 Construction process od student s2 ability vector圖2 學生s2能力向量構建過程

其中，l表示圖卷積的層數表示第l層的學生向量和試題向量，表示對稱歸一化項［13］，可避免學生向量與試題向量大小隨圖卷積運算而增大。經過3層的圖卷積運算后，將每一層得到的學生向量融合起來作為學生能力向量：

其中，pl為圖卷積網絡中每層的參數，表示該層的權重。這里設置pl=1/(l+1)，表示越高層數的節點對模型的影響越小。由于結合了每一層的交互信息，可使最終融合得到的學生能力向量更為全面、有效。

2.2 學生做題得分預測

本文使用兩層全連接神經網絡對學生試題交互過程進行建模，這種非線性建模方法相比傳統的認知診斷方法更能準確地模擬學生做題的復雜交互過程，從而更準確地預測學生做題情況。

將學生能力向量、知識點關聯向量及試題區分度3 個診斷因子組合作為神經網絡的輸入，這三者組合能較為準確地量化不同難度試題中每個知識點對于學生的影響程度，充分利用學生的做題特征。將學生s的能力向量αs與試題e知識點關聯向量的對應元素逐個相乘相加，再乘以試題區分度disc得到與學生能力向量維度相同的輸入x，這種組合方式可使x的每個維度都包含3 個診斷因子的特征信息，具體表示為：

接下來是兩個全連接層和一個輸出層，y 為最終預測的試題作答情況。由于神經網絡黑箱的特性，對其每層的參數缺乏有效的可解釋性，不利于解釋認知診斷結果，對未來的試題推薦等工作會造成負面影響。因此，本文提出的GCCD 模型使用在IRT 模型和MIRT 模型中常用的單調性假設對神經網絡進行限制［16］，即學生能力向量的每一個維度都是單調增加的。具體實現方法為：將全連接層的參數W1、W2和W3限制為正［17］。GCCD 損失函數為輸出y與做題記錄r之間的交叉熵，采用端到端的方式更新參數：

GCCD 模型在認知診斷過程中，將高階交互信息編碼到學生能力向量中，并使用神經網絡進行作答情況預測，保證了診斷結果的有效性和合理性。

3 實驗與分析

為驗證GCCD 模型的效果，首先在學生成績預測能力上對GCCD 與基準方法進行比較，然后對所有方法認知診斷的合理性進行比較與評估，并使用一個學生案例來分析認知診斷結果。為了分析圖卷積網絡最適合的層數，最后進行了層數影響實驗。

3.1 數據集與訓練設置

本實驗使用學生測驗數據集作為實驗數據，該數據采集自廣東某校在線編程實訓平臺中2019-2020 年數據結構課程期末考試與平時測驗的學生做題記錄。數據集包括491 名學生，98 道試題，28 個知識點，45 864 條學生交互記錄，平均每個試題包含1.92 個知識點。為有效地對學生能力進行預測，本模型將對每個學生的做題情況進行分割，其中80%的數據用于訓練，20%的數據用于測試。本實驗將與認知領域的DINA、MIRT 方法以及推薦領域的KNN、PMF 方法進行比較，用于評估GCCD 模型的預測表現。

3.2 學生做題表現預測實驗

在實際教學中難以量化評估學生的真實知識掌握水平，導致認知診斷模型的效果很難被評估。而認知診斷結果是通過預測學生的做題表現得到的，因此本實驗借助預測學生的做題得分對各個模型進行間接評價。

本實驗采用準確率（Accuracy）、查準率（Precision）、召回率（Recall）、F1 值和均方根誤差（RMSE）評價做題情況預測的準確性，以及預測得分與實際得分的近似程度。其中，RMSE 計算公式為：

式中，rse表示學生s對于試題e的實際得分，yse表示預測的得分。Accuracy、Precision、Recall、F1 越高，RMSE 越小，表示對學生做題表現的預測效果越好。

本實驗采取多個領域的方法作為基準方法，包括認知診斷方法DINA、MIRT，K 近鄰方法KNN 以及矩陣分解方法PMF。在驗證GCCD 模型性能之前，實驗首先測試了單獨使用神經網絡的模型GCCD_N 和單獨使用圖卷積網絡的模型GCCD_G 的性能，其結果可用于驗證圖卷積網絡的嵌入效果和神經網絡的非線性擬合效果。

表1 展示了所有模型預測學生做題表現的實驗結果。從表中可以看出，GCCD 模型的表現優于所有基準方法。其中，DINA 與PMF 方法都只能線性擬合學生能力向量，導致預測準確度低于GCCD 模型。對于單獨使用圖卷積網絡的模型GCCD_G，由于沒有利用知識點特征更新診斷因子，導致預測效果不理想。而單獨使用神經網絡的模型GCCD_N 利用非線性方式建模做題過程，對于學生的做題表現有很好的預測能力，但由于沒有利用高階相似學生的做題特征，預測效果要差于GCCD。

Table 1 Prediction results of students' performance on the questions表1 學生做題表現預測結果

3.3 認知診斷可解釋性

本實驗為評估GCCD 模型認知診斷的合理性，采取一致度（Degree of Agreement，DOA）［18］作為評價指標。在教育領域，一般認為如果學生x比學生y對于知識點概念k的掌握程度更高，說明學生x比學生y有更高的概率正確回答包含了知識點k的試題ek。一致度公式為：

其中，δ(αxk，αyk)=1 表明學生x相比y對知識點k的掌握程度更高，反之為0；Z=表 示x比y掌握程度高的知識點個數；J(e，x，y)=1 表示學生x和y都做過試題e，否則J=0。最后將所有一致度的均值作為評價指標DOA∈[0，1]，DOA=0.5 說明模型的認知診斷結果與學生表現的預測結果沒有關聯，DOA值越大，說明兩者關聯性越強。

Fig.3 DOA of each model圖3 各個模型的DOA

將本文模型與3.2 節中設置的模型進行比較，同時本實驗新增了一個Random 方法，隨機預測所學知識點掌握程度為0 或1，用于更好地展示各個模型的性能。在PMF和MIRT 方法中，將潛在特征向量的維度大小設置成知識點概念的數量，用于模擬學生能力向量。由圖3 可知，GCCD 的DOA 在數據集上達到0.815，高于所有基準方法，證明了本模型診斷出的學生能力向量是合理的，保證了預測結果的可解釋性。

3.4 案例分析

為更好地說明認知診斷的可解釋性，抽取兩個學生部分知識點的認知診斷結果以及答題情況，如圖4 所示。試題e包含了順序棧、二叉樹的后序遍歷以及鏈式存儲3 個知識點。學生在知識點上的掌握程度αes∈［0，1］，αes越高，說明學生對該知識點掌握得越好。學生s1對3 個知識點的掌握程度較高，所以可正確作答試題e；而學生s2雖然熟悉哈夫曼樹、冒泡排序等知識點，但對二叉樹后序遍歷的掌握程度較差，因此未能正確作答試題e。熟悉無關的知識點對學生做題幫助不大，學生對于目標試題中知識點集合的掌握程度越高，才越有可能正確作答試題。

Fig.4 Case of cognitive diagnosis圖4 認知診斷案例

4 結論與展望

本文設計了一種基于圖卷積網絡的認知診斷方法GCCD，用于學生能力診斷以及學生做題得分預測。該模型利用多層圖卷積網絡構建的學生能力向量包含了學生試題的高階交互信息，使用神經網絡非線性地建模學生做題過程，能在預測任務上有更好表現。通過在學生測試數據集上的實驗驗證了GCCD 模型的學生做題表現預測性能及認知診斷結果的可解釋性，并驗證了不同圖卷積層數對模型性能的影響。在未來的工作中，本模型仍有很多值得改進的地方，例如可根據認知診斷結果對學生進行試題推薦［19］，還可利用學習態勢、知識追蹤［20］等方法進一步提高對學生做題表現的預測準確度。