可解釋人工智能在教育中的應用模式研究 *

盧 宇，章 志，王德亮，陳鵬鶴，余勝泉

(1.北京師范大學 未來教育高精尖創新中心，北京 100875；2.北京師范大學 教育學部 教育技術學院，北京 100875)

一、引言

2017年國務院出臺《新一代人工智能發展規劃》，明確提出利用人工智能等新一代信息技術構建智能學習與交互式學習的新型教育體系[1]。人工智能技術開始逐步被應用到各類智能教學系統與平臺中，也逐步滲透到線上與線下多種典型教育場景中。由于教育場景與教學主體本身的多樣性與復雜性，人工智能教育應用通常需要基于大規模、長周期與多模態的教育數據，開展深入分析并構建精準模型。然而，傳統的統計分析與建模方法，已很難處理和勝任這類任務。隨著人工智能技術的快速演進和發展，以深度神經網絡為代表的人工智能模型在計算機視覺、自然語言處理等領域均展現出明顯優于傳統模型的性能。這類內部網絡結構復雜的人工智能模型通常在高維數據空間上具備良好的信息表征與隱含特征提取能力，因此也逐漸成為人們研發各類智能教育系統與應用的首選。

然而，在性能提升的同時，這類人工智能模型由于其內部結構與決策過程的復雜性與不透明性，通常難以提供清晰且易理解的說明和依據。換言之，模型的使用者甚至構建者只能看到模型輸出的結果，但難以理解模型運行的基本邏輯。這種“黑箱”性質使得模型的輸出結果易受到質疑，并可能帶來不可控的安全隱患與非故意偏見，進而引起用戶對模型所在系統或平臺決策和服務的不信任。例如在醫療領域，缺乏可解釋性的自動輔助診斷人工智能模型及系統，難以得到患者和醫生的足夠信任，導致了其目前仍沒有在醫院大規模推廣和應用。在教育領域，復雜人工智能模型決策過程的不透明性，可能出現不易被察覺的連續錯誤輸出，導致其不合理的決策結果(例如錯誤推薦學習路徑或教學資源)，從而誤導學習者并嚴重影響其學習效果和效率。另外，即使是決策正確的復雜人工智能模型，由于其不透明的運行過程，容易直接引發普通學習者、教師甚至智能教學系統和平臺設計者的不信任感，從而極大影響其一線實踐和應用。這也是人工智能模型，尤其是基于深度神經網絡的各類智能教學系統與平臺，尚沒有被大規模應用的重要原因之一。

近年來，學術界和工業界也開始重點關注如何提升復雜人工智能模型及其所屬系統的透明性，建立用戶與模型之間的信任關系，以促進實際部署。這一領域也被稱為可解釋人工智能(Explainable Artificial Intelligence)。具體而言，可解釋人工智能聚焦于人工智能模型的可解釋性。可解釋性代表模型向人類解釋或呈現可理解的術語的能力，是人類與模型決策之間的接口。它既能夠被人們理解，也可以準確的協助代理決策模型[2]。目前，可解釋人工智能尚沒有完全統一的概念和標準，但所提出的技術方法已經在醫學、生物等領域取得良好的應用表現[3]。

與其它領域相比，教育領域也亟需可解釋人工智能技術。當前各類智能教育系統和平臺，逐步開始采用基于深度學習等技術的學習者模型、推薦模型以及自動批閱模型等，這些復雜人工模型通常直接決定了系統和平臺的智能性與服務質量。同時，復雜人工智能模型也開始被應用于大規模教育數據的分析與挖掘中。由于這些模型的設計主要源于自然語言處理、商品推薦等領域，并未過多考慮教育領域應用的實際特點[4]，因此可能做出不符合教育規律和常識的錯誤決策，并且這些結果不易被察覺和發現(例如錯誤估計學習者的學習狀態或持續推薦不必要的學習資源)。另外，教育領域的普通教師和學習者通常不具備技術背景和知識，當復雜人工智能模型做出負面但正確的決策時(例如判斷學習者知識點掌握薄弱或教師教學存在問題)，也容易引起這些使用者的直接質疑和不信任，且難以向其進行解釋和直接說明[5]。

二、可解釋人工智能的基本方法

在可解釋人工智能領域，研究者們將人工智能模型的可解釋性分為事前(Ante-hoc)可解釋性與事后(Post-hoc)可解釋性。具備事前可解釋性的模型通常結構直觀清晰，用戶能夠通過檢查模型的組件(如線性回歸模型中的特征權重、決策樹中的路徑、注意力權重矩陣)理解其決策過程、工作機制，這類模型因此也被稱為白盒模型。具備事后可解釋性的模型通常結構復雜，模型的輸入與輸出是非線性關聯的，其決策過程、工作機制無法被用戶直接理解。例如以循環神經網絡為代表的深度神經網絡模型等，這類模型因此也被稱為黑盒模型。

可解釋人工智能技術是能夠對人工智能模型進行解釋的技術方法，也被稱為解釋方法。針對事后可解釋性，現有的解釋方法可分為全局(Global)解釋方法與局部(Local)解釋方法兩類。全局解釋方法旨在理解所建立的復雜機器學習模型的整體決策邏輯，包括該模型通過大量數據訓練后學到的規則、模型開展決策的方式等。知識提取、激活最大化等都是較為典型的全局解釋方法[6]。然而在實際應用中，由于模型結構或算法的復雜性以及垂直領域應用場景的多元性，對大多數復雜的機器學習模型提供全局解釋通常比較困難。與全局解釋方法不同，局部解釋方法專注于闡釋機器學習模型對每一個輸入樣本的決策依據[7]。具體而言，該類方法以模型當前的輸入數據為基礎和導向，分析和量化輸入數據各維度特征對最終決策結果的貢獻，從而實現對模型的解釋。常見的局部解釋方法包括局部近似、反向傳播和特征反演等[8]。與全局解釋方法相比，局部解釋方法的研究和實際應用更加深入和廣泛。例如，在局部解釋方法中，反向傳播解釋方法可以充分利用需要被解釋的模型結構特性，實現較為簡單且計算效率較高。反向傳播解釋方法的基本思想是利用深度神經網絡的反向傳播機制，將機器學習模型的決策信號從輸出層逐層通過神經元反向傳播回模型的輸入層，并進而推導當前輸入各維度特征的重要性。另外，依據適用范圍的不同，解釋方法也可以被分為模型相關(Model-specific)解釋方法和模型無關(Model-agnostic)解釋方法[9]。模型相關解釋方法需要利用模型結構中的信息(如神經網絡中的局部梯度信息)才能對模型進行解釋，只能用于某類特定的人工智能模型。模型無關解釋方法不依賴于模型結構中的信息，并能夠對任何人工智能模型進行解釋。

在教育領域，通常需要依據復雜模型或系統的特點，采取合適的可解釋人工智能技術對其進行解釋。當模型具備事前可解釋性時，通?？梢圆捎米越忉孾10]等方式。否則，需要選取和采用事后解釋方法，對模型或系統進行分析和闡釋。

三、可解釋人工智能的典型教育應用案例

我們基于本團隊的近期研究成果[11][12]，首先介紹將可解釋人工智能方法應用于教育領域的典型案例。該應用案例將事后解釋方法直接應用于學習者模型中。

(一)學習者模型

學習者模型通常利用機器學習等技術對學生在知識掌握、專注度等不同維度進行量化建模。在知識掌握維度的學習者模型，被稱為知識追蹤模型。知識追蹤模型用來對學習者在知識點上的知識掌握概率進行估計并對學習者在下一道題目上的作答表現進行預測(作答正確或者錯誤)。知識追蹤模型也是當前智能導學系統(Intelligent Tutoring System, ITS)等個性化智能教育服務平臺中的核心模塊?；谏疃壬窠浘W絡的知識追蹤模型(以下簡稱“深度知識追蹤模型”)，由于其優越的性能，已經逐步開始替代傳統模型。當前深度知識追蹤模型通常采用包括循環神經網絡(Recurrent Neural Network, RNN)、記憶增強網絡(Memory Augmented Neural Network,MANN)等不同類型的復雜網絡結構[13]。

如圖1所示，深度知識追蹤模型的建立過程與決策過程都如同黑箱，很難進行清晰解釋或提供直觀決策依據。模型構建和其決策過程的不透明性，容易導致普通學習者、教師甚至智能教學系統的設計者對模型產生不信任感，從而減低模型的使用效率，進而影響在實際智能導學系統和相關平臺上的大規模應用。我們對44位學習者的調研結果顯示，基于深度知識追蹤模型所構建的智能導學系統功能，是其最難理解且信任度最低的模塊。由于該類模型的不可解釋性，超過80%的學習者表示他們對模型給出的預測結果持有懷疑不確定的態度，95%的學習者表示希望在給出預測結果的同時有相應的解釋說明。

圖1 深度知識追蹤模型的“黑箱化”及其面臨的解釋性問題

(二)解釋方法與解釋結果

深度知識追蹤模型通常不具備完善的事前可解釋性，因此我們可以采用典型的事后解釋技術進行模型解釋。我們采取較為簡單分層相關傳播方法(Layer-Wise Relevance Propagation，LRP)，對基于循環神經網絡的深度知識追蹤模型(Deep Knowledge Tracing，DKT)進行解釋。如圖2所示，LRP方法的核心思想是利用反向傳播機制，將輸出層的預測信息通過中間層的神經元及其連接逐層傳回模輸入層，得到每一個輸入對預測結果的貢獻程度。圖中xt為學習者在t時刻的作答及題目相關信息，輸出yt為深度知識追蹤模型在t時刻對學習者題目作答表現的預測，其余變量為循環神經網絡內部結構參數。

圖2 LRP方法解釋深度知識追蹤模型的反向傳播路徑

如表1所示，假設某學習者已經完成了七道題目的練習，將其作答結果作為輸入提交給已構建好的深度知識追蹤模型。不同題目可能考察了相同或不同的知識點，例如第一道作答題目考察的知識點為“加法”，而第七道題目考察的知識點為“減法”。將以上七道題目的作答信息作為輸入，則模型可以預測下一道題目是否能夠作答正確。通過運行LRP解釋算法，我們可以得到最終的解釋結果，即每道學習者已經作答的題目與預測結果之間的關聯值。表1中最后一列給出了如果下一道題目考察“減法”知識點，每一道題目作答與預測結果的關聯值，關聯數值的大小和符號從不同角度反映了所對應題目作答對預測結果的貢獻程度。例如，最后一道題目(第七題)考察“減法”知識點且答對，其與預測的關聯值0.58為最大且為正數，第三道題考察“矩形”知識點且答錯，則其關聯值-0.05為最小且為負數。通常情況下，關聯值越大，代表所對應的輸入作答項對模型預測結果的影響越大。因此，這些計算得到的關聯值可以直接幫助解釋，深度知識追蹤模型為何對下一道題目做出正確或錯誤的預測。

表1 解釋結果示例

(三)模型檢驗與輔助理解

基于上述LRP方法所得到的解釋結果，即每一項輸入與預測結果的關聯值，可以對深度知識追蹤模型進行檢驗，檢查其是否存在與現有教育規律相悖的現象。實驗選取基于循環神經網絡的深度知識追蹤模型，并運行在ASSISTment2009公開數據集上[14]，利用LRP方法進行解釋，最終可以得到每組中所有學習者練習序列的關聯值。然后，我們將所有的輸入作答序列分為兩組：第一組與所預測的題目考察的知識點一致，即“同知識點”組；第二組與所預測的題目考察的知識點不同，即“異知識點”組。我們分別計算兩組中每道已作答題目關聯值的絕對值的平均值，并對兩組計算得到的平均值進行t檢驗。

表2給出了兩組t檢驗的結果，其中按照模型所預測的結果分成了預測答對和預測答錯兩類，即模型預測學習者在下一道題目上會答對或答錯。從表2中可以看到，無論預測結果如何，“同知識點”組的關聯值均顯著高于“異知識點”組。換言之，深度知識追蹤模型在預測過程中，更加重視利用相同知識點題目上的作答信息，即與所預測題目考察同一知識點的該學習者的已作答信息。這種“同知識點效應”符合教育領域對學生知識掌握情況進行判斷的基本規律，也部分檢驗了所構建的深度知識追蹤模型。

表2 “同知識點”與“異知識點”組間的t檢驗結果

同時，我們將所有的輸入作答序列依據作答順序分為兩組：第一組是學習者完成的前一半的題目作答，即“遠作答”組；第二組是后一半的題目作答，即“近作答”組。我們同樣計算兩組中每道已作答題目關聯值的絕對值的平均值，并對兩組計算得到的平均值進行t檢驗。表3給出了兩組t檢驗的結果，其中按照模型所預測的結果同樣分成了預測答對和預測答錯兩類。無論預測結果如何，“近作答”組的關聯值均顯著高于“遠作答”組。換言之，深度知識追蹤模型在預測過程中，更加重視利用學習者近期的作答信息，即與預測時間距離較近該學習者的已作答信息。這種“近因效應”也符合教育領域對學生知識掌握情況進行判斷的基本規律，也從另一個角度部分檢驗了所構建的深度知識追蹤模型。

表3 “遠作答”與“近作答”組間的t檢驗結果

在對模型進行驗證的基礎上，可以進一步利用上述解釋結果，輔助用戶理解模型本身及相關系統。由于深度知識追蹤模型通常應用于智能導學系統中，系統會依據模型的預測結果，向用戶呈現學習者的知識點掌握狀態地圖與學習報告，進而為學習者推薦個性化學習路徑與學習資源。因此，可以在智能導學系統中提供適當的解釋說明，解釋功能需要符合自適應性、準確性、完整性以及可理解性[15]等標準，從而幫助用戶理解模型及其所支持的功能模塊。針對上述解釋實驗所發現的“同知識點效應”與“近因效應”，可以用通俗易懂的方式向學習者或教師進行呈現，輔助其理解。如下頁圖3所示，可以在知識掌握狀態地圖或學習報告中設置特定區域，針對不同掌握狀態的知識點，向學習者進行不同的解釋說明。例如，針對被預測為優勢和薄弱知識點的部分，可以分別進行簡單解釋說明：“系統主要基于你在近期內的歷史作答表現，評估其為“優勢”知識點”與“系統重點使用了你最近一段時間在相同或相似知識點上的作答表現，得到了你當前的‘薄弱’知識點”。尤其對于相對負面的預測結果，可以著重設計其解釋說明功能，盡量用輕松活潑的可視化形式，包括文本、圖表、邏輯表達式[16]等。

圖3 基于解釋結果的解釋說明功能示例

四、可解釋人工智能在教育中的三種應用模式

基于可解釋人工智能技術，可以將復雜人工智能模型的各個輸入項對模型預測結果的影響進行量化，從而實現對模型和所在系統的解釋。在此基礎上，對解釋結果進行進一步分析，可以驗證所構建模型是否存在與教育規律相悖的問題。如果存在，可以及時檢查訓練數據和訓練方法，必要時調整模型本身。如果模型得到驗證，可以利用分析結果對模型進行功能闡述與說明，從而提高用戶對模型和系統的理解與信任程度。充分合理的解釋說明，還可以進一步支持教師進行教學策略的選擇和相關教育管理者的決策。

因此，我們梳理并形成了可解釋人工智能在教育中的三種典型應用模式。如下頁圖4所示，現有可解釋人工智能的技術方法(包括全局解釋方法與局部解釋方法)可以直接用于典型教育場景中(涵蓋了線上與線下教育)的各類人工智能模型(包括黑盒模型或白盒模型)。解釋模型所產生的結果，可以服務于不同的受益對象，從而形成了不同的教育應用模式?？傮w而言，應用模式可以分為微觀、中觀和宏觀三個層面：(1)在微觀層面，解釋結果能夠針對模型本身進行分析，解釋模型的重要邏輯，從而幫助對模型本身進行檢驗和改進；(2)在中觀層面，解釋結果能夠對已驗證模型所在系統的規則進行闡述和說明，從而輔助相關用戶(包括教師和學習者)的理解，提高其對模型與相應系統的信任程度；(3)在宏觀層面，解釋結果可以對教育問題進行發現，從而幫助和支持教育管理者進行有效決策。

圖4 可解釋人工智能在教育中的三種應用模式

(一)微觀層面：檢驗教育模型

隨著深度學習等人工智能技術的快速演進，模型需要在大規模數據集上通過特定算法訓練完成，且訓練過程受訓練集、測試集、模型超參數等諸多因素的影響。由于模型內部結構和訓練過程的日趨復雜，其學習到錯誤邏輯和無效信息的可能性也逐步增加。然而，模型的評估通常只采用精確率(Precision)、召回率(Recall)、AUC值(ROC曲線下方面積)等簡單直觀的指標，難以對模型進行充分檢驗并建立有效的問責機制。如果模型的內在邏輯存在謬誤，不但會直接影響使用效果，甚至會產生偏見和倫理道德等問題。例如，Schramowski[17]等利用局部解釋方法對用于勘測植物是否遭到生物侵蝕的圖像分類器進行檢驗，發現模型利用了與生物侵蝕無關的混雜因素進行分類。Yang[18]等利用局部解釋方法對用于文本分類的模型進行了檢驗，他們發現與預測任務無關的特征主導了模型的判斷，而非與任務直接相關的重要特征。在教育領域，可解釋人工智能應用于模型檢驗總體較少，早期的學習者模型研究中[19]，利用模型的自解釋性曾發現主導模型預測學生表現的因素是失誤和猜對參數而非學生的認知狀態。顯然，需要重視利用可解釋人工智能技術，檢驗模型中是否存在與教育規律相悖的邏輯，若存在則需要更換數據集、調整模型超參數甚至是修改模型本身。

(二)中觀層面：輔助理解系統

以復雜人工智能模型作為核心的功能模塊，開始逐步被應用到各類智能教學系統與平臺中。這些核心功能模塊提升和優化了系統與平臺的性能，也直接導致其運行的規則與原理日趨模糊與復雜。如果使用者難以理解其背后的基本規則與原理，容易喪失對系統或平臺的信賴，從而導致其在一線教學中難以大規模落地和應用。在人機交互領域，能否理解和信任較為復雜的系統，取決于使用者的心理模型與系統實際運行規則相符的程度。簡單而言，用戶心理模型指用戶關于系統操作規則、組成的心理表示[20]。當用戶的心理模型與系統實際運行規則相符時，用戶能夠近似預見系統輸出結果從而有助于理解和信任系統。當可解釋人工智能技術能夠發現系統運行所依賴的重要規則和信息，且通過合理方式呈現給使用者，就可以幫助用戶逐步修正其心理模型，輔助其理解系統并建立信任感。在輔助理解教育領域的系統和平臺方面，可解釋人工智能發揮著越來越重要的作用。例如，Conati等[21]嘗試利用可解釋人工智能技術，對所設計的系統進行個性化自解釋。學習者可以通過解釋功能獲取到他們感興趣的提示和信息。研究發現，這種解釋功能增加了學生對系統的理解與信任，并且學生信任系統后會更容易接受系統給出的建議，采取對學習有利的行為，從而提升學習成績。

(三)宏觀層面：支持教育決策

隨著教育信息化程度的不斷提高以及大數據技術的日趨成熟，長周期多模態的教育數據不斷累積，其所蘊含的信息也更加具有分析和挖掘價值。傳統機器學習和統計模型難以處理這類數據，因此深度學習和其它人工智能領域的模型開始被用于數據分析和建模。由于這些模型大都較為復雜，無法像傳統模型(例如線性回歸)直接呈現出變量間關系，可解釋人工智能技術也開始用于分析數據，形成教育推論，發現教育問題，揭示教育規律，從而支持教育決策。例如，Kirill等[22]基于哈薩克斯坦國家教育數據庫中兩萬多所中學的數據，建立了用于預測學校教育質量(通過學生成績和大學錄取率體現)的模型。在此基礎上，其利用局部解釋方法，進一步得到了地理位置、學校設施、人口組成信息、教職工等特征與學生成績和大學錄取率的關系，從而提出了一系列教育政策建議。Ledeboer[23]等基于荷蘭中學智能教學系統的數據，利用隨機森林和前饋神經網絡等構建了預測學生留級率和畢業率的模型，并分別利用全局和局部解釋方法，將全局特征重要性與局部特征重要性呈現給學校教師與管理人員，不僅得到了使用者的認可，也為學校決策提供了直接支持與建議。胡欽太等基于深度學習模型，也開展了多模態學習行為可解釋性分析研究[24]，可以為提升教育質量、優化教育資源配置、促進學生個性化學習提供有效的決策建議。

基于以上三種可解釋人工智能在教育領域的重要應用模式，我們進一步提出以下建議和展望：

1.積極推進可解釋人工智能在教育領域應用的機制建立與實施

所有基于復雜人工智能模型的教育領域應用，均應努力提供解釋機制與解釋服務。解釋機制的建立一方面需要借鑒可解釋人工智能現有的技術和方法，另一方面需要從教育領域使用者的角度出發，考慮不同學段學習者與教師等關鍵角色的用戶心理需求，使智能教學系統與平臺兼具高準確性、透明性與可信賴性。另外，當前大多數研究和應用尚停留在宏觀層面，需要重視和發展中觀和微觀層面的應用模式與機制建立。

2.深入研發適用于教育領域的可解釋人工智能方法

當前可解釋人工智能技術及其基本方法多源于對其它領域的研究，大多難以直接應用于教育領域的模型與系統解釋，應用效果也存在明顯差異。因此，需要針對教育領域中所使用的復雜模型與關鍵功能(例如多模態學習資源的推薦模型與其教學輔導功能)，重點研發專用的解釋性方法與關鍵性算法，保證解釋結果的科學、有效與合理，進而可以促進智能教學系統本身的改進和完善。

3.強調可解釋人工智能在教育領域的實踐性檢驗

可解釋人工智能技術受訓練環境、模型超參數設置等因素的影響較大，其解釋結果也容易存在偏差，傳統量化研究中的檢驗方法(例如方差檢驗、正態分布檢驗等)也難以應用。因此，需要探索和建立可解釋人工智能技術在教育應用中的檢驗方式和流程，強調所有的解釋結果與應用效果，均應在教育實踐中接受檢驗。實踐性檢驗應由人工智能模型的設計者和使用者共同完成，其檢驗過程與結果應具備可重復性與可追溯性。