基于隱馬爾可夫模型的智能教學研究

朱忠旭

(安徽工貿職業技術學院計算機信息工程系，安徽 淮南232007)

當前，各種在線學習平臺快速發展，如MOOC、職教云等，為學習者提供了豐富的學習資源，使學習者的學習過程不再局限于特定的時間和空間。然而，大多數學習平臺的使用方式依然是非智能的，即平臺提供學習資源由學生自己進行自助式的學習。在這種學習模式下，學生通常難以定位最適合自己的學習內容，因而導致對學習內容不感興趣或學習效率不高等消極影響，甚至最終迷失在資料的海洋里，這也是在線學習者流失率較高的原因之一[1]。

通過人工智能技術實現教育平臺的智能化是解決上述問題，提升教育信息化發展水平和質量的重要手段。借助人工智能技術一方面可以對人類更深層次的認知機理的研究來發掘有價值的學習規律與學習模式，另一方面，可以實現在線學習的導學、推薦、答疑、評價等環節的智能化和個性化。當前，已有多種人工智能方法被應用于在線教育平臺的研究與實踐，如貝葉斯網絡[2]、決策樹[3]、遺傳算法[4][5]、神經網絡[6]等。

隱馬爾可夫模型(Hidden Markov Model, HMM)是一種進行時變數據序列處理的概率模型，不但具有嚴謹的統計理論支持，而且結構簡單，物理意義明確，同時又有成熟高效的實現算法，因此被廣泛應用于語音識別[7]、金融經濟[8]、計算機視覺[9]、故障診斷[10]等的研究中。Corbett和Anderson 提出的貝葉斯知識追蹤方法(Bayesian Knowledge Tracing, BKT)[11]是HMM在智能教育領域的最成功應用。BKT為每個知識點創建一個HMM，學習者對知識點的掌握情況作為狀態變量，學習者解答知識測試問題時表現作為觀察變量，由學習者的答題狀況不斷更新對學習者的知識掌握情況的判斷，再根據新的狀態判斷為學習者推薦適當的練習來幫助學習者掌握知識。文獻[12]使用大量學習序列訓練確定各個知識點之間的關聯概率，將其作為隱馬爾科夫模型的狀態轉移概率，然后根據用戶已有的觀察序列來估計知識點的遷移，得到下一步最有可能學習的知識點，再利用學習頁面和知識點之間的關聯取出相應的學習頁面供學習者學習。BKT模型雖然可以通過持續觀察學習者對練習題的完成情況判斷其知識狀態，但忽略了對學習者的學習過程的指導；而文獻[12]的方法注重學生學習內容的推薦，但不具有對學習者學習效果的判斷能力。

本文將一種改進的HMM模型應用于智能教學領域，使得可以在綜合考慮學習者的學習效率和學習效果的基礎上，為學習者推薦合適的學習資源，從而達到學習指導與學習檢測的有機結合。

1 隱馬爾可夫導學模型

HMM由兩個隨機過程構成，分別用于描述隱含狀態變化和狀態與觀察值之間的統計對應關系。設HMM中的狀態構成為S={s1,s2,…,sN}，t時刻的狀態記為qt，qt∈S，V={v1,v2, …,vM}表示所有狀態可能的觀察值，t時刻的觀察記為ot，ot∈V，HMM的模型參數有如下三個：

(1)狀態轉移矩陣A= (aij)N×N，其中aij=P(qt+1=sj|qt=si), 1 ≤i,j≤N。

(2)觀測矩陣B= (bjk)N×M表示給定狀態下觀察值的概率分布，bjk表示在狀態sj下出現觀察值vk的概率，其中bjk=P(ot=vk|qt=sj), 1 ≤j≤N, 1 ≤k≤M。

(3)初始概率分布向量π= (π1,π2, … ,πN)，其中πi=P(q1=si), 1≤i≤N。

HMM能夠在一定程度上描述時間序列的相關性和因果關系，傳統HMM模型只能處理單一的觀察序列，通過對傳統HMM的改進可以將其應用于更復雜場景。[13]文獻[14]提出一種基于核密度估計的HMM模型--KHMM，該模型的觀察數據包括輸入和輸出兩部分，用非參數化概率密度估計方法學習輸入輸出的聯合分布，KHMM被用于動態序列合成，從給定一個輸入序列得到相應的輸出序列。本文在此模型的基礎上構建一個應用于智能化教學的隱馬爾可夫導學模型(HiddenMarkovTutoringModel,HMTM)(圖1)，該模型通過分析學生的學習歷史，比較學生對每種學習材料的學習時間長度和學習效果，來發現學生在各個學習資源上的時間投入模式及學習效果產生規律，從而可以為其推薦學習效益最高的學習資源，規劃學習時間，判斷學習結果等。

一個HMTM的建模對象為一個知識點或教學單元，模型中包含了對該知識單元進行學習時的三個方面，即選用的學習材料、學習持續的時間長度和對本次學習成果的檢驗。知識點的所有學習材料構成模型的狀態集合S，學習時長是學生選擇了某個學習資源后持續學習此資源的時間長度，即從選擇某個學習材料開始一直到終止該次學習活動或跳轉到其他學習材料之間的時間長度，用l表示。每次學習的學習效果用學習結束時進行的測試的成績來表示。設si為學生在第i次學習該知識時選擇的學習材料，li為學習時長，mi為第i次學習終止時的測試結果，則p(mi,li|si)表示學生使用學習資源si時，學習時長和測試結果的聯合概率。由前向算法可以對學生下一步的學習材料選擇進行評估，選擇具有最高學習效費比的資源推薦給學生學習，還可根據學生對當前資源的學習時間推斷學生的知識掌握程度。

圖1 馬爾可夫智能導學模型

測試結果可以采用百分制或等級制，采用等級制時，將測試結果分為R個級別m1～mR，可以靈活地掌握測試題的規模和不同題型所占比例，同時由于等級類別較少，更易于處理。學習時間長度可以看作一定范圍內的連續值，這樣每一時間步的狀態結點si、學習時間結點li和測試成績結點mi構成一個包含連續量和離散量的局部貝葉斯網絡。對si與li這種父結點為連續值而子結點為離散值的情況，傳統的處理方法是將li與si之間的關系表示為混合高斯模型，此時令ui、σi分別為學習第i種教學材料所用時間的平均均值和方差，則學習時間li與學生選擇的學習資源的關系p(li|si)可用(1)式計算。對li與mi這種父變量是連續變量而子變量是離散變量的結構可以使用標準正態分布的積分或其他方法來構造一個閾值函數[15]，再由此閾值函數來計算p(mi|li,si)，但這種方法比較適合于子變量是布爾型數據的情況，在本模型中，若成績等級超過兩個則閾值函數的設計比較困難。

p(li|si)=N(ui,σi2)(li)= (1)

對學習時間進行離散化處理有利于簡化學習時長與測試成績之間的關系表達，離散化后p(li,mi|si)及p(li|si)可以由監督學習或EM學習方法計算，再由公式2即可實現對學生測試成績的推斷。一種離散化方法是直接按時間長短將時間變量劃分為幾個等長或不等長的區間，這是一種監督學習方法，由于不同學習資源的用時范圍、對學生的適用程度或滿足學生學習偏好程度等特性不同，因此一方面要為不同的資源用時設定不同的分類標準，另一方面樣本在不同類別的分布密度也會具有較大差異。使用聚類這種無監督分類方法可以根據時間值自身的相近程度進行分類，更易于發現學生學習各資源的用時模式。K-中心點聚類算法雖然對大數據集較為耗時，但它對噪聲數據不敏感，且具有較強的魯棒性，比較適合于對本文中的時間數據進行聚類運算。每一個時間聚類代表學生對學習資源的一種學習方式，時間聚類集合與測試結果類別集合的笛卡爾積構成每個學習資源的觀察結果的值域。

2 模型參數學習與應用

Baum-Welch算法是HMM參數訓練的經典算法，該算法本質上是一種EM算法，使得在狀態轉移序列數據無法得到時可以通過觀察序列樣本來獲得狀態變量的轉換概率的最大似然估計。由于學生每次線上學習活動在后臺均有記錄，每個時刻t的狀態可以從系統得到，因此HTMT模型的訓練數據即包含觀察序列，也包含產生觀察值的相應的狀態序列，故可以采用有監督學習方法進行模型訓練。

訓練數據為H條長度為T的狀態序列Q= (q1,q2, … ,qT)及其觀測序列O= (o1,o2, … ,oT)，時間步t的狀態和觀察分別記為qt和ot，qt∈S，ot= (lt,mt),其中li是大于零的實數，表示以分鐘為單位的學習時間長度，mi∈M。利用極大似然法計算狀態轉移概率p(st+1|st)和觀測概率p(lt,mt|st)以及初始狀態概率分布。

初始概率表示知識點的各種學習資源在第一時間點被學生選中的概率，其最大似然為各個資源在所有樣本中第一時間被選中的頻率。假設C(i)表示樣本初始狀態序列中狀態qi出現的次數，則πi等于：

狀態轉移概率矩陣A[aij]N×N通過統計樣本中狀態之間轉換的頻次進行計算，設從狀態qi轉移到狀態qj的次數用Aij來表示。則可得：

觀測概率B=[bjk]N×M給出學生選擇某種學習資源時各種觀測結果出現的概率，其似然估計為樣本中狀態sj下觀察Ok的頻率。HMTM模型的觀察是學習時間長度和測試成績的聯合分布，本文通過統計某學習時長數值所屬的時間聚類中得到指定測試成績的樣本數量來計算該觀察的發生頻率。

用Φ表示學生選擇學習材料sj進行學習時所用學習時間長度數據的集合，設其最小值和最大值分別為α、β，將時長區間(α，β)平均分成K段，取與每個時間段的中間點最接近的樣本數值作為初始聚類中心。樣本之間的距離為兩個時間值的曼哈頓距離，即dij=|li-lj|。設聚類運算得到K個時間聚類Gj1～GjK，每個聚類的中心值分別為gj1～gjK，則聚類Gj1～GjK構成資源sj的學習時長模式集合Gj。由此得到學習資源sj的觀察變量的值域Gj×M，其可取值的個數為|Gj|·|M|。設材料sj對應的樣本總數為nj，聚類Gjk中包含的樣本數為njk，Gjk中測試等級為mr的樣本數量為njr，則狀態sj下產生觀察Gjk×mr的概率為：

獲得模型的參數以后，由到當前為止的學習狀況，即每一次的學習時間和測試成績序列o1..t= {(l1,m1)，(l2,m2)，... ，(lt,mt)}，學習材料序列為q=(q1,q2,...,qt)，為學生選擇最適合的學習資源。對一個具體的學習樣本來說，學習時間l是一個實數值，其距離哪個時間聚類的中心最近則認為其屬于哪個時間模式。由公式3計算每一個學習資源下一步的出現概率。

學生學習不同的學習材料時花費時間的模式以及每種用時模式對掌握知識點所起的作用可能不同，因此在公式3的狀態預測概率的基礎上，定義函數f(sj)(見公式4)對公式3的計算結果進行調整。公式4中gjk為資源sj上的學習時間聚類Gjk的中心值，njkm為此聚類產生的最高測試成績m的學生數。對每一個學習資源，將公式4計算結果作為推薦依據，選擇f值最大的學習資源推薦給學生，此時的gjIk則可以作為最佳學習時長供學生參考。

(4)

學生完成學習后，由其實際所花的學習時間推測其對知識的掌握程度，即由公式2計算學生可能獲得的各種成績的概率，取其最大者做為對學生對知識掌握程度的判斷。

3.實驗

C語言程序設計線上教學平臺是面向大一和大二學生的開放式教學平臺，平臺為每個教學單元提供了教學視頻、操作演示、課件和電子教材等多種不同類型的學習資源，學生注冊后可以隨時登錄平臺進行學習，每次學習結束時系統會從試題庫中選擇若干道測試題測試學生對學習內容的掌握程度，系統記錄學生每次線上學習的學習內容、時間和測驗成績等。該平臺當前是完全自助式的，即系統僅提供學習資源，學生選擇哪種資源進行學習完全由學生個人決定。利用前述的HMTM模型可以為系統增加個性化的資源推薦功能，即首先使用平臺使用過程中積累的學生學習記錄來學習各知識單元HMTM的參數，利用HMM模型推理算法為學生每次學習推薦最優的學習內容。

平臺中記錄的“數組”知識點的學習記錄1032條，這些記錄中可能包含一些噪音數據，如當學生的誤點擊資源鏈接時，進入某個資源頁面后快速離開，或者進入某個學習資源后長時間脫離機器等情況。首先對數據進行降噪，去掉學生在這些非有效學習活動時所產生的記錄。本文采用的方法是設置時間閾值，將誤點擊的時間閾值設為1分鐘，自動播放類材料的離機閾值設為標準播放時長的1.2倍，學生主動閱讀類材料的脫機閾值設為記錄時長的中位數的2.5倍值。去除不滿足閾值條件的記錄后剩余860條有效樣本，這些樣本中有一些樣本缺失測試成績數據，這是因為有一部分學生結束一次學習活動之前沒有進行測試環節。對這些樣本用最大似然法估計其缺失值：首先統計每個時間聚類中各種測試成績所占百分比，作為該成績出現概率的最大似然；然后對每個缺失成績值的時間步，先判斷學習時間所屬的聚類，再選擇出現概率最大的成績類別做為缺失成績類別的估計值。

以“數組”這一知識單元為例對模型的應用效果進行檢驗。該知識點有5個學習資源，包括3個文檔材料和兩個教學視頻，分別記為s1, ...,s5。可以采用兩種方式來比較模型指導下的學習和學生自助學習的學習效果：其一是對每個待驗證樣本各個學習步驟花費的實際學習時間和測試成績，計算選擇模型推薦的學習資源進行等長時間的學習后獲得更高成績的概率，如果有較高的概率取得更好的測試成績則認為模型推薦的學習資源優于學生自選的學習資源；第二種方式是在取得相同的測試成績情況下比較使用模型推薦的資源是否可能使得學生花費的學習時間更少。

本文采用第一種方式進行驗證，如果在一個時間步上模型推斷所得成績高于學生本次學習測試的實際成績的累積百分比超過50%，認為模型推薦資源優于學生自選資源；反之，若使用推薦的材料學習時獲得的成績低于學生實際成績的概率大于50%，則認為推薦材料劣于學生自選材料。例如，若學生實際成績為“中等”，選用模型推薦學習資源時推測學生獲得“優秀”的概率為p1，獲得“良好”的概率為p2，獲得“差”的概率為p3，則若p1+p2>50%，即認為推薦資源較好，若p3>50%，則認為學生自己所選材料較好。若使用推薦的學習材料學習時獲得的成績和學生實際成績相同的概率大于50%，則認為推薦材料與學生自選材料相當。

實驗時將時間聚類個數設為4個，將測試結果設定為優、良、中、差等四個級別，此時有16種可能的觀察結果，觀察矩陣的維數為5×16，采用十折交叉法實驗，圖2是三種可能結果出現百分比的對比，圖3是每個時間步上由模型得出的結果優于或相當于實際情況的比例變化趨勢。

圖2 HMTM模型推測成績與實際成績對比

使用模型推薦的學習資源進行學習相較于學生自己選擇學習材料進行學習的優勢比較明顯，特別是前幾次學習，優于自選材料的比例接近50%，隨著學習過程的進行，模型推薦材料的學習效果與實際效果逐漸接近，這可能因為平臺提供的資源數量不多，經過幾次學習學生對知識的掌握達到一定水平后，平臺提供的教學資源對其促進作用已不大，為了增強平臺的效用，可以通過為平臺增加更多更有層次性的學習資源。

4 結論

本文主要將一種改進的穩馬爾可夫模型應用于智能教學過程，該模型包含兩個觀察變量，即學生的學習時間和學習成果，模型在用戶學習的過程中根據以前的學習內容和學習效果，通過推導得到可能具有較小的時間投入和較大的學習回報的資源推薦給學生學習。實驗證明了模型的有效性。

可以從兩方面對模型進行改進：(1)在平臺中提供更多的差異化的教學資源，以更好地適配不同學習能力和學習偏好的學生；(2)增加其他的觀察變量，如學習時的精神狀態[16]等，以獲取更多的判斷依據。