基于鼠標事件的虛擬仿真實驗中學習狀態評價模型研究

劉志勇，王淑賢

(東北師范大學信息科學與技術學院，吉林 長春 130117)

1 引言(Introduction)

近年來，虛擬仿真實驗為學習者帶來一種嶄新的實驗方式，突破了傳統實驗中時間與空間的約束，并且解決了由于實驗環境及設備的限制造成的實踐性缺乏、實驗培養效果不理想等問題。然而，虛擬仿真實驗中時空分離的教與學的方式，使教學者對學習者實驗時的學習狀態知之甚少，僅可通過了解實驗者的實驗結果來進行評價，缺少了對實驗的過程性評價，顯然具有一定的片面性和局限性。即使有教師實時參與的實驗的過程性評價，由于缺少數據支撐，教師的即時性診斷仍然偏于經驗分析和定性分析。

很多學者致力于研究在線學習環境下的學習狀態評價模型，它能夠根據學習過程中的實驗操作數據對學習狀態做出評價。黃濤等指出，信息技術的發展，使得傳統教育評價機制向數據驅動的精準化學習評價方向邁進，分析多模態的數據更加有利于發現教育中的問題。王蓓蓓等從大數據的視角，對大數據應用于學習過程評價進行了特征分析,探究了學習過程錯題個性化推送,學生過程行為評價的應用模式等。可見，在線學習環境中，信息技術手段賦能學習分析，可以大大提高評價的全面性與科學性，也有助于教育者對后續課程安排的調整，有效提高教學質量。學習者學習狀態評價最常用的方法有兩種，一種是基于生理信號的方法，比如腦電圖、心電圖等，需要借助專用的傳感設備；另一種是基于非生理信號的方法，比如面部表情、眼動、手勢、身體動作等。鄭茜元等提出了基于循環神經網絡(Recurrent Neural Network,RNN)的眼動分析算法，判定學生注意力情況。還有一種較為流行的方案是利用Kinect體感數據對學習者學習過程中的姿態識別，進而判斷學習者的狀態，以實現學習過程的監測。基于生理信號采集數據的方式存在設備佩戴煩瑣從而影響學習者等問題，基于非生理信號的方式又可能造成隱私泄漏，并且獲取到的數據不夠準確、客觀，難以真實全面地反映學習狀態。利用鼠標事件實現學習者學習狀態評價是一個比較新穎的研究方向。美國楊百翰大學曾提出僅根據鼠標的運動方向來評估使用者的情緒狀態，該研究發現，學習者的情緒狀態影響鼠標運動的方式，而鼠標事件也能夠反映出使用者的情緒狀態。

本文以虛擬仿真環境下的初中物理電學實驗為研究對象，以鼠標事件與學習狀態的相關性作為理論基礎，提出了一種基于鼠標事件分析的學習者學習狀態評價模型。該模型分類能力較強，且擴展性較好，運行也非常穩定。

2 數據的獲取(Data collection)

采集學習者實驗過程中的鼠標事件，將其作為原始的數據樣本。選定的志愿者群體為初中學生，共征集了943 名初中在讀學生參與了數據的收集，每人完成七個物理實驗，完成過程中初中物理老師對數據進行人工標記。

在對志愿者實驗結果進行篩選后，剔除了沒有進行實際實驗操作的數據，最后得到897 名志愿者的有效數據，共計4,485 條。

以初中物理虛擬仿真實驗軟件“吃掉物理”中電學的七個實驗為例，將實驗界面進行分區，分為實驗操作區與非實驗操作區。實驗操作區分為實驗操作區域與實驗器材區域，非實驗操作區為除此之外的其他區域。從實驗開始時啟動對學習者的鼠標事件的收集工作。

鼠標事件數據要盡可能全面地反映實驗者實驗的全過程。所以從實驗開始每隔1 s收集一次鼠標事件信息，收集的主要信息包括鼠標位置坐標、時間戳、鼠標所在區域、移動的距離、移動的角度、鼠標點擊的次數、鼠標滾動的次數等。

數據的收集原理是將設計好的鼠標獲取工具嵌入到虛擬仿真實驗的操作界面。當學習者進行實驗時，對學習者的鼠標事件數據進行收集，然后將收集到的數據上傳處理，最后經過處理得到實驗所需要的特征。

鼠標事件獲取工具基于JavaScript設計與實現，主要利用了一些經典的鼠標驅動事件。在這些鼠標驅動事件中添加腳本，就可以獲取鼠標的橫縱坐標，再疊加鼠標當前滾動的橫縱距離就可以得到鼠標當前所在的位置。獲取到原始數據后，從原始數據中提取了16 個特征，人工處理后形成數據表。部分字段及數據如表1所示，數據集信息如表2所示。

表1 部分實驗數據Tab.1 Some experimental data

表2 數據集信息Tab.2 Dataset information

3 評價模型的構建(Evaluation model construction)

評價模型的構建過程中，首先分析了實驗對象和內容——初中物理電學實驗，并根據各個物理實驗所涵蓋的知識點的不同進行劃分。其次通過不同的降維方法與回歸方法分別進行實驗，分析得出其共性與個性。在這些基礎上，聚焦實驗完成的過程以及實驗中各知識點的細節，構建了基于HMM的融合時序因素的學習狀態評價模型，并分析問題與不足，針對HMM模型分類能力較弱的特點，采用引入SVM的方式，構建了一種結構松散相對獨立的混合模型。

3.1 實驗內容的選擇與分析

實驗教學是培養創新思維的重要方式，初中時期是學生剛接觸實驗教學的時期，這個時期的實驗教學對于學生的創新能力有很好的啟蒙作用。其中電學實驗覆蓋面廣，知識點豐富，因此選擇初中物理電學實驗作為研究對象。

根據《義務教育物理課程標準》中要求的“初中物理學生必做的20 個分組實驗”，其中電學共有七個實驗，分別如下所述。

(1)探究電流與電壓、電阻的關系；

(2)探究通電螺線管外部磁場的方向；

(3)探究導體在磁場中運動時產生感應電流的條件；

(4)用電流表測量電流；

(5)用電壓表測量電壓；

(6)測量小燈泡電功率；

(7)連接簡單的串聯電路和并聯電路。

通過分析七個實驗涵蓋的實驗內容和各自的操作要點可以發現，物理實驗1、6可以涵蓋物理實驗4、5、7的實驗內容及操作，于是將物理實驗1、6作為主體實驗。根據物理教學要求，在主體實驗中提煉出五個知識點：電流表、電壓表、滑動變阻器、串聯、并聯。

在完成實驗過程中采集的數據主要有鼠標運動的平均速度、加速度、角度及時間等，主要目的是對學習者完成實驗時的整個過程建模，通過各知識點操作采集的時間序列性的數據也可以對實驗進行知識點的評價。為了具體分析知識點操作情況，將各知識點的學習狀態分為正常與非正常，如表3所示。

表3 知識點狀態及編號說明Tab.3 Learning status and number of knowledge points

學習狀態評價中使用全部七個物理實驗，評價結果有優、中、差三級。通過研究覆蓋面較廣的主體實驗可為實驗者反饋需要重點關注的知識點，便于后續的學習。

3.2 數據降維及回歸

數據特征的好壞與模型的效果直接相關，數據的降維對模型的構建及訓練都至關重要。我們采用了較為經典的三種降維方法，即隨機森林算法、主成分分析法、卡方檢驗法對特征進行降維。合適的評價方法可以提高評價的準確性，我們選擇了評價方法中較為經典的BP(Back Propagation)神經網絡、RBF(Radial Basis Function)神經網絡、支持向量機與最小二乘向量機。結合這些方法，得出各個物理實驗適用的數據維度及回歸方法。

實驗結果：物理實驗1采用支持向量機與卡方檢驗法得出的實驗結果最優；物理實驗2采用反向傳播神經網絡與卡方檢驗法得出的實驗結果最優；物理實驗3采用反向傳播神經網絡與隨機森林法得出的實驗結果最優；物理實驗4采用支持向量機與卡方檢驗法得出的實驗結果最優；物理實驗5采用支持向量機與卡方檢驗法得出的實驗結果最優；物理實驗6采用支持向量機與卡方檢驗法得出的實驗結果最優；物理實驗7采用支持向量機與卡方檢驗法得出的實驗結果最優。

綜合本次實驗中七個物理實驗的所有結果，可以得出，在本實驗選取的眾多降維方法中，卡方檢驗法的降維效果最好；支持向量機是本次實驗采用的所有回歸方法中效果最好的，最終均方根誤差較小。

3.3 基于HMM的模型構建

鼠標事件與知識點狀態存在著一定的關聯，通過實驗者實驗時的鼠標事件可以了解實驗者各知識點的學習狀態。計算機可以直接觀測到鼠標事件而無法直接觀測實驗者在知識點學習時的狀態。所以就需要用統計的推理方法確定它們之間的關聯。從觀測序列推斷出概率最大的隱含狀態，也就是從實驗的鼠標事件數據中推斷出實驗者的學習狀態。該問題就是HMM中的預測問題，要構建基于HMM的知識點學習狀態評價模型，首先要提取特征，特征的選取對模型構建及訓練至關重要。其次將建立HMMs模型庫并對模型庫進行訓練，最后是分類決策，分類決策將具體實現知識點學習狀態的評價。

特征提取時需要考慮初中物理電學實驗中知識點操作的要求及特性，從而構建合適的觀測序列。在數據收集的過程中，教學者提出的基本要求如下：能夠對于實驗者整體操作時的情況得出需要重點關注的模塊。

對于各個知識點，通過分析數據可以得出實驗過程中特征值的變化情況，具體情況如圖1所示。

圖1 特征值的變化Fig.1 Variation chart of characteristic values

根據特征值的變化情況，可為各個知識點設置兩個關鍵值。這兩個關鍵值分別代表合格、不合格。各知識點關鍵值如表4所示。

表4 各知識點關鍵值Tab.4 Key values of all knowledge points

模型庫中的模型對應的是對各個知識點的評價模型，每個模型都需要經過訓練之后再并入HMMs模型庫中，其基本訓練流程如圖2所示。

圖2 HMMs模型庫基本訓練流程Fig.2 Basic training process of HMMs library

HMMs模型庫建立之后就可以解決概率計算問題。計算觀測序列與模型庫中各個模型的匹配程度。

實驗采集了300 組實驗過程的數據，其中每個知識點的狀態各50 次。將300 組數據平均分為兩組，一組用來訓練，另一組用來識別。

實驗結果如表5所示，表中狀態所在行代表實際的狀態，所在列代表實驗的結果，數值代表對應識別的次數，最終實驗結果由準確率進行衡量。

表5 HMM模型的實驗結果Tab.5 Experimental results of HMM

從表中的識別結果來看，準確率最高的為S1與S4。評價的平均準確率為79.7%。

3.4 混合模型的構建

由HMM模型實驗結果來看，對于大部分狀態的識別還是較為準確的，因此使用HMM模型是可以對各知識點學習狀態進行有效評價的。但是對某些狀態的識別準確率欠佳，這就代表當觀測序列較為相似時，HMM模型并不足以完全識別。而SVM雖然不考慮時間因素，但它提升了對比分類的效果，并且更加適用于小樣本的數據。因此SVM可以很好地彌補HMM存在的不足。

混合模型的基本架構分為上層和下層，HMM模型位于上層，負責處理具有時序特征的觀測序列，通過計算觀測序列與模型庫中各個模型的似然率來縮小結果的范圍。SVM位于下層，由于其分類能力較強，將上層HMM模型縮小范圍后的數據輸入到SVM模型中，對結果進一步處理。這種獨立的混合模型可以減輕工作負擔，提升工作效率，通過聯合評價的方式提高評價準確率。基本架構如圖3所示。

圖3 混合模型的基本架構Fig.3 Basic architecture of hybrid model

由于混合模型是外部引入的雙層架構，因此HMM模型與SVM模型要先單獨訓練，這兩個模型的訓練相互獨立。HMM模型的訓練方法與上一節中類似，SVM模型的訓練要遵循“一對一”策略，使用序列最小優化(Sequential Minimal Optimization,SMO)算法對分類器進行訓練。

混合模型的訓練與識別具體步驟如下所述。

(1)首先將觀測序列輸入HMMs模型庫計算與各個模型的似然率，計算似然率采用了前向-后向算法；

(2)其次將似然率較小的結果排除后，選擇較高的2—3 個狀態，將其觀測序列傳遞給下層的SVM；

(3)再調用對應的SVM的分類器對這些特征向量進行投票；

(4)最后將得票率最高的結果輸出。

這種由外部引入的混合模型，不僅保留了隱馬爾可夫模型對于實驗中實驗狀態時序變化的描述能力，還通過支持向量機提高了評價的準確性。而且這種松散的結構有助于后續對知識點的添加與刪除，具有很強的可拓展性。

基于HMM/SVM模型的實驗結果如表6所示，評價標準為實驗狀態識別的準確率。

表6 基于HMM/SVM模型的實驗結果Tab.6 Experimental results of HMM/SVM model

可以發現，HMM/SVM模型的采用可以顯著改變HMM模型的性能。各個狀態的準確率均有一定的提升，在HMM模型中被識別為同類問題的串聯模塊與并聯模塊，在混合模型中的準確率上升也非常顯著，可以解決HMM分類能力不足的問題。

基于HMM/SVM的學習狀態評價系統將HMM模型與外部引入的SVM模型進行結合。不僅可以處理時間序列的數據，反映實驗完成的過程性，還提高了評價的準確度。同時，文中提出的基于HMM/SVM的知識點學習狀態評價模型，可拓展性強，對于后續需要添加或刪除知識點的情況非常友好，實際應用性很強。

4 結論(Conclusion)

提出的學習狀態評價模型不僅可以做出過程性的評價，彌補實驗評價的片面性與局限性，還可以充分挖掘學習者在實驗中知識點的學習狀態信息，對需要重點關注的知識點做出反饋。有利于學習者與教學者及時發現問題、解決問題，一定程度上降低了學生產生厭學情緒的可能性，增強了學習評價的科學性與全面性，同時也為虛擬仿真實驗評價問題提供了一種新的思路。