基于多模態數據的精準在線測試模型

摘要：隨著“互聯網+”時代的到來，在線測試開始受到廣泛的關注，并逐漸被應用于學習系統中。然而，目前常見的在線測試系統多以學習者的做題成績、做題時間等單模態數據為依據計算測試成績，對測試過程的感知和反饋很少，導致在線測試成績的客觀性和真實性不足。為此，文章結合多模態數據的分析特點，提出了一種基于多模態數據的精準在線測試模型，重點研究了眼動和鍵鼠行為數據作為評價數據源的應用方法及其有效性。實驗結果表明：眼動和鍵鼠等多模態數據的融入有助于客觀、真實地反映學習者的測試過程；模型能夠有效提高在線測試結果的準確性，多級融合方法也使多模態數據具有較好的可解釋性；同時，非侵入性的數據獲取使模型具有較高的實用性。文章對多模態學習行為數據獲取、挖掘、融合與應用的研究，旨在為在線學習評價提供參考，并為學習平臺客觀、全面把握學習者學習成效和實現個性化學習服務提供有效支撐。

關鍵詞：在線測試；多模態數據；行為分析；眼動檢測

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097（2023）04—0092—09 【DOI】10.3969/j.issn.1009-8097.2023.04.011

“互聯網+”時代，在線測試憑借其高管理效率、節約資源、方便學習者等優勢已被逐步應用于許多學習系統中。然而，在實際應用中，學習者在線測試成績評定通常以做題成績、做題時間等單模態數據作為評價依據，這導致在線測試成績的客觀性存在不足。此外，在線測試為大家所詬病的主要問題是缺少對學生測試過程的感知和反饋，測試作弊現象頻出[1]，測試成績的真實性不如線下。事實上，在線上學習環境中，學習者產生的大量多維場景數據為學習行為分析提供了充足的數據源，這為全面真實反映在線測試情況奠定了基礎。教育研究者當前也已經開始將多模態數據納入研究范圍，針對多模態數據的學習分析研究也受到了廣泛關注，那么測試作為完整教學過程的一個重要環節，也應納入學習分析的范疇。為此，本研究提出了一種基于多模態數據的精準在線測試模型，使用多模態學習分析對學習者的在線測試過程進行研究，以期為在線學習評價改革和創新提供參考。

一 研究現狀

目前，常見的在線測試系統大多只是將線下考試轉移到線上，沿用傳統考試法的評價方式，以成績為中心，根據學習者的在線做題結果直接決定其學習成績[2]。這種簡單的方式難以反映學習者測試中的很多表現，如注意力、眼神的快速變化，也不利于甄別偷看、切屏、遠程連接等違規行為，無法保證整個測試結果的客觀性和真實性[3]。雖然有學者提出通過引入Rasch、IRT等項目反應理論模型，將學習者測試過程中所體現的能力納入評價范圍，以達到改善測試結果的目的[4]，但是測試結果依據的源數據并沒有發生實質變化，導致其未能實現。而在線測試作為學習行為的一部分，是一個循序漸進的過程性活動，不同學習者在測試過程中的眼動、鍵鼠動作等行為往往富含個人的特點與習慣，因此關注學習者在線測試過程中的表現，有助于更詳盡、更全面地進行學情分析。已有研究者通過采集學習者的腦電、眼動、人機交互等學習痕跡數據，利用人工智能技術進行語義、情感及行為等分析，實現了基于多模態數據的眾多教育應用[5][6][7]，這些工作為本研究精準在線測試研究提供了重要基礎和可靠依據。

1 基于多模態數據的語義分析

相關研究以學習者在線會話、上傳文本為分析主體，如吳林靜等[8]針對在線協作會話的特征，提出了五維度在線協作會話分析框架，并以話語的語義心理特征為基礎，進一步提出了基于語義的協作會話學習投入自動分析模型，以實現學習投入的自動化分析。語義分析應用于在線測試中效果一般，但該研究所采納的多維度分析框架為本研究提供了研究基礎和分析思路。

2 基于多模態數據的情感分析

相關研究著重從心理學、生理學、教育學等方面出發，通過分析淺層表征與深層表征所代表的含義對學習者進行深度分析，如麻益通[9]建立了基于評論文字、表情符號、面部表情、肢體動作四種模態數據的在線學習情感分析模型，能夠有效分析在線學習者的情感傾向并判斷學習者的學習狀態。

3 基于多模態數據的行為分析

相關研究重視學習者的行為檢測與分析應用，如呂坤[10]以用戶的鍵盤行為、鼠標行為作為檢測的主要標準，總結出如擊鍵頻率、擊鍵次數、組合鍵使用情況等多種檢測指標用于識別研究；孫銘揚[11]提出融合鼠標軌跡、觀看時長、提問次數等隱式反饋數據，構建基于學習行為頻繁項集的多模態數據評估模型。相比于學習者的肢體動作、面部表情數據，眼動、鍵鼠數據是學習者在線測試過程中的主要人機交互數據，作為個體大腦與心理作用結果的外在表現形式，這些數據能準確反映學習者的認知過程和投入情況，是影響在線測試結果的重要因素[12][13]。

二 模型構建

為解決在線測試系統中的客觀性、真實性不足等問題，本研究主要基于多模態數據語義、情感尤其是行為分析研究的已有成果，提出了一種基于多模態數據的精準在線測試模型，如圖1所示。模型涉及多模態數據的選擇、評價指標體系設計以及多模態數據多級融合三個關鍵內容。

1 多模態數據的選擇

模型選擇的初始多模態數據包括：學習者在線測試中的單次測試得分、簡單題和難題答題情況、做題時間等在線測試系統可以提供的文本類和日志類數據；學習者眼動檢測的視頻類數據；學習者擊鍵次數、鼠標移動次數等鍵鼠行為的動作記錄類數據。之后，對答題情況等文本數據進一步處理，得到簡單題和難題正確率；對眼動視頻數據進一步挖掘，得到眼動路徑、注視次數和注視區域等數據；對鍵鼠行為數據進一步挖掘，得到擊鍵總數、鍵鼠交互比等數據。

2 評價指標體系設計

利用直接獲取或挖掘得到的多模態數據，本研究設計在線測試三維評價指標，如表1所示。

（1）知識掌握度設計

知識掌握度采用目前在線測試評價通常依據的測試得分，增加了難、簡單題得分統計數據，以反映學習者知識獲取的情況。

（2）思維活躍度設計

設計思維活躍度可更好地發掘和研究學習者的學習特征，同時也能使在線測試的成績更有區分度、更加客觀[14]。為獲取學習者在線測試期間的思維狀態，本模型設置2個可量化的特征，其中，做題時間是指從題目出現到學習者答題完畢的時間，以反映學習者測試時的思維敏捷程度。讀題速度不僅能在學習認知的更深層面對學習者進行測量，以此反映學習者對于知識內容的掌握程度與提取信息的難易程度，同時也可以分析出當前知識內容對于學習者的吸引程度。

（3）認知投入度設計

認知投入度是用于衡量學習者是否保持注意力集中的一個狀態指標，也是檢測學習者學習行為是否符合規范的有效方式。可以這樣認為，如果學習者在測試過程中頻繁地切換頁面，或是出現目光游離、四處張望的情況，與系統預設的情況出現偏差，則認定學習者在測試過程中沒有達到很好的投入度，指標構建依據如下：

①眼部活動得分。根據多模態數據之間的關聯性和互補性，眼動檢測可用于幫助和改善在線測試中的監管問題，分析學習者的潛在行為模式。一般來說，在測試過程中，學習者的注視點應當集中在答題區域附近，以專注投入的態度進行測試。當學習者的目光出現較長時間偏離、不集中等現象時，則可認為當前的測試狀態出現異常。

②鍵鼠活動得分。鍵盤和鼠標是學習者在測試過程中頻繁使用的交互工具，這些交互信息中隱藏著大量的個人行為日志，包括學習者的行為模式、個人習慣等。本研究對學習者鼠標軌跡特征和鍵盤輸入特征相結合的持續性行為檢測進行研究，通過分析學習者的潛在行為模式，融合兩種特征檢測學習者有無作弊等違規情況。

3 數據多級融合

由于在線測試過程中采集到的眼動、鍵鼠等檢測數據粒度比較細，對于測試成績缺乏較好的可解釋性，為此本研究借鑒深度學習理論，采用多級融合策略，對獲取的原始數據進行逐層抽象，最終得到學習者該次在線測試綜合評分。多模態數據多級融合過程如下——

①一級融合：將學習者眼動檢測視頻數據、鍵鼠行為數據分別經過卷積神經網絡、全連接神經網絡或統計分析處理后，得到C5～C7二級評價指標的數值化表達形式。

②二級融合：選用客觀賦權法，即熵權法計算Cj權重 ，并加權求和得到A1。之后，將C4與經過一級融合獲得的二級評價指標C5、將二級評價指標C6與C7分別融合得到A2和A3，并將輸出結果范圍從[0， 1]拉伸到[0， 100]，以便與A1進行三級融合。

③三級融合：采用客觀賦權與主觀賦權相結合的方法。采用熵權法求得三維指標的客觀權重 ，采用AHP法求得主觀權重 。融合主客觀權重，運用公式（1）計算得到綜合權重 ，最后與 加權求得本次測試綜合評分。

三 多模態數據的處理

由表1可知，各評價指標的取值均來源于多模態數據，其中直接從在線測試系統后臺讀取相關數據即可生成C1～C4取值。而讀題速度、眼部活動得分、鍵鼠活動得分等評價指標數據則需分別針對眼動檢測視頻和鍵鼠行為數據進行挖掘、融合才能得到。

1 由眼動檢測視頻數據計算讀題速度

首先由眼動視頻數據計算學習者眼動路徑。在線測試過程中，對攝像頭捕獲的視頻流進行人臉識別預處理后獲得眼動視頻數據，再分別進行頭部俯仰角檢測和人臉標記點檢測。其中，頭部俯仰角檢測采用訓練Mulit-loss卷積神經網絡的方法[15]；人臉標記點檢測采用Intel發布的開源工具包OpenVINO中提供的Facial-landmarks-35-adas-0002目標識別模型，可得到左右眼的內外眼角坐標、左右嘴角坐標、左右眼剪裁圖片等輸出結果。最后利用OpenVINO提供的Gaze-estimation-adas-0002模型方法，可獲得學習者在測試中的眼動路徑。

利用眼動路徑計算學習者讀題速度的策略如下：當學習者的注視點在題目開始區域停留1.5s后開始檢測，檢測區間設為A。若在1.5s內采樣得到的點均在A中，則開始眼動路徑的檢測。這里眼動路徑實際也可稱為讀題路徑。采樣間隔為t0，采樣窗口為t1，在一個采樣窗口內采集的n個點的集合B可以表示為 。根據采集到的數據，可以計算出學習者在一個采樣窗口t1的讀題速度，如公式（2）所示。

圖2展示的是在進行某一題測試時，以屏幕左下角為原點、屏幕分辨率為坐標軸，系統檢測從開始做題后15s內不同學習者的讀題路徑。從圖中可以看出，學習者對于同一道題目的讀題策略各不相同，選擇快速讀題的學習者的讀題路徑往往少于重復讀題的學習者。如學習者A的讀題路徑就少于其他三位學習者，而此計算的讀題速度能反映出學習者的思維特點。

2 由眼動檢測視頻數據計算眼部活動得分

生成眼動活動得分時，本研究將注視次數和注視區域作為計算依據，這兩類數據也利用眼動檢測視頻數據獲得。將學習者目光集中在某一個點上超過1.5s定義為注視行為，為確保實驗的可行性和魯棒性，對于注視點的采集采用模糊化采樣的方式，即采樣間隔為t0，集合C為某個1.5s時間段內采樣的點，n為采集點的總個數，（ ）為集合C中的首個元素。若其中有90%的點都處于合理注視區域G中，則認為學習者出現了一次注視行為，計算如公式（3）所示。

確定注視區域的關鍵是統計無關注視區域率，即采集學習者一段時間以來的眼動軌跡，計算學習者注視點處于答題區域外的數量與注視點總數的比值，從而對其眼部活動進行評判。本研究收集了80名學習者在閉卷和開卷環境下的眼部活動情況進行分析，并細化為遇見難題和簡單題兩種情況，結果如表2所示。其中，E代表簡單題，D代表難題。

從表2可以得出，在遇到不同類型的題目時，學習者的注視次數會隨著題型難度的增大而升高，且在開卷環境下，學習者的無關注視區域率也會隨著難度上升而增加，說明學習者注意力出現了明顯的波動，集中程度大幅度下降，因此考慮將注視次數作為眼部活動檢測輔助評判標準，以注視區域為主要評判標準。注視次數的系統預設閾值為Gsetting，注視次數為Ga，無關注視區域率為Ra，則可依據公式（4）計算學習者的眼部活動得分C6，結果如圖3所示。

3 由鍵鼠行為數據計算鍵鼠活動得分

鍵鼠行為數據中實際包含了很多能夠反映學情的隱式特征。為更好地區分學習者行為模式，本研究以開卷測試模擬學習者不遵守考試規則，或出現注意力不集中的情況。為此，本研究采集了80名學習者在閉卷測試和開卷測試環境下的擊鍵次數、特殊鍵使用次數、鼠標移動次數、鼠標移動軌跡等數據，并從中提取出不同鍵鼠行為的特征，各項特征取均值后結果如表3所示。

從表中可以看出，當學習者被告知處于閉卷測試環境時，擊鍵總數與刪除鍵率高于開卷測試，且鼠標軌跡基本集中在答題區域。而處于開卷測試環境時，學習者使用功能鍵的頻率上升，鍵鼠交互比的提高則表明學習者移動鼠標的次數更頻繁，且處于非答題區域的軌跡明顯增多，可認為學習者出現了與測試無關的違規行為。根據表3的統計特征及實驗結果，可以構建具有3層隱含層的神經網絡對5種鍵鼠特征進行學習，輸出層為5種特征融合后的鍵鼠活動得分C7。

本研究的實驗中，神經網絡的3個隱藏層各層節點數分別設為10、20和10。將實驗收集到的3000條有效數據按4：1劃分為訓練集和測試集，鍵鼠行為滿足4種及以上閉卷測試特征的數據記為0.8，滿足3種閉卷測試特征的數據記為0.6，低于或等于兩種閉卷測試特征的數據記為0.4。經過200輪訓練后準確率達到最優，為94.3%，測試集上的準確率為87%。訓練后該神經網絡在收集到學習者測試時的鍵鼠行為數據后將會自動計算出鍵鼠活動得分。

四 實證研究

由于目前在線學習平臺對于學習者的信息和學習數據的隱私性保護，無法滿足本研究需求，因此本研究自主搭建了基于Python+Django環境的在線學習測試平臺。其中，Python版本為3.9，Django版本為2.2。為了驗證模型及評價指標的有效性、準確性與實用性，本研究在測試平臺上對南京N大學2021年秋季學期計算機科學與技術專業某班的39名本科生進行“程序設計基礎”“數據結構”等5門課程的學業考核，并通過系統后臺收集了這5門課程的在線考試成績與行為數據，共篩選出300份有效數據。

1 模型有效性分析

本研究對比學習者在線測試單次測試得分C1和引入本模型后的綜合評分，結果如圖4所示。從圖中可以看出，單次測試得分的統計結果主要集中在85分到滿分，人數較多，這是由于在線測試的特殊性，當直接將單次測試得分作為在線測試成績時，因缺少符合學習者特征的多模態評價數據，指標單一，會出現眾多學習者成績相近的情況，即數據扎堆，這對學習平臺后期有針對性地進行資源推薦和學情反饋工作造成了一定阻礙。當引入本模型后，可以發現分數段出現了明顯的不同，分布情況更加平均，學習者的綜合評分具有了多維度、多模態的特征，而不僅僅是測試成績這一指標。因此，可以說明本模型將眼動和鍵鼠等多模態數據融入在線測試最終成績的計算中，能夠客觀有效地反映測試者的測試過程活動。

2 模型準確性分析

為評估模型質量，本研究采用均方誤差（Mean Squared Error，MSE）來反映估計量和被估計量之間的差異程度，同時，還引入平均絕對值誤差（Mean Absolute Error，MAE）和平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE）兩個評估指標，用以計算測評對象的實際評分和預測評分之間的差異。

本研究的模型與線性回歸模型評測情況的對比結果如表4所示，指標取值越小，表明評估方法得出的預測值越接近實際值。結果表明，本研究模型提升了在線測試結果的準確性。

3 模型實用性分析

根據前文實驗過程所述，本模型可以及時捕獲學習者的系統后臺日志信息、眼動視頻、鍵鼠行為等數據，并以融合算法輸出學習者的綜合測試結果，還可以在實驗階段以及部署測試階段保持7×24小時持續運行。在實際應用中，該模型部署無須配備額外硬件設備，易于大規模部署，對學習者全過程無感采集眼動及鍵鼠等動作行為，不涉及隱私數據，符合在線學習數據的安全性要求，具有較高的實用性。

五 結語

本研究提出了一種基于多模態數據的精準在線測試模型，將眼動和鍵鼠等多模態數據融入在線測試最終成績的計算中，并通過實驗表明這些數據能夠有效地反映測試者的測試活動；從知識掌握度、思維活躍度、認知投入度三個維度設計了評價指標體系和多級融合算法，計算得出學習者一次在線測試的綜合評分，能夠提高在線測試結果的客觀性和真實性，并使多模態數據具有較好的可解釋性；同時，非侵入性無感方式的數據獲取使模型具有較高的實用性。本研究旨在為學習平臺客觀、真實地評估學習者測試結果提供新思路，為在線學習評價提供新方法，為個性化學習服務提供可靠參考。當然，本研究還存在一些不足，如在學習者眼動路徑檢測中，針對頭部俯仰角檢測的開源訓練集數量不足，模型處理復雜情況的穩定性和準確性還有待提升；構建題庫時局限于難度，未來可以通過引入學科知識圖譜，進而對多種類型題目的答題情況進行統計，進一步提高模型的精確性。

參考文獻

[1]萬子云，陳世偉，秦斌.基于深度學習的MOOC作弊行為檢測研究[J].信息安全學報，2021，（1）：32-39.

[2]王劍嬌.面向高校的在線考試管理系統的設計與實現[D].西安：西安電子科技大學，2018：1-5.

[3]陳乾國.一種干部在線作弊學習行為分析與預測策略[J].計算機工程，2017，（9）：17-22、28.

[4]董慧嶸.基于學習行為分析的學習能力評估與學習意圖預測方法研究[D].哈爾濱：哈爾濱工業大學，2019：11-14.

[5]牟智佳，符雅茹.多模態學習分析研究綜述[J].現代教育技術，2021，（6）：23-31.

[6]Mangaroska K， Martinez-Maldonado R， Vesin B， et al.. Challenges and opportunities of multimodal data in human learning： The computer science students’ perspective[J]. Journal of Computer Assisted Learning， 2021，（4）：1030-1047.

[7]張家華，胡惠芝，黃昌勤.多模態學習分析技術支持的學習評價研究[J].現代教育技術，2022，（9）：38-45.

[8]吳林靜，高喻，涂鳳嬌，等.基于語義的在線協作會話學習投入自動分析模型及應用研究[J].電化教育研究，2022，（3）：77-84.

[9]麻益通.基于多模態的在線學習情感分析模型設計與實現[D].南京：南京師范大學，2019：10-11.

[10]呂坤.基于鍵盤鼠標行為的持續身份認證系統研究[D].成都：西南財經大學，2019：3-8.

[11]孫銘揚.融合學習者隱式反饋的在線學習效果評估[D].南京：南京師范大學，2019：4-8.

[12]翟苗，張睿，劉恒彪.高校混合式教學形成性評價指標研究[J].現代教育技術，2020，（9）：35-41.

[13]冷靜，易玉何.智慧教室中學習投入度與教學活動類型的關系[J].現代教育技術，2020，（5）：47-53.

[14]Durukan E. Impact of speed reading training on reading speeds and comprehension skills of secondary school students[J]. Cypriot Journal of Educational Sciences， 2020，（2）：184-193.

[15]Ruiz N， Chong E， Rehg J M. Fine-Grained head pose estimation without keypoints[A]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops[C]. Salt Lake City： IEEE， 2018：2155-2164.

Abstract： With the arrival of the “Internet+” era， online testing has begun to receive widespread attention and gradually been applied to learning systems. However， the current common online testing systems are mosty based on the single-modal data such as learners’ test scores and test-taking time to calculate test scores， which resulted in little perception and feedback on the testing process and led to insufficient objectivity and authenticity of online testing results. Therefore， combining with the analysis characteristics of multimodal data， this paper proposed an accurate online testing model based on multimodal data， and gave the selected multimodal data and an evaluation index system designed from three dimensions of knowledge mastery degree， thinking activity degree， and cognitive input degree， as well as a multi-level fusion algorithm. Meanwhile， the application methods and effectiveness of behavior data of eye movement and keyboard-mouse as evaluation data sources were mainly studied. Experimental results indicated that the integration of multimodal data， such as eye movement and keyboard-mouse helped to objectively and truly reflect learners’ testing process， and the model could improve the accuracy degree of online testing results. Meanwhile， the multilevel fusion method made the multimodal data more interpretable， and the acquisition of non-intrusive data made the model more practical. The acquisition， mining， integration and application of multi-modal learning behavior data in this paper were expected to provide reference for the online learning evaluation， and offer effective support for learning platforms to objectivly and comprehensivly understand learners’ learning outcomes and achieve personalized learning services.

Keywords： online testing; multimodal data; behavior analysis; eye movement detection

*基金項目：本文受江蘇省“十四五”教育科學規劃重大課題“未來學校建設研究”（項目編號：A/2021/05）、江蘇省高等教育學會重點資助課題“在線教學質量評價體系研究”（項目編號：2021-Z07）資助。

作者簡介：陳波，教授，博士，研究方向為智慧教育與信息安全，郵箱為bchen@njnu.edu.cn。

收稿日期：2022年10月23日" " " " " " " " " " " " " " " " " " " " " " " " " " " " " " 編輯：小時