基于ENA的學習者測評數據分析
——以C語言實驗課程為例

劉 放，趙希武，徐行健，孟繁軍

（內蒙古師范大學 計算機科學技術學院，內蒙古 呼和浩特 010022）

0 引言

教育部印發的《教育信息化2.0行動計劃》提出，持續推進信息技術和智能技術深度融入教育教學全過程，推動改進教學、優化管理、提升績效［1］。信息技術如何融入學習分析并從多維度進行綜合動態評估與分析［2］，仍是當前教育領域的熱點研究問題。傳統的學習分析存在一定局限，研究者一般從整體、靜態的角度收集和分析學習者及學習情境的數據［3］。為了更好地探究學習分析，本文引入一種定量分析新方法，即認知網絡分析法（Epistemic Network Analysis，簡稱ENA），它可以動態地呈現學習者認知元素之間的連接關系，進一步反映學習者的認知特征［4］。對于計算機相關專業的實驗課程而言，日常教學、隨堂測驗借助程序設計類實驗輔助教學平臺（PTA）完成，具備運用學習分析開展評價的基礎條件，可以從監測、評價、診斷和預測等方面支持教學并輔助教育決策［5］。本文采用認知網絡分析法對不同組別和性別的學習者階段性測評數據進行可視化分析，為一線教師開展信息化教學和評價提供借鑒。

1 研究現狀

1.1 數據驅動下的學習分析

學習分析的開展依賴于系統化、結構化的海量數據［6］。牟智佳等［7］以布魯姆教學目標分類學和Q矩陣理論為依據，構建基于測評數據的個性化評價模型，通過對學習者的測評數據進行檢驗，為教師的因材施教提供個性化分析及參考。王改花等［8］采用決策樹方法對學習者的行為和成績進行預測，發現不同性別和學科背景的學習者存在差異，便于教師深入了解每類學習者的特征，實施精準化的干預和幫扶。在Petersen的數據信息教學中，績效數據主要用來診斷學習者的學習差距，便于在每學年開始時制定有針對性的教學計劃，以提高學生的學習成績［9］。顧小清等［10］指出，通過對數據進行統計分析和可視化分析可以實現對課程和教學的監測和評價，以便為學生提供更有針對性的教學干預并設計滿足學生需求的學習內容。數據本身不會產生教學價值，要基于教育理論對數據加以詮釋，給數據賦能，才能實現數據驅動下的學習分析。數據驅動下的教育變革，改進了傳統的終結性評價，建立了多樣化、多角度、多方式的評價指標［11］。

1.2 認知網絡分析在教育中的應用

在教育領域，認知網絡分析被廣泛應用于測量評價與學習分析。朱旭［12］從復雜教學環境角度入手，遵循“以證據為中心”的思想理念，融合認知網絡可視化分析技術，構建基于學習者認知網絡分析的評價模型，從多角度評價不同經歷和水平學習者的認知結構，從而改進了傳統的教育評價。借助網絡學習平臺中產生的學習數據，解釋學習者的知識建構過程也是在教育領域的另一個應用。冷靜等［13］收集Coursera平臺中的MOOC討論數據和成績數據等，結合自然語言處理方法對數據進行編碼再進行認知網絡分析，研究發現高分組和低分組在認知和個人領域具有顯著性差異。認知網絡分析不僅可以作為一種學生評價工具，同時在評價教師專業能力方面也十分奏效。在數學課堂教學中，Orrill等［14］認為ENA可以用來理解教師在任務中使用的關于數學的細粒度概念之間的聯系，可以作為提煉專家型教師和新手型教師差異研究的第一步。吳忭等［15］運用認知網絡分析法基于非良構的中醫領域問題，分析不同引導風格的教師對學生學科思維能力的影響存在顯著差異。研究發現，當前教育評價的重點逐漸從知識內容的掌握轉向關注認知領域的評價。

2 研究方案設計

2.1 研究工具

認知網絡分析是一種識別和量化編碼數據中各元素之間的連接，并將其表示在動態網絡模型中的新方法。這些模型說明了連接的結構，測量了網絡中各元素之間的關聯強度，它們隨著時間的推移量化了連接的組成和強度的變化。認知網絡分析可以直接進行網絡比較，也可以通過匯總統計進行比較。因此，在假設數據中的關聯模式有意義的情況下，該方法可以用來探索廣泛的定性和定量研究問題［16］。威斯康星大學麥迪遜校區教育學院Shaffer等學者開發了ENA Webkit，并使用該平臺創建和探索網絡模型。ENA Webkit執行兩個主要功能：其一，它處理編碼數據，讀取數據表，將行分成節，按節積累代碼，創建一組鄰接矩陣，累積不同節的鄰接矩陣，表示每個分析單元的編碼對象之間的連接結構，并產生一個降維用以表示數據集，形成由X和Y組成的二維坐標系［17］，建模過程如圖1所示；其二，ENA使用這種分析結果以創建可視化，促進對數據的探索和解釋。

Fig.1 Coding and modeling steps of ENA圖1 認知網絡分析法的編碼與建模步驟

2.2 研究問題

本研究首先在程序設計類實驗輔助教學平臺中選擇C語言程序設計綜合訓練的一次隨堂測驗數據，然后統計測驗試題的難度、知識元素和認知維度，確認試題編碼，再將答題情況進行二進制編碼，之后后進行認知網絡分析和統計分析，探究學生的認知差異，為后續教學設計提供指導和參考。具體研究流程如圖2所示。

Fig.2 Research process圖2 研究流程

實驗教學是計算機專業教學體系的重要組成部分，C語言程序設計綜合訓練課程是針對計算機專業而設計的一個綜合應用項目，是相關專業課知識的串聯，要求學生運用其所學專業知識進行綜合設計和開發，從而將知識融會貫通、整理、提升及擴展。由于實驗課程的特殊性，在程序設計類實驗輔助教學平臺考核過程中存在難以精準評價和考察學生專業認知結構問題。為了解計算機專業學生在隨堂測驗過程中所形成的專業認知結構特征，本文采用認知網絡分析法，研究問題將聚焦于以下兩個方面：

問題一：不同績效水平的學生在專業認知結構中有什么差異？

問題二：不同性別的學生在專業認知結構中有什么差異？

2.3 研究數據收集與編碼

本文以某師范大學計算機學院的43名學生為研究對象，首先對試題數據依據如圖3所示進行編碼標記，內容包括試題難度、涉及的知識要素和認知維度分類，分別旋轉三層表盤排列組合，即可查詢編碼含義，例如R1.FZ表示該題考察了記憶理解層面中賦值調用問題難度為1。接著，使用二進制“0”和“1”對試題作答情況進行編碼如表1所示，若試題回答正確則記“1”，回答錯誤則記“0”，依據測驗成績，將學生分為高績效組和低績效組，大于等于60分為高績效組，小于60分為低績效組最后，將每名學生的測驗數據作為一個節，節的大小設置為4，將編碼后的數據在ENA Webkit工具（http：//www.epistemicnetwork.org/）中進行認知網絡分析。

Table 1 Coding table表1 編碼表

Fig.3 Test question coding disk圖3 試題編碼盤

3 分析與討論

3.1 不同績效水平的學生在認知特點上具有明顯差異

針對問題1，研究依據測驗成績將學生分為高績效組和低績效組，其中高績效組12人，低績效組31人，按照編碼框架將不同績效水平學生的編碼結果導入至ENA在線分析工具后，生成兩組群體的認知網絡質心圖，如圖4所示。其中，小圓形為每名學生的認知網絡圖的質心，實心正方形表示組別內所有學生的認知網絡圖的平均質心，質心相對于網絡中不同節點的位置遠近反映認知網絡圖側重構建了哪些編碼間的關聯，檢驗認知網絡圖的質心位置差異可以作為判斷認知框架差異的統計學依據［18］，質心外側的虛框表示95%的置信區間。可以看出，兩組在Y維度上并沒有明顯差距，在X維度A組和B組質心位置相距較遠，這表明不同類型的學生在測驗過程中產生了不同的認知水平和結構。

Fig.4 High performance group and low performance group epistemic network centroid map圖4 高績效組和低績效組認知網絡質心圖

為了從統計意義上分析兩個組別的認知網絡結構差異，本研究使用雙樣本T檢驗，分析兩個組別在X維度和Y維度的差異，結果如表2所示。

Table 2 T-test results of epistemic network differences among different groups of students表2 不同組別學生認知網絡差異T檢驗結果

結果顯示，高績效組和低績效組在X維度存在顯著差異（p＜=0.01）。圖5、圖6分別為高績效組、低績效組的認知網絡圖，圖中結點代表試題涉及的知識要素，它與知識要素出現頻次相關，結點間連線的粗細與相應知識要素共現頻次相關。生成的認知網絡圖形與原始數據有較高的擬合優度，其中X維度的相關性系數為0.98（Pearson）和0.97（Spearman），Y維度的相關性系數為0.96（Pearson）和0.96（Spearman）。

Fig.5 Epistemic network of high-performance group圖5 高績效組認知網絡

Fig.6 Epistemic network of low-performance group圖6 低績效組認知網絡

從兩組的認知網絡圖可以發現，圖5高績效組的質心向X軸左側偏移，共現網絡呈現完整、均勻、復雜。在難度較高的枚舉類型、結構體變量、結構體指針和綜合實踐建立了較強的連接，說明高績效組不僅內化了概念和定義類知識，同時具備運用程序性知識解決綜合實踐問題的能力。圖6低績效組的質心向X軸右側偏移，共現網絡呈現局限性特征，在難度較低的結構體概念、結構體賦值和結構體調用建立連接，而對綜合實踐類編程題很少共現。為了更清晰地看到兩個群體在專業認知網絡結構上的差異，本研究對兩組認知網絡圖進行做差操作，這種方法可以比較編碼間關聯在對應網絡中的差異，結果如圖7所示。兩組網絡相互抵消后，剩余的連接大部分是高績效組，在綜合實踐、枚舉類型和結構體類型結點高績效組共現連接較為突出，而低績效組則側重于難度較低的概念性結點連接。

Fig.7 Epistemic network of differences between high-performance and low-performance students圖7 高績效與低績效組學生的差異認知網絡

3.2 不同性別的學生在認知特點上各有所長

針對問題2，依據性別將學生分為男性組和女性組，其中男性組21人，女性組22人，按照編碼框架將不同性別學生的編碼結果導入至ENA在線分析工具，生成如圖8所示的兩組群體的認知網絡質心圖。為了從統計學意義上分析不同性別學生的專業認知網絡結構特征差異，通過雙樣本t檢驗分析X維度與Y維度的組間差異，結果如表3所示。

Table3 T-test results of epistemic network differences between students of different genders表3 不同性別學生認知網絡差異T檢驗結果

Fig.8 Epistemic network centroid map of male and female groups圖8 男性組和女性組認知網絡質心圖

結果顯示，男性組和女性組在X維度存在顯著差異（p＜=0.01）。圖9、圖10分別是男性組、女性組的認知網絡圖，生成的認知網絡圖形與原始數據有較高的擬合優度，其中 X維度的相關性系數為0.96（Pearson）和0.95（Spearman），Y維度的相關性系數為0.98（Pearson）和0.98（Spearman）。

Fig.9 Male group epistemic network圖9 男性組認知網絡

Fig.10 Female group epistemic network圖10 女性組認知網絡

從兩組認知網絡圖可以看出，男性組認知網絡圖的共現網絡各結點共線性均衡，較為復雜，在難度系數較高的枚舉類型和結構體變量上有更多聯系，這說明運用理解難度較高的題有利于綜合實踐題的解決。女性組認知網絡較為局限和集中，對綜合實踐、數組和枚舉類型連接較弱，女性組僅停留在解決難度較低的基礎題目，比如記憶理解，未能運用前置知識解決更高階的實踐問題。將兩組認知網絡圖進行做差操作，結果如圖11所示，兩組都存在剩余連接，說明男性組和女性組分別存在各自擅長的認知領域。

Fig.10 Difference epistemic network between male and female students圖11 男性組與女性組學生的差異認知網絡

4 結論與建議

4.1 結論

本研究通過對程序設計類實驗輔助教學平臺中學生測評數據的內容進行編碼與認知網絡建模，得到了高績效組學生和低績效組學生的認知網絡圖，以及男性組學生和女性組學生的認知網絡圖。通過對網絡圖結構的量化分析和比較，得出如下結論：

4.1.1 不同績效組的學生對知識的掌握存在差異

從認知網絡圖可以發現，高績效組在多數節點建立了較強的連接，即他們將課堂所講授的知識進行了有意義學習。布魯姆教育目標分類學中將知識維度分為：事實性知識、概念性知識、程序性知識和元認知知識。在傳統計算機專業的實驗課程中，教師往往采用循序漸進的教學原則，從基礎事實性知識和概念性知識出發由淺入深地上升到程序性知識，使學生系統地掌握基礎知識和基本技能，形成嚴密的邏輯思維能力。而從低績效組的認知網絡圖可以明顯看出，在低難度的基礎知識上體現出較為集中的共線性，但綜合實踐能力偏弱，低績效組較重視對知識的記憶和理解，但無法運用知識解決實際問題，說明低績效組學生的頭腦里并沒有完整地構建和組織知識，無法使用下位經驗影響較高層次的上位經驗進行垂直遷移。這說明，教師在進行教學設計時往往會出現重理論、輕實踐的現象。

4.1.2 不同性別組對知識的掌握有各自特征

從男女認知差異網絡圖可以發現，不同性別組對知識元素的掌握有各自的特征。女性組在識記和理解的認知維度上占有較大優勢，男性組在應用和分析的認知維度上占較大優勢。加德納在20世紀80年代提出多元智能理論，他認為多元智力框架中相對獨立地存在8種智能，分別是：語言智能、音樂智能、空間智能、邏輯數學智能、身體動覺智能、自然智能、自我認知智能、人際智能。加德納認為，男性和女性的智力總體水平是平衡的，但是在8種智能的發展上各有所長。計算機實驗課程需要較強的邏輯思維和數理知識，這是也是女性較薄弱的地方。而非智力因素中，女性在視覺空間方面的智力較強，主要指辨別和記憶能力，因而女性較為擅長定義和概念類試題。這意味著人類能力是有多樣性的，隨著專業學習的深入，教育者應尊重性別差異，設計和開發情景化下適用于多種智能組合的課程。

4.2 建議

4.2.1 創設目標為導向的教學，注重因材施教

教師應轉變傳統的教學觀念，結合實驗課程特點，構建問題驅動的教學情景，充分調動學生學習興趣和主動性。立足于發展的教育目標導向，改進教學設計，培養學生應用多學科知識的能力，促進學生原有水平的提高，幫助不同績效水平的學生全面認識自己，對低績效水平的學生進行適當的幫扶和干預。以發展的眼光看待每一名學生，既為學生學習搭建手腳架，又要成為學生學習的引導者、激勵者和共同學習者。同時，提高教師數據素養水平和信息化教學能力，培養教師合理解釋和有意義使用數據的能力，以教育信息化支撐引領教育現代化。

4.2.2 營造良好的師生交流氛圍，尊重性別差異

隨著學年增長和專業知識的深入，男性和女性在知識掌握上各有所長，對實驗的態度、自信心和興趣也有所差異。因此，教師應注意并尊重性別差異，營造良好的師生交流氛圍，避免在工程學科上對女性產生刻板印象。在小組合作學習背景下運用同伴教學法，注重以學生為中心的教學，最大程度地發揮男性和女性優勢，提高學生學習主動性和團隊協作能力，促進師生互動，提升課堂教學效果。

4.2.3 評價主體、評價標準和評價內容多元化

在情景教學模式中，教師應展示多種評估手段，重視非正式評價，將真實自然環境下的評估與封閉考試環境下的評估相結合，將量化評價與質性評價相結合，以學生為中心，圍繞學生的認知、情感和技能開展評價。在評價標準上，教師和學生共同制定評價標準，避免教師按照主觀經驗進行評價，例如在小組答辯、實驗匯報和論文成果中側面觀察和評判學生的協作學習能力、自我展示能力和語言表達能力，有利于教師及時掌握學生學習效果，從而對學生進行精準幫扶。引導學生進行自主評價和自我反思，提高自我監控的元認知能力。

5 結語

當前，認知網絡分析法在教育評價領域的應用越發廣泛，本研究通過對實驗試題數據進行編碼，運用定量分析的教育研究方法，對學生認知結構進行解讀和對比，并根據此提出對教師教學的策略建議。未來基于認知網絡分析法全方位評價學生測評結果問題時，可以從以下方面加以改進：首先，編碼量表避免使用單一測評數據，可以結合小組匯報和課堂觀察的非良構問題進行統計編碼；其次，細化編碼種類，尋求教育理論支持下的分類依據，重視理論在數據分析中所扮演的角色；最后，在可視化分析層面，注意合理使用數據，防止利用數據制約和束縛學生。在信息技術與教育深度融合的新時代，重視過程性的動態教育評價不僅能監測和預測學生學習情況，而且為教師開展差異性和個性化教學提供了指導。