基于層次分析法的高職院校評學研究

吳章光，陳寶健，吳為民

（福建船政交通職業學院，福建福州）

關健詞：層次分析法；評學；懲罰因子

課堂是學生學習的場所，學校育人的主渠道。通過教師的智慧和創造力的指引，讓校園成為學生生命成長的原野。但是，在一些大學里，卻出現上課睡覺、玩手機、逃課等現象，一些教育教學管理部門知其事卻不知該事相關的具體同學具體班級具體時間，究其根源，是學生學習監控的不到位。因此，通過評學大數據的應用與數據分析挖掘，能助教育教學管理部門一臂之力，提高其管理水平。本研究著眼于學生學習的評價研究，擬從評學要素的選擇、評學要素數據收集、評學模型的選取及應用、評學結果分析等方面展開。

1 評學要素的選擇

評學要素的設定要充分關注學生的動態發展過程，在關注傳統課堂學習過程和考試成績的同時，重視網絡教學資源平臺中的學生過程性學習數據的抓取，同時考慮課外實踐活動情況。多個時間點、多評價主體的大數據的搜集儲存有利于評學的高效持續運轉。本研究擬從以下三個方面確定評學的三個子目標：

（1）課內綜合：課堂表現、出勤情況、考試情況（2）課外綜合：技能競賽、創新創業、其它成就（3）網絡學習：網上學習時長、網上學習質量

在考核子目標的同時，通過各要素分類分析，還可得到學生的學生的學習態度、努力程度等衍生分析結果。

2 評學數據采集與整合

2.1 評學數據采集

評學數據的全方位的抓取與收集，可形成校級網絡化、全覆蓋的評學大數據運用。多終端多渠道即時性數據采集與共享對提高評學質量有極其重要的作用。本研究擬從福建船政交通職業學院已經開通并正在使用的教學資源平臺、教務管理系統、考勤系統等自動抓集網絡教學空間與學習空間數據，并附之以其它評學要素數據的收集（如：手工錄入收集）。擬收集的評學要素有：評學次數、評學有效率、評學分值、評學未申訴率、評學申訴無效率、上傳資源量、平均下載量、平均瀏覽量、出題量、組卷量、作業完成率、考試成績、考試次數、到勤率、考勤次數、各級別競賽、各級別創新創業、其它成就、課堂互動等。

2.2 評學數據整合

通過數據萃取整合工具，制定整合規則，對獲取的數據進行整合、轉化開發，形成評學大數據。擬建簡易性評學系統，分析處理評學數據。

3 基于懲罰因子的層次分析評學方法

3.1 層次分析法

層次分析法（Analytic Hierarchy Process，簡稱AHP）是將與決策總是有關的元素分解成目標、準則、方案等層次，在此基礎之上進行定性和定量分析的決策方法。該方法是美國運籌學家匹茨堡大學教授薩蒂于20世紀70年代初，在為美國國防部研究“根據各個工業部門對國家福利的貢獻大小而進行電力分配”課題時，應用網絡系統理論和多目標綜合評價方法，提出的一種層次權重決策分析方法。

基于上文的分析，本研究擬從目標層、目標子層、準則層以及方案層四個層次結構進行評學。目標層即評學總目標。目標子層含教師評學（對應準則層內容為評學頻率、評學分值、評學質量）、網絡教學平臺（對應準則層內容為數據資源量、使用頻率、作業質量）、課堂與考試（對應準則層內容為課堂質量和考試情況）及課外表現（對應準則層內容為技能競賽、創新創業及其它成果。方案層內容為準則層考核目標的細化。

結合福建船政交通職業學院教育教學管理的實際情況，擬對上圖準則層各指標分解成相應的要素項，維度層有評學頻度（含評學次數、評學有效率要素）、評學分值（含評學分值要素）、評學質量（含評學未申訴率、評學申訴無效率要素）、數據資源量（含上傳量、平均下載量、平均瀏覽量要素）、作業質量（含出題量、組卷量、作業完成率、試卷平均分要素）、課堂質量（含到勤率、考勤次數、課堂互動要素）、考試情況（含考試成績、考試次數要素）。

本研究擬從以下六個步驟著手基于層次分析法的評學研究：（1）確定研究目標。

（2）建立本研究的評學層次結構。

（3）判定各評價要素的權重，構造判斷矩陣。

（4）計算上述判斷矩陣的最大特征值和幾何平均值，求出各要素的權值。

（5）根據最大特征值和一致性檢驗標準進行一致性檢驗。

（6）通過一致性檢驗后，將要素權值與其量值進行計算，得到評學結果。

3.2 確定懲罰因子

懲罰因子（penalty term）的作用是把受限優化問題轉化為非受限優化問題。

本研究擬從以下三步確定所需的懲罰因子：

（1）找到數據集的異常點，將該數據集的算術平均值往異常點反方向調整。

（2）計算該數據集的整體偏移量

（3）懲罰因子=數據集的整體偏移量*懲罰方向

3.3 基于懲罰因子的層次分析法在本研究的運用

本研究評學步驟如下：

（1）依據本研究層次結構圖，對所得數據進行建模訓練與計算，得到四個子目標訓練集的計算結果。

（2）根據評學指標計算分值的一致性來判斷評學結果可信度。可信度好則通過檢驗；可信度差時，要利用懲罰因子對偏離數值進行調整計算，使偏離程度收斂至合理水平。

4 評學實驗與分析

4.1 評學大數據的應用

評學大數據可展示學生學習基本狀態數據及圖表，各級教育教學管理部門可根據需要逐層鉆取評學明細信息，既可達到綜觀全局的作用，也能做到細節數據的一目了然。在此基礎上，教育教學管理部門可設置不同級別的預警值，當某項評學要素超過預警值時，相關部門能及時得到直觀性數據。

把評學要素原始值進行橫向比較，可得到各同學間、各課程間、各班級間、各系部間的學習比較情況。把評學要素原始值進行橫向比較，可得到具體學生、班級、系部學習情況的變化趨勢，從該趨勢走向可推斷學院所推行改進措施的成效。按照“網絡教學平臺”、“課堂與考試”及“課外表現”子目標分類，把準則層的各維度按權重取和，把所得數值進行橫向與縱向比較，可獲得學生間、各班級、各系部的網絡教學平臺的使用情況、課堂教學情況、競賽成績情況。按特定目標（如“學習態度”、“努力程度”等）選擇特定要素進行分析，可得到特定目標的分析效果。

教育教學管理部門通過評學大數據，可以隨時了解學生對課程學習的參與程度，以數據分析為基礎，周期性對學習情況進行診斷并發現問題并采取措施，對各教學部門、各教師及時地提出反饋意見及建議，形成對學生學習情況的常態性監控及評價管理機制，建立校級數字化評學數據的精細化管理機制，促進學生學習質量的螺旋式上升。

4.2 對基于懲罰因子的層次分析法的評學結果分析

由于不同系部、不同專業、不同課程、不同班級的巨大差異，基于層次分析法的評學應用不適用于所有對象的對比分析。

對于相近課程相近情況的評學對比，通過數據分析結果深挖隱藏在數據背后的真相，并采取適當的措施，對提高教育教學成效是很有幫助的。