高校課堂引入手機評測系統研究①

黃 武, 洪 玫, 郭 兵, 李 征

(四川大學 計算機學院, 成都 610065)

1 引言

手機上網日益普及, 并且應用到各行各業.根據中國互聯網絡信息中心(CNNIC) 2020年9月發布第46次中國互聯網絡發展狀況統計報告報道: 截至2020年6月, 我國網民使用手機上網比例達99.2%, 在互聯網的各種應用中, 在線教育用戶規模達到3.81億,占網民總體的40.5%[1].

中國高校的網絡基礎設施基本完善.85%的高校提供無線網絡服務, 55% 的高校實現免費無線上網[2].可以說, 高校網絡基礎設施建設已經基本構建完成.

高校學生自帶移動電子設備, 特別是智能手機進入課堂是值得探討的學習新趨勢.根據美國旨在分析新興技術在教育中吸納與應用的NMC地平線報告, 學生自帶設備上課成為近期趨勢[3], 自帶設備使學生能夠用他們所熟悉和喜愛的技術來支持學習.2018年和2019年的地平線報告指出, 應增加對學習度量的關注, 跟蹤和評估學業進展數據, 度量分析用于調整教育教學[4,5].

在線教育已經成為教育發展的重要組成部分, 并開始向移動端擴展遷移, 探索利用智能手機教學的新模式[6-9].在將來, 電子學習可能是移動第一的戰略[10].西班牙薩拉曼卡大學的一項研究發現, 利用手機APP學習解剖的表現在統計意義上好于使用傳統方法學習解剖的表現[11].未來二十年, 我國移動學習發展將經歷基礎環境建設、知識體系化建設和學習服務建設3個迭代循環的階段, 應發揮移動學習在不同領域內的優勢, 開發有效促進移動學習的工具應用, 拓寬理論視域,開展移動學習活動、策略及評價的研究[12].

在線教育評測將成為提高教育保障水平的重要措施.教育測量與評價主要是研究對教育現象進行測量和價值判斷的理論、方法和技術, 是當今現代教育科學研究的三大領域之一[13].在國內, 全國計算機等級考試所有級別/科目全部實行上機考試.美國的托福和GRE考試也分別于2005年和2011年實現基于Internet的考試[14].基于計算機的無紙化考試已經成為高校考試的趨勢[15,16].近年來, 基于移動設備的考試逐漸成為研究熱門和新趨勢[17-24].

綜上所述, 本文旨在高校課堂中引入手機APP進行在線學習評測的方法研究, 即將傳統的課程、班級管理及部分評價方法融入手機APP中, 以提高在線課堂教育中學習管理的效率和學生學習知識的積極性,更好地保證高校教育中的教學質量.

2 研究方法

本文研究將手機作為學習工具引入高校課堂, 在高校課堂有限的時間中利用手機進行實時在線教學測驗, 引起學生學習興趣, 促進學生高效利用課堂時間.

本文研究方法包括文獻查閱、課堂實踐、課堂調查以及數據的對比分析等, 研究流程如圖1所示.

圖1 手機考試教改項目研究流程

在圖1的研究流程中, 首先明確本文研究目標: 探索手機測驗在高校課堂教學中應用的可行性以及效果,依據研究目標整理研究思路和方法: 1)查閱文獻, 了解其他教育機構利用移動設備, 比如PC、平板電腦或手機進行電子化考試的方法和經驗.2)在自己的課堂教學中循序漸進地引入手機課堂測驗, 了解該方法是否可行.教育的目的是以學生為中心, 因此必須要在學生中實踐才能了解教改的效果.3)在每學期教學實踐之后, 對學生的實踐情況進行廣泛調查, 了解學生對利用手機考試系統進行課堂測驗的態度和認識, 根據學生的反饋在后續實踐中逐步改進手機測驗的方法, 比如引入不同的考試類型.4)在課堂測驗中比較傳統紙質測驗方法和手機測驗方法之間的差異, 找到兩種方式之間的異同.5)最后數據進行統計分析得出結論.

2.1 手機考試系統說明

本文研究采用了成都泰盟軟件有限公司發布的IPE-100易考過手機考試系統作為手機測驗工具.該系統由3部分組成, 見圖2.

在圖2中, 服務器端是整個手機考試系統的后臺支持系統, 包括教師信息、學生信息、考試信息等都存儲在服務器端, 可以利用PC機或手機進行服務器端操作.教師手機端是教師使用手機考試系統的前端, 可以完成手機考試系統的所有操作, 比如: 構建數據庫、建立班級、啟動考試、查閱考試情況等.學生手機端則用于學生完成手機考試和課堂調查.

圖2 手機考試系統的組成

2.1.1 教師啟動考試的流程

在手機考試系統的教師端, 教師首先利用PC機或手機, 在手機考試系統服務器平臺中創建自己所授課程, 并為該課程創建相應題庫; 然后在平臺上構建授課班級, 并導入班級學生姓名; 最后就可以以班級為單位構建手機考試.

教師具體開啟一次基于手機課堂測驗的流程是:老師首先要構建測驗的試卷, 然后根據試卷創建基于不同班級的考試.考試對應于班級, 便于對每一個同學的成績進行記錄和管理.創建完成考試之后, 老師在課堂上就可以啟動考試和停止考試.當停止考試之后, 所有客觀題目由計算機自動評卷, 而主觀題目則可以由老師或學生評卷, 每次課堂測驗結果都會被保留在系統的數據庫中.教師利用手機考試系統進行考試的流程見圖3.

圖3 教師使用手機考試系統的流程

2.1.2 學生使用手機考試的流程

在手機考試系統的學生端, 學生可以通過手機掃描二維碼登錄進入考試系統, 然后在手機上作答, 最后提交結果完成本次考試.對于只有客觀題的考試, 學生可以立刻得到自己本次考試的結果, 并知道自己本次考試錯在什么地方, 而學生每次考試的結果都被保存下來供學生后續查詢和學習.學生使用手機考試系統的流程見圖4.

圖4 學生使用手機考試系統的流程

2.2 手機考試系統關鍵技術

手機考試系統中包括很多關鍵技術, 其中自動組卷、學生交互以及試卷評價分析尤為重要.

2.2.1 自動組卷

自動組卷是指系統根據老師出題要求, 包括: 章節、題型、數量、分數、評分標準、難易程度等因素自動生成試卷, 自動組卷偽代碼見算法1.

算法1.自動組卷輸入: 章節, 題型, 題量, 評分規則, 難度輸出: 試卷1.根據輸入參數從數據庫查詢試題2.隨機選擇滿足要求的指定數量的測試問題

3.根據規則為每道考題分配分數4.if (考題是自動評分對象)5.{6.將其標記為自動評分7.將結果與測試問題聯系起來8.}9.else 10.{11.將其標記為手動評分12.手動連接規則13.}14.根據以上內容制作期末試卷15.返回建立的試卷

2.2.2 學生交互

學生可以通過掃描二維碼進入手機考試網站, 學生通過二維碼登錄考試系統的偽代碼見算法2.

算法2.掃描二維碼登錄系統輸入: 二維碼(手機考試系統進入二維碼)輸出: 登錄成功的標志1.分析二維碼2.從二維碼分析結果中獲取網站地址3.根據網站地址打開系統網站4.從登錄界面獲取用戶登錄名和密碼5.將用戶登錄名和密碼的驗證信息賦予登錄是否成功的標志位6.if (標志位為1)7.{8.進入系統9.}10.else 11.{12.顯示登錄失敗信息13.}14.返回登錄成功的標志

2.2.3 試卷評價分析

學生考完試之后, 系統自動收卷, 然后根據試卷類型進行試卷評分和分析, 對于客觀題, 系統直接給出評分并給出統計結果, 包括分數分布、區分度、難度等;對于主觀題, 則根據指定要求分配到評閱人進行評審,試卷評價分析的偽代碼見算法3.

算法3.判斷分析試卷輸入: 考試試卷, 題型, 評分規則輸出: 考試結果(試題難度、區分度, 試卷成績分布等)1.收集所有試卷, 根據題型判斷試卷2.if (試題類型為客觀題)3.{4.自動判斷試題并設定分數

5.}6.else if (試題類型為主觀題)7.{8.分配用戶根據規則手工評卷9.}10.根據所有試題計算出每道題的區分度和難度11.根據所有成績計算考試成績分布12.返回考試結果

2.3 手機課堂測驗實踐

從2017年10月至2020年6月, 本研究在老師所授3門課程共計16個班級的近884名學生中進行了70多次手機課堂考試, 包括: 軟件開發環境與工具的5個班共計307名學生, 軟件構造的5個班共計341名學生, 軟件設計與體系結構的6個班共計236名學生.圖5 展示了同學們在課堂上進行手機測驗的場景.

圖5 同學們在課堂上進行手機測驗的場景

在手機課堂測驗實踐中, 考慮到課堂的時限性以及測驗與最近教學內容的相關性, 課堂測驗一般采用10分鐘左右的短時測驗為主, 題目則多以選擇題為主,便于系統自動評卷, 這樣在每次測驗之后學生立刻知道自己的考試結果.同時, 老師也知道了學生本次考試的總體結果, 包括每道題的錯誤分布, 學生答題的正確率等.老師可以根據考試結果對本次考試進行針對性評講, 并結合考試結果適當調整教學重點, 使學生更好地掌握知識.手機考試結果試題分析和試卷分析見圖6、圖7.

圖6 手機考試自動完成試題分析

圖7 手機考試后自動完成試卷分析

2.4 手機課堂測驗與紙質課堂測驗對比

為了了解手機考試和紙質考試之間的差異, 在2018-2019年春季學期, 研究者對四川大學軟件學院“軟件設計與體系結構”和“軟件開發環境與工具”兩門課程共計4個班級的200多名學生進行了10次手機課堂測驗和紙質課堂測驗的對比試驗.其中, 軟件開發環境與工具課程包含兩個班級, 它們分別被命名為工具一班和工具二班; 軟件設計與體系結構課程有兩個班級, 分別命名為體系一班和體系二班.4個班級整學期分別進行了5次課堂測驗, 其中, 工具一班和體系一班前兩次測驗采用手機測驗方式, 后3次測驗采用紙質測驗方式; 工具二班和體系二班所有5次測驗均采用手機測驗方式完成, 這樣設計的目的是為了完成同一班級之間手機測驗和紙質測驗方式之間的縱向對比以及不同班級之間手機測驗和紙質測驗方式之間的橫向對比.4個班級課堂測驗的具體分布情況見表1.

表1 4個班采用手機測驗和紙質測驗的分布表

為了對手機課堂測驗和傳統紙質課堂測驗方式之間進行全面對比, 采用了同班級縱向對比和不同班級橫向對比兩種方法, 具體如下所述.

2.4.1 同一班級前后時段縱向對比

縱向對比是指同一班級前后不同時段課堂測驗成績之間的對比.具體方式是工具一班和體系一班前兩次采用手機課堂測驗, 后3次則采用紙質方式進行課堂測驗.縱向對比就是對比這兩個班前兩次手機測驗成績和后3次紙質測驗成績之間的差異.盡管縱向對比前后不同時間測驗題目存在差異, 但參加考試的學生完全相同, 這種對比可以了解相同學生對不同考試方式的適應程度.

2.4.2 不同班級同一時段的橫向對比

橫向對比是指不同班級同時使用不同考試方式進行課堂測驗成績對比.具體方式是工具一班和體系一班后3次課堂測驗采用紙質測驗方式, 同時, 工具二班和體系二班后3次課堂測驗采用手機測驗方式.在橫向對比中, 除了課堂測試的方式不同之外, 對比班級,包括工具一班和二班, 軟件一班和二班之間的考試題目完全相同.橫向對比的目的是為了了解不同班級學生對相同考試試題而不同考試方式的適應程度.

2.5 手機課堂測驗的學生調查

本次教改, 針對2018-2019學年第二學期“軟件設計與體系結構”以及“軟件開發環境與工具”兩門課程的共計124名學生進行了調查, 其中“軟件設計與體系結構”課程有73名學生參加調查, “軟件開發環境與工具”課程有51名學生參加了調查.調查的主要內容包括: 學生喜歡的考試形式, 手機考試是否會成為趨勢,手機考試適合的考試類型, 手機考試試題題目類型以及手機考試存在的問題等.

3 研究結果

3.1 手機測驗和紙質測驗的對比

按照第2.3節設計的兩種對比方法進行手機測驗和紙質測驗對比, 對比結果如下所述.

3.1.1 同一班級縱向對比結果

為了對同一班級手機測驗和紙質測驗進行縱向對比, 研究者分析了工具一班和體系一班前兩次手機考試和后3次紙質考試之間的成績差異.對于工具一班,共有41名同學, 去掉11名5次課堂測驗中存在任何一次缺考現象的同學, 剩余30名同學參加了全部5次考試.體系一班共有53名同學, 比較時去掉5次考試中有缺考現象的10名同學, 對剩余的43名同學成績進行了縱向比較.對同一班級前面兩次使用手機測驗后面3次采用紙質測驗的平均成績進行縱向對比的結果見表2.

表2 同一班級不同時段縱向對比成績分布表

從表2中可以看出, 使用紙質測驗的平均成績高于使用手機測驗的平均成績.為了進一步分析縱向對比的差異, 對同一班級所有同學不同時段課堂測驗平均成績做了單因素方差統計分析, 工具一班手機測試和紙質測試平均成績單因素方差分析的p值為0.0002;體系一班的p值為0.0014; 將工具一班和體系一班看成一個整體, 單因素方差分析p值為0.000 02, 均小于0.05, 說明三種情況下紙質測驗和手機測驗成績之間均存在顯著差異, 紙質測驗成績明顯高于手機測驗成績.

3.1.2 不同班級橫向對比結果

在橫向對比時, 分別對工具一班和工具二班, 體系一班和體系二班在后3次測驗中, 采用相同考試題目和不同考試方式平均成績進行了對比.其中工具一班和體系一班采用紙質考試, 工具二班和體系二班采用手機考試方式.工具一班共有41名同學, 去掉8名后3次考試中存在任何一次缺考現象的同學, 剩余33名同學參加了全部3次紙質測驗.工具二班共49名同學,去掉12名后3次中有缺考的同學, 共有37名同學參加了全部3次手機考試.體系一班共有53名同學, 后3次考試中包含45名有效同學, 軟件二班共57名同學, 后3次測驗中包含50名有效同學.對不同班級同一時間相同題目課堂測驗采用不同考試方式(手機測驗和紙質測驗)平均成績橫向對比的結果見表3.

表3 不同班級橫向對比成績分布表

從表3中可以看出, 在橫向對比時使用紙質測驗方式的平均成績高于使用手機測驗方式的平均成績.為了進一步分析橫向對比的差異, 對工具一班和工具二班的成績做了單因素方差統計分析, 手機測試和紙質測試平均成績單因素方差分析p值為0.0004, 小于0.05, 說明手機考試成績和紙質考試成績存在明顯差異.體系一班和體系二班兩種測驗平均成績的單因素方差分析p值為0.2699, 大于0.05, 說明紙質測驗和手機測驗成績之間沒有顯著差異.上述兩組對比統計結果之間出現差異, 為了消除這種差異, 將采用紙質考試的工具一班和體系一班組成整體一, 將采用手機考試的工具二班和體系二班組成整體二后再進行統計分析,整體一和整體二之間兩種測驗平均成績的單因素方差分析p值為0.0077, 小于0.05, 說明紙質測驗和手機測驗成績之間存在顯著差異, 紙質測驗成績明顯高于利用手機測驗的成績.

3.2 手機測驗方式學生調查結果

本研究除了進行學生課堂測驗成績客觀對比之外,還進行了關于手機測驗情況的學生調查.其調查結果見圖8和圖9.

圖9 學生對手機考試系統問題的認識

從圖8(a)中可以看出, 關于學生喜歡的考試形式,有50%的學生喜歡手機考試方式, 而僅有33%的同學喜歡傳統紙質考試方式, 說明手機考試更加受到學生的青睞.從圖8(b)中可以看出, 關于手機課堂測驗的優勢調查, 39%的學生認為立刻知道自己的答題錯誤對于掌握知識具有幫助, 29%的同學認為立刻知道自己的考試成績非常重要, 還有28%的同學認為手機測驗更加便捷, 說明了手機測試方式具有優勢.從圖8(c)可以看出, 關于手機考試趨勢性的調查顯示, 認為手機考試大于80%概率成為趨勢的學生占35%, 還有45%的同學認為超過50%的概率手機考試會成為趨勢.總體上講, 80%的同學認可手機考試是將來考試方式發展的方向之一.

圖8 參與過手機考試的學生對手機考試的認識

前面3項調查是參與過手機考試學生對手機考試本身的總體認識, 整體上講, 學生主觀上認可手機考試的形式, 并認為這種考試方式對于他們學習知識帶來幫助并將成為一種趨勢.后續的各項調查則了解手機考試具體實施中的一些具體問題, 比如手機考試適合的考試類型、考題類型以及在課堂中實施考試的時間安排等.

圖9(a)展示了關于手機考試適合的考試類型調查.調查表明, 80%的學生認為手機考試適合較簡單的課堂小測驗, 這可能既與學生參與了較多課堂測驗相關, 也與手機考試難于限制作弊有關.圖9(b)展示了關于手機考試適合的試題類型.可以看出, 71%的學生認為選擇題較為適合, 這與手機操作的方便程度有關.圖9(c)展示了關于手機考試中主觀題的批閱方式.調查顯示,41%的學生認可學生批閱, 老師審核, 并有20%同學認為應該老師批閱.因此整體上講, 學生還是較認可老師在閱卷中的權威性.圖9(d)展示了關于手機課堂測驗的時間選擇.34%的學生選擇在上課開始時, 28%的同學選擇在上課結束前, 20%的同學選擇在上課中間時段, 其余18%同學選擇可以在上課任意時間點測試.該項選擇結果較為分散, 可以認為學生不太關心課堂測驗在課堂教學中的起始時間點, 老師可以根據課堂教學的需要自主安排課堂考試時間.圖9(e)中調查了關于手機APP軟件的改進意見.調查表明, 約50%的學生關心手機操作的易用性, 說明手機考試最大的改進在于方便學生使用.從圖9(f)中對于手機考試存在的最大問題的調查顯示, 61%的同學認為手機考試不易做復雜題目, 17%的同學認為手機考試的主觀題難于快速評閱, 還有11%的同學認為軟件不易操作.這說明同學們主要認為手機考試的應用存在有一定限制,手機由于受到輸入和顯示方式的限制導致難于完成復雜考試題型, 比如: 作圖題, 程序題等.

4 討論與展望

將手機考試形式引入高校課堂測驗是一種新的教學嘗試, 本研究得到一些看似矛盾的結果.雖然從客觀上手機考試方式降低了學生的課堂測驗成績, 但從主觀上手機考試的形式又得到了學生的普遍認可.

4.1 測驗成績下降的原因

按照最初的設計, 預測客觀上手機考試不會影響學生的課堂測驗成績, 而通過與傳統紙質測驗的縱向對比和橫向對比發現, 手機課堂測驗客觀上導致學生測驗成績的顯著性下降, 這可能是由于以下幾方面原因造成.

4.1.1 手機考試受到較多客觀因素影響

相較于傳統紙質考試, 手機考試借助的工具較為復雜, 受到更多客觀因素影響, 包括手機性能、網絡性能以及手機APP軟件的方便性等.在手機課堂測驗時,曾經出現過由于網絡擁堵, 使得某些學生花費較多時間登錄進入考試系統, 導致他們有效答題時間減少的現象.也曾出現過因手機考試系統本身的問題導致個別同學提交考試試卷時答案未被提交的現象, 這些都成為影響學生手機課堂成績的客觀因素.

4.1.2 學生對手機考試的適應性問題

相較于傳統紙質測驗, 手機測驗受到屏幕大小限制, 不能一次看全整張試卷, 這要求學生最好采取順序答題方式, 對于有些學生而言, 順序答題方式不利于對試卷的整體把控, 學生主觀上需要花時間適應這種考試形式, 這從一定程度上影響了學生的測驗成績.

4.1.3 課堂測驗題目較為單一

在進行手機課堂測驗時, 考慮到課堂上時間的時限性以及手機考試題目的局限性, 手機考試多采用選擇題為主, 通常在10分鐘內完成5-10道選擇題, 這些題目主要考查學生局部知識點, 并不能像期末考試那樣全面反映學生的學習情況.

4.1.4 縱向對比的題目之間存在客觀差異

客觀上, 縱向對比是比較相同學生群體在不同時間段的學習成績, 不同時間段采用了不同的測驗題目,前后題目的難度對學生而言存在客觀差異, 因此縱向對比的比較條件并非完全一致.

4.1.5 橫向對比的班級之間存在客觀差異

橫向對比是比較不同班級對相同考試題目的課堂測驗成績差異, 不同班級學生之間的學習成績本身可能就存在客觀差異, 因此導致比較條件可能存在差異.

盡管本研究發現手機考試在課堂測驗中并未帶來學生課堂測驗成績的提高, 甚至可能導致學生課堂測驗成績的下降, 但是手機考試本身卻表現出較大的優勢, 不僅將新技術引入教學活動中增加了課堂教學的活躍度, 提升了學生的參與興趣, 而且考試不再受地域限制.例如, 在2020年春季新冠疫情期間, 由于學生不能到校上課, 教師基本采用線上教學方式, 而線上教學對學生學習情況的把握不足, 為了進一步掌握學生的學習情況, 同時也督促學生加強學習, 教師利用手機測驗系統對軟件開發環境與工具課程分布于全國各地的學生連續進行手機測驗, 促進了學生的學習.圖10是手機測試時查看到分布于全國各地的學生參加手機課堂測驗的情況.

圖10 新冠疫情期間, 分布于全國各地的學生使用手機軟件完成課堂測驗

4.2 手機考試的完善

手機考試屬于新興事物, 還需要進一步發展與完善, 可以從以下3方面考慮其完善.

4.2.1 考試類型的完善

研究中的手機考試主要用于課堂教學中的小測驗.對于其他考試形式, 比如期末考試等綜合考試, 還沒有嘗試使用手機考試的形式.如何利用手機進行綜合性考試并防止學生作弊還需要進一步研究.

4.2.2 考試題型的完善

目前, 手機測驗基本采用選擇題型, 這種題型方便學生答題, 但是對于考查學生全面掌握知識存在局限性, 因此如何在手機考試中引入其他考試題型, 比如:簡答題、程序題等還需要進一步研究.

4.2.3 手機考試技術還需要進一步完善

手機考試對于客觀題可以自動評卷, 老師學生都立刻知道答題情況, 但是對于主觀題而言, 手機考試軟件卻難于做到自動判卷, 這就需要老師或學生進行網上閱卷, 減少了手機考試及時了解考試結果的優勢, 這還需要進一步研究.

5 結論

本文研究發現, 相較于傳統的紙質考試, 手機考試的形式在客觀上并不能顯著提高學生的課堂測驗成績,甚至有時會降低學生的課堂測驗成績; 但是主觀上卻引起學生的極大學習興趣, 提高了課堂的活躍程度, 大多數學生認可手機考試形式是一種趨勢.由于手機考試在使用方便性、快捷組織考試, 考試后及時了解學生的答題結果, 管理學生考試歷史記錄, 便于擴展其他教學應用功能以及不受時間和地域限制等方面具有較大優勢, 在將來的教學中可能成為一種重要的教學評價手段.