




摘 要:針對傳統在線考試的靈活性和智能化程度不足的問題,把富媒體理念引入高校在線考試過程,可以在簡答、計算和綜合等題型中插入圖片、視頻和聲音等,提出采用深度學習的智能閱卷模塊和基于動作分析的智能監考模塊,保證在線考試的易于交互、高效監考和智能閱卷效果。在分析在線考試需求的基礎上,構建了富媒體在線考試的體系結構與功能模型,開展了富媒體在線考試的全流程設計,為基于云計算的富媒體在線考試系統的開發與完善,提供了概念模型與數據模型的支持。智能測評云平臺的應用案例證明了所提出富媒體在線考試模型的有效性。
關鍵詞:在線考試;數字化考試;富媒體;體系結構設計;概念模型
中圖分類號:TP311.5;G424.7 文獻標識碼:A 文章編號:2096-4706(2024)08-0040-06
DOI:10.19850/j.cnki.2096-4706.2024.08.010
收稿日期:2023-08-28
基金項目:中國礦業大學“教育數字化”專項教學研究課題(2022ZX19)
0 引 言
在線考試是指考生借助計算機或移動智能終端以及相應的在線考試系統軟件,在互聯網或局域網提供的考試平臺上進行口頭、書面或虛擬操作的無紙化考核[1]。在線考試具備智能組卷、在線答題、網上提交、自動閱卷評分和自動統計等功能。在線考試有許多種類型,有面向中小學、高等教育平臺的小型課程在線考試,主要考查課程知識點是否已被掌握,多通過選擇題形式反饋,具有易于抽題組卷和快速閱卷的特點;一種形式是基于高校的計算機房的在線考試,例如計算機基礎考試、普通話等級考試和雅思、托福等在線考試等,它們都是基于選擇題、計算機操作或語音對話來完成,配備教師全程監考[2]。但還有一種情況是面向量大面廣的高校基礎課和專業課考試,怎樣把在普通教室考場進行的手寫答題考試,轉化為分布式在線考試,作為正常使用或疫情、災害等應急情況下的備選方案,形成與線下考試同質等效甚至更加高效的在線考試系統,還缺乏細致的研究與實踐工作[3]。
許多學者在高校基礎課、專業課的在線考試方面,開展了方法與應用研究。例如,西南交通大學的龔暉等[4]匯報了該校材料力學在線考試的實踐并進行了技術總結,解決在線考試計算題和網絡擁堵的方法是,多設置計算題,采用隨機和已知條件使計算題不同,答案只提交中間計算結果和最終計算結果;配置高性能服務器和分時訪問方式,保證在線考試的網絡可靠性。重慶師范大學的熊宗楊等[5]設計了基于Think PHP和MySQL的在線考試系統,包括考試管理、試卷分析、系統管理和消息管理等功能模塊,對該在線考試系統進行了測試和數據結構課程的考試應用。復旦大學的王漱陽等[6]分析了本科生病理解剖學課程的在線考試實踐,指出考試題型包括單選題、名詞解釋、簡答題和病理思考題,在題目中插入病理大體標本和組織切片顯微鏡下的圖片,考試采用基于云計算的超星在線考試系統,采用Java語言作為主要的后端開發語言,前端界面使用標準HTML,支持SQL Server和MySQL等主流數據庫,適配IE 10以上版本瀏覽器。華東理工大學楊勤民等[7]開發了大學數學作業自動批改系統,把數學主觀題改造為樹狀選擇題,讓學生通過選擇題選項迭代的方式來回答主觀題,便于計算機自動評閱。但是,當前在線考試系統在考試形式上比較單一,難以支持不同類型課程知識點的考查特征;或存在在線考試監考系統能力不足的問題,無法準確辨識與預防考試作弊問題[8];另外存在手寫客觀題評閱煩瑣的問題,要么不支持客觀題的出題與閱卷,要么僅支持寫作答案的拍攝圖片并上傳,采用人工圖片閱卷,缺乏智能化閱卷初判功能,即閱卷不夠方便,成績登記工作量大,反而限制了專業課在線考試模式使用的動力。
因此,本文主要面向高校基礎課、專業課的在線考試需求,探索引入富媒體設計理念,構建面向多學科、多專業課程可用的在線考試系統模型。分析富媒體在線考試系統的需求,提出富媒體在線考試系統的體系結構和功能模塊,并闡述高校專業課在線考試系統的全流程設計,為高校富媒體在線考試系統的開發提供概念模型與數據模型支持。
1 在線考試的需求分析
富媒體(Rich Media)[9],與普通多媒體相比,包括圖片、視頻和一些用戶交互,普通多媒體主要包括文本和圖片;富媒體涵蓋了多媒體的范疇,同時提供了更加吸引用戶的交互方法,例如聲音、流媒體視頻和一些基于下載插件的用戶交互等。富媒體作為一個工具包,能夠更加具有創造性并增強用戶體驗和參與度。富媒體技術對于用戶來說是透明的,富媒體使用戶與網絡系統的交互更加簡單,更加真實,所以使用富媒體理念與技術可以推動在線考試技術的發展。結合當前在線考試系統的使用、研發與應用現狀,提出富媒體在線考試具有以下需求特征。
1.1 對于在線考試形式的需求
結合高校的基礎課,尤其是專業課的考試模式,在線考試要求除了能夠支持選擇題、判斷題等,也能夠支持對于手寫主觀題,例如計算題、簡答題和論述題的回答。在電腦系統的人機交互界面中回答主觀題,不如卷面手寫主觀題回答與閱卷方便,因為用計算機系統輸入公式較煩瑣,且無學生手寫特征,教師評閱電腦文字較困難,不利于給出合理分數。因此,要求在線考試系統應具備拍照上傳主觀題答案的功能,或具備收集手寫板回答結果的功能,并對考生自主上傳的主觀題回答圖片,具有清晰度判別、內容初步判別的功能,形成符合答案類型范圍的回答結果圖片。
1.2 設置題目類型與屬性的需求
新型在線考試系統,對于主觀題的類型設置,要求能夠輸入文字、公式,且要求能夠插入圖片、流媒體的視頻或音頻,并通過排版布置,形成能夠良好展示的綜合問題。主觀題通過設置,可以形成填空題、簡答題、計算題和綜合分析題,上述各題型設置的復雜度,是逐步上升的,采用的表達手段,如文字、公式、圖片和音頻、視頻等逐步增多,表達試題的信息量逐步豐富,適合由簡單到復雜的考試題目的設置。另外,對于試題屬性,要包括題型、難度、教學目標、分值、回答形式和判分方法等屬性,用于自動組卷與智能閱卷的需求,保證組卷的分值、難度和教學目標的合理覆蓋,滿足與線下考試類似的組卷需求,并通過富媒體形式,提供比線下考試更好的綜合題形式。
1.3 對于在線監考的需求
滿足在線考試的監考需求,保證考試公平性成為互聯開放式在線考試的重要需求。當前在線考試的監考也具有一些方法,例如,簽署考試誠信協議、通過騰訊會議設置第二機位、防止切換屏幕、防止復制/粘貼等功能和禁止已完成試題的回看檢查功能等。這些功能雖然可以起到一定防作弊效果,但也增加了硬件使用量和考試不方便的問題。對于富媒體在線考試來說,防作弊可以采用個性化題型設置法,在保證題目難度均衡的情況下,能夠個性化、智能化修改題目參數;可以使用電腦攝像頭模塊監控考生作答情況;可以記錄考試頁面的切換情況提供監考預警提醒。通過富媒體形式吸引考生投入考試,并設置網絡化智能監考與預警功能,配合在線考試協議和誠信教育,減輕考生的在線考試硬件負擔。
1.4 在線考試的閱卷需求
對于高校基礎課、專業課的富媒體在線考試,怎樣高效地完成試卷批閱并統計試卷與達成度成績,是在線考試的重要功能需求。傳統線下考試的成績評閱與統計非常煩瑣,教師需要進行大量的對照、記錄和計算工作。借助于計算機在線考試系統,客觀題的評閱將會非常簡單。對于主觀題,如填空題、簡答題、計算題、綜合題或繪圖題的評閱,需要引入人工智能的主觀題評閱法,采用圖片內容深度學習技術,提取答案圖片中的關鍵信息點,與學習的答案相對照,給出主觀題的評閱分數。然后,可以采用人工校驗法,修改或調整智能閱卷給出的分數。進而,智能系統進一步學習與修正,提高后續閱卷的準確度。當前基于圖片的智能閱卷系統,由于試卷學科和題目類型的多樣性,還沒有達到良好應用的程度。
2 在線考試系統的體系結構與功能模型
2.1 系統體系結構
富媒體在線考試系統,與普通在線考試系統的區別就是,提供更加多樣化的題型設置手段,使主觀題的題型設置更加豐富,更加方便對學生知識應用能力的考查。同時,提供智能在線監考功能,使考生了解系統的監考方式,通過減少干擾、方便答題的方式,使考生完成誠信的在線考試過程。更進一步,提供智能閱卷功能,探索采用人工智能引擎,基于教師給出的標準答案,采用深度學習和大數據挖掘法,智能對主觀題圖片中的文字和圖形信息進行評閱,給出試題得分,并與教師評分相校驗和改進提高。其他如管理、組卷和統計功能等,與普通在線考試系統類似。
在系統的體系結構方面,富媒體在線考試系統工具將不斷創新和分享核心源碼的Java語言作為核心使用的計算機開發語言,同時內嵌使用JavaScript、Python等腳本語言。其上集成的框架工具包括前端工具extjs、消息中間件RabbitMQ、分布式服務工具zookeeper等都具備開源、分享的特點,使富媒體在線考試系統工具可以在不用考慮授權的基礎上獲得基礎框架持續優化的加成,系統技術框架如圖1所示。
系統采用J2EE平臺的瀏覽器/服務器/數據庫三層架構進行開發,以“服務請求+服務響應”為基本運行方式,系統應用JSP技術實現客戶層的開發,邏輯層應用JavaBean、EJB技術,Session EJB內封裝業務邏輯,Entity EJB介于服務層和數據層之間,完成數據存取過程中的事務處理,整個邏輯層采用Web Service封裝,有效集成了數據庫訪問的優化機制,提高了訪問效率。采用關系數據庫SQL作為后臺數據存取的數據支持,具備文件服務器,實現數據和文件在系統全局功能模塊中的共享、分析和處理功能。
2.2 系統功能模型
富媒體在線考試系統的主要功能,是實現網絡環境下基于客戶端考試需求的快速組卷、在線答題和智能評閱與成績統計功能,以提高在線考試反應的敏捷性和滿意程度。因此,設計了富媒體在線考試系統的主要功能,如圖2所示,包括系統管理模塊、題庫與組卷管理模塊、在線答題管理模塊、監考管理模塊、智能閱卷模塊和試卷存檔與分析管理模塊。
2.2.1 系統管理模塊
該模塊可以實現系統的登錄權限、屬性定義和公共信息瀏覽的管理。利用系統的權限管理模塊,用戶登錄系統后,在前端發起的請求里,添加權限信息,后端接收到的每個調用請求都需要確認是合理的平臺前端調用。基于角色的訪問控制設計的權限管理模塊,使用基于角色、用戶、功能的授權約束技術,建立授權約束的沖突檢測規則,能對不同用戶在訪問資源時進行權限控制,避免因權限控制缺失或操作不當引發的風險問題。屬性定義模塊定義系統即試題的屬性及其水平,例如,題型屬性可以定義為單選題、多選題、判斷題、填空題、簡答題、計算題、綜合題和繪圖題等。需實現系統中所用屬性及其水平的靈活定義,保證系統面向不同應用需求的可配置性和靈活性。
2.2.2 題庫與組卷管理模塊
該模塊實現了考試課程和題目設置的管理,并由定義的組卷計算規則,快速生成所需課程的在線考試試卷。考試課程管理主要定義專業、課程類型、課程名稱等需要在線考試的課程信息,而題目設置管理則針對具體課程,允許教師構建該課程的在線考試題庫,包括多種可使用富媒體支持的試題類型,并設置試題的客觀或主觀回答屬性。富媒體在線考試系統的題目設置管理,應提供允許插入圖片、視頻或音頻素材的界面,并提供試題排版界面,使試題清晰、準確的展示給考生。另外,組卷計算定義可設置試卷的總分值、分項分值,可設置試卷的難度層級和對課程目標的覆蓋要求,并可選擇所用的組卷算法,如隨機填充法和遺傳優化算法等[10]。進而,試題組卷模塊則根據服務器端系統底層運算,抽取題庫中的試題形成試卷,提交給教師審閱和校核。該功能應可生成滿足不同重復度要求的多套不同試卷,如A、B和C卷等,充分減輕教師出題工作量。
2.2.3 在線答題管理模塊
在線答題模塊的主要功能是識別考生信息、清晰地展示在線考試的客觀題與主觀題,記錄考生回答的結果,并具備提交與按時回收試卷的功能。其中,主要闡述主觀題的富媒體在線回答方式,對于計算、寫作或繪圖等主觀題,系統允許考生拍照上傳其答案,并具備題目回答結果的預覽和清晰度校驗功能,在滿足清晰度和圖片容量要求后,允許考生提交該題的回答結果。從而擺脫了以往在線考試僅支持選擇、判斷等客觀題,而對文字、繪圖等主觀題回答支持不足的問題,豐富了在線考試的應用形式。對試題提供答案提交與存儲功能,保證在線考試結果的可查閱、可評閱和安全性特征。
2.2.4 監考管理模塊
開放式、分布式在線考試的監考,需要提供創新的監考手段。除了采用考試誠信教育之外,面向減輕考生硬件設備負擔的需求,系統需具備監考方式設置選項。在該功能項中,可設置是否打開攝像頭監控、是否限制頁面切換和粘貼預警的次數等。在作弊預警管理模塊中,可設置作弊預警算法,如單次統計法、行為綜合法和智能判別法等,及時給出考生的作弊傾向預警,記錄可能作弊的證據并提交考官最終判斷。
2.2.5 智能閱卷管理模塊
閱卷管理功能模塊強調智能特征,因為對于以圖片形式上傳的主觀題答案,如果完全教師評判則工作量大,借助計算機的人工智能和深度學習算法,基于標準答案比對考生以圖片形式提交的試題回答結果,能夠完成試題的初步評閱,減輕教師大量評閱的工作量。因此,系統首先包括評分標準提交功能,主觀題標準答案被以圖文方式輸入系統;智能閱卷引擎采用人工智能和深度學習機理,比對考生的回答結果與標準答案之間的差距,通過神經網絡算法或基于模型的控制算法,給出主觀題試題的評分。最后,配合客觀題結果,由系統完成試卷的評閱,通過教師核查后,由系統進行成績輸出,學生可以根據通知提醒進行基于網絡的課程考試查分。
2.2.6 試卷存檔與分析管理模塊
線下課程考試大量試卷的存檔,占用寶貴辦公室空間,同時,成績數據、課程目標達成度數據的統計工作較煩瑣。富媒體在線考試系統的存檔與分析管理模塊,需要提供校核流程管理,設置試卷成績的批量校核流程,由不同的用戶來順接執行成績批閱與校核工作。系統需面向專業認證與教學評估需求,提供成績的分析統計功能。進一步,可以基于試卷大數據分析,面向教師進行試卷和教學效果反饋,指導教師改進教學過程、優化教學方法。試題庫則是存儲歷史在線考試試卷的存儲庫,展示歷年的課程考試結果,形成課程考試大數據。
3 在線考試系統的全流程設計
基于上述描述的富媒體在線考試系統的功能模型,開展富媒體在線考試的全流程設計與系統響應分析,構建了如圖3所示的在線考試系統流程。
第一步,需要進行在線考試系統的題庫設置。需要設置考試課程的客觀題,如選擇題、判斷題,進而設置課程的主觀題,如填空題、簡答題、計算題和綜合題等。對于工程圖學和機械制圖等繪圖類課程考試,則需要輸入繪圖題。另外,需要輸入題目的答案及評分標準,對于客觀題,直接給出選項和判斷結果,而對于主觀題,則向系統輸入文字或圖片的標準答案,并給出評分標準。
第二步,針對課程考試,如期中、期末等考試需求,在組卷算法的支持下,通過組卷運算生成滿足需求的多份標準化試卷。由課程組教師進行審核和評定,對不滿足要求的試卷進行重新生成或微調,同時生成試卷的答案及評分標準。
第三步,在富媒體實時在線考試模塊的支持下,通過網絡化人機界面與后臺響應的方式,進行考生登錄、在線答題和在線監考的工作,同時系統記錄答題時間。在考試過程中,對于主觀題允許考試使用手寫板回答,或上傳手寫答案圖片的方式,目的是體現考生對于主觀題的寫作回答結果。對于主觀題,采用與線下考試類似的回答方式,提高考生對于在線考試試題回答的熟悉程度,并體現出個性化答題的效果。
第四步,開發基于深度學習的主觀題自動評閱模塊,對學生以圖片形式上傳的主觀題進行自動評閱。系統首先完成標準答案識別,然后采用深度學習或基于模型的控制策略,識別考生手寫答案與標準答案的差距,從而給出得分評判[11]。進而,教師對于自動閱卷結果進行人工校核和修改。如果自動閱卷結果差異過大,則需改進自動閱卷模型并進行再學習評閱。在滿足試卷評閱準確度要求之后,進行在線考試的成績發布,并進行統計與分析工作。進而,對考試試卷存檔形成在線考試大數據集合,供后續的調用與數據挖掘工作使用。
4 在線考試的應用案例
把上述富媒體在線考試的概念模型與數據模型,融入基于云計算的在線考試系統,我校已成功實施iTEST智能測評云平臺,為高校外語教學提供在線測評與資源服務,如圖4所示。iTEST提供了題庫管理功能,其中,AI命題可以基于模板和題型等屬性進行自動出題,提高了出題的靈活性;考試管理模塊則設置考試時長、開始時間、考試報名和當前狀態等信息,對接考生端登錄在線考試系統答題。另外,系統具備操作管理和數據統計等功能。
項目團隊采用ITEST智能測試平臺,已成功對2021級學生進行了大學英語分級摸底線上考試,成功實現近6 000人的同步在線考試。同時,項目團隊采用ITEST智能測試平臺,對2021級學生進行了“學生手冊”和“大學生廉潔文化知識”線上考試,大大提高了考試效率,有效避免了后疫情時代聚集性線下考試。在2022年上半年疫情期間,項目團隊成功進行了“語音的故事”課程在線考試,如圖5所示。考試采用ITEST軟件和騰訊會議,利用ITEST平臺提供在線試題,采用ITEST本身的防切屏和基于騰訊會議的二機位視頻法,最大限度地防止考生作弊,為疫情常態化背景下在線考試工作提供了全新思路與實踐案例。
5 結 論
本文分析了富媒體在線考試系統的需求,提出了富媒體在線考試系統的體系結構和功能模型,并開展了富媒體在線考試的全流程設計。提出支持圖片、視頻等的在線考試主觀題設置,對于主觀題采用手寫答案上傳和深度學習智能評閱的設計理念,配合智能化試卷組卷、在線監考和試卷大數據挖掘功能,整體實現富媒體在線考試的全流程設計,為面向高校基礎課、專業課的富媒體在線考試系統的開發與完善,提供了可參考的概念模型與數據模型。
隨著我國當前疫情的結束,高校的大量基礎課和專業課都采用了線下紙質的傳統考試模式,但是富媒體在線考試系統的開發,對于課程實施互聯網分布式考試,減輕教師閱卷負擔,提高考試數據分析能力,進行在線考試技術儲備和實現教育數字化,具有重要的應用意義。同時,開展在線監考智能識別算法和基于深度學習的主觀題自動評閱算法研究,對于突破在線考試的智能化監考和閱卷的功能瓶頸,為大規模、分布式在線考試的深度應用提供技術基礎。
參考文獻:
[1] 沈震,沈睿.高校思想政治理論課大規模在線考試研究 [J].思想理論教育,2022(6):77-82.
[2] 楊志明,夏勝俊,李希.教育考試數字化:模式、特點與啟示 [J].教育測量與評價,2022(6):3-12.
[3] 侯平甫,吳長宇,湯莉莉,等.在線考試模式的改革實踐與思考 [J].中國繼續醫學教育,2022,14(20):1-4.
[4] 龔暉,江曉禹,張娟,等.材料力學在線考試技術的研究與實踐 [J].西南交通大學學報:社會科學版,2023,24(S01):98-107.
[5] 熊宗楊,薛學斌,王欣,等.基于過程化考核的在線考試系統的研究與實現 [J].重慶師范大學學報:自然科學版,2018,35(6):75-81.
[6] 王漱陽,劉秀萍,張志剛,等.疫情期間本科生病理解剖學課程在線考試的探討與實踐 [J].復旦學報:醫學版,2021,48(1):71-75.
[7] 楊勤民,江志松.大學數學作業自動批改系統的設計與實踐 [J].華東師范大學學報:自然科學版,2022(2):76-83.
[8] 賈志培.在線考試系統的研究與實現 [D].濟南:山東大學,2021.
[9] ROUSE M. What Does Rich Media Mean? [EB/OL].(2015-07-01).https://www.techopedia.com/definition/9202/rich-media.
[10] 周小平.基于改進粒子群算法的計算機考試自動組卷方法 [J].自動化技術與應用,2023,42(7):70-73.
[11] 黎秋艷,劉佳祎,王鵬,等.基于GloVe-CNN算法的英語在線考試主觀題自動評分模型 [J].桂林理工大學學報,2023,43(1):155-160.
作者簡介:張慧琴(1980—),女,漢族,山東淄博人,副研究員,實驗中心主任,碩士,研究方向:高校實驗室建設與管理;通訊作者:李中凱(1980—),男,漢族,山東淄博人,副教授,博士,研究方向:智能信息處理;徐玉林(1980—),男,漢族,江蘇南京人,實驗中心秘書,碩士,研究方向:信息系統開發與管理。
Architecture and Whole Process Design for Rich Media Online Examination in Colleges and Universities
ZHANG Huiqin1, LI Zhongkai2, XU Yulin1
(1.School of Foreign Studies, China University of Mining and Technology, Xuzhou 221116, China;
2.School of Mechanical and Electrical Engineering, China University of Mining and Technology, Xuzhou 221116, China)
Abstract: In view of the lack of flexibility and intelligence of traditional online examination, the concept of rich media is introduced into the process of online examination in colleges and universities, and pictures, videos and sounds can be inserted into simple answers, calculations and synthesis questions. The intelligent marking module based on Deep Learning and intelligent invigilation module based on action analysis are proposed to ensure the easy interaction, efficient invigilation and intelligent marking effect of online examination. Based on the requirements analysis of online assessment, this paper constructs the architecture and functional model of rich media online examination, designs the whole process of rich media online assessment, so as to provide the support of concept model and data model for the development and improvement of rich media online examination system based on cloud computing. The application case of the intelligent evaluation cloud platform proves the effectiveness of the proposed rich media online examination model.
Keywords: online examination; digital examination; rich media; system architecture design; concept model