HiE測評系統：英語在線考試的新探索

王德亮++周莉++林敦來++高淼

【摘 要】在線考試與測評是未來發展的趨勢，本文主要介紹了一種英語在線考試的最新模式。該模式被命名為HiE測評系統，力圖對學習者的英語綜合能力提供在線測評與反饋。該系統充分利用了現代教育技術、自然語言處理技術以及人機互動技術，在最大程度上實現了自動的英語能力在線測評與反饋。試測結果顯示，該系統安全可靠，具有較高的信度和效度，值得推廣。

【關鍵詞】在線測評；英語考試；HiE測評系統

【中圖分類號】G434 【文獻標識碼】B

【論文編號】1671-7384（2015）09-0065-04

英語在線考試是指通過計算機網絡系統實現試題庫的建立、選題組卷、上機考試、閱卷評分的英語考試。與傳統的紙筆考試相比，在線考試有著無可比擬的優越性：在線考試效率較高，只要有電腦終端，考生可以大規模參加；試題質量有保障，通過構建試題庫，可以有效控制考題的信度和效度穩定在同一水平上；對于施測，在線考試可以節省大量的人力物力成本，不需要試卷印刷、運輸保密等環節；閱卷效率較高，有些在線考試已經實現了自動評分，可以節約大量的評卷費用和時間。隨著計算機技術、網絡技術的進一步發展，在線考試是未來考試模式的發展方向，在不久的將來，一定會取代傳統的紙筆測試。

到目前為止，在英語在線測試方面做得比較成功的是美國教育考試服務中心（ETS）主辦的托福和GRE考試，國內還沒有很成功的大規模考試系統案例。我國是英語學習大國，中國學習英語的人口數量全球最多。2013年，教育部《全國教育事業發展統計公報》的數據顯示，目前中國有近3億人的龐大英語培訓消費群體，英語培訓機構總數量超過5萬家，市值已經超過300億元 。對于這么龐大的英語學習群體，我們有必要探索開發我們自己的英語在線測試體系。本課題組以此為研究目標，做了積極的探索，本文內容即是我們的探索成果。

英語在線考試的現狀

隨著計算機技術和網絡科技的不斷進步，英語在線測試自然而然地就被提上了日程。到現在為止，這方面的研究和探索已經取得了很多成果。綜觀這方面的文獻和成果，我們發現存在兩個問題，一方面，英語在線測試還停留在科研探索階段，主要表現為關于系統開發的研究成果主要是計算機編程方向的碩士論文，核心刊物上發表的文獻很少；另一方面，國內期刊上發表的成果顯示，開發的在線評測系統大多是小規模，很多都是在自己學校和院系試用的，沒有做到大面積推廣，而且大多數系統只針對聽力、閱讀和寫作的測試，口語沒有被包括在其中。

究其原因，主要有以下幾點。

首先，英語在線評測是一個系統工程，其中涉及方面很多，包括試題庫的建設、網站架構、程序設計、市場推廣等，需要多方面人力物力的投入。任何一個環節跟不上，這個事情都不會成功。比如，在線評測需要電腦終端，如果一所學校連電腦都沒有，他們是無法參加這個評測的。國家已經注意到這方面的問題，并在大力推進教育信息化。《國家中長期教育改革和發展規劃綱要（2010-2020年）》指出“信息技術對教育發展具有革命性影響，必須予以高度重視。把教育信息化納入國家信息化發展整體戰略，超前部署教育信息網絡。到2020年，基本建成覆蓋城鄉各級各類學校的教育信息化體系，促進教育內容、教學手段和方法現代化。”所以，英語在線評測也應及時跟上國家發展的脈搏，在科研和實踐方面做出表率。

其次，英語在線評測不能大規模使用的一個比較大的原因是沒有政府管理部門的支持和協調。如果政府管理部門認識到在線評測的優勢，未來取代傳統的大規模考試中的紙筆測試是非常有可能的。另外，我國英語考試眾多，且相互之間不認可、不抵用，導致我們不管是升學、畢業、入職、升職還是出國，都需要參加相應的英語考試，這一點一直被人所詬病。正因為此，教育部已經認識到了這個問題，并有所行動，試圖解決這個矛盾。2014年10月30日，教育部組織召開了專門的會議，力圖建立統一的外語能力測評體系，實現我國外語教育與測評的 “車同軌、量同衡” 。如果我們實行統一測評體系下的在線測試系統，上面的問題也能迎刃而解。

再次，中國的英語在線測評系統沒有成功的原因在于缺乏先進的計算機技術，存在設計缺陷，不夠人性化，不注重用戶體驗，導致了它的優勢沒有發揮出來。比如，目前報道的現行系統中都沒有專門的反饋系統。參試者參加完考試之后，最多只能得到一個分數，與學習者和教師沒有形成互動。另外，在線系統中客觀題比較容易實現，主觀題有一定難度，尤其是主觀題的判分，還需要人工干預。另外，口語部分不容易施測，尤其是口試的評判也需要人工完成。

在前期調研的基礎上，本課題組嘗試開發了自己的系統，命名為“HiE測評系統”，力圖避免以上的缺陷，即使不能完全避免，也在最大程度上進行優化。

HiE測評系統

1. 研發背景

2013年初，北京市海淀區教育科學研究所啟動了一項重大語言教學類項目——“海淀英語學習社區建設” （簡稱“海e社區”）。本項目的目的是針對海淀區中小學英語聽說互動教學及測評系統開展工具研發及實驗研究，研究海淀區中小學英語聽說教學的目標體系和內容體系，并基于智能語音交互技術和互聯網技術的靈活性、交互性，實現英語聽說的個性化和互動式教學。

北師大團隊從2014年1月開始承建海e社區的測評系統，即HiE測評系統。本子項目的最終目標是研制開發一套完整的英語綜合能力在線評測系統。此系統將充分利用現代教育技術、自然語言處理技術以及人機互動技術，在最大程度上實現全自動的英語能力在線測評和反饋。除了個別的口試題型（如自由問答）和作文題需要人工干預外，其他部分都可以實現自動評分。本系統可以在保證水平一致的情況下實現自動組卷，并為每一位參試者提供成績分析和反饋報告，為參試者提供英語聽、說、讀、寫各方面的優勢和劣勢分析，為其今后的學習指明努力的方向。具體項目內容包括測試框架研制、樣題研制、命題人員培訓、試題驗收和審核、試測、評分標準的制定。

2. 系統簡介

經過充分的需求調研、原型設計和研發調試，目前HiE測評系統已完成階段性開發任務并發布上線（網址為http：//www.haielearning.com）。HiE測評系統作為海e社區中的一個重要平臺，其入口直接集成在海e社區的導航欄目上。教師可通過 “測評”欄目進入測評中心，學生則可通過“測評中心”的欄目入口進入（如圖1、圖2）。

圖1 教師端入口界面

圖2 學生端入口界面

測評流程體系構架包含教師組卷和分發流程、學生上機考試流程、教師管理和閱卷流程、測評結果反饋等過程。這些流程及功能都與測評云端服務器鏈接，進行實時精準的數據交互，從而實現規模化、標準化、即時性的測評過程（如圖3）。

圖3 測評體系架構

從測評系統功能上劃分，“測評中心”主要包含組卷系統、考務系統、閱卷系統和反饋系統四個子系統。其中，組卷系統包含了題庫模塊、組卷模塊、分發模塊；考務系統包含了題型模塊、流控模塊、收卷模塊；閱卷系統包含了自動閱卷模塊和人工閱卷模塊；反饋系統包含了統計模塊、分析模塊、反饋模塊和查詢模塊（如圖4）。

圖4 測評功能構架

3. 試測數據分析

2014年10月17日，項目組在北京市某中學進行了首次試測活動。

（1）參試者基本情況

選取了初中三年級的兩個平行班，為了避免出現水平偏差，打亂了班級差異，全部按學號的單雙號進行抽取，分成兩組，單號組41人，雙號組39人。為了確保兩組的水平沒有顯著性差異，根據期中考試成績做了一個獨立樣本T檢驗，檢驗結果如表1、表2所示。

從表中可以看出p=.869（>.05），表示兩組學生的成績沒有顯著性差異。

試測當天，兩個組做了不同的試題，單號組參加在線測試（機考），雙號參加紙筆考試（筆考），機考使用的是HiE-4的樣題，筆考使用的是KET（劍橋英語等級考試 Key English Test）。

（2）內部效度檢驗

為了驗證HiE試題的有效性，我們根據參加機考的學生答題和得分情況，做了試題內容一致性檢驗，如表3所示。

由統計數據可知，本套試題的內部一致性檢驗得分為α=0.736。總體說來還是比較滿意的。現在看來，影響該信度指數的因素主要有兩個：第一，考生樣本量較小（共41人）；第二，試測當天，因網絡故障，影響了一部分學生的答題，有一部分考生的聽力或口語部分沒有記錄。即使在這樣的情況下，我們試題的內部一致性系數仍然達到了0.7以上，這已經是很不錯的成績了。如果將來進一步改善機考條件，改進考試流程控制，我們確信內部效度得分還能提高。

（3）外部效度檢驗

首先，比較了期中考試與KET的相關性，找出既參加期中考試，又參加了KET筆試的同一組學生的數據，比較它們的相關性，結果如表4所示。

表4 KET與期中考試的相關性

KET成績 期中考試

KET成績 Pearson 相關性

顯著性（雙側）

N 1

39 .933**

.000

39

期中考試 Pearson 相關性

顯著性（雙側）

N .933**

.000

39 1

39

**. 在 .01 水平（雙側）上顯著相關。

從數據中可以看出，Pearson相關系數為.933，在.01的水平上顯著相關。因為KET是很權威的國際考試，期中考試與其相關系數得分很高，說明這次期中考試是非常可靠的。

然后，又將既參加期中考試，又參加了機考的同一組學生的成績做了相關檢驗。因為期中考試沒有考口語，所以機考的成績中也剔除了口語的得分，最后的數據分析結果如表5所示。

表5 期中考試與機考的相關性

期中考試 機考（除口語）

期中考試 1

41 .647**

.000

41

機考

（除口語） .647**

.000

41 1

41

**. 在 .01 水平（雙側）上顯著相關。

從表格中可以看出，相關系數為0.647，在0.01的水平上顯著相關，這說明機考試題也是可靠的。

3. 優勢分析

相比傳統的紙筆測評，HiE測評系統具有以下明顯優勢。

第一，以分層評價標準體系為核心。評價體系是決定學習行為取向的規范和準則，是評判學習活動效果的客觀依據，在本系統的設計中具有提綱挈領的作用。北師大團隊在充分調研國際上通用的托福、雅思、SAT、劍橋英語以及《加拿大語言測試等級標準2000》《21世紀外語學習標準》《歐洲語言共同參照框架》評價系統的基礎上，基于國家課標，結合區域特色，研制了“HiE”六級評價標準體系，即HiE1-HiE6。其中HiE1-HiE2相當于小學英語的入口與出口，HiE3相當于初中中期水平，HiE4相當于初中畢業水平，HiE5相當于高中中期水平，HiE6相當于高中畢業水平。該評價體系圍繞綜合能力的考查開展，在難度和范圍上略高于國內現有同類測評，整體上和國際二語習得測評標準接近。作為一個分層綜合能力評價標準體系，它不以年級段為基準，只以學生的實際綜合能力為考查目標，學生可以在任意年級參與測評，測評結果代表了學生的能力等級。

第二，以多維度評價標簽為手段。為了全方位考查學生的英語綜合能力，以上述評價標準為基礎，北師大團隊對考題進行了縝密的設計。每道考題都從不同考查層面設計多維評價標簽，包括知識點構成、語言技能分項、認知能力等級、難度級別、綜合能力覆蓋等。這些評價標簽的屬性結合測評結果，既能夠宏觀地分析學生的整體英語水平，又能夠從各個維度上對學生的分項能力進行評價。所有考題都由北京市海淀區中小學英語教研員、英語學科帶頭人、骨干教師、一線英語教師負責完成，北師大專家負責審定工作。

第三，以網絡化測評模式為載體。和傳統的紙筆考試模式不同，HiE測評系統完全基于網絡環境，在整體框架上包括組卷系統、考務系統、閱卷系統、反饋系統，在試題類型上覆蓋聽說讀寫各個環節，在考試過程中支持自動組卷，在閱卷過程中支持部分主觀題型如口語題型和全部客觀題型的自動評閱。它跨越了地理和時間的限制，使得測評的組織和管理更加便捷高效。相比傳統紙筆考，它能夠收集更多有價值的數據信息，從而支持后續服務的提供。

第四，以基于數據的多級反饋為目的。反饋是HiE測評系統的核心輸出目標。通過評價標準體系中各項能力標簽的構建和后臺數據的分析挖掘，系統可以自動生成基于學生測評過程和結果的反饋信息，同時結合多次測評的過程性分析和群體性測評數據的綜合結果，實現為每名學生提供個性化的測評報告，為每位老師提供針對性的教學反饋，為每所學校提供準確的質量分析，為每個區域提供詳實的教學評估的多級反饋功能。

結 語

HiE測評系統參照國家英語課程標準，結合當前國際英語教育評價的理論與實踐，基于計算機輔助英語測試的相關研究，充分利用現代教育技術、自然語言處理技術以及人機互動技術，避免了傳統紙筆測試的局限性；可以為各級教育主管部門、教學研究機構、學校、教師、家長、學生提供英語學習效果的相關信息；是當前測評領域從“對學習的評價”轉向“促學評價”，乃至“以評帶學”的重要實踐。

參考文獻

鄒宏.基于WEB的英語在線考試系統的設計與實現[D].電子科技大學碩士論文. 2012.

張瑞.英語在線考試及批閱系統的設計與實現[D].重慶大學碩士論文. 2009.

周穎.自動組卷在線測試系統的設計與實現[D].電子科技大學碩士論文.2012.

周越美，孫曉龍，張韌弦.寫作課程的無紙化考試研究[J]. 外語界. 2009（3）.

朱音爾，張肖瑩.基于網絡的大學英語機考探索與實踐[J]. 外語電化教學， 2009（2）.

邱東林，季佩英，萬江波，程寅.大學英語聽說機考嘗試[J]. 外語界. 2005（4）.

（作者單位：北京師范大學 北京市海淀區教育科學研究所 北京師范大學 中央財經大學）