軍事英語課程考試的信度和效度個案研究

高黎 黃珊

（陸軍工程大學 基礎部，江蘇 南京210002）

軍隊院校外語教學新大綱要求，軍隊院校大學英語課程包括通用英語和軍事英語兩部分，本科生軍官學員在完成通用英語階段學習后繼續學習軍事英語，并達到軍事英語能力分級培養與考核二級標準的要求。新大綱還規定終結性考核為課終考試，考試不及格則課程成績記為不及格。然而，雖然有了明確的考核標準，軍隊院校尚未建立軍事英語試題庫，也沒有標準化的軍事英語考試可供參考。在缺乏統一題庫和標準卷作為參考的情況下，課程組自行命題的試卷是否覆蓋了教學大綱所規定的內容？能否準確、科學地評價教學效果，形成良好的反撥作用？有必要對考試的信度和效度進行研究。

近年來有不少研究檢驗了不同層次、不同類型考試的效度，其中涉及大學英語的典型研究有大學英語四六級考試（楊惠中，1998）［1］（55-184）、大學英語口語考試（楊惠中，1999）［2］（48-57）、大學英語六級考試閱讀理解（劉娜，2014）［3］（113-116）和大學英語課程期末考試（王天發等，2006［4］（274-280）；王篤勤，2010［5］（13-20））等。但這些研究都圍繞通用英語考試而開展，鮮有涉及軍事英語課程考核的項目，更缺乏結合新大綱課程考核相關要求開展的研究，無法為軍事英語課程考核提供借鑒和指導。

一、信度和效度

信度指測試分數的可靠性，即測試結果是否反映了測試對象的實際語言水平［6］（36-37）。測試的信度主要受試題本身的可靠性和評分的可靠性兩個因素的影響。試題本身是否可靠主要取決于試題的覆蓋面、數量和區分度等因素；評分是否可靠則看評分標準是否準確客觀。

效度，即語言測試的有效性，指一套測試是否達到了預定的目的及是否測量了要測量的內容［6］（38）。李筱菊將語言測試的效度分為內在效度、外在效度、使用效度和超考試效度4大類［7］（38-43），其中，內在效度即測試本身的效度，包括結構效度和內容效度。本文主要分析考試的內在效度。

二、研究方法

（一）研究對象

某軍校大二年級共計1236名學員參加了大學英語III期末考試，大學英語III為軍事英語教學階段。本研究隨機抽取了全校7個專業217個學員的期末考試成績作為研究樣本。

（二）試卷介紹

研究試卷為該校二年級學員于2019年1月使用的一套期末考試卷。該試卷的目的主要是考查通用軍事英語知識和技能，具體包括：寫作、聽力、詞匯、閱讀和翻譯水平。題型與權重參考但不同于大學英語四級考試，包括五項測試任務：寫作15%、聽力理解25%、詞匯25%、閱讀理解25%和翻譯10%。其中客觀題70道，占75%。主觀題6道，占25%。每份試卷都配有專用答題紙，客觀題采用機器閱卷，主觀題由教員通過網上閱卷系統集中批改。

（三）研究工具

研究工具包括數據統計軟件SPSS 26.0、Microsoft Word 2007和Flesch易讀度美國參考量表。

三、研究結果

（一）信度

測試信度的系數以0.7—0.8之間為可接受性系數，用SPSS 26.0計算出本套測試卷的Cronbachα值為0.757，達到可接受標準。

表1測試成績描述統計

圖1總分正態分布圖

從圖1可以看出，標準差小，總分偏度值-1.253，在正態分布圖上偏向右邊，說明結果偏易。總分峰值為1.883，曲線分布過尖，分數集中在某些分數段，與聽力、詞匯兩項的分數分布情況有關（見下圖）。

圖2聽力題正態分布圖

圖3詞匯題正態分布圖

（二）結構效度

結構效度是所有效度之本［7］（38-43），核心是顯示分數意義及解釋的可靠性。結構效度的高低可通過計算測試卷中各個項目的關聯性檢驗。本套期末測試卷的相關系數如表2所示：

表2 Pearson相關系數

根據經典測試理論，因為總分是對語言能力的綜合測量［8］（184），各題與總分的相關系數可能達到0.7或更高。從表2可看出這套試卷中各大題與總分在0.01水平上相關性顯著，相關系數分別為0.591、0.830、0.778、0.824和0.638，基本達到或接近經典測試理論期望的指標。聽力、閱讀與總分之間相關性達到0.830和0.824，屬于高相關，說明這兩項的得分情況最能體現學員的軍事英語水平。

測試項目之間的相關系數如果在0.9—1，說明相關性很高，0.7—0.9相關性高，0.4—0.7相關性中等，0.2—0.4相關性低，0.2以下則相關性可以置之不顧［9］（191）。如兩題之間的相關系數過高，表明考查的是同一能力，保留一個即可。如兩題相關系數過低，則說明可能有語言之外的其他因素在起作用。本套試卷中各大題都在0.01水平上相關，相關系數大都在0.4以上。寫作與詞匯、閱讀低相關，分別為0.352和0.335，但與翻譯（0.426）的相關性有實質意義，說明寫作任務完成得好的學員翻譯能力相應更高。聽力與翻譯（0.393）低相關，但與詞匯（0.575）和閱讀理解（0.520）實質相關，說明聽力水平與軍事詞匯和術語的積累量、語言理解能力相關度高。翻譯除與寫作相關，與詞匯（0.479）、和閱讀理解（0.437）有實質性關系，反映了翻譯這一綜合度高的語言能力與其他要素的關系。各大項之間的相關性較為理想。

（三）內容效度

內容效度指測試內容是否反映了既定的測試目的，測試內容是否具有代表性，能否達到預期效果。內容效度包括內容的關聯性和內容的覆蓋范圍兩個方面［9］（114），因此可以教學大綱為依據，檢驗測試的內容效度。新大綱要求大學英語課程軍事英語教學階段按照軍事英語能力分級培養與考核要求的一級、二級標準實施。本學期是軍事英語學習的第一學期，期末時學員應該達到一級標準的要求。

測試卷第一項是短文寫作。大綱的軍事英語能力分級培養與考核一級標準要求學員能就簡單的軍事話題在半小時內寫出120詞的短文。試卷第一部分是寫作，要求學員針對“戰場上影響指揮官決策的因素”在30分鐘內寫一篇不少于120字的文章。該題與軍事話題相關，字數要求符合一級要求的標準。

軍事英語一級標準要求能聽懂語速較慢的軍事主題類談話，明確大致的思想和主要支撐性事實，語速為每分鐘90詞左右。試卷第二項聽力理解包括單選、判斷正誤和聽寫三種題型。第一題是一篇關于巡邏路線和任務部署的短文，語速為每分鐘122詞，題型為單項選擇。第二題是一段關于聯合國維和任務發展歷程的介紹，語速為每分鐘102字，題型為判斷正誤。第三題是聽三段短文或對話完成單詞聽寫，分別是一段介紹一項名為Bright Star的國際聯合軍演的短文、一段巡邏過程中發生的電臺通信對話和一段維和人員在護送過程中被身份不明人員攔截后產生的對話，語速分別為每分鐘110字、95字、204字。內容上符合大綱關于“軍事背景下日常生活、訓練相關”的要求，但語速遠超一級標準要求的每分鐘90詞的標準，接近甚至達到了二級標準的每分鐘120詞，最后一個對話甚至遠超四級要求每分鐘160詞—180詞的標準。但因為所有聽力材料均來源于教材，甚至為課堂講授過的聽力材料，而且聽寫任務中考生可以聽三次短文或對話，語速過快造成的困擾可以得到緩解。雖然課程考試題較之教材原題做了一定的改編，但使用教材聽力內容作為試題導致測試受記憶干擾過大，導致該題區分度小，影響全卷成績的正態分布。

試卷第三項是詞匯，包括根據縮略語默寫術語和術語中譯英兩部分，考查的均為軍事核心詞匯和術語，內容符合新大綱的要求。但兩道題都只考察了詞匯和術語的拼寫，不能測試學習者能否正確使用核心詞匯和短語，結果偏易，區分度過低，導致正態分布負偏態向右偏移。

試卷第四項是閱讀理解。考生需要閱讀三篇短文，分別關于護送任務中指揮官的職責、戰爭原因、維和任務基本原則，長度分別為177詞、348詞和155詞，分別采取選詞填空、常規仔細閱讀和簡答題的形式。測試目標符合新大綱對“掌握中心大意、理解主要事實和重要細節”的要求。三篇短文的體裁包括敘述文、說明文和議論文，話題涉及軍事背景的不同主題，符合大綱要求。為測定語篇的易讀度，本文參考了Flesch易讀度指數（Flesch Reading Ease）公式和易讀度美國參考量表，三篇短文的易讀度分別為40.7、61.3和35.8。根據Flesch易讀度參考量表［10］（211-233），分值為60—70的是“標準”閱讀材料，有該等級閱讀能力的人相當于美國7年級—8年級的學員，在美國成年人中所占比例為80%；30—50是“難”的閱讀材料，有該等級閱讀能力的人相當于美國大學生的閱讀水平，只有24%的美國成年人具備該等級閱讀能力。由此可見，此次測試的語篇對大二學員偏難。10道考題中，考查主旨大意1題，作者態度1題，推測判斷2題，猜測詞義1題，事實細節5題，覆蓋了不同閱讀技能。但是其中3題只考單句理解能力，另有2題只需依賴尋讀（scanning）就能迅速找到答案，使得考生在不需理解文章的情況下就能完成試題，影響該項目的效度。

表3 Flesch易讀參考量表［8］（184）

四、結語

語言測試的基本要求就是保證信度和效度。這套軍事英語課程考試卷的信度和效度雖然基本符合要求，但是存在一些問題。一是部分項目未能考查受試者的實際語言能力，測試成績受到非語言因素影響，區分度不高。二是個別項目難度設置不符合要求，影響測試的效度。

導致試卷信度和效度受影響的因素比較復雜。一方面，軍隊院校大學英語課程內容的改革實踐過程較短，教學團隊尚未積累足夠的軍事英語教學資源。通用英語教學中，得益于長期教學的豐富積累，教學團隊可以根據需要選取資源，滿足日常教學與測試的需要。各課程團隊軍事英語教學時間較短，教師經驗不足，教學資源短缺，團隊在教學中經常面臨“巧婦難為無米之炊”的窘境，導致考試命題選材難度不當的問題。另一方面，由于尚未形成軍事英語課程試題庫，缺乏標準卷作為參考，課程考試依賴教學團隊自行命題，質量受到命題人語言測試研究水平、對課程大綱考核要求理解偏差等因素的影響，在測試內容、題型的選擇上，未能有效檢測考生的軍事英語應用能力，干擾考試信度和效度。

為了解決上述問題，需要課程團隊重視語言測試理論研究，做好相應的預測和調研工作，遵循語言測試的命題原則，把握好課程考試的信度和效度，不斷提高測試質量，使測試結果能夠準確評價學員的軍事英語能力，科學地反饋教學效果，對教學形成良好的反撥作用。與此同時，建立軍事英語課程試題庫的任務刻不容緩。課程組要以語言測試理論為指導，根據教學大綱建立重點突出、難度分級，覆蓋面、題型、題量滿足課程考核要求的試題庫，為規范化、標準化的課程考試提供保障。