民族漢考新大綱實施的試題質量分析

邱靜遠

摘 要：2016年6月，民族漢考（MHK）（二級）新大綱正式頒布，2018年6月，依據MHK（二級）新大綱命制的新試卷在青海正式啟用。本文對民族漢考（二級）新舊大綱進行了比較，并采集2016～2018年青海民族漢考（二級）筆試的實測數據，對三年的試卷進行了縱向年度對比分析，評估了新大綱的試題質量，對新舊大綱的過渡情況進行了分析和論證。

關鍵詞：MHK;新大綱;質量分析;對比分析

【中圖分類號】G【文獻標識碼】B【文章編號】1008-1216（2019）05B-0004-04

在少數民族地區推廣普及國家通用語言文字（漢語），對增進各民族溝通交流，鑄牢中華民族共同體意識具有特殊意義。中國少數民族漢語水平等級考試（以下簡稱“MHK”）是結合我國少數民族學習漢語的特點，專門測試母語非漢語的少數民族學習者語言水平的國家級標準化考試，主要考查應考者運用漢語進行交際的能力，包括應考者運用漢語工具完成生活、學習、工作和社會交往任務的能力。

MHK從低到高分為相互銜接的四個等級。MHK自2003年開考以來，已推廣到16個省區，累積報考科次超過400萬。MHK考試大綱是從2002年起分級別先后頒布的，舊大綱使用了10年。2012年教育部民族教育司啟動了MHK大綱的修訂工作，目前，一級、二級大綱已經修訂完畢，于2015年6月正式頒布，三級、四級大綱正在修訂。

2018年6月，經過兩年的宣傳適應期，依據MHK（二級）新大綱命制的試卷在青海正式啟用。考試大綱是命題的規范性文件和標準，是考試評價、復習備考的依據，大綱的修訂必然會帶來試卷結構、題型等方面的變化。而MHK是標準參照考試，應當保證在不同時間、使用不同試卷的考生得到公平對待，保證合格證書的授予標準不會隨著大綱變化、試卷難度波動而起伏，保證不同試卷得分具有可比性。

考試大綱的修訂給試題質量控制，特別是穩定考試難度帶來了挑戰。如何保障新舊大綱穩定銜接？如何保障采用不同試卷結構的考試所得的分數具有可比性？這是考試研發者在推出新結構的試卷時必須思考和解決的問題。這就需要在新舊大綱過渡期間，采集實測數據，進行新大綱考試數據的年度分析以及不同年度試卷的縱向對比分析，找出新舊版本考試的差異，評估新大綱MHK考試試題質量，分析產生差異的原因，為提升命題質量和改進教學提出有價值的建議，為實現一年多考、一綱多卷奠定基礎。

一、MHK（二級）筆試新舊大綱比較

MHK（二級）主要考查少數民族學習者完成義務教育階段漢語學習任務時應達到的水平，考試對象為準備進入全日制民族高級中學、中等專業技術學校學習的少數民族學生，或者希望向有關單位證明自己漢語水平、希望評價自己漢語水平的少數民族學習者。MHK二級筆試包括聽力理解、閱讀理解與書面表達三個部分。

對新舊版本的考試進行對比分析，首先要明確新舊考試大綱的聯系與區別，尤其是區別有多大，這是研究的先決條件。根據《中國少數民族漢語水平等級考試大綱》（二級）修訂版，大綱修訂的原則為“繼續保持原大綱注重考查考生實際運用漢語的能力，突出能力的全面考查，保持原大綱的主體結構不變;修訂等級標準，對大綱的題型進行調整、補充和完善，更新和調整字表和詞表，完善考試流程;考試內容和表述方式力求貼近少數民族生活和漢語教學的實際”。即理念、架構保持穩定，內容更新、調整，貼近少數民族實際。

通過修訂原則和表1可以看出，MHK（二級）新舊大綱理念、架構是穩定的，沒有結構上的變化，變化在細節上，主要體現在以下幾個方面：一是題型調整。聽力理解部分取消了聽力搭配的題型，增加了對話和語段題的題量;閱讀理解部分取消了詞語解釋的題型，增加了詞語填空的題量;書面表達客觀題部分取消了判斷詞語位置，語句判斷由選正確改為選錯誤。二是題量減少。由全卷91題減少到了86題，書面表達客觀題部分減少了5題。三是考試時間增加。考試時間由110分鐘增加到了115分鐘。四是對字表和詞表的修訂，調整了數量。這樣，減少了側重知識和訓練的題型，增加了交際和應用的題型，突出了對語言運用能力的考查。

二、研究方法

新舊版本大綱的對比分析，采集同一群體在相鄰的時間進行新舊大綱兩個版本試卷測試的數據，這樣考生的能力值不會有大的變化，測量的精度比較高，但考生的動機不好控制，實際操作中也有諸多困難，難以實現。為確保分析的科學性，我們決定采用歷年的實測數據。目前，青海省使用MHK（二級）筆試成績作為初中畢業暨升學考試（中考）漢語科目成績，每年6月舉行，考生作答動機良好，能夠反映真實水平，考后評卷等工作規范有序，測試數據可靠，樣本數據具有典型性、穩定性、可靠性和有效性，完全可以用于對比分析。

研究使用了2016～2018年青海MHK（二級）筆試的測試數據。測試數據剔除了信息缺失、刪除了未作答和成績為0的考生作答信息。樣本人數分別為：2016年9882人，2017年9418人，2018年9982人，共計29282條有效數據。在三年的考試中，2016卷和2017卷依據舊大綱命制，2018卷依據新大綱命制。

根據統計結果，2016～2018年的考生在考點分布、民族分布、性別分布等方面一致性高。將參加考試的全部考生歸入24個市縣級考點單位，考生最多的來自共和縣、同仁縣和澤庫縣三個考點，考生較少的來自德令哈市、格爾木市、海晏縣、烏蘭縣四個考點;從考生民族分布看，90%以上的考生來自藏族，5%左右的考生來自蒙古族，其他來自回族、滿族和土族等。從考生性別分布看，女生比例為53%，男生比例為47%，女生比例略高于男生，各年基本穩定。

本研究主要基于經典測驗理論進行定量分析，主要工具有ASC Item and Test Analysis Package 、SPSS，并采用FOXPRO自編程序進行數據處理，從被試總分、分測驗分布、試卷和題目統計參數等對2016～2017年舊大綱卷和2018年新大綱卷進行分析。

三、2016～2018卷測試數據統計結果與分析

為了驗證2018卷的穩定性和可靠性，我們將2018卷與2016卷、2017卷進行了縱向對比分析。

（一）總分與分數分布

從圖1可見，2018卷與2016卷、2017卷分數分布基本一致。按照一題一分、滿分85分的原則（不包括作文得分，2016卷和2017卷按照85：90比例折算），將考生分數分別歸入10個分數段，獲得不同分數段考生的分布頻率。除0～17分低分區間外，其他各分數段均有5%以上比例的考生。2016卷、2017卷和2018卷考生總分在68～76.5分數段內分布比例最大。由表2可知，從客觀題總分來看，試卷平均分分布在54～62分之間，2018卷平均分最低，主要原因應該是由于書面表達部分減少了5道試題，標準差較為穩定，變化較小。2016～2018卷聽力理解和閱讀理解的平均分和標準差較為接近，難度差異變化不大。書面表達部分由于2018卷滿分為10分，而2016卷、2017卷滿分為15分，無法進行對比，但可以看出舊大綱下這部分考生成績平均分穩定在9分左右，標準差在3.0左右。而作文部分2018卷得分均略高于2016卷和2017卷。

（二）難度與區分度

三年試卷的題目難度曲線大致均呈負偏態分布，難度集中在0.5～0.8的區間內。2016卷和2017卷分布最為一致，2018卷題目難度集中分布在0.6左右，分布頻率向兩端依次減少，試題難度分布較為均勻。

2016～2018卷題目區分度的分布一致性高，呈正態分布，區分度為0.5時，不同年份試卷在該點的比例占各試卷題目總量的40%～50%，此外，各試卷90%的題目區分度在0.2以上，表明題目質量較好。

（三） 信度與效度

整體來看，各年份試卷的聽力理解和閱讀理解部分α系數均在0.89以上，信度較高，題目比較可靠。書面表達部分各試卷信度較為一致，在0.76～0.79之間起伏，與聽力理解和閱讀理解相比信度較低，這可能是因為題目數量較少。

為了對2016～2018卷的結構效度進行分析，研究采用因素分析的主成分方法對三卷各分測驗的作答數據進行了對比驗證，考查每個分測驗在每個潛在因子上的負荷情況。結果表明，三年考試的情況基本相同。除2018年書面表達分測驗外，其他各分測驗在所提取主因素上的負荷均在0.9以上。三年考試只有一個共同因素，考查了一個潛在因素，因此，可以認為三年考試的構念大致相同，結構效度較高。

（四）新大綱卷試題分析

2018卷是MHK（二級）新大綱啟用后正式使用的第一套試卷。由于作文原始分為0～6等級分數，未進行分數轉換，所以選取的分析對象為除作文以外的前85道題目。根據表4可知，從難度看，2018年卷全卷難度0.65，中等略易。

從α系數來看，全卷信度0.96，書面表達部分信度相對較低，尤其是書面表達的選擇題部分，可能是因為題目數量較少，只有5個題。整體來看，2018新大綱卷難度適中，信度較高，能夠較好地反映考生真實的能力水平。

四、結論和啟示

從以上的分析可以看出，MHK（二級）? （下轉第9頁）? ? （上接第6頁）試卷質量總體上是穩定可靠的，基本實現了新舊大綱平穩過渡的目標。在總分分布、難度、區分度等方面，2018卷與2016卷及2017卷的數值較為一致;2018卷的整卷信度α值為0.96，說明這套試卷測驗分數的可信度高。在效度分析方面，相關分析結果顯示，分測驗對全卷具有較高的代表性，其得分能有效地預測全卷得分。

通過三年試卷縱向對比發現，題型變化對考生作答影響顯著。這是新舊版本考試的一個明顯差異。分數分布書面表達漢字題部分呈現“U”型分布，分數兩端人數多于中間分數段人數，而且考生人數分布最多的分數點為0分，可能是因為考生對新題型還不熟悉，需要一個適應的過程。填空題部分因試題改革未有參照標準，需根據后期情況進行觀察和調整。

少數民族學生在書面表達能力方面存在薄弱環節。這也印證了少數民族學生在漢語學習中口語和書面表達能力較弱的實際情況，也從側面反映在新舊體系的過渡中體現的考試指揮棒作用。

這也說明，要做好新舊大綱的平穩過渡，除考試研發部門要控制好試題質量外，基礎教育行政部門和教研部門也有責任，應加強宣傳，做好考試大綱的解讀和適應測試工作，幫助考生準確把握考試大綱修訂情況，及時回應教師、學生和社會關切。

通過以上的分析還可以看出，通過實證研究和量化分析的結果了解學生對知識、技能的掌握情況，反饋教學中存在的問題具有重要意義。這不僅能為優化和改善教學工作指明努力的方向，而且可以為日后修改或篩選考試試題、建立試題庫和實施標準化考試等提供參考。

分析的結果表明，命題人員在命題過程中應進一步了解少數民族學生學習漢語的實際情況，充分考慮少數民族地區漢語教學的復雜性和不平衡性，這樣才能確保試題的質量和考試的信效度。

建立MHK試題質量評價體系除定量分析外，還需要進行定性分析，比如試題是否符合命題規則和考核目標。本次分析主要采用經典測量理論，這種理論有局限性，今后應結合項目反應理論來研究。

實施雙語教育是國家推進民族教育的重要舉措，也是提高民族教育質量的重要基礎。考試是檢驗和評價學習成果的手段，更是指導和改進教學質量的方法。

MHK新大綱調整、更新后更加貼近少數民族實際，在今后的應用中，應充分發揮在學業評價、質量監測、教學反饋等方面的作用，為推進雙語教育取得更大的實效做出突出貢獻。

參考文獻：

[1]祁永芳.對民族漢考及民族地區漢語教學的改進建議[J].中國民族教育，2018，（2）.

[2]任濤，扈巖，張青華，張泉利.高中學業水平考試評價標準體系研究——以北京市為例[J].中國考試，2017，（1）.