無紙化考試系統評價體系研究

[摘 要] 隨著新一輪教學改革的深入，利用考試系統代替手工考試、手工閱卷已經成為教學中亟待解決的問題。考試系統設計的好壞直接關系到教學質量的高低，本文以所在院校的會計電算化考試無紙化考試系統為例，運用模糊綜合評判法對無紙化考試系統建立量化評價體系，以期能對改進已有考試系統、提升教學質量有所裨益。

[關鍵詞] 模糊綜合評判; 評價體系; 考試系統

doi : 10 . 3969 / j . issn . 1673 - 0194 . 2010 . 21 . 038

[中圖分類號]G434 [文獻標識碼]A [文章編號]1673 - 0194(2010)21- 0073 - 03

1引言

考試系統是目前開設應用軟件課程的高校中應用較多的一種考試軟件，通常情況下采用結構化的方法開發，一般包括三層體系結構，包括數據庫服務器、Web服務器、客戶瀏覽器三部分，借助準確、高速、網絡化的信息技術手段，能夠在任何地點、任何時間進行，增添了方便性和靈活性的功能，同時自動組卷、閱卷和判卷功能也可大大降低教師的勞動強度，學生也能夠靈活地安排時間，自己組卷進行練習和自測，提高教學質量。然而，由于制作資金或技術的缺陷，很多考試系統違背了原有的初衷:首先，在設計上以客觀題為主，無法對學生所學知識和綜合應用能力進行評價;其次很多考試系統只提供成績統計、查詢，而沒有對學生或整體的情況進行正確有效的分析評價，更沒有對試題難度、區分度、試卷的信度、效度等進行分析;最后，在軟件的可操作性上，現行的很多考試系統需要考生擁有較強的計算機知識，加重了考生的學習負擔。如何評價考試系統的好壞，可以幫助我們在選擇軟件時更有針對性地選用適合自身特色的考試系統，同時更好幫助設計者在設計理念、設計思路上得以創新，成為高校課程改革的一塊重要基石。基于此，本文試圖結合以往學者的研究成果，探索性地研究一套較合理的考試系統評價體系，以期能對軟件應用類課程教學改革有所裨益。

2無紙化考試系統評價指標的設計與開發

考試系統評價指標體系的設計，包括維度和指標確定，其設計的基本原則包括:科學性、層次性與系統性、綜合全面性、細分性、數據可獲性、可操作性、學科專業性等。本文重點綜合已有的研究成果，在考慮會計電算化學科自身特點的基礎上，通過征求長期從事會計電算化課程教學專家的意見，設計出一套對考試系統評價的指標體系。由于本研究設計的指標要用于實證統計分析的總體比較，為便于統計分析和問卷回收及整理，采用國際上普遍采用的半定量的軟指標體系。在設計過程中，分指標盡量采用以前文獻中使用的指標，并將這些分指標放入組成考試系統的3個要素(系統性能、試卷質量、系統管理)14個分指標內，具體的指標體系見表1。

對上述指標體系的設計合理與否，筆者結合問卷調查的結果，運用統計軟件SPSS 13.0對其進行分析和數據處理(主要工作包括指標體系的可信度分析)，二級指標因素的歸類主要采用因子分析。

調研從2010年3月1日正式開始，共發放問卷200份(其中發放電子郵件100份)，發放地區為安徽、江蘇、浙江三省主要城市，發放對象包括一線教學的教師，學生及從事后臺維護的信息維護人員，并在問卷發放1周后通過電話進行確認。截止到2010年5月31日，整個流程歷時90天，共回收問卷160份，綜合回收率 80%。經過篩選無效問卷，實際得到的有效問卷120份，基本滿足實證研究的需要。

通過對回收的有效問卷進行分析，得到其信度系數Cronbach系數分別為0.725 3，0.858 9，0.825 4，一般而言，因總量表的題項較多其信度系數通常會大于各分量表的信度系數，也就是說各指標無論在單一層面或總指標層面上的一致性都較高，符合社會研究及探索性研究的雙重要求，故可以認為本研究的數據可靠，3類指標構成的量表效度較高，最后運用SPSS 13.0對調查問卷中的系統性能、系統管理與試卷質量等下屬的二級分類指標進行了主成分因子分析。通過對小樣本問卷獲得的數據進行分析，筆者發現，系統性能、系統管理與試卷質量的KMO樣本測度值分別為0.657，0.805，0.608，修正后的大類指標下各題目內部一致性較高，選項的共同性及調查樣本數都基本上符合因子分析實證研究的要求，因此采用主成分分析，獲得三因子結構模型。結合上述分析對表1的設計進行部分完善和修正，進一步確定無紙化考試系統評價指標體系。

3無紙化考試系統評價的數學模型分析

對考試系統的評價為多目標、多依據的評價，在建立指標體系后往往依靠評價者的定性分析和邏輯判斷，缺乏定量分析依據，在實證中暴露出很大問題。因此，若能在評價中借鑒主觀比較所獲得粗略的量化評價從而實現定量分析與定性分析的有機結合，那么就能大大增強評價結果的科學性和合理性。根據已建立的評價指標體系，可以采用多種指標評價方法對進行評價，如綜合指數法、模糊評價法、多元統計分析中的主分量法、因子分析法等。由于考試系統質量的高低是一個隱性和顯性交叉融合的能力標識，而在構建的指標體系中，其指標往往是客觀數據無法完全體現出來的，所以對其評價的綜合分析具有很強的模糊性，宜采用模糊綜合評價法進行量化分析。因此，本文采用模糊綜合評價法對其進行量化分析。

采用模糊綜合評價模型需確定評價指標體系中各指標的權重集。權重集用以描述各指標對于評價主體的相對重要程度，它是與評價指標體系相對應的多級集合。權重值通常是通過Delphi法、層次分析法等求得。考慮到這兩種方法對評價結果的相對主觀影響程度的大小，本文采用層次分析法確定各指標權重集。

層次分析法是美國運籌學專家Saaty教授在20世紀70年代提出的一種定性與定量分析相結合的系統分析方法。其理論核心是將復雜系統簡化為有序的階梯層次結構，使人們的決策思維過程模型化或規范化，以克服決策過程中主觀因素過多的問題，在滿意決策的選擇上，常常進行多方案間兩兩比較，以確定其優先排序的需要。我國自1982年引入 AHP法以來，人們不僅將其應用于各種決策與規劃分析以及綜合評價排序，也用于了評價指標權數的構造，應用十分廣泛。

綜合上述兩種方法的優點，本文運用模糊綜合評判法對無紙化考試系統進行評價，

分析過程如下:

(1) 確定考試系統質量評價的因素集和評語集。由表1得到的指標體系分析，可設U為因素集，U = (系統性能U1，系統管理U2，試卷質量U3)。將U分為幾個子集，作為第二級因素集合，即U1 = {U12，U13，U14，U15｝，依次類推。其中，二級指標U11代表穩定性，U12代表安全性，U13可操作性，U14代表高效性，U15代表隨機性，依次類推。設V為評語集，記V = (V1，V2，V3，V4，V5) = {好，較好，一般，較差，差｝。

(2) 確定各層級因素的權重。在權重的確定上，筆者通過征求長期從事考試系統建設的專家意見，對各指標對準則層和目標層的權重進行打分以確定部分數據，然后由層次分析法計算得到一級和二級指標權重數值。具體分析見下節。

(3) 通過單個因素模糊評價獲得模糊綜合評價矩陣。通過對每個因素的判斷，給出各個因素的評分等級，這樣就建立起了評價因素與評語等級之間的關系，并用模糊評價變換矩陣進行描述，最后通過單個因素模糊評價獲得模糊綜合評價矩陣。

綜合評價的目的是要從對象中選出優勝對象，所以還需要將所有對象的綜合評價結果進行排序，選擇最優對其進行強化，同時采取針對性的措施對較弱部分進行強化和調整。

4應用舉例及分析

本文運用模糊綜合評判方法對我校自主開發的用友V861電算化考試系統的質量進行評價。評價過程中通過給從事會計電算化課程教學的教師和使用過該考試系統的學生發放調查問卷，篩選有效問卷，并用統計軟件SPSS 13.0進行分析，分析過程如下:

(1) 確定考試系統質量評價的因素集和評語集(一級、二級指標及評語集)。

(2) 確定各層級因素的權重。在權重的確定上，筆者通過征求專家意見，對各指標對準則層和目標層的權重進行打分以確定部分數據，然后由層次分析法計算得到一級和二級指標權重數值。其計算過程如下:

將判斷矩陣歸一化后可計算得系統性能的二級指標特征向量為W1 = (0.539 0，0.177 2，0.121 0，0.075 8，0.087 0)，最大特征向量為0.004 6，CR = 0.004 6/0.58= 0.008 0 <0.1， 故可認為判斷矩陣具有滿意的一致性，其他判斷矩陣依次類推。

(3) 通過單個因素模糊評價獲得模糊綜合評價矩陣。

(4) 進行復合運算可得到綜合評價結果。

本文設置了多級指標(目標層、準則層、指標層)，最終評估結果需由多級模糊綜合評判后得出，計算結果為:

B1 = (0.206 9，0.266 0，0.266 5，0.208 1，0.052 5)

B2 = (0.175，0.3，0.225，0.275，0.025)

B3 = (0.242 9，0.2，0.285 6，0.157 2，0.114 3)

目標層指標的綜合評判計算結果為:

主要參考文獻

[1] 王育琳.基于ASP.NET網上考試系統的評價研究[D]. 南京:南京理工大學，2006.

[2] 陳欣，張增榮.網上考試系統的評價研究[J].現代教育技術，2004(2):60-63.

[3] 蔣同甫.對建立考試系統評價標準的幾點認識[J].北京廣播電視大學學報，2003(2):14-16.

[4] 于長云，閆靜，等，遠程考試與評價系統的設計與實現[J].天津理工學院學報，2004(3):46-49.

[5] 翁代云，董勇，唐世毅.基于UML的可支持教學效果評價的考試系統應用研究[J].現代電子技術，2008(22):88-90.