層次分析法在網(wǎng)絡(luò)增強型課程教學評價中的應(yīng)用

　　【摘 要】
　　針對高校網(wǎng)絡(luò)增強型課程的評價，可采用層次分析法來建立評價指標體系。本研究通過研究網(wǎng)絡(luò)課程評價指標，建立指標層次模型，同時充分采納評價主體對評價指標的兩兩重要性比較的定量描述，構(gòu)造判斷矩陣，依據(jù)判斷矩陣結(jié)果計算出指標的權(quán)重賦值。北京建筑工程學院實踐表明，基于層次分析法的網(wǎng)絡(luò)增強型課程教學評價指標體系客觀、科學、操作性強。
　　【關(guān)鍵詞】 層次分析法；網(wǎng)絡(luò)增強型課程；指標體系
　　【中圖分類號】 TP39 【文獻標識碼】 A 【文章編號】 1009—458x（2012）10—0025—07
　　引 言
　　鑒于我國高校學生人數(shù)迅速增長及可利用教育資源的相對有限，教育部于2003年全面啟動了教學模式改革，旨在推動基于計算機和網(wǎng)絡(luò)的個性化教學模式發(fā)展[1]。與網(wǎng)絡(luò)教育學院不同，大多數(shù)高校的網(wǎng)絡(luò)課程是網(wǎng)絡(luò)增強型課程，即教師仍然組織正常的課堂教學，而利用網(wǎng)絡(luò)作為促進性工具，通過所設(shè)計的網(wǎng)絡(luò)課程資源以及網(wǎng)絡(luò)工具等來完成部分學習任務(wù)，增強課程的學習效果[2]。網(wǎng)絡(luò)增強型課程是傳統(tǒng)課堂教學的補充和延伸，是將傳統(tǒng)的課堂教學、網(wǎng)絡(luò)資源、網(wǎng)絡(luò)交流、網(wǎng)絡(luò)發(fā)表、學生信息管理等結(jié)合起來的整體解決方案[3]。
　　網(wǎng)絡(luò)課程是網(wǎng)絡(luò)教育的基本載體，網(wǎng)絡(luò)課程質(zhì)量是決定網(wǎng)絡(luò)教育質(zhì)量的一個關(guān)鍵要素，如何對網(wǎng)絡(luò)課程進行合理有效的評價是當前網(wǎng)絡(luò)教育發(fā)展中的一個研究重點。目前已有許多網(wǎng)絡(luò)課程評價標準，如美國高等教育策略研究所《在線教育質(zhì)量：遠程互聯(lián)網(wǎng)教育成功應(yīng)用的標準》、韓國國家開放大學的教育質(zhì)量保證的模型、英國開放和遠程教育質(zhì)量委員會的《開放和遠程學習中的標準》、Training Foundation的《e-learning專業(yè)能力框架》以及我國教育部教育信息化技術(shù)標準委員會發(fā)布的《網(wǎng)絡(luò)課程評價規(guī)范（標準草案征求意見稿）》、教育部高教司的項目研究成果《網(wǎng)絡(luò)課程課件評測（認證）標準》[4]等等。這些評價指標中基本上包含了教學設(shè)計、教學內(nèi)容、技術(shù)性和界面設(shè)計等幾個一級指標和三十多個二級指標，多是從定性層面進行闡述，主觀性較強，并且沒有專門針對網(wǎng)絡(luò)增強型課程教學評價指標體系的研究。網(wǎng)絡(luò)增強型課程有其自身的特殊性，如大多數(shù)高校的網(wǎng)絡(luò)增強型課程都是依托于學校統(tǒng)一的網(wǎng)絡(luò)教學平臺開展，技術(shù)性和界面設(shè)計由教學平臺自身決定，不受使用者的控制，相關(guān)的指標不適合用來評價課程的質(zhì)量。本研究提出基于層次分析法（Analytical Hierarchy Process，簡稱AHP）的網(wǎng)絡(luò)增強型課程教學評價指標體系研究方法，通過評價指標體系權(quán)重的量化研究，提高網(wǎng)絡(luò)增強型課程教學評價的可操作性。
　　層次分析法及其步驟
　　1. 層次分析法概述
　　層次分析法是美國運籌學家T. L. Saaty教授于20世紀70年代初期提出，將定性與定量研究相結(jié)合進行分析的一種簡便、靈活而又實用的多準則決策方法[5]。AHP法通過建立遞階層次結(jié)構(gòu)，把人們的判斷轉(zhuǎn)化為若干因素兩兩之間重要度的比較。其原理是將所研究的問題按其性質(zhì)，把各種選擇指標、方案進行分類，并劃分為若干層次，使問題轉(zhuǎn)化為各指標方案相對優(yōu)劣的排序問題，通過構(gòu)造判斷矩陣，計算出某一層次因子相對于上一層次各個因素IAXtZ9dBYhLfPpyU7cvfdu0gjLzayZOHWQmMNgKeNAk=的單排序結(jié)構(gòu)和相對于上一層次的總排序權(quán)重[6]。運用AHP方法可以對評價指標賦予不同的權(quán)值，從而據(jù)此確定評價內(nèi)容的重要程度，使建立的指標體系有據(jù)可查，增加評價結(jié)果的可信度[7]。
　　2. 層次分析法的基本步驟
　　層次分析法大致可以分為四個步驟[8]：
　?。?）建立層次結(jié)構(gòu)模型：當應(yīng)用層次分析法時，首先要在深入分析解決問題所要達到的目標及其屬性后，把問題條理化、層次化，構(gòu)造出一個有層次的結(jié)構(gòu)模型。層次模型可以分為：最高層（目標層）、中間層（準則層）和最底層（方案層或者對象層）。
　　（2）構(gòu)造兩兩比較判斷矩陣：在建立層次模型后，設(shè)計專家調(diào)查問卷，每個參與構(gòu)造權(quán)集人員都分別對指標體系的每一層中相關(guān)的指標項進行兩兩比較，比較其相對重要程度，一般用數(shù)字1-9及其倒數(shù)的標度方法，給出用數(shù)值表示的判斷結(jié)果，寫成矩陣形式，即為判斷矩陣。
　?。?）層次單排序及其一致性檢驗：得到判斷矩陣后，求出判斷矩陣的最大特征根λmax及對應(yīng)的歸一化特征向量W，它們滿足關(guān)系式BW=λmaxW。其中W的分量Wi（i=1，2，……n）就是第i個元素Bi的單排序值。對于每個參評人員的判斷矩陣分別算出的指標優(yōu)先權(quán)重進行層次單排序一致性檢驗，計算公式為：CI=。計算隨機一致性比值CR：CR=，若CR≤0.10，認為該判斷矩陣有滿意的一致性層次單排序有效；若CR>0.10，則需對兩兩比較取值進行修正，直至滿意為止。
　?。?）層次總排序及其一致性檢驗：計算同一層次所有因素對于高層次（總目標）相對重要性的排序，稱為層次總排序。這一過程是最高層次到最低層次逐層進行的。在層次總排序完成后，也要做一致性檢驗。這一步驟也是從高到低逐層進行的。
　　此外在實踐中應(yīng)用層次分析法時，常常需要請多名專家對評價指標或者評價對象打分。設(shè)參加確定權(quán)重的人員數(shù)為N，則應(yīng)當有N個判斷矩陣，用經(jīng)過一致性檢驗的N個判斷矩陣建立一個新的判斷矩陣。新的矩陣中各元素值計算公式為：bij=。
　　上式中b1ij b2ij … bnij分別代表各個判斷矩陣中處于相同位置的元素值。然后用新的判斷矩陣計算各指標優(yōu)先權(quán)重Wi 。
　　網(wǎng)絡(luò)增強型課程教學評價指標體系構(gòu)建
　　1. 評價指標
　　筆者以北京建筑工程學院使用的清華教育在線平臺為例，結(jié)合網(wǎng)絡(luò)教學平臺的功能模塊，重點評價教學設(shè)計和教學內(nèi)容，確定了網(wǎng)絡(luò)增強型課程教學評價的8個維度、16個指標項，如表1所示。
　　2. 層次結(jié)構(gòu)模型的建立
　　根據(jù)評價指標，便可以建立網(wǎng)絡(luò)增強型課程指標評價體系的層次結(jié)構(gòu)模型，如圖1所示。整個層次模型可分為三層：目標層A，準則層B，指標層C。目標層構(gòu)建的是網(wǎng)絡(luò)增強型課程教學評價指標體系，準則層包括體系構(gòu)建的8個維度，指標層包括體系構(gòu)建須考慮的16項指標。
　　3. 指標權(quán)重的計算
　　對于上面給出的網(wǎng)絡(luò)課程評價層次模型，使用層次分析法來確定權(quán)重。首先根據(jù)評價指標設(shè)計專家調(diào)查問卷，構(gòu)成兩兩比較矩陣形式。針對網(wǎng)絡(luò)增強型課程教學評價指標體系，我們分別構(gòu)建了一級指標的判斷矩陣1個，二級指標的判斷矩陣5個。向參加過網(wǎng)絡(luò)課程評審的評委（14人）、參與網(wǎng)絡(luò)學堂課程建設(shè)的一線教師（20人）、清華大學網(wǎng)絡(luò)學堂設(shè)計開發(fā)者（8人）和北京師范大學教育技術(shù)專家（8人）四類群體發(fā)放調(diào)查問卷50份，回收問卷50份，回收率為100%。
　　其次，按照層次分析法的基本步驟構(gòu)造兩兩比較判斷矩陣，進行層次單排序和一致性檢驗，形成每一位專家對于網(wǎng)絡(luò)增強型課程各個評價指標的判斷矩陣、權(quán)重向量和一致性檢驗結(jié)果。在一致性檢驗過程中，據(jù)清華大學網(wǎng)絡(luò)學堂設(shè)計開發(fā)者和北京師范大學教育技術(shù)專家打分結(jié)果所獲得的判斷矩陣，經(jīng)過較少的幾次兩兩比較取值進行修正，基本上都通過了一致性檢驗，有效數(shù)據(jù)為16份。而網(wǎng)絡(luò)課程評審的評委和參與網(wǎng)絡(luò)學堂課程建設(shè)的一線教師所獲得判斷矩陣大部分沒有通過一致性檢驗，在剔除了一致性差別太大的數(shù)據(jù)結(jié)果后，研究者對其余數(shù)據(jù)進行了幾輪兩兩比較取值進行修正，選取了16份有效數(shù)據(jù)。最終構(gòu)造了32份判斷矩陣，表2為根據(jù)某位專家打分結(jié)果所形成的A-Bi判斷矩陣。
　　接下來，針對本研究中的32個矩陣，使每個單獨的矩陣都通過了一致性檢驗，按照公式bij=，形成的新矩陣，計算其權(quán)重數(shù)值，并進行一致性檢驗，得出結(jié)果如表3～表8所示。最后，計算出層次總排序值，得到如表9所示的各個評價指標的綜合權(quán)重。
　　4. 評價指標體系的構(gòu)建
　　在上述指標體系的權(quán)重確定后，再采用德爾菲（Delphi）法向?qū)＜艺髑笠庖姡源_定評價指標體系中各個指標項的屬性，即是必選指標項、可選項還是鼓勵指標項，網(wǎng)絡(luò)課程的總體分數(shù)，以及合格課程和優(yōu)秀課程應(yīng)達到的分數(shù)要求。在征求多位專家意見后，北京建筑工程學院網(wǎng)絡(luò)增強型課程教學評價指標體系規(guī)定有11個必選項，以“M”標識，參加評審的網(wǎng)絡(luò)課程必須達到指標規(guī)定的內(nèi)容，才能合格。本指標體系有4個可選項，以“O”標識，鼓勵網(wǎng)絡(luò)課程達到這些選項的要求，必選項和可選項總分值為100分，其中必選項占75分，可選項占25分。本指標體系有一個鼓勵項，以“E”標識，所占分值為20分。對合格課程沒有總分要求，評為優(yōu)秀的課程總分應(yīng)不少于90分。每個指標項分值計算公式為：Pi=P總×Wi，其中課程總分為120分，Wi為各個指標項的權(quán)重，最終的指標體系如表10所示，其中指標的具體含義略。
　　結(jié) 語
　　本研究提出了AHP法在網(wǎng)絡(luò)增強型課程教學評價中的應(yīng)用辦法，并以北京建筑工程學院為例構(gòu)建了網(wǎng)絡(luò)增強型課程教學評價指標體系，本指標體系被山東交通學院等多所高校借鑒使用，并5次在北京建筑工程學院的網(wǎng)絡(luò)課程評價中具體實施，通過實際應(yīng)用，我們可以得出以下結(jié)論：
　　第一，北京建筑工程學院網(wǎng)絡(luò)增強型課程教學評價指標體系是在層次分析法指導下，通過定性與定量相結(jié)合的方法得出，既合理利用了專家的經(jīng)驗、洞察力和直覺，又克服了專家主觀性的影響，各個指標項的權(quán)重科學、合理。指標體系規(guī)定了各個指標項為必選項、可選項還是鼓勵項，規(guī)定合格課程和優(yōu)秀課程應(yīng)達到的分數(shù)要求，可操作性強，根據(jù)此評價體系可以簡單、快捷、直接地對網(wǎng)絡(luò)增強型課程做出評價。
　　第二，在具體的實施過程中，可以根據(jù)實際需要對指標體系的必選項、可選項、鼓勵項和權(quán)重做出適當調(diào)整。北京建筑工程學院指標體系主要用于網(wǎng)絡(luò)課程啟動階段，目的是鼓勵教師使用網(wǎng)絡(luò)教學平臺開展教學研究，并熟悉教學平臺的所有模塊。因此指標體系設(shè)置稍難，必選項要求嚴格，并且教學交互和教學策略方面權(quán)重較大。本文重點在于介紹了網(wǎng)絡(luò)增強型課程教學評價指標權(quán)重的求取過程，在方法上探討了網(wǎng)絡(luò)增強型課程教學評價指標體系的建立過程，為網(wǎng)絡(luò)增強型課程的評價提供參考和案例。由于專家樣本的選取范圍有限，勢必造成研究結(jié)果信度有些低，通過增大調(diào)查專家的范圍和數(shù)量，將能夠控制本研究的精確性。
　　第三，建立層次結(jié)構(gòu)模型是層次分析法的第一步，也是構(gòu)造判斷矩陣的基礎(chǔ)，而構(gòu)造判斷矩陣是層次分析法的重點和特色，因此要求研究者一定要清晰地將研究問題層次化，從而正確建立層次結(jié)構(gòu)模型，以便于在此基礎(chǔ)上科學地構(gòu)造出判斷矩陣。在專家的選取方面，要考慮到專家對于評價指標和研究方法的理解。在多次修正通過一致性檢驗的過程中，注意避免研究者自身的傾向性對專家判斷的影響。
　　[參考文獻]
　　[1][5] 高霄，劉保春. 基于層次分析法的網(wǎng)絡(luò)課堂教學質(zhì)量評價體系結(jié)構(gòu)[J]. 天津外國語學院學報，2009，16，（6）：73-78.
　　[2] 張建偉，盧達溶. 關(guān)于網(wǎng)絡(luò)協(xié)作探究學習及其影響因素的實證研究[J]. 電化教育研究，2002，（8）：38-43.
　　[3] 王靖，劉志文. 網(wǎng)絡(luò)增強型課程的設(shè)計[J]. 軟件導刊，2006，（2）：34-35.
　　[4][6] 邢紅宇. 基于AHP法和Delphi法的網(wǎng)絡(luò)課程評價體系設(shè)計研究[J]. 中國電化教育研究，2006，（9）：78-81.
　　[7] 孫玉榮，彭金波. 基于AHP的課程教學效果評價指標體系研究[J].湖南工業(yè)大學學報，2010，24（5）：86-88.
　　[8] 陳敬全. 科研評價方法與實證研究[D]. 武漢大學博士論文，2004：77-83.
　　收稿日期： 2012-06-15
　　作者簡介：王雅杰，碩士，高級實驗師，北京建筑工程學院計 算機教學與網(wǎng)絡(luò)信息部（100044