基于AHP模糊綜合評(píng)價(jià)法的高職MOOC建設(shè)評(píng)價(jià)研究

李志長(zhǎng)+姚亞琳

[摘 要]盡管國(guó)內(nèi)外研究MOOC的數(shù)量呈遞增的趨勢(shì)，但是其主要集中在介紹、應(yīng)對(duì)、開發(fā)等研究或討論上，較少的關(guān)注其實(shí)施效果，評(píng)價(jià)其開發(fā)效用。由于高職和本科的立足點(diǎn)和培養(yǎng)重點(diǎn)不同，因此，本文在借鑒本科院校MOOC開發(fā)經(jīng)驗(yàn)的同時(shí)，突出建立一個(gè)面向高職的系統(tǒng)、科學(xué)的評(píng)價(jià)指標(biāo)體系。

[關(guān)鍵詞]MOOC；評(píng)價(jià)；高職

doi：10.3969/j.issn.1673 - 0194.2017.06.161

[中圖分類號(hào)]G642.3 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1673-0194（2017）06-0-02

1 MOOC建設(shè)的研究背景

大規(guī)模在線開放課程（Massive Open Online Course，M00C）為學(xué)習(xí)者提供了豐富的教學(xué)資源。在線開放課程的受眾學(xué)生不僅多、且范圍廣，所有人都可以在線進(jìn)行學(xué)習(xí)。但在這種特殊的環(huán)境下，伴隨著MOOC的快速發(fā)展，許多開發(fā)建設(shè)的MOOC出現(xiàn)了不少問題，引起關(guān)注的包括但不限于教學(xué)質(zhì)量、學(xué)員流失、考核評(píng)價(jià)等諸多問題，制約著MOOC的進(jìn)一步發(fā)展。在此背景下，如何控制和保證MOOC的建設(shè)質(zhì)量已成為MOOC研究者關(guān)注的一項(xiàng)重要課題。

2 高職MOOC需求特征分析

高職的課程體系中最重要的組成部分是職業(yè)技能課，這些課程是針對(duì)職業(yè)不同級(jí)別所需技能和知識(shí)而設(shè)計(jì)的，注重知識(shí)的針對(duì)性和實(shí)用性，強(qiáng)調(diào)職業(yè)能力的適用性和復(fù)合性，著重職業(yè)發(fā)展的層次性和遞進(jìn)性。另外，高職的入學(xué)門檻相對(duì)較低，學(xué)生素質(zhì)參差不齊，在網(wǎng)絡(luò)學(xué)習(xí)中學(xué)習(xí)能力、自我管理、誠(chéng)信等方面的表現(xiàn)較差。因此，高職的MOOC建設(shè)在項(xiàng)目設(shè)計(jì)、內(nèi)容組織、教學(xué)服務(wù)、用戶體驗(yàn)等方面有其獨(dú)特的需求。首先，技能碎片化，即將依賴性強(qiáng)、聯(lián)系緊密、環(huán)節(jié)較多的技能項(xiàng)目劃分成一個(gè)個(gè)短小的技能點(diǎn)；其次，目標(biāo)多樣化、層次化，國(guó)家對(duì)職業(yè)技能（資格）本就劃分了幾個(gè)等級(jí)，體現(xiàn)了不同層次的要求，加上學(xué)生素質(zhì)的參差不齊，在MOOC的建設(shè)中，須考慮到這些非均衡性的因素，以滿足不同層次的需求；最后，MOOC平臺(tái)的用戶體驗(yàn)以及教學(xué)團(tuán)隊(duì)在學(xué)生學(xué)習(xí)過程中需提供自我管理、學(xué)習(xí)黏度、技術(shù)接受與認(rèn)可等方面足夠的、有針對(duì)性的幫助或協(xié)調(diào)。

3 MOOC建設(shè)評(píng)價(jià)指標(biāo)的構(gòu)建

借鑒國(guó)內(nèi)外網(wǎng)絡(luò)課程的評(píng)價(jià)指標(biāo)體系和MOOC開發(fā)實(shí)踐，構(gòu)建出開發(fā)團(tuán)隊(duì)、教學(xué)內(nèi)容、拓展資源和使用平臺(tái)4個(gè)一級(jí)指標(biāo)，教學(xué)服務(wù)、學(xué)習(xí)分析、教學(xué)設(shè)計(jì)、考核設(shè)計(jì)、課程組織等13個(gè)二級(jí)指標(biāo)和16個(gè)三級(jí)指標(biāo)。

3.1 開發(fā)團(tuán)隊(duì)

開發(fā)團(tuán)隊(duì)包括成員數(shù)量與分工、教學(xué)服務(wù)、學(xué)習(xí)分析3個(gè)指標(biāo)。成員數(shù)量與分工：團(tuán)隊(duì)成員結(jié)構(gòu)合理性、分工合作情況，每門課程應(yīng)不少于3人。教學(xué)服務(wù)：又包括線下活動(dòng)、課程討論和關(guān)懷性，分別是指通過戶外課堂、學(xué)習(xí)交流、舉辦沙龍等活動(dòng)進(jìn)行線下有效交流和共同分享的頻率或次數(shù)，線上線下關(guān)鍵時(shí)刻提供引導(dǎo)與指導(dǎo)，教師響應(yīng)速度、個(gè)性化服務(wù)、關(guān)愛性、輔助服務(wù)等。學(xué)習(xí)分析：對(duì)課程的學(xué)習(xí)者需提供其表現(xiàn)報(bào)告、提供課程活動(dòng)數(shù)據(jù)、能對(duì)學(xué)習(xí)數(shù)據(jù)進(jìn)行分析并將其可視化、提供建議與反饋，幫助其改進(jìn)表現(xiàn)。

3.2 教學(xué)內(nèi)容

教學(xué)內(nèi)容包括教學(xué)設(shè)計(jì)、考核設(shè)計(jì)、課程組織3個(gè)指標(biāo)。教學(xué)設(shè)計(jì)：主要有多樣化目標(biāo)設(shè)計(jì)、教學(xué)方法和風(fēng)格設(shè)計(jì)，即考慮受眾的多樣性，設(shè)計(jì)多層次的教學(xué)目標(biāo)，讓學(xué)生根據(jù)自身情況調(diào)整學(xué)習(xí)目標(biāo)和課堂參與程度，符合高職生學(xué)生特點(diǎn)，能精準(zhǔn)有效的表達(dá)教學(xué)內(nèi)容，詳略得當(dāng)，語言感染力、儀態(tài)等表現(xiàn)出面對(duì)面授課體驗(yàn)，有肢體語言表達(dá)等。考核設(shè)計(jì)：主要涉及考核形式、評(píng)分標(biāo)準(zhǔn)及申訴反饋機(jī)制，考核形式要符合學(xué)科、課程特點(diǎn)，在合乎邏輯且連貫下靈活開展，評(píng)分標(biāo)準(zhǔn)應(yīng)詳細(xì)、清晰，能公平、有效的評(píng)價(jià)學(xué)生，申訴機(jī)制提供考核結(jié)果的申訴、解釋等溝通機(jī)制。

3.3 拓展資源

拓展資源包括索引組織、可訪問性、有用性。索引組織是否易用、分類、關(guān)聯(lián)性和指示標(biāo)志是否明確且清晰；可訪問性指資源鏈接是否可無障礙訪問且完整有效；有用性指提供的參考教學(xué)視頻真相與信息是否方便學(xué)生自主擴(kuò)充知識(shí)面。

3.4 使用平臺(tái)

使用平臺(tái)從用戶體驗(yàn)的角度設(shè)計(jì)，包括學(xué)習(xí)特征收集反饋、進(jìn)度跟蹤、界面設(shè)計(jì)、響應(yīng)性。學(xué)習(xí)特征收集反饋：平臺(tái)能否有效收集學(xué)生的學(xué)習(xí)特征，以便提供學(xué)習(xí)數(shù)據(jù)和假冒篩查。進(jìn)度跟蹤：平臺(tái)是否具有學(xué)習(xí)進(jìn)度的跟蹤記錄、斷點(diǎn)標(biāo)注、進(jìn)度提醒等體制或機(jī)制。界面設(shè)計(jì)：用戶界面是否友好、易接受和操作方便，幫助信息是否清晰且易用、有用，是否有使用指南。響應(yīng)性：網(wǎng)站鏈接服務(wù)請(qǐng)求的響應(yīng)速度。

4 MOOC建設(shè)模糊綜合評(píng)價(jià)

4.1 評(píng)價(jià)集合

關(guān)于評(píng)價(jià)賦值方法有多種，針對(duì)文中指標(biāo)體系中大多指標(biāo)不容易量化，或者量化時(shí)缺少對(duì)照參數(shù)而不能給出精確數(shù)值，導(dǎo)致不同層次甚至同層次的評(píng)價(jià)指標(biāo)不易判斷其重要程度而很難給出相對(duì)權(quán)重，因此結(jié)合三角模糊數(shù)和FAHP的優(yōu)勢(shì)，本文采用了基于三角模糊數(shù)的FAHP方法，設(shè)計(jì)了符合日常一般化表達(dá)的評(píng)價(jià)語言變量，從而簡(jiǎn)化指標(biāo)權(quán)重的判斷。如圖1所示的評(píng)價(jià)語言變量與其對(duì)應(yīng)的三角模糊數(shù)。

4.2 模糊綜合評(píng)價(jià)步驟

步驟1對(duì)指標(biāo)Xi的下級(jí)指標(biāo)Xim分別進(jìn)行單因素判斷，得到Xi評(píng)價(jià)結(jié)果三角模糊數(shù)。

假設(shè)指標(biāo)Xi的下級(jí)指標(biāo)集合為{Xi1 ， Xi2，…，Xim}，因?yàn)橛衝個(gè)專家參與判斷，同一問題不同答案采用多數(shù)原則，相近則取平均值。專家k對(duì)這m個(gè)指標(biāo)評(píng)價(jià)結(jié)果其實(shí)是達(dá)成共識(shí)后的專家團(tuán)隊(duì)判斷結(jié)果，表示為：

Pik={Pi1k， Pi2k，…， Pimk}， k=1，2，…，n。

其中，Pimk相應(yīng)的語言含義與對(duì)應(yīng)的三角模糊數(shù)如表1中評(píng)價(jià)語言變量與對(duì)應(yīng)的三角模糊數(shù)。

步驟2利用FAHP確定二級(jí)指標(biāo)Xim對(duì)被評(píng)價(jià)對(duì)象的重要程度，即Xi的一級(jí)指標(biāo)權(quán)重。

（1）將指標(biāo)兩兩進(jìn)行重要程度比較，構(gòu)造Xim的模糊互補(bǔ)優(yōu)先關(guān)系矩陣F=（fij）m×m。

（2）進(jìn)行一致性判斷。若滿足一致性，轉(zhuǎn)到（3），若不滿足，則需要將其改造為模糊一致矩陣。在改造過程中，應(yīng)盡量保留原始判斷矩陣信息，調(diào)整幅度不宜過大。

（3）將矩陣F歸一化處理，得到特征向量Wik，即Xim的層次單排序權(quán)重。

Wik={Wi1k，Wi2k，…，Wimk}，k=1，2，…，n。其中，Wik為用戶k對(duì)Xi所有二級(jí)指標(biāo)進(jìn)行模糊評(píng)價(jià)后的權(quán)重。

步驟3計(jì)算指標(biāo)Xi的評(píng)價(jià)結(jié)果三角模糊數(shù)。

對(duì)Xi評(píng)價(jià)結(jié)果矩陣和權(quán)重矩陣進(jìn)行模糊運(yùn)算得到結(jié)果為：

其中，符號(hào)“⊕”和“x”分別表示模糊數(shù)運(yùn)算的加法和乘法。

步驟4分別計(jì)算所有一級(jí)指標(biāo)的評(píng)價(jià)結(jié)果三角模糊數(shù)。

重復(fù)步驟1到步驟3，分別計(jì)算{X1，X2，…，Xi}的評(píng)價(jià)結(jié)果的三角模糊數(shù)，結(jié)果為Ak={A1k，A2k，…，Aik} 。其中，Aik為用戶k對(duì)指標(biāo)Xi的評(píng)價(jià)結(jié)果三角模糊數(shù)。

步驟5利用步驟2的方法確定一級(jí)指標(biāo)Xi權(quán)重。

步驟6將一級(jí)指標(biāo)評(píng)價(jià)結(jié)果組成新的矩陣和一級(jí)指標(biāo)權(quán)重矩陣進(jìn)行模糊運(yùn)算，得出綜合評(píng)價(jià)結(jié)果。綜合評(píng)價(jià)結(jié)果三角模糊：

經(jīng)過以上6個(gè)步驟，得到的對(duì)某一評(píng)價(jià)對(duì)象的綜合評(píng)價(jià)結(jié)果B也是一個(gè)三角模糊數(shù)。

4.3 實(shí)證研究

首先選擇了10名校內(nèi)外專家組成評(píng)價(jià)專家小組，采用德爾菲法對(duì)同級(jí)別下評(píng)價(jià)指標(biāo)的重要性進(jìn)行兩兩比較，經(jīng)過3輪背靠背的對(duì)比排序分析，對(duì)照表1的評(píng)價(jià)變量構(gòu)建模糊判斷矩陣，并利用模糊判斷矩陣一致性檢驗(yàn)和改進(jìn)方法對(duì)一致性檢驗(yàn)和改造。然后，選擇40名教師及學(xué)生組成的評(píng)價(jià)小組，以問卷調(diào)查的形式對(duì)湖南信息職業(yè)技術(shù)學(xué)院一期開發(fā)的MOOC課程“市場(chǎng)營(yíng)銷”進(jìn)行二級(jí)和三級(jí)指標(biāo)單因素評(píng)價(jià)，被調(diào)查者只回答問卷中與體驗(yàn)相關(guān)或相近的問題，同一問題不同答案的采用多數(shù)原則，相近則取平均值，得到評(píng)價(jià)結(jié)果如表2所示。

為了評(píng)價(jià)直觀，最后對(duì)這些評(píng)價(jià)結(jié)果三角模糊數(shù)去模糊值后進(jìn)行排序，不考慮專家偏好，直接用取平均值，結(jié)果為0.384 3，化成百分制為38.4分。評(píng)價(jià)結(jié)果表明：該門課程的MOOC建設(shè)總體評(píng)價(jià)為“較差”或“中等偏下”，未來還有較大的提升空間。從表2的計(jì)算情況來看，四個(gè)一級(jí)指標(biāo)拓展資源和使用平臺(tái)得分較低，開發(fā)團(tuán)隊(duì)和教學(xué)內(nèi)容一般，說明MOOC建設(shè)實(shí)施過程中團(tuán)隊(duì)在技術(shù)支持和服務(wù)意識(shí)方面還好，組織基本到位，教學(xué)內(nèi)容基本滿足高職生夠用的原則，拓展資源是薄弱環(huán)節(jié)，缺少這一方面的資源組織與運(yùn)用，最后是使用平臺(tái)，因?yàn)槭亲庥盟似脚_(tái)，缺少個(gè)性化和針對(duì)性設(shè)計(jì)導(dǎo)致用戶體驗(yàn)較差。

5 結(jié) 語

針對(duì)高職建立MOOC建設(shè)評(píng)價(jià)指標(biāo)體系，運(yùn)用模糊綜合評(píng)價(jià)法進(jìn)行量化評(píng)價(jià)，便于專家和被調(diào)查者對(duì)指標(biāo)性能、權(quán)重和問卷答案進(jìn)行判斷，評(píng)價(jià)過程可操作性強(qiáng)，評(píng)價(jià)結(jié)果相對(duì)客觀、準(zhǔn)確?？勺鳛楦呗氃盒Ｔ谶M(jìn)行MOOC課程建設(shè)、驗(yàn)收等方面的參考依據(jù)，也是提高M(jìn)OOC建設(shè)以及后續(xù)教學(xué)質(zhì)量的重要手段之一。但由于MOOC的學(xué)習(xí)平臺(tái)、學(xué)習(xí)資源存在差異，因此本文構(gòu)建的指標(biāo)體系是否具有普遍性有待進(jìn)一步探究，同時(shí)模糊評(píng)價(jià)便于判斷，但也造成一定的信息損失，指標(biāo)體系需要結(jié)合實(shí)際應(yīng)用繼續(xù)進(jìn)行完善。

主要參考文獻(xiàn)

[1]姜藺，韓錫斌，程建鋼.MOOCs學(xué)習(xí)者特征及學(xué)習(xí)效果分析研究[J].中國(guó)電化教育，2013（11）.

[2]趙英，楊閣，羅萱.大學(xué)生對(duì)MOOC接受與使用行為的調(diào)查研究[J].中國(guó)遠(yuǎn)程教育，2015（8）.

[3]李志長(zhǎng).制造企業(yè)信息系統(tǒng)評(píng)價(jià)指標(biāo)體系研究[D].長(zhǎng)沙：湖南大學(xué)，2011.

[4]李青，劉娜.MOOC質(zhì)量保證體系研究[J].開放教育研究，2015（5）.

[5]李加軍，張楚珊，陳春麗.基于模糊綜合評(píng)價(jià)法的MOOC教學(xué)質(zhì)量評(píng)價(jià)研究[J].當(dāng)代繼續(xù)教育，2016（2）.