專題教育社區(qū)評(píng)價(jià)指標(biāo)體系建構(gòu)的方法研究*

馮 銳，董利亞，李 聞

(1.揚(yáng)州大學(xué) 新聞與傳媒學(xué)院，江蘇 揚(yáng)州 225002; 2.南京金陵匯文學(xué)校，江蘇 南京 210036)

專題教育社區(qū)評(píng)價(jià)指標(biāo)體系建構(gòu)的方法研究*

馮 銳1，董利亞2，李 聞1

(1.揚(yáng)州大學(xué) 新聞與傳媒學(xué)院，江蘇 揚(yáng)州 225002; 2.南京金陵匯文學(xué)校，江蘇 南京 210036)

專題教育社區(qū)是依托國家教育資源公共服務(wù)平臺(tái)創(chuàng)建的一個(gè)在線專題學(xué)習(xí)社區(qū)，它以學(xué)習(xí)者為核心，基于社會(huì)關(guān)系網(wǎng)絡(luò)以活動(dòng)為載體促進(jìn)知識(shí)在個(gè)體與組織間生成與消費(fèi)的一種學(xué)習(xí)共同體，是“互聯(lián)網(wǎng)+”教育的一種社交型學(xué)習(xí)形態(tài)。自2014年4月建設(shè)以來，已經(jīng)創(chuàng)建了167個(gè)有特色的在線專題教育學(xué)習(xí)社區(qū)，社區(qū)注冊成員15萬余人，訪問量達(dá)到700余萬人次等。這些社區(qū)在全國各級(jí)各類學(xué)校、廣大師生中具有了廣泛的社會(huì)影響力，但各社區(qū)之間建設(shè)水平參差不齊存在差距。該文運(yùn)用文獻(xiàn)研究法、目標(biāo)分解法、德爾菲法、層次分析法構(gòu)建了專題教育社區(qū)評(píng)價(jià)指標(biāo)體系，旨在為專題教育社區(qū)建設(shè)者提升社區(qū)質(zhì)量，衡量社區(qū)水平提供指導(dǎo)依據(jù)。該評(píng)價(jià)指標(biāo)體系包括5項(xiàng)一級(jí)指標(biāo)，38項(xiàng)二級(jí)指標(biāo)，目前已經(jīng)得到了專家的論證以及實(shí)踐的驗(yàn)證。

專題教育社區(qū)；評(píng)價(jià)指標(biāo)體系；德爾菲法

專題教育社區(qū)是由國家教育資源公共服務(wù)平臺(tái)創(chuàng)建的在線專題學(xué)習(xí)社區(qū)，是推動(dòng)國家教育資源公共服務(wù)平臺(tái)建設(shè)和深度應(yīng)用的重要工作。在教育部科技司指導(dǎo)下，從2014年4月起中央電化教育館組織實(shí)施了專題教育社區(qū)建設(shè)工程，已經(jīng)在國家教育資源公共服務(wù)平臺(tái)上建設(shè)了167個(gè)專題教育社區(qū)，初步形成了一系列有特色的在線社交學(xué)習(xí)社區(qū)。這些專題教育社區(qū)在全國各級(jí)各類學(xué)校、廣大師生中具有了廣泛的社會(huì)影響力。為了確保社區(qū)的建設(shè)質(zhì)量，衡量社區(qū)的建設(shè)水平，推進(jìn)和強(qiáng)化社區(qū)的可持續(xù)發(fā)展，需要盡快構(gòu)建出一套可行的、可實(shí)用的專題教育社區(qū)的評(píng)價(jià)指標(biāo)體系。評(píng)價(jià)指標(biāo)體系的建立是一個(gè)系統(tǒng)規(guī)范的研究過程，它需要全面、系統(tǒng)地分析研究對(duì)象，綜合分析結(jié)果，并對(duì)系統(tǒng)進(jìn)行反復(fù)評(píng)價(jià)，直到實(shí)現(xiàn)預(yù)定的目標(biāo)[1]。所以，專題教育社區(qū)評(píng)價(jià)指標(biāo)體系的構(gòu)建首先要解決的是方法問題，因?yàn)橹笜?biāo)體系構(gòu)建的方法是確保評(píng)價(jià)指標(biāo)體系構(gòu)建過程科學(xué)性、規(guī)范性的基礎(chǔ)。

一、評(píng)價(jià)指標(biāo)體系構(gòu)建路徑和方法

專題教育社區(qū)的評(píng)價(jià)指標(biāo)就是根據(jù)專題教育社區(qū)的評(píng)價(jià)目標(biāo)，圍繞專題教育社區(qū)的本質(zhì)特征確定能反映其建設(shè)水平和質(zhì)量的具體評(píng)價(jià)條目。評(píng)價(jià)指標(biāo)體系則是根據(jù)評(píng)價(jià)對(duì)象本身的邏輯結(jié)構(gòu)，由不同層級(jí)的評(píng)價(jià)指標(biāo)構(gòu)成的一個(gè)有機(jī)整體。建立一套評(píng)價(jià)指標(biāo)體系，必須理清研究的總體思路和脈絡(luò)，這樣研究過程才能明晰、有章可循，具有實(shí)際操作性，如圖1所示。

圖1 評(píng)價(jià)指標(biāo)體系構(gòu)建的總體思路

(一)確定評(píng)價(jià)對(duì)象，明確評(píng)價(jià)目標(biāo)

評(píng)估對(duì)象是評(píng)價(jià)的客體，評(píng)價(jià)目標(biāo)是對(duì)客體進(jìn)行評(píng)價(jià)所要達(dá)到規(guī)定的標(biāo)準(zhǔn)。明確評(píng)價(jià)對(duì)象和評(píng)價(jià)目標(biāo)是構(gòu)建評(píng)價(jià)指標(biāo)體系的首要任務(wù)，對(duì)指標(biāo)體系和評(píng)價(jià)方法起決定作用，從而確定評(píng)價(jià)項(xiàng)目[2]。我們此次的評(píng)價(jià)對(duì)象是167個(gè)在線專題教育社區(qū)，這些社區(qū)是從2014年4月開始在國家教育資源公共服務(wù)平臺(tái)上建設(shè)，現(xiàn)在已經(jīng)注冊社區(qū)成員達(dá)15萬余人，根據(jù)社區(qū)目標(biāo)要求開展活動(dòng)2900多個(gè)，依據(jù)社區(qū)活動(dòng)任務(wù)創(chuàng)建了3450個(gè)社區(qū)小組，創(chuàng)造出資源10萬余條和生成文章15萬余篇，社區(qū)訪問量達(dá)到700余萬人次等。隨著這些專題教育社區(qū)在全國各級(jí)各類學(xué)校中的廣泛應(yīng)用，以及精品專題教育社區(qū)建設(shè)項(xiàng)目的推進(jìn)，這些專題教育社區(qū)將成為獲取優(yōu)質(zhì)資源，實(shí)現(xiàn)優(yōu)質(zhì)資源共享，促進(jìn)師生學(xué)習(xí)和交流的重要在線支持環(huán)境。所以，這些專題教育社區(qū)的建設(shè)就是為各類學(xué)習(xí)者構(gòu)建的一個(gè)知識(shí)擴(kuò)散與共享的在線學(xué)習(xí)環(huán)境，并且它能夠?yàn)閷W(xué)生開展深度學(xué)習(xí)、適應(yīng)性學(xué)習(xí)以及各類實(shí)踐與研究活動(dòng)提供各種支持和服務(wù)[3]。找準(zhǔn)評(píng)價(jià)對(duì)象，明確評(píng)價(jià)目標(biāo)是指引評(píng)價(jià)指標(biāo)體系構(gòu)建過程中的重要航標(biāo)，也是確保整個(gè)評(píng)估過程不偏離專題教育社區(qū)建設(shè)內(nèi)涵的關(guān)鍵環(huán)節(jié)。因此，對(duì)評(píng)價(jià)目標(biāo)及評(píng)價(jià)對(duì)象認(rèn)知越充分，剖析越透徹，初擬的評(píng)價(jià)指標(biāo)就會(huì)越符合預(yù)期，越接近實(shí)際。

(二)初建專題教育社區(qū)的評(píng)價(jià)指標(biāo)體系

評(píng)價(jià)指標(biāo)是對(duì)評(píng)價(jià)對(duì)象某一方面特性的客觀準(zhǔn)確反映。初建指標(biāo)體系既要選擇能反映評(píng)價(jià)對(duì)象特性的可測指標(biāo)，又要初步確立各項(xiàng)可測指標(biāo)間的相互關(guān)系，這是評(píng)價(jià)指標(biāo)體系建立過程中一個(gè)非常重要的環(huán)節(jié)。初建評(píng)價(jià)指標(biāo)體系時(shí)應(yīng)盡量全面、準(zhǔn)確地反映到評(píng)估目標(biāo)的各個(gè)方面，并要確保初建的指標(biāo)之間盡量不重復(fù)且指標(biāo)指向性清晰。我們考慮到專題教育社區(qū)特有的屬性，以及專題教育社區(qū)的實(shí)際建設(shè)情況，權(quán)衡評(píng)價(jià)指標(biāo)體系初建的各個(gè)方法有優(yōu)劣，確定采用多種方法相結(jié)合來初建專題教育社區(qū)評(píng)價(jià)指標(biāo)體系。

第一，利用文獻(xiàn)研究法梳理和明確了國內(nèi)外有關(guān)虛擬社區(qū)評(píng)價(jià)、虛擬學(xué)習(xí)社區(qū)評(píng)價(jià)、虛擬學(xué)習(xí)環(huán)境評(píng)價(jià)、教師在線實(shí)踐社區(qū)COP評(píng)價(jià)的維度選擇主要關(guān)注于社區(qū)基本情況、社區(qū)主題、社區(qū)目標(biāo)和定位、社區(qū)活動(dòng)組織、社區(qū)支持服務(wù)、社區(qū)規(guī)范、技術(shù)環(huán)境、社區(qū)資源等方面。我們對(duì)這些方面進(jìn)行分析和綜合，抽象出在線學(xué)習(xí)社區(qū)(或虛擬學(xué)習(xí)共同體)的評(píng)價(jià)維度選擇主要涉及社區(qū)基礎(chǔ)性評(píng)價(jià)、社區(qū)核心性評(píng)價(jià)、社區(qū)組織性評(píng)價(jià)、社區(qū)管理性評(píng)價(jià)。

第二，利用文獻(xiàn)研究法梳理清楚專題教育社區(qū)的建設(shè)目標(biāo)、特點(diǎn)、功能和內(nèi)容等，并利用目標(biāo)分解法從專題教育社區(qū)的建設(shè)總目標(biāo)出發(fā)，按照專題教育社區(qū)建設(shè)任務(wù)的構(gòu)成進(jìn)行逐層分解，即將總體目標(biāo)解讀為一系列一級(jí)指標(biāo)，再將一級(jí)指標(biāo)解析為二級(jí)指標(biāo)，從上至下直到分解成可操作的末級(jí)指標(biāo)為止。

第三，利用調(diào)查研究法對(duì)全國專題教育社區(qū)建設(shè)與發(fā)展進(jìn)行總體分析與個(gè)案分析，總結(jié)和歸納專題教育社區(qū)建設(shè)內(nèi)涵和經(jīng)驗(yàn)，從中提煉出專題教育社區(qū)建設(shè)的關(guān)鍵性因素。

第四，在上述研究成果的基礎(chǔ)上，我們利用分析和綜合相結(jié)合的辯證邏輯思維方法從中抽象和初步構(gòu)建了專題教育社區(qū)評(píng)價(jià)指標(biāo)體系的六個(gè)評(píng)價(jià)維度：社區(qū)基本情況、社區(qū)資源管理、社區(qū)教學(xué)活動(dòng)、社區(qū)技術(shù)支持、社區(qū)用戶體驗(yàn)、社區(qū)培育與發(fā)展六個(gè)維度。另外，由于專題教育社區(qū)自身的特殊性——它在國家平臺(tái)上建設(shè)而成，平臺(tái)的穩(wěn)定性、安全性及響應(yīng)速度等與技術(shù)支持相關(guān)的要素都是既定的，是專題教育社區(qū)創(chuàng)建者或者說管理者無法改變的。因此，本研究在指標(biāo)體系維度中舍棄了社區(qū)技術(shù)支持這一維度。然后，根據(jù)每一個(gè)一級(jí)指標(biāo)的關(guān)鍵影響因素，確立了35個(gè)二級(jí)指標(biāo)，如可以從活動(dòng)評(píng)價(jià)與反思、角色分工、活動(dòng)效果、活動(dòng)融合性等方面去測評(píng)社區(qū)教學(xué)活動(dòng)所達(dá)到的效果。

(三)遴選專題教育社區(qū)的評(píng)價(jià)指標(biāo)

指標(biāo)體系的建立是一個(gè)逐步優(yōu)化的過程，初擬的指標(biāo)體系中可能有一些指標(biāo)反映的內(nèi)容重復(fù)，若全部使用將過于側(cè)重某一方面，另外指標(biāo)過多也不利于實(shí)際操作[4]。這就需要優(yōu)化評(píng)價(jià)指標(biāo)體系，即對(duì)初擬的評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比、甄別、篩選、歸類和合并。初建專題教育社區(qū)的評(píng)價(jià)指標(biāo)體系時(shí)，一般都盡可能要把建設(shè)任務(wù)的各個(gè)方面覆蓋到、涉及到。所以，初擬定的評(píng)價(jià)指標(biāo)盡管比較全面，但指標(biāo)之間肯定相互重疊，級(jí)別之間相互交織，重要和不重要指標(biāo)并存，指標(biāo)的獨(dú)立性和指向性比較差。因此，初擬的指標(biāo)體系必須經(jīng)過遴選。

指標(biāo)遴選是一個(gè)非常重要的工作，一般要考慮初建指標(biāo)的重要性程度、各指標(biāo)間的相關(guān)性程度、各指標(biāo)數(shù)據(jù)的區(qū)分度[5]。綜合考慮，我們選用了德爾菲法對(duì)指標(biāo)體系進(jìn)行修正和遴選。

(四)設(shè)定專題教育社區(qū)評(píng)價(jià)指標(biāo)的權(quán)重

指標(biāo)的權(quán)重是被評(píng)估對(duì)象指標(biāo)在整體中的相對(duì)重要程度以及所占比例大小的量化值。權(quán)重賦值對(duì)評(píng)價(jià)結(jié)果至關(guān)重要。若其中一個(gè)因素的權(quán)重改變了，會(huì)影響最終的評(píng)判結(jié)果。因此，權(quán)重賦值的方法至關(guān)重要。

層次分析法是確定權(quán)重賦值應(yīng)用最為廣泛且操作性強(qiáng)，比較系統(tǒng)、層次化的分析方法。我們運(yùn)用層次分析法收集了專家依據(jù)經(jīng)驗(yàn)同級(jí)比較兩兩指標(biāo)重要性的數(shù)據(jù)，利用這些數(shù)據(jù)進(jìn)行層級(jí)分析，最終計(jì)算出指標(biāo)的權(quán)重。

(五)確定專題教育社區(qū)評(píng)價(jià)體系的評(píng)價(jià)標(biāo)準(zhǔn)

評(píng)價(jià)標(biāo)準(zhǔn)是評(píng)價(jià)指標(biāo)體系的重要組成部分，它為評(píng)價(jià)者判斷評(píng)價(jià)對(duì)象是否達(dá)到末級(jí)指標(biāo)的程度提供衡量的尺度和準(zhǔn)則。評(píng)價(jià)標(biāo)準(zhǔn)一般由評(píng)價(jià)內(nèi)容、標(biāo)度和標(biāo)號(hào)三個(gè)方面構(gòu)成。評(píng)價(jià)內(nèi)容是評(píng)價(jià)指標(biāo)達(dá)到專題教育社區(qū)建設(shè)水平和質(zhì)量要求的各種程度或各種規(guī)范化行為的優(yōu)劣程度。該評(píng)價(jià)標(biāo)準(zhǔn)對(duì)于評(píng)價(jià)內(nèi)容采用了定性規(guī)定方式，主要通過對(duì)評(píng)價(jià)內(nèi)容的達(dá)成程度或規(guī)范化行為的優(yōu)劣程度進(jìn)行質(zhì)的規(guī)定性描述。標(biāo)度是區(qū)分評(píng)價(jià)對(duì)象達(dá)到評(píng)價(jià)標(biāo)準(zhǔn)的程度。考慮到該評(píng)價(jià)指標(biāo)體系主要是用于專家根據(jù)評(píng)價(jià)標(biāo)準(zhǔn)對(duì)社區(qū)建設(shè)水平和質(zhì)量的判斷。為此我們按照評(píng)價(jià)內(nèi)容的優(yōu)劣程度來確立標(biāo)度，標(biāo)度采用了數(shù)字表示各個(gè)等級(jí)，一共劃分了6個(gè)等級(jí)(100、80、60、40、20、0)，等級(jí)的級(jí)差是20，與此相對(duì)應(yīng)的序號(hào)是A、B、C、D、E、F。標(biāo)號(hào)是區(qū)分程度的符號(hào)，它本身無獨(dú)立意義，只是評(píng)定標(biāo)準(zhǔn)的輔助部分。

二、基于德爾菲法的評(píng)價(jià)指標(biāo)遴選

德爾菲法又稱專家意見法，本研究通過德爾菲法咨詢了多個(gè)專家的意見，第一輪調(diào)查專家對(duì)初步草擬指標(biāo)體系的意見，對(duì)初選的評(píng)價(jià)指標(biāo)進(jìn)行進(jìn)一步篩選或補(bǔ)充，主要目的是確定指標(biāo)體系的框架和評(píng)價(jià)指標(biāo)；第二輪咨詢的主要目的是進(jìn)一步修正完善評(píng)價(jià)指標(biāo)，收集專家對(duì)于各項(xiàng)指標(biāo)重要性及權(quán)重設(shè)定的建議。經(jīng)過多次反復(fù)操作，逐步使大部分的專家意見趨于一致，以此作為評(píng)價(jià)指標(biāo)重要性評(píng)判的依據(jù)。

(一)第一輪專家咨詢問卷

我們選取了27名研究和實(shí)踐專題教育社區(qū)的專家進(jìn)行咨詢問卷調(diào)查，這些專家包括創(chuàng)建者、助學(xué)者、技術(shù)支持者、研究者等。首先進(jìn)行第一輪專家咨詢問卷調(diào)查，主要調(diào)查專家對(duì)初擬的5個(gè)維度35個(gè)二級(jí)指標(biāo)的個(gè)人評(píng)判依據(jù)、重要性判斷、熟悉程度判斷等內(nèi)容。我們利用這些方面的調(diào)查數(shù)據(jù)就可以計(jì)算專家意見權(quán)威程度和專家協(xié)調(diào)程度，這是評(píng)判指標(biāo)的科學(xué)性、重要性的前提。

1.專家意見權(quán)威程度

專家意見權(quán)威程度通常是由專家對(duì)評(píng)價(jià)指標(biāo)的熟悉程度(Cs)和判斷依據(jù)(Ca)決定的。通常用專家的權(quán)威系數(shù)Cr表示，計(jì)算公式為：

Cr等于二者的算術(shù)平均值。一般情況下，權(quán)威系數(shù)Cr值越大，專家意見越有權(quán)威性，價(jià)值越高；反之亦然。一般認(rèn)為，權(quán)威系數(shù)Cr值大于或等于0.70是可接受的[6]。

判斷依據(jù)由“理論分析”“實(shí)踐經(jīng)驗(yàn)”“同行了解”和“專家直覺”四個(gè)維度組成，需要專家選擇對(duì)這四個(gè)維度進(jìn)行判斷的影響程度(大、中、小)，并對(duì)影響程度進(jìn)行賦值后計(jì)算出Ca。熟悉程度主要調(diào)查專家對(duì)5個(gè)維度(一級(jí)指標(biāo))的熟悉程度，調(diào)查分為“熟悉”“較熟悉”“一般”“不太熟悉”“不熟悉”這5個(gè)級(jí)別，這5個(gè)級(jí)別分別按照0.9，0.7，0.5，0.3，0.1 賦值，即Cs= ( 0.9，0.7，0.5，0.3，0.1 )。

根據(jù)第一輪專家咨詢表中“專家權(quán)威程度自評(píng)表”計(jì)算出專家意見權(quán)威程度系數(shù)，結(jié)果如表1所示。從統(tǒng)計(jì)結(jié)果看，Cr值均大于0.7。一般認(rèn)為Cr≥0.8為專家對(duì)內(nèi)容選擇有較大的把握度[7]。這表明參與本次咨詢的專家對(duì)咨詢內(nèi)容熟悉，權(quán)威程度高，統(tǒng)計(jì)具有權(quán)威性。

表1 專家權(quán)威程度

2.專家意見協(xié)調(diào)程度

專家意見協(xié)調(diào)程度主要由兩個(gè)方面表示：專家意見協(xié)調(diào)系數(shù)和各指標(biāo)評(píng)價(jià)結(jié)果的變異系數(shù)。

(1)專家意見協(xié)調(diào)系數(shù)

專家意見協(xié)調(diào)系數(shù)反映全部專家對(duì)所有指標(biāo)的協(xié)調(diào)程度，通常是進(jìn)行Kendall協(xié)調(diào)系數(shù)檢驗(yàn)，W表示協(xié)調(diào)系數(shù)，用于多列等級(jí)變量相關(guān)程度的表示。協(xié)調(diào)系數(shù)W一般在0-1之間，越接近1表示專家的協(xié)調(diào)程度越好，反之越差[8]。第一輪咨詢中全部一級(jí)指標(biāo)協(xié)調(diào)系數(shù)W為0.181，協(xié)調(diào)系數(shù)的顯著性檢驗(yàn)——卡方檢驗(yàn)的顯著水平Sig值0.002小于0.05；全部二級(jí)指標(biāo)專家協(xié)調(diào)系數(shù)W為0.191，協(xié)調(diào)系數(shù)的卡方檢驗(yàn)的顯著水平Sig值0.000小于0.05，如下頁表2所示。這表明在 95% 的置信度下，專家評(píng)估一級(jí)指標(biāo)和二級(jí)指標(biāo)意見協(xié)調(diào)性好，結(jié)果可取。對(duì)于初擬定的一級(jí)指標(biāo)和二級(jí)指標(biāo)，專家意見在第一輪咨詢中基本趨于一致。

表2 專家意見協(xié)調(diào)程度

(2)變異系數(shù)

變異系數(shù)說明專家對(duì)某一指標(biāo)相對(duì)重要性的波動(dòng)程度或協(xié)調(diào)程度，變異系數(shù)越小表示專家建議的協(xié)調(diào)程度就越高[9]。變異系數(shù)用Vi表示，其計(jì)算公式為：

其中，Si表示第i個(gè)指標(biāo)的標(biāo)準(zhǔn)差，Xi表示第i個(gè)指標(biāo)的平均值[10]。

變異系數(shù)Vi數(shù)值由小到大遞增，表示專家對(duì)指標(biāo)重要性的意見分歧遞增。變異系數(shù)大于0.5時(shí)，該指標(biāo)將被舍去。經(jīng)過統(tǒng)計(jì)分析，第一輪專家咨詢問卷中專家對(duì)一級(jí)指標(biāo)和二級(jí)指標(biāo)意見的變異系數(shù)均在0.5范圍之內(nèi)，所以保留全部指標(biāo)(各指標(biāo)變異系數(shù)計(jì)算結(jié)果略)。

另外，在第一輪專家的咨詢問卷中，專家們提出了諸多補(bǔ)充意見：建議將一級(jí)指標(biāo)“社區(qū)教學(xué)活動(dòng)”修改為“社區(qū)教與學(xué)活動(dòng)”，并添加相應(yīng)二級(jí)指標(biāo)，將原有二級(jí)指標(biāo)“社區(qū)主題”改為“社區(qū)名稱”；“交互方式多樣性”改為“成員交互”，“用戶操作便捷程度”改為“用戶使用便捷性”；增加3項(xiàng)二級(jí)指標(biāo)：資源的便捷性、社區(qū)粘度、移動(dòng)社區(qū)服務(wù)。

(二)第二輪專家咨詢問卷

我們結(jié)合專家的補(bǔ)充意見和統(tǒng)計(jì)結(jié)果，在初擬指標(biāo)的基礎(chǔ)上進(jìn)行了科學(xué)的論證，補(bǔ)充、篩選和修改相應(yīng)的一級(jí)指標(biāo)、二級(jí)指標(biāo)，再次形成重要性和可行性的第二輪專家咨詢問卷，并進(jìn)行第二輪專家咨詢問卷調(diào)查。第二輪問卷主要調(diào)查補(bǔ)充和修改后一級(jí)指標(biāo)、二級(jí)指標(biāo)的專家協(xié)調(diào)程度。為保持專家咨詢的權(quán)威連貫性，我們選取了第一輪中回復(fù)有效咨詢表的24位專家發(fā)放問卷，回收了21份有效問卷，有效回收率為87.5%。第二輪統(tǒng)計(jì)的專家意見協(xié)調(diào)系數(shù)如表3所示。統(tǒng)計(jì)數(shù)據(jù)表明：專家評(píng)估一級(jí)指標(biāo)和二級(jí)指標(biāo)的意見協(xié)調(diào)性已經(jīng)高度趨于一致。

表3 第二輪專家意見協(xié)調(diào)程度

續(xù)表3

第二輪問卷統(tǒng)計(jì)的變異系數(shù)如表4所示，從各指標(biāo)變異系數(shù)結(jié)果分析可得出：5個(gè)一級(jí)指標(biāo)的專家的變異系數(shù)已經(jīng)小于0.15，這說明專家意見的分歧非常小，意見的協(xié)調(diào)程度很高。38個(gè)二級(jí)指標(biāo)中，只有個(gè)人空間(0.28)、成員平等性(0.25)和成員信任度(0.26)的變異系數(shù)均大于0.25，說明專家對(duì)這三項(xiàng)指標(biāo)還存在一定偏歧，其他指標(biāo)的變異系數(shù)均低于0.25。但考慮到所有二級(jí)指標(biāo)的變異系數(shù)都低于0.5，綜合考慮我們?nèi)詫⒈Ａ暨@三項(xiàng)指標(biāo)。

表4 第二輪各指標(biāo)變異系數(shù)

續(xù)表4

(三)第三輪專家咨詢問卷

第三輪專家咨詢問卷選取了同樣的21位專家發(fā)放問卷，同第二輪一樣再次調(diào)查了專家意見的集中程度、協(xié)調(diào)程度。第三輪回收有效專家咨詢問卷20份，統(tǒng)計(jì)結(jié)果表明，一級(jí)指標(biāo)和二級(jí)指標(biāo)的專家意見協(xié)調(diào)性高度一致，各指標(biāo)變異系數(shù)均低于0.2，表明專家對(duì)這些幾乎不再有分歧。最終我們確立了專題教育社區(qū)評(píng)價(jià)體系的5個(gè)一級(jí)指標(biāo)，38個(gè)二級(jí)指標(biāo)(具體指標(biāo)體系略)。第三輪專家咨詢問卷運(yùn)用層次分析法重點(diǎn)調(diào)查了專家對(duì)5個(gè)一級(jí)指標(biāo)、38個(gè)二級(jí)指標(biāo)同級(jí)重要性的兩兩判斷，專家的同級(jí)指標(biāo)的兩兩判斷數(shù)據(jù)是確立專題教育社區(qū)指標(biāo)體系權(quán)重的科學(xué)依據(jù)。

三、基于層次分析法設(shè)定評(píng)價(jià)指標(biāo)的權(quán)重

20世紀(jì)70年代，薩蒂(T.L.Saaty) 教授首次提出了層次分析法(Analytic Hierarchy Process，簡稱AHP)[11]。它是將評(píng)價(jià)對(duì)象視為一個(gè)系統(tǒng)，從系統(tǒng)視角對(duì)指標(biāo)之間的相互關(guān)聯(lián)度及隸屬關(guān)系按不同層次結(jié)構(gòu)進(jìn)行矩陣分析，這種方法既有專家依據(jù)經(jīng)驗(yàn)對(duì)指標(biāo)重要性的定性分析，也有數(shù)據(jù)邏輯運(yùn)算和統(tǒng)計(jì)的定量分析。

層次分析法的基本步驟為：(1)構(gòu)造遞階層次結(jié)構(gòu)；(2)建立判斷矩陣；(3)計(jì)算被比較元素的相對(duì)權(quán)重；(4)單層次一致性檢驗(yàn)；(5)計(jì)算二級(jí)指標(biāo)相對(duì)于總目標(biāo)的組合權(quán)重[12]。如圖2所示。

圖2 層次分析法的流程圖[13]

(一)構(gòu)造遞階層次結(jié)構(gòu)

我們利用德爾菲法進(jìn)行了三輪專家咨詢問卷，確立了專題教育社區(qū)的評(píng)價(jià)指標(biāo)：一級(jí)指標(biāo)5個(gè)，二級(jí)指標(biāo)38個(gè)。這些指標(biāo)的相互關(guān)聯(lián)及隸屬關(guān)系如圖3所示。

圖3 專題教育社區(qū)評(píng)價(jià)體系結(jié)構(gòu)模型

(二)建立判斷矩陣

專家將對(duì)同屬一個(gè)層次的指標(biāo)進(jìn)行兩兩比較，比較時(shí)要求按照如表5所示的評(píng)分標(biāo)度給出它們相對(duì)重要性的判斷值。當(dāng)同一層級(jí)中的指標(biāo)經(jīng)過兩兩比較后，會(huì)生成一個(gè)判斷矩陣A=(aij)n×n。

表5 層次分析法評(píng)分標(biāo)度[14]

續(xù)表5

經(jīng)過兩兩判定后，專家就依據(jù)評(píng)分標(biāo)度選擇出重要性判斷值，這樣每一位專家根據(jù)一級(jí)指標(biāo)和二級(jí)指標(biāo)就會(huì)生成六個(gè)判斷矩陣。某位專家對(duì)一級(jí)指標(biāo)評(píng)判后形成的判斷矩陣如表6所示。

表6 某專家對(duì)一級(jí)指標(biāo)的判斷矩陣評(píng)分

本輪層次分析法邀請了有效參與第二輪德爾菲法問卷的21位專家進(jìn)行矩陣賦值，回收有效問卷20份。對(duì)這20份有效問卷的一級(jí)指標(biāo)、二級(jí)指標(biāo)根據(jù)專家的賦值經(jīng)過兩兩判定后，總共得到120個(gè)判斷矩陣。

(三)計(jì)算單層次被比較元素的相對(duì)權(quán)重

首先將上述表6這位專家評(píng)分的正互反矩陣進(jìn)行化簡，計(jì)算判斷矩陣每一行元素的積，進(jìn)行歸一化處理，計(jì)算指標(biāo)權(quán)重。我們按照上述方法，對(duì)上述這位專家二級(jí)指標(biāo)的5個(gè)判斷矩陣進(jìn)行計(jì)算，就會(huì)得到這位專家二級(jí)指標(biāo)判斷矩陣的權(quán)重系數(shù)值，如表7所示。

表7 上述同一專家對(duì)二級(jí)指標(biāo)的矩陣計(jì)算

我們按照上述計(jì)算步驟分別對(duì)其他19位專家的判斷矩陣的一級(jí)指標(biāo)、二級(jí)指標(biāo)的權(quán)重系數(shù)值進(jìn)行計(jì)算(計(jì)算數(shù)值略)。

(四)單層次一致性檢驗(yàn)

單層次一致性檢驗(yàn)也稱層次單排序(權(quán)重計(jì)算)及判斷矩陣的一致性檢驗(yàn)。因?yàn)椋瑢?duì)于n×n正互反矩陣A=(aij)n×n，可以證明當(dāng)且僅當(dāng)A的主特征值λMax=n時(shí)，A是一致矩陣。但在實(shí)際中做到構(gòu)建的矩陣完全一致是無法做到。因此，在計(jì)算出λMax時(shí)，對(duì)于各專家的評(píng)價(jià)在邏輯上是否一致，需對(duì)判斷矩陣進(jìn)行一致性檢驗(yàn)。為此我們建立了一致性檢驗(yàn)指標(biāo)C.I.和R.I.，用以判斷矩陣偏離程度。將判斷矩陣的一致性指標(biāo)C.I.與平均隨機(jī)一致性標(biāo)準(zhǔn)值 R.I.[15]進(jìn)行比值，求得隨機(jī)一致性比率C.R.。當(dāng)n=5時(shí)，R.I.的值為1.12，即

當(dāng)C.R.＜0.1時(shí)，一般認(rèn)為該判斷矩陣具有合格的一致性；當(dāng) C.R.＞0.1時(shí)，則認(rèn)為該判斷矩陣一致程度無法接受，則應(yīng)該修正判斷矩陣判斷值，直到滿足一致性檢驗(yàn)條件。根據(jù)上述計(jì)算可得，C.R.＜0.1，則單層次一致性檢驗(yàn)合格。

運(yùn)用上述方法步驟，我們對(duì)20位專家打分的120個(gè)判斷矩陣，用層次分析法進(jìn)行單層次權(quán)重和單層次一致性檢驗(yàn)時(shí)，發(fā)現(xiàn)在20位專家標(biāo)度的120個(gè)判斷矩陣中，有8個(gè)矩陣未通過單層次一致性檢驗(yàn)。當(dāng)判斷矩陣不符合一致性要求時(shí)，需要對(duì)不合格要求的判斷矩陣進(jìn)行修正，調(diào)整判斷矩陣的元素取值。為了確保一致性要求，我們又請對(duì)應(yīng)專家對(duì)這8個(gè)矩陣再做一次判斷，重新統(tǒng)計(jì)比較的矩陣結(jié)果，并再次對(duì)這8個(gè)矩陣的一致性進(jìn)行檢驗(yàn)。最終依據(jù)20位專家對(duì)5個(gè)一級(jí)指標(biāo)和38個(gè)二級(jí)指標(biāo)重要性賦值情況，經(jīng)過構(gòu)造矩陣計(jì)算出一級(jí)指標(biāo)權(quán)重和二級(jí)指標(biāo)相對(duì)于一級(jí)指標(biāo)的單層次權(quán)重系數(shù)，并進(jìn)行單層次一致性檢驗(yàn)，結(jié)果顯示單層次一致性C.R.＜0.1全部合格。

20位專家參與決策，從而同一項(xiàng)指標(biāo)會(huì)獲得多個(gè)判斷矩陣。對(duì)于這些判斷矩陣的處理一般有兩種方案：一是將n個(gè)判斷矩陣進(jìn)行集結(jié)，然后再計(jì)算權(quán)重；二是將n個(gè)判斷矩陣的求權(quán)結(jié)果進(jìn)行加權(quán)平均。對(duì)于方案一，集結(jié)可能會(huì)嚴(yán)重影響合成后的判斷矩陣的一致性，操作較為復(fù)雜；而方案二則不存在這一問題，同時(shí)也能極大保留各專家的原始意見[16-18]。因此，本研究中我們采取方案二進(jìn)行群組決策，并得出最終的各因素權(quán)重(權(quán)重?cái)?shù)值略)。

(五)計(jì)算二級(jí)指標(biāo)相對(duì)于總目標(biāo)的組合權(quán)重

為了得到二級(jí)指標(biāo)相對(duì)于總目標(biāo)的權(quán)重，需要把上述步驟中的權(quán)重進(jìn)行適當(dāng)?shù)挠?jì)算組合，其值等于各項(xiàng)二級(jí)指標(biāo)的權(quán)重與它所屬的一級(jí)指標(biāo)的權(quán)重的乘積[19]，即

按照此方法，我們計(jì)算出專題教育社區(qū)評(píng)價(jià)二級(jí)指標(biāo)相對(duì)于總目標(biāo)的權(quán)重，如表8所示。

表8 專題教育社區(qū)評(píng)價(jià)指標(biāo)的權(quán)重系數(shù)

隨后一個(gè)環(huán)節(jié)是確定每一個(gè)二級(jí)指標(biāo)的評(píng)價(jià)標(biāo)準(zhǔn)，我們從評(píng)價(jià)內(nèi)容、標(biāo)度和標(biāo)號(hào)三個(gè)方面完成了每個(gè)二級(jí)指標(biāo)的評(píng)價(jià)標(biāo)準(zhǔn)，前面專題教育社區(qū)評(píng)價(jià)指標(biāo)體系構(gòu)建路徑部分已經(jīng)對(duì)此做過詳細(xì)詮釋，這里不再贅述。

四、結(jié)語

專題教育社區(qū)評(píng)價(jià)指標(biāo)體系制定出來以后，我們分別選取了《平安校園文化》《炎陵中小學(xué)科教研基地》和《預(yù)言家創(chuàng)新能力訓(xùn)練》三個(gè)社區(qū)進(jìn)行試測，這三個(gè)社區(qū)分別代表著社區(qū)建設(shè)水平。邀請專家分別進(jìn)入所選的專題教育社區(qū)進(jìn)行體驗(yàn)與調(diào)查，然后根據(jù)評(píng)價(jià)指標(biāo)體系的評(píng)分標(biāo)準(zhǔn)進(jìn)行評(píng)價(jià)與評(píng)分，最后的專家評(píng)價(jià)結(jié)果是：《平安校園文化》社區(qū)是90.74；《炎陵中小學(xué)科教研基地》社區(qū)是83.56；《預(yù)言家創(chuàng)新能力訓(xùn)練》社區(qū)是64.96。這個(gè)試測結(jié)果客觀真實(shí)地反映了這三個(gè)社區(qū)的建設(shè)質(zhì)量。

本研究評(píng)價(jià)指標(biāo)的篩選和指標(biāo)權(quán)重的確定雖然嚴(yán)格遵循德爾菲法和層次分析法的原則和步驟實(shí)施，且結(jié)果符合統(tǒng)計(jì)學(xué)的要求，但也不能完全排除主、客觀及其他因素的影響。為了減小專家在評(píng)價(jià)中的主觀性，確保評(píng)價(jià)行為更為客觀、科學(xué)，我們建議使用評(píng)價(jià)指標(biāo)對(duì)專題教育社區(qū)進(jìn)行評(píng)價(jià)時(shí)，參評(píng)同一社區(qū)的專家至少三人或三人以上，結(jié)果取其平均值，這樣可以降低一個(gè)專家對(duì)社區(qū)評(píng)價(jià)結(jié)果的主觀差異性，使評(píng)價(jià)結(jié)果更加客觀、科學(xué)、合理，符合實(shí)際情況。當(dāng)然，專題教育社區(qū)評(píng)價(jià)指標(biāo)體系是一個(gè)不斷調(diào)整和完善的過程，隨著理論研究與實(shí)踐探索的逐步發(fā)展，評(píng)價(jià)指標(biāo)體系將會(huì)更加優(yōu)化。

[1] 張于心,智明光.綜合評(píng)價(jià)指標(biāo)體系和評(píng)價(jià)方法[J].北方交通大學(xué)學(xué)報(bào),1995,(3):393-400.

[2] 李遠(yuǎn)遠(yuǎn),云俊.多屬性綜合評(píng)價(jià)指標(biāo)體系理論綜述[J].武漢理工大學(xué)學(xué)報(bào)?信息與管理工程版,2009,(2):305-309.

[3] 曾祥翊.專題教育社區(qū)的概念與特征[J].中國電化教育,2013,(10):102-106.

[4] 張彩慶,解永樂.指標(biāo)體系的優(yōu)化與權(quán)重的確定[A].2005中國控制與決策學(xué)術(shù)年會(huì)論文集(下)[C].沈陽:東北大學(xué)出版社,2005.1915-1918.

[5] 劉仁,卞樹檀,于強(qiáng).評(píng)估指標(biāo)體系構(gòu)建的方法研究[J].電子設(shè)計(jì)工程,2013,(1):34-36.

[6] 王高玲,別如娥.基于Delphi法在篩選中國公眾健康素養(yǎng)評(píng)價(jià)指標(biāo)中的應(yīng)用研究[J].中國健康教育,2008,24(2):81-84.

[7] 關(guān)勛強(qiáng),李瑞興,劉運(yùn)成.醫(yī)學(xué)研究生教育評(píng)價(jià)研究與實(shí)踐[M].北京:軍事醫(yī)學(xué)科學(xué)出版社,2001.80-84.

[8] 王春枝,斯琴.德爾菲法中的數(shù)據(jù)統(tǒng)計(jì)處理方法及其應(yīng)用研究[J].內(nèi)蒙古財(cái)經(jīng)學(xué)院學(xué)報(bào)(綜合辦版),2011,9(4):92-96.

[9] 韓鵬,陳校云,張鐵山,余中光,許樹強(qiáng).基于德爾菲法的醫(yī)院門診及住院醫(yī)學(xué)人文關(guān)懷指標(biāo)體系研究[J].中國現(xiàn)代醫(yī)學(xué)雜志,2015,25(17):70-77.

[10] 樊長軍,張馨,連宇江等.基于德爾菲法的高校圖書館公共服務(wù)能力指標(biāo)體系建設(shè)[J].情報(bào)雜志,2011,30(3):97-100.

[11] Saaty T.L.A scaling method for priorities in hierarchical structures[J].Journal of mathematical psychology,1977,15(3):46-51.

[12] 王連芬,許樹柏.層次分析法引論[M].北京:中國人民大學(xué)出版社,1990.1-25.

[13] 張小琳.基于修正層次分析法的我國石油貿(mào)易風(fēng)險(xiǎn)問題研究[D].北京:對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué),2014.

[14] Thomas L S.Decision Making-The Analytic Hierarchy and Network Processes (AHP/ANP)[J].Journal of Systems Science and Systems Engineering,2004,(1):1-35.

[15] 許樹柏.實(shí)用決策方法——層次分析法原理[M].天津:天津大學(xué)出版社,1988.2-11.

[16] 郝海,蹤家峰.系統(tǒng)分析與評(píng)價(jià)方法[M].北京:經(jīng)濟(jì)科學(xué)出版社,2007.117-150.

[17] AHP中的群組決策方法[DB/OL].http://wenku.baidu.com/view/9532bb07cc175527072208ca.html,2016-04-10.

[18] 王佳利.基于AHP的網(wǎng)絡(luò)輔助教學(xué)質(zhì)量評(píng)價(jià)研究[J].現(xiàn)代教育技術(shù),2013,(6):102-106.

[19] 暴奉賢,陳宏立.經(jīng)濟(jì)預(yù)測與決策方法[M].廣州:暨南大學(xué)出版社,2001.189.

Research on the Method of the Construction of the Evaluation Indicator System for Special Educative Community

Feng Rui1, Dong Liya2, Li Wen1
(1.School of Journalism and Communication, Yangzhou University, Yangzhou Jiangsu 225002; 2.Jinling Huiwen School,Nanjing Jiangsu 210036)

Special educative community is an online special learning community based on the National Public Platform of Educational Resources. It is learners-centered, based on social relationships network with activities as the carrier to promote knowledge generation and consumption between individual and organization of a learning community and has become a kind of typical social characteristics of learning form of “Internet” and education. Community builders have developed 167 online special educational learning communities, more than 150 thousands registered members and 7 millions visiors since April 2014. These communities have extensive social in fl uence to teachers and students in various schools at all levels in the country. But there is a gap among these communities. In order to provide the guidance for special educative community builders to improve the community quality and measure the community level, this study constructs an evaluation indicator system of special educative community by literature research method, target decomposition method, Delphi method and AHP method. This evaluation indicator system includes 5 fi rst-level indicators and 38 second-level indicators. At present, the evaluation indicator system has been proved by the experts and the practice.

Special Educative Community; Evaluation Indicator System; Delphi Method

G434

A

馮銳：博士，教授，碩士生導(dǎo)師，研究方向?yàn)榻虒W(xué)設(shè)計(jì)、教育信息化、學(xué)習(xí)技術(shù)(frzx0519@163.com)。

董利亞：碩士，中學(xué)二級(jí)，研究方向?yàn)榫W(wǎng)絡(luò)教育應(yīng)用、學(xué)習(xí)評(píng)價(jià)、信息化教學(xué)設(shè)計(jì)(dongliya789@126.com)。

李聞：在讀碩士，研究方向?yàn)樾畔⒒虒W(xué)設(shè)計(jì)、數(shù)字化教學(xué)資源的設(shè)計(jì)與開發(fā)、新媒體的教育應(yīng)用(403046575@qq.com)。

2016年9月11日

責(zé)任編輯：趙云建

1006—9860(2016)12—0044—08

*本文受教育部在線教育研究中心2016年度在線教育研究基金重點(diǎn)項(xiàng)目“在線專題教育社區(qū)評(píng)價(jià)體系的構(gòu)建”(項(xiàng)目編號(hào)：2016ZD313)資助。