□李青 周艷
基于可視化方法的教育信息化評估元研究*
□李青 周艷
文獻計量法利用數學和統計學方法,定量地分析知識載體,有助于對研究對象本身以及關于其對象的研究進行反思,發現研究問題,預測發展趨勢。利用Bicomb書目共現分析系統、Ucinet社會網分析軟件和SPSS統計軟件三種文獻計量工具,對教育信息化評估研究進行可視化分析發現:國內教育信息化評估研究主要集中在教育信息化評估的實踐、評估模型與方法,以及指標體系構建三方面。其中,評估指標體系在研究中處于核心地位,實踐研究處于邊緣地位。另外,在研究領域方面,研究者比較關注高等教育領域信息化評估,而對學前教育、職業教育、特殊教育等領域的評估較為忽視。通過網絡文獻和新聞報道相印證發現,地方教育行政主管部門和各級學校已經逐漸開展教育信息化的評估研究和實施工作,且卓有成效。教育信息化評估研究未來應注重均衡評估涉及的領域,關注實踐,關注新思路、新方法、新工具的應用,發展和完善各類評價指標體系以及評價工具。
教育信息化;信息化評估;可視化分析;文獻計量法;元研究
經過十多年的發展,教育信息化已經成為教育發展和教育改革的關鍵點之一。國家和教育部先后實施了“農遠工程”、“現代遠程教育扶貧示范工程”、“三通兩平臺”等多個全國性的教育信息化項目,取得了顯著成效。教育信息化建設費用逐年增加、投資巨大。在基礎設施、資源建設、人才隊伍建設從無到有、逐漸完善的同時,如何評價建設效果,并總結經驗教訓尤為重要。研究人員開始關注教育信息化建設的效益和實際效果,教育信息化評估成為一個研究熱點。
教育信息化評估是依據一定的評價標準,在全面、系統、科學地搜集、整理、處理和分析教育信息化各要素的基礎上,對教育信息化中各構成要素的價值做出綜合判斷的動態過程,其目的在于充分優化教育信息化過程,提高教育質量(張晨婧仔等,2015)。目前,國內外對教育信息化評估模型及評估指標體系的研究已經取得了較多成果。各個國家與地區根據自身發展特點與目標,建立了相應的評估指標體系,比較具有代表性與影響力的有:美國的StaR評估量表、英國的SRF評估指標、歐洲信息技術教育應用評估體系、聯合國教科文組織亞太地區的教育信息化評估體系等。在國內,這個方面的研究也有較多的論文發表并開發了相應的指標體系,但由于不同地區發展水平的差異,呈現出多樣化的特點。
教育信息化評估不是一蹴而就的事情,而是一項長遠而動態的任務,伴隨教育信息化發展的始終;同時,教育信息化評估也是一項重要而復雜的任務,為教育信息化有序發展建立正確的導向。因此,在研究教育信息化評估時對其本身的研究也有一定的意義,這是一種元研究。它是對研究對象本身以及關于其對象的研究進行反思,以期進一步修正和重建(焦建利,2004)。本文進行的教育信息化評估元研究將采用可視化的分析方法對教育信息化評估研究的相關內容進行反思,分析已有研究現狀,發現問題,為今后的評估研究提供參考和借鑒。
為了解國內教育信息化評估研究的現狀和發展過程,筆者對教育信息化評估研究文獻進行了整理。目前國內已經有一些學者對教育信息化評估研究進行了歸納和總結,如楊曉宏等人從年度分布、研究領域和研究切入點等角度,對國內基礎教育信息化績效評估研究文獻進行了梳理與分析(楊曉宏等,2015);陳愛娟等人對我國高等教育信息化測度研究進行了分類,進而對已有的教育信息化和高等教育信息化評價指標體系進行比較研究,分析各指標體系的優點和不足(陳愛娟等,2006);還有研究者分析了教育信息化評價的內涵與研究現狀,對比了國內外教育信息化評價政策與戰略,揭示了教育信息化評價的國際發展趨勢(張晨婧仔等,2015)。
但是,目前對教育信息化評估的元研究仍舊存在較多的不足。從研究涉及的教育類型看,已有研究涵蓋了基礎教育、高等教育以及國內外教育信息化發展狀況,而學前教育、職業教育、特殊教育領域則存在空白。這與教育信息化建設的現狀有很大關系,高等教育和基礎教育是教育信息化發展較成熟的領域。從研究方法看,已有研究大都在綜述文獻的基礎上對該領域的研究主題做主觀判斷和分析,較少使用科學計量方法對資料進行綜合分析,研究結論容易受主觀因素的影響。另一方面,從數據處理工具看,出現了一些新技術、新工具的應用,如楊曉宏等人使用在線文字云圖工具Tagxedo繪制了高頻關鍵詞文字云圖(楊曉宏等,2015)。但大多研究者停留在利用Excel工具處理簡單文獻數據階段,甚至有些研究沒有數據的支持,為定性的研究。另外,數據來源主要以期刊文獻為主,未有結合網絡上的相關新聞、報道和消息等相印證。而這部分文獻從另一個角度也可以反映教育信息化評估工作的現狀,更多涉及評估的實施和推進,需要將其包括在研究范圍內。針對以上問題,對教育信息化評估的元研究要在文獻來源上盡可能全面;同時在研究方法上采用定量分析、定性解讀的方法和流行的數據處理工具。以上也是本課題研究的起點。
1.研究方法和工具
本研究采用“詞頻分析法”和“共詞分析法”作為對文獻內容的計量分析方法。詞頻分析法是根據某一研究領域的文獻中能夠揭示或表達文獻核心內容的關鍵詞或主題詞出現頻次高低來確定該領域研究熱點和發展動向的文獻計量方法(李軍,2010)。共詞分析法則利用文獻集中專業術語共同出現的情況確定該文獻集所代表學科中各主題之間的關系(葉愛敏等,2015)。這兩種計量方法都基于對論文關鍵詞的分析。關鍵詞是對文章內容的濃縮和提煉,可以反映文章的主題內容;通過對某一研究領域中的文獻進行詞頻分析和共詞分析,可以揭示該領域的研究熱點,以及各研究主題間的關聯關系。
本文采用Bicomb書目共現分析系統、Ucinet社會網分析軟件和SPSS統計軟件三種文獻計量工具。Bicomb書目共現分析系統由中國醫科大學開發,可提取文獻數據庫中的關鍵詞、作者、來源期刊等題錄信息,并通過歸類、存儲、統計,生成題錄數據的高頻詞、詞篇矩陣、共現矩陣等,為進一步研究提供全面、準確、權威的基礎數據(崔雷等,2008)。Ucinet是利用社會網絡分析法挖掘數據之間深層次關系的可視化工具,可用于挖掘關鍵詞之間的深層關系,發現研究中心點(熊華軍等,2016)。SPSS是目前非常流行的統計軟件,具有自動統計繪圖、數據深入分析、預測分析和決策分析等功能,在數據的統計分析領域得到廣泛應用。本文主要使用SPSS進行關鍵詞的聚類分析和多維尺度分析。
2.研究思路
本課題的研究過程主要包含5個步驟:(1)通過文獻數據庫收集和“教育信息化評估”相關的文獻信息作為數據源。(2)使用Bicomb軟件從上述收集的文獻題錄信息中提取關鍵詞及來源期刊,并生成高頻關鍵詞詞篇矩陣、共現矩陣。詞篇矩陣記錄關鍵詞在某篇文獻中是否出現,出現則記為1,否則記為0。(3)將生成的共現矩陣導入Ucinet中,獲取高頻關鍵詞的網絡圖譜。(4)將生成的詞篇矩陣導入SPSS中進行系統聚類,獲取高頻關鍵詞的相似矩陣和聚類樹狀圖。然后,將相似矩陣轉換成相異矩陣,并在SPSS中對相異矩陣進行多維尺度分析(ALSCAL),獲取Euclidean距離模型散點圖。Euclidean距離模型散點圖把關鍵詞集中展示在一個二維的空間中,以更直觀地方式展示關鍵詞之間的關系。并結合聚類分析結果,繪制出教育信息化評估研究熱點的知識圖譜。(5)通過網絡搜索引擎檢索教育信息化相關的新聞、報道和博客等文獻,進行內容分析并與期刊文獻比較。整個研究過程如圖1所示。

圖1 研究思路及工具
3.數據來源
對于期刊文獻,本研究以中國知網(CNKI)學術期刊全文數據庫為數據源,以“主題”為檢索項,選擇“教育信息化”和“評價/評估”共同作為檢索詞,共得到836條結果,檢索時間為2016年3月6日。由于“主題”檢索會同時在題名、關鍵詞、摘要三個字段中檢索,因而結果會更加全面,但準確性會下降,因此需要進一步進行人工篩選。筆者通過逐篇閱讀論文摘要和瀏覽全文去除了會議、訪談、通知等非學術論文。同時,由于本研究主要關注對教育信息化評估整體層面的研究,因而有關教育信息化下屬局部領域的文獻,如教育信息化隊伍建設的評估、教學資源庫評估、教育信息化設施評價等主題的論文也被剔除,最終得到符合研究主題的文獻共136篇,按照發表的年度,統計如表1所示。
對于網絡相關權威文章、新聞報道等,本研究分別以“教育信息化”加“評估”或“評價”為檢索詞在百度中進行搜索,選取搜索結果的前10頁,共200條記錄。此后,筆者在谷歌檢索引擎上檢索,所獲結果更少,而且與百度上的檢索結果重復較多。在合并檢索結果,剔除百度文庫、百度學術以及博客轉載的期刊文章后,研究小組根據經驗篩選出43篇相關文章,以此為樣本進一步分析。

表1 教育信息化評估研究文獻年度分布表
1.載文期刊分布
筆者使用Bicomb軟件提取研究樣本的來源期刊后,共得到72種不同的來源期刊。其中載文量3篇及以上的期刊有13種,繪制來源期刊分布圖如圖2所示。

圖2 文獻來源期刊分布圖(單位:篇)
載文量排名前13的期刊共發表文獻70篇,占總量的51%。可見,這些期刊是教育信息化評估研究領域影響力較大的期刊,其中以《中國電化教育》、《中國教育信息化》和《電化教育研究》載文數量最多,影響力最大。該主題的研究論文刊載在教育技術核心期刊的比重較高,反映出目前教育信息化評估是一個受到學者較多關注的興趣點。
2.高頻關鍵詞詞頻統計及分析
某一領域內,論文的高頻關鍵詞在一定程度上可集中反映該領域的研究熱點(尹相旭等,2009;陳巧云等,2013)。我們使用Bicomb軟件提取了所有研究樣本的關鍵詞,共得到238個不同關鍵詞,總頻次為503次。有些關鍵詞表達的含義基本相同,如“評價指標體系”和“評估指標體系、“DEA分析”和“數據包絡分析”等。對這些相近關鍵詞進行合并、清洗后,得到頻次大于3的關鍵詞共26個(見表2)。這26個關鍵詞占總頻次的65%,具有較高的代表性。由于結果中的“教育信息化”、“評價”和“信息化”等高頻詞對本研究無意義,所以予以舍棄。

表2 高頻關鍵詞排序
表2中的高頻詞既有表達研究對象所處的教育領域的,也有和研究方法、研究內容相關的關鍵詞。根據關鍵詞出現的頻次,可以大致推斷目前教育信息化評估研究涉及的領域中高等教育(21次)、基礎教育(14次)和區域教育(8次)得到較好的關注。其中高等教育領域重視程度最高,而學前教育、特殊教育、成人教育和職業教育領域則少有研究涉及,這很大程度上是由于高校在信息化建設上有天然的優勢,普及程度較為完善。但從“基礎教育”近6年出現的頻次看,較前一個周期有了明顯上升,說明隨著教育信息化在基礎教育領域逐步推進,其評估研究也逐漸開始引起研究者的重視。
從研究內容看,“指標體系”位居高頻關鍵詞的榜首,為51次;“評估模型”為19次,位居第四。評價指標體系的設計以及評價模型的構建是本領域的研究熱點,尤以評價指標體系的設計為甚,這和信息化評估的實踐需要是一致的;另外在指標體系的制定中,研究者也開始關注指標項的“權重計算”。在評價方法方面,以層次分析法(7次)、模糊綜合評價(6次)、數據包絡分析(5次)為主,近幾年,回歸分析(3次)方法也開始在教育信息化評估中得以重視。從評估方式來看,當前的教育信息化評估正由原來的“水平評價”(5次)逐漸過渡到“績效評價”(27次),說明當前教育信息化評估已經從關注某個時點、某個數值的評價轉向綜合性的、較長時間內的績效評價。
3.高頻關鍵詞社會網絡分析
為了更加直觀地揭示上述關鍵詞之間的關系,觀察關鍵詞在研究領域中的地位,筆者從Bicomb中導出了高頻關鍵詞共現矩陣,通過Ucinet軟件繪制了高頻關鍵詞的共現網絡圖譜,如圖3所示。

圖3 高頻關鍵詞共現網絡圖譜
圖譜中的節點代表關鍵詞,節點的大小表示關鍵詞出現頻次高低;節點間的連線代表關鍵詞在同一篇文獻中的共現關系(熊華軍等,2016)。從圖3中可以看出,“指標體系”、“評估模型”兩個節點最大,而且處于圖的中心位置,說明它們是近年來我國教育信息化評估研究的中心,其他關鍵詞大多和這兩個關鍵詞有直接聯系,這與上文中的高頻關鍵詞分析結果一致。另外,從節點間的連線進一步可以看出,“灰色區間”、“因子分析法”等關鍵詞處于研究的邊緣地帶,屬于較少涉及的方法和內容。
4.關鍵詞聚類分析
關鍵詞聚類可以直觀地展示關鍵詞之間的親疏關系,判斷他們的關聯程度,從而進一步揭示本領域的研究熱點(郭文斌等,2012)。關鍵詞聚類分析以關鍵詞在同一篇文獻中出現的頻次為分析對象(即詞篇矩陣),把關系密切的關鍵詞聚成一個類團。一般而言,關鍵詞間的距離越近表示相似程度越高,而距離較遠的關鍵詞往往是該核心概念的相關(應用或影響)因素(薛調等,2014)。在前面的步驟中,我們利用Bicomb軟件生成了26個高頻關鍵詞詞篇矩陣,剔除“教育信息化”、“信息化”和“評價”三個無意義的核心關鍵詞后,將剩下的23個高頻關鍵詞的詞篇矩陣導入到SPSS中進行系統聚類分析,見圖4。

圖4 教育信息化評估高頻關鍵詞聚類樹狀圖
根據聚類結果可以看出:教育信息化評估的高頻關鍵詞可分為三個類團,結合各類團中關鍵詞的具體含義,我們可以將學術界對教育信息化評估的研究分為三大熱點領域:第一,教育信息化發展狀況分析與評估實踐研究,包含5個關鍵詞;第二,基礎教育信息化評估以及對評估方法、評估模型的研究,涉及7個關鍵詞;第三,教育信息化指標體系以及評價工具,這個類團最大,有關鍵詞11個。每個熱點領域下還有一些小的聚類,譬如圖4領域三中就至少存在兩個小類團。需要注意的是,關鍵詞聚類分析的結果不總是有意義,還需要結合研究者自身的經驗進一步加以解釋。
5.高頻關鍵詞多維尺度分析
多維尺度分析(Multidimensional Scaling,MDS)是利用關鍵詞之間的相似性或相異性數據,將其以點的形式分布到空間中的特定位置,直觀地展示各關鍵詞之間的關系;不同關鍵詞在空間中的距離遠近顯示了其相似性的高低,高度相似的關鍵詞聚集在一起,形成學科研究的熱點(郭文斌等,2012)。通常,第一象限的主題聯系密切,并在研究網絡中處于中心地位;第二象限的主題結構較松散,有進一步發展的空間,具有潛在發展趨勢;第三象限的研究主題內部連接緊密,有外圍研究團隊的加入,但是在整個研究網絡中處于邊緣;第四象限是整個領域內的邊緣主題,重要性較小(馮璐等,2006)。研究將表2中高頻關鍵詞的詞篇矩陣導入SPSS中,然后轉化為共詞相似矩陣,再采用“相異矩陣=1-相似矩陣”的方式生成相異矩陣(王炳成,2011;郭文斌等,2014),最后使用SPSS中的多維尺度分析功能,結合上述的聚類分析結果,繪制教育信息化評估研究熱點的知識圖譜,如圖5。這個知識圖譜將在下節和前面聚類分析得到的三個領域一起進行分析和解讀。

圖5 教育信息化評估研究熱點知識圖譜
綜合高頻關鍵詞聚類分析和多維尺度分析的結果,我們可以將現階段國內教育信息化評估的研究熱點概括為三個主要的領域。下面將分別對這三個領域內的研究現狀進行更加深入的分析,同時輔以網絡文獻的檢索結果進行對比。
1.教育信息化發展狀況分析與評估實踐研究
該領域的研究主要是借助已有的研究方法和工具,對某一地區、學校信息技術在教育中應用的發展狀況進行調查,收集相關資料,檢驗研究方法的有效性,并評估該地區、學校的教育信息化發展狀況。該領域涉及了分析與評估、發展狀況、區域教育、信息技術以及效益評估5個關鍵詞。它們集中在知識圖譜的第三象限,根據多維尺度分析中對于各象限劃分的含義,說明該研究領域內部聯系緊密,已經開始引起相關機構的關注,但目前仍處于研究的邊緣地帶,并非普遍討論的話題。
受到信息化建設水平和經驗的限制,教育信息化評估的實踐研究在初始的幾年關注度不高(王洪梁,2009),這也是目前該研究領域仍處于邊緣地帶的原因。其后,隨著教育信息化建設的發展,加之理論基礎與評估框架的完善,為實踐研究提供了前提條件,研究者開始針對學校或地區的教育信息化評估開展實踐研究。這些研究多采用調查法、訪談法和實地觀察法等方式收集教育信息化數據,發現當前信息化發展中的問題,并提出解決方法或建議。典型的研究有張新剛等采用問卷調查、訪談等方法,分析了河南省高等教育信息化建設與應用現狀,指出當前存在的問題,并提出發展對策(張新剛等,2013);胡超等通過問卷調查法、訪談法、實地調查法,調研了湖南省保靖、鳳凰兩縣學校信息化發展狀況,發現少數民族地區義務教育信息化建設中的問題,并提出提升其建設和應用水平的建議(胡超等,2013)。
2.基礎教育信息化評估以及對評估方法、評估模型的研究
教育信息化評估研究的第二個大研究方向是評估方法和評估模型的研究,共聚集了7個高頻關鍵詞。根據關鍵詞聚類的結果,該領域的研究可進一步分為兩小類。第一類為教育信息化評價方法的研究,包括績效評價、數據包絡分析和回歸分析3個關鍵詞;第二類為基礎教育信息化評估模型的構建,涉及4個關鍵詞:農村、基礎教育、評估模型、構建。從圖5中可以看出,該領域處于第二象限,因此內部結構還比較松散,有進一步發展的空間。這一領域未來在教育信息化評估中具有較重要價值,可以持續和深入地關注。
對信息化評估評價方法的研究有助于保證評估的科學性和合理性。研究者越來越多地在評估中使用數學分析方法或基于統計學的分析方法構建數學模型。例如,焦寶聰等提出了一個基于數據包絡分析的教育信息化評估模型,具有科學合理、可操作性強的特點(焦寶聰等,2007)。還有學者構建了因子分析評價模型對高校的教育信息化水平進行評價,并運用聚類分析方法比較各高校的信息化程度,揭示因子分析方法在教育信息化評價中的科學性和有效性(李思寰,2009)。選用合適的數學評價方法,可以減弱主觀因素的影響,使評價結果更加客觀、合理和科學。
基礎教育信息化評估模型是研究的另一熱點,這和基礎教育在整個教育領域內的地位是分不開的。楊斌等借鑒StaR的評估思路和SRF的評估結構,構建了一個包含橫向影響因素和縱向發展階段的農村基礎教育信息化二維績效評估模型(張曉卉等,2013);杜娟等立足生態學視角,構建以物質流、能量流、信息流為主的三維評價模型,推動基礎教育信息化的可持續發展(杜娟等,2014)。在這些研究中“評估模型”是信息化評估實施的理論基礎,為評估的實施提供指導。但通過對文獻的分析發現,目前研究者對該主題的研究多停留在理論建構階段,缺少對實踐的深入探討,其可操作性和有效性有待證實。
3.教育信息化指標體系以及評價工具
這一領域的文獻主題包含評價系統、水平評價、指標體系、權重計算、層次分析法、模糊綜合評價等11個高頻關鍵詞,結合文獻的具體內容,我們認為該領域的研究主要分為信息化指標體系研究以及評價工具的設計和開發兩個小類。需要注意的是,在這些關鍵詞中,有一些是關于數據分析方法的,主要用于評價指標體系中的權重計算,而非直接用于信息化評估,因此和領域二中的評估方法有一定的差異。
如圖5所示,該領域的主體橫跨第一、四兩個象限。第一象限的“指標體系”和“高等教育”兩個熱點處于研究的中心地位,相應的研究文獻較多。而根據表2中的詞頻數據,“評價指標”出現了51次,“高等教育”出現了21次,這兩者相互印證。評價指標體系一直以來都是研究者關注的重點,它是教育信息化評估工作的前提和基礎。科學的指標體系是評估實施的有效保障。自2003年開始,已有多位教育技術專家對教育信息化評價指標體系進行了系統地研究,這些研究在評價領域、研究方法、指標設置等方面均不盡相同。各文獻中關于評價指標體系的研究總結如表3。

表3 信息化評價指標研究內容
指標體系研究的文獻數量較多、種類豐富,研究視角和研究方法各有不同。研究者針對不同的評價內容,構建了豐富多樣的教育信息化評價工具,為以后的實證研究提供了理論基礎、分析框架和實用工具。但從具體內容看,這些研究在內部的關聯性、系統性方面有所欠缺,處于“眾說紛紜”的狀態,權威的評價指標體系仍未建立。
第四象限的“評價系統”主要是評估工具和評估軟件的設計和開發,目前尚處于研究的邊緣地帶,相應的研究成果較少。典型的研究有田小勇等基于模糊綜合評判模型,設計與實現了高等教育信息化網上評價系統,并得到成功應用(田小勇等,2008)。還有學者采用層次分析法與灰色理論相結合的方法,對教育信息化進行綜合評估,并開發出相應的教育信息化綜合評價管理系統,以期提高評價的效率和可操作性(王有遠等,2008)。作為一種教育信息化評價工具,評估系統使用互聯網技術、數據分析技術,甚至是人工智能技術提高評估工作的效度和效率,也是未來研究應該關注的方向。
4.與網絡文獻的分析及對比
筆者分析了前面檢索到的43篇網絡文獻,按照內容分析法,根據文章標題中出現頻率較高的詞匯進行分類,將其歸為以下幾種,見表4。

表4 網絡文章內容分類
“新聞報道”類的文獻有14篇,約占樣本總數的33%,說明教育信息化評估工作成為政府和學校的重大事項,并且引起社會的關注。這些新聞主要來源于各縣市教育行政主管部門的官方網站,內容以地方教育信息化評估工作的報道為主。其次,“評估細則”數量也有14篇,這與期刊文獻中的“指標體系”的熱點地位是一致的。可見,在教育信息化評估領域中,評估標準的重要性不言而喻。再次,關于“評估方案”和“評估報告”的文獻也占一定比重,這反映出工作人員切實將方案落實到了實踐中,并有相應的產出,而不是空喊口號。
從網絡文獻涉及的教育層次看,有17篇明確以中小學校為評估對象,發起者一般為地方教育局,可見教育信息化評估工作已經在基層得以開展,且更受重視。這與期刊文獻中高等教育研究數量高于基礎教育的結論恰恰相反。其原因與兩部分內容的發起者有很大關系。期刊文獻作者多為高校研究人員,更容易從身邊開展研究工作;而網絡文獻多來源于地方教育機構或學校,出于工作需要,評估對象必定是中小學。因此,應該加強研究機構與基層組織的合作,將理論研究真正落實到實踐。
從涉及內容來看,期刊文獻與網絡文獻所討論的主題大同小異,主要集中在硬件建設、資源建設、教師教育技術應用能力、保障機制等。但是,網絡文獻中的教育信息化評估細則較期刊文獻中的指標體系更加細化具體,因為其直接應用到評估工作中。
從評估方法看,相較進行實踐研究的期刊文獻,網絡文獻中介紹的評估方法更加多樣,有聽取匯報、查閱資料、實地查看、課堂觀察、個別談話、召開座談會、問卷調查等多種不同方式,而進行實踐研究的文獻主要是調查法、訪談法和實地觀察法三種。這可能是地方教育局直接對其管轄的地方學校進行評估工作更加方便的原因。
教育信息化評估的研究和實踐是教育信息化領域需要關注的重點內容,既需要研究者立足國內教育信息化發展的目標和要求,客觀地分析目前信息化評估工作中的問題,促進評估工作實施的有效性、客觀性、準確性;同時也要參考國外已有研究成果和先進經驗,探究符合我國國情的評估方法。結合本文對研究文獻的整理和分析,未來一段時間國內教育信息化評估應重點關注如下內容:
1.均衡評估所涉及的教育領域
在研究所涉及的教育領域方面,教育信息化評估存在嚴重的不平衡現象。教育信息化建設已從城市走向農村,由高等教育覆蓋到基礎教育、學前教育,幾乎遍及教育實踐中的各個領域(王吉,2012)。從網絡文獻的分析中,也可以看到基層教育主管部門已經開始著手基礎教育領域的信息化評估工作。而國內教育信息化評估研究的對象以高等教育為主,基礎教育次之,對學前教育、特殊教育、職業教育的研究寥寥無幾。評價研究難以體現教育信息化建設的總體目標和價值追求。因此,未來評估工作應該緊跟教育信息化發展的步伐,關注這些研究和實踐尚不充分的領域,平衡各個教育階段的研究力度,爭取覆蓋到各個教育領域。
2.重視實踐研究,關注可操作層面的業務
目前,教育信息化評估的研究普遍存在重理論、輕應用的問題。相關研究大部分集中在理論層面,以評估指標體系的構建居多,而評估實踐研究和可操作性方法的研究較少。實際上,教育信息化評估是實踐性很強的工作,可以直接應用到教育信息化建設過程中,對建設進行價值評判和診斷。因此對教育信息化的研究應該落到可實施的層面,關注用具體的評估實踐來檢驗理論研究的有效性。此外,研究還應該從實踐的角度和各辦學機構、各主管部門的業務實踐相結合,以滿足實際需要為目標,這樣的研究結果才有生命力。
3.關注新思路、新方法和新工具的應用
新的評價技術和手段的不斷涌現為信息化評估研究提供了新思路和新工具。質性評價與量化評價相結合已經成為常態:一方面,采用量化的方法,分析問卷、訪談等收集的數據,明確教育信息化發展和建設的具體方向;另一方面,采用質性評價方法,對量化結果進行歸因分析。質性與量化方法的結合,有助于實現全面、客觀、科學的評價。已有的教育信息化研究中已有許多新的評價方法的應用,而未來,會有更多跨領域跨界的評估方法被介紹到信息化評估領域,也會有以人工智能和可視化分析為代表的更強大的新技術被應用在評估活動中。研究者應該保持對技術的敏感性,在信息化評估上有所創新。
4.緊跟信息化實踐,發展和完善各類評價指標體系
教育信息化水平的提高是一個動態的過程,因而教育信息化評估也需要不斷地發展和完善。近年來,云計算、物聯網等技術的發展推動教育信息化從“數字校園”到“智慧校園”的轉型,信息化建設的關注重點從基礎設施轉向教學應用。評估指標體系也應該適應這種變化,關注信息資源的服務支撐能力以及應用融合等問題,構建適應新形勢的評價指標。另外,由于國內教育信息化存在地區之間、學校之間發展的差異,教育信息化評估指標體系研究也應滿足評價目標多元化的需要,用合適的尺度來衡量不同的對象。因此,教育信息化評估指標體系的研究仍會是核心內容之一。建立一套科學合理、普適性、系統化的評價標準需要各領域專家的繼續努力。
5.關注評價系統和評價工具的開發,促進信息化評估本身的信息化
教育信息化評估的實施過程中需要搜集和處理大量的數據,其過程相當繁雜和機械,手工方式難以勝任且易出錯;同時,許多評估模型使用了復雜的算法,對于非專業人員來說也難以入手;另外,采用SPSS等通用的數據處理軟件,對于用戶操作和讀取數據較麻煩。以上的種種困難影響了教育信息化評價的實施效果、監控和管理。而計算機和網絡技術可以給評價工作提供有力支持,設計合理、用戶體驗流暢的信息化評價系統能夠有效推進評估工作。此外評價軟件和評價系統還應考慮人的閱讀特性,比如結合可視化技術,方便、直觀地對各項信息化指標數據進行分析和解讀。未來應吸引更多研究者,特別是跨學科的研究者參與到教育信息化評估系統研究中,建立系統、科學、智能化的綜合評價系統,支持教育信息化評估的深入開展,進而推進教育信息化的發展。
本研究基于國內在教育信息化評估方面已有研究論文,采用關鍵詞詞頻分析、聚類分析以及多維尺度分析等可視化分析方法對該領域的研究現狀進行了元研究。目前,教育信息化評估研究可分為三大熱點領域,分別是:(1)教育信息化發展狀況分析與評估實踐研究;(2)基礎教育信息化評估以及對評估方法、評估模型的研究;(3)教育信息化指標體系以及評價工具。經過十多年的發展,教育信息化評估研究已經取得了一定的成績,但在研究中仍存在研究領域不平衡、評估標準不完善等問題。未來教育信息化評估應該著重關注基礎教育、學前教育領域的發展,縮小區域與教育階段之間的發展差異;同時,應建立科學的分析方法和標準,提高教育信息化評估工作的有效性。
本項研究尚存在一些不足:一是所選取的樣本主要是針對教育信息化宏觀層面的研究文獻,對于微觀層面,如硬件基礎設施評價、教學資源應用評價、學生學習績效評價、教師專業發展評價等內容未納入本研究范圍,仍有進一步修正的空間。二是有些論文在關鍵詞的選取上存在隨意性和不準確的問題,導致聚類的結果不能完全代表實際研究的情況。另外,筆者對研究數據的解讀也不可避免的存在主觀性,如果能夠由多個專家共同解讀,可能會更加全面和準確。
[1]陳愛娟,任曉燕,黃鐸(2006).我國高等教育信息化水平評價研究綜述[J].情報科學,(9):1321-1324.
[2]陳巧云,李藝(2013).中國教育技術學三十年研究熱點與趨勢——基于共詞分析和文獻計量方法[J].開放教育研究,(5):87-95.
[3]崔雷,劉偉,閆雷等(2008).文獻數據庫中書目信息共現挖掘系統的開發[J].現代圖書情報技術,(8):70-75.
[4]杜娟,王寧(2014).生態視野下基礎教育信息化評價模型的構建研究[J].中國電化教育,(7):63-69.
[5]馮璐,冷伏海(2006).共詞分析方法理論進展[J].中國圖書館學報,(2):88-92.
[6]郭文斌,方俊明,陳秋珠(2012).基于關鍵詞共詞分析的我國自閉癥熱點研究[J].西北師大學報(社會科學版),(1): 128-132.
[7]郭文斌,俞樹文(2014).我國遠程教育研究熱點知識圖譜——基于3170篇碩士及博士學位論文的關鍵詞共詞分析[J].電化教育研究,(2):45-49.
[8]胡超,陳妍,吳砥等(2013).少數民族地區義務教育信息化發展評估——以保靖、鳳凰兩縣為例[J].開放教育研究, (3):94-102.
[9]焦寶聰,趙意煥,董黎明(2007).基于數據包絡分析的教育信息化績效評價模型[J].電化教育研究,(4):38-41.
[10]焦建利(2004).教育技術學元研究論綱——教育技術學若干基本理論問題探索[J].電化教育研究,(4):8-13.
[11]李軍(2010).基于詞頻分析法的國內教育技術學研究熱點的研究[J].現代情報,(8):131-134.
[12]李思寰(2009).高校教育信息化分析評價的實證研究——基于因子分析法[J].科技和產業,(5):115-119.
[13]田小勇,孔凡士(2008).高等教育信息化網上評價系統的研究與實現[J].中國電化教育,(12):l12-115.
[14]王洪梁(2009).國內高等教育信息化水平評價研究述評[J].高教發展與評估,(3):29-33.
[15]王炳成(2011).基于共詞分析的我國人力資源研究現狀的計量學研究[J].山東經濟,(4):64-69.
[16]王吉(2012).學前教育信息化評價指標體系的構建[J].教育測量與評價(理論版),(1):25-27.
[17]王有遠,艾小偉(2008).基于灰色理論的教育信息化綜合評價及系統實現[J].開放教育研究,(3):85-88.
[18]熊華軍,馮梅(2016).近十年我國教育技術研究可視化分析[J].高等教育研究學報,(2):23-29.
[19]薛調,張馨荷(2014).國內參考咨詢服務研究現狀與發展趨勢分析[J].圖書館工作與研究,(1):12-15.
[20]楊曉宏,杜華(2015).國內基礎教育信息化績效評估研究綜覽[J].電化教育研究,(4):28-34.
[21]葉愛敏,王佑鎂(2015).基于知識圖譜的微課研究熱點與趨勢分析[J].現代教育技術,(11):46-52.
[22]尹相旭,張更平,李曉菲(2009).基于關鍵詞統計的情報學研究現狀分析[J].情報雜志,(11):1-4.
[23]張晨婧仔,王瑛,汪曉東等(2015).國內外教育信息化評價的政策比較、發展趨勢與啟示[J].遠程教育雜志,(4): 22-33.
[24]張曉卉,解月光,王海等(2013).基于EEE模型的農村基礎教育信息化績效評估體系應用方法研究[J].中國電化教育,(1):30-35.
[25]張新剛,王燕(2013).河南省高等教育信息化建設與應用現狀調查研究[J].實驗技術與管理,(2):111-117.
Meta-Research on Education Informatization Assessment in China Based on Data Visualization
Li Qing,Zhou Yan
Bibliometrics utilizes mathematical and statistical methods to analyze knowledge quantitatively, which helps to reflect on the objects of study and research itself in this field,thus to discover research questions and reveal development trends.By using Bicomb bibliographic co-occurrence analysis system,Ucinet social network analysis software and SPSS statistical software,this paper made a visual analysis on the evaluation of educational informatization.It finds out that domestic educational informatization assessments mainly focus on three aspects:the practice of educational informatization assessment,evaluation model and methods,as well as evaluation framework or system.Among them,the evaluation system is at the core of research,while practical research is marginal.In addition,in the level of education,researchers pay more attention to informatization evaluation of higher education, while pre-school education,vocational education,special education and other areas are not hot spots.Through articles and news reports online,it is found that the local education administration and schools at all levels in China have gradually carried out the implementation and evaluation of education informationization,thus have achieved lots of fruitful results.In the future,we should balance fields of evaluation,pay more attention to the practice, application of innovative ideas,new methods and tools,develop and perfect various evaluation system and tools.
Education Informatization;Informatization Assessment;Visualized Analysis;Bibliometric; Meta-Research
434
A
1009-5195(2016)06-0093-10 doi10.3969/j.issn.1009-5195.2016.06.011
北京市社會科學基金項目“基于成熟度模型的基礎教育信息化發展水平評估指標體系研究——以北京市中小學為例”(14JYC030)。
李青,博士,副教授,北京郵電大學網絡教育學院;周艷,碩士研究生,北京郵電大學教育技術研究所(北京 100876)。
2016-08-14 責任編輯 汪燕