教師信息技術應用能力培訓系統的層級化績效評價研究*

吳鵬澤，楊 琳

(1.華南師范大學 教育信息技術學院， 廣東 廣州 510631；2.廣州大學 網絡與現代教育技術中心，廣東 廣州 510006)

教師信息技術應用能力培訓系統的層級化績效評價研究*

吳鵬澤1，楊 琳2

(1.華南師范大學 教育信息技術學院， 廣東 廣州 510631；2.廣州大學 網絡與現代教育技術中心，廣東 廣州 510006)

高等教育績效可以分為內部產出績效、內部運行績效及外部適應績效三個層級。而我國關于教育信息化的績效評價研究，關注最多的是內部產出績效，能夠將內部產出績效、內部運行績效及外部適應績效三者系統結合并開展應用的研究較少，將三者結合起來開展教育信息化的績效評價研究具有很強的理論價值及實踐意義。該文以教師信息技術能力培訓的績效評價為切入點，從教師信息化專業發展的視角研究我國教育信息化的績效評價，提出了教師信息技術應用能力培訓的層級化績效評價模型，并將該培訓層級化績效評價模型應用于教育技術培訓評價中。應用教師教育技術能力評價指標體系進行內部產出績效評價，應用數據包絡分析法開展內部運行績效評價，應用個案追蹤開展外部運行績效評價。

信息技術應用能力；數據包絡分析法；層級化；績效；評價

一、問題提出

近年來，績效評價正在廣泛應用于教育領域，從學校整體的績效評價到對教學、科研等學校運行的某個環節的績效評價，從高等教育的績效評價到基礎教育的績效評價，教育的各個層級、各個環節都無不關注績效評價。“投入—產出”分析法是目前績效評價普遍運用的方法。從經濟學的角度說，教育投入也是一種生產性投入，同樣可以進行成本和效益的計算。教育投入主要包括人、財、物，因此，人、財、物的配置都屬于教育成本。在市場經濟條件下，成本配置的唯一準則就是看它能否產生效益以及產生多大的效益[1]。教育信息化作為國家教育改革與發展的一項重要工程，其績效評價也越來越受到重視。學者們紛紛從不同角度開展教育信息化的績效評價，如學校教育信息化的評價模型研究[2]、農村基礎教育信息化的績效研究[3]等。企業管理領域的研究者提出了高等教育績效的三層次結構[4]，分別是：內部產出績效、內部運行績效及外部適應績效。根據文獻分析，現有的教育信息化績效評價研究，最多關注的是內部產出績效，也有部分研究關注內部運行績效。“內部運行績效”類研究以建構內部運行績效評價模型及評價指標體系為主，雖然其中也有小部分研究開展了績效評價模型及評價指標體系的應用研究，但是，能夠將內部產出績效、內部運行績效及外部適應績效三者系統結合并開展應用的研究較少。因此，將上述三個層次結合起來開展教育信息化的績效評價研究具有重要的理論價值及實踐意義。“提高教師信息技術應用水平”是我國“教育信息化十年發展規劃(2011-2020年)”的重要任務之一，是我國教育信息化的重點工作之一；“教師教育技術培訓指數”也是教育信息化績效評估指標體系的主要指標項[5]。因此，本文以教師信息技術能力培訓的績效評價為切入點，從教師信息化專業發展的視角研究我國教育信息化的績效評價。

二、教師教育技術能力培訓績效層級評價模型

與教師培訓直接相關的評價模型包括“反應—學習—行為—結果”柯克帕特里克模型及“情境評價—輸入評價—過程評價—成果評價”CIPP模型等。其中柯克帕特里克模型是一個層級化的評價模型，將教師培訓評價由表及里、由最初的反應到最終的行為、結果的變化進行了層次劃分；CIPP模型則是對培訓的四個階段進行評價[6]。柯克帕特里克模型的“層級化”及CIPP模型的“全過程化”都對本文的研究具有重要啟示。根據上述高等教育績效的三層次結構，本文將教師信息技術應用能力培訓的績效評價也分為內部產出績效、內部運行績效及外部適應績效三個層次。在前期的研究中，我們在教師教育技術能力培訓績效評價層級圖[7]的基礎上，提出了教師教育技術能力培訓績效層級評價模型，如下圖所示。

教師教育技術能力培訓績效層級評價模型圖

1.應用教師教育技術能力評價指標體系進行內部產出績效評價

對于教師教育技術能力培訓的內部產出績效評價即教師教育技術能力提升情況的評價，要依據本研究前期提出的教師教育技術能力評價指標體系進行。針對評價指標體系中不同的內容，選取的評價方式也各不相同，如表1所示。

表1 教師教育技術能力評價指標與評價方式對應表

續表1

2.應用數據包絡分析法開展內部運行績效評價

教師教育技術能力培訓過程中資源配置的投入產出情況分析，要建構基于教師教育技術能力培訓內部績效評價指標體系。本文使用德爾菲法，向教育技術領域的相關專家征詢“教師教育技術能力培訓內部績效評價指標”的投入與產出的指標項，并得出最終的資源投入指標項及產出指標項，如表2所示。根據表2，利用管理學中的數據包絡分析法對教師教育技術培訓的內部績效進行評價。

表2 教師教育技術能力培訓內部績效評價指標體系

3.應用個案追蹤開展外部運行績效評價

通過對學員參加培訓之后，在課堂教學、及科研等方面使用信息技術的情況進行追蹤。主要的評價方式采用對學員的個別訪談及對學員所面向的學生進行問卷調查，了解學員在培訓后使用信息技術開展教學的情況進行分析。

三、教師教育技術能力培訓績效層級評價模型的實踐應用

研究者提出基于Web2.0的教師教育技術能力培訓，即采取面對面培訓與基于Web2.0的教師學習共同體交替進行的方式[8]。本文將“教師教育技術能力培訓績效層級評價模型”應用基于Web2.0的教師教育技術能力培訓中，對其績效進行評價。通過對教師教育技術能力提升程度評價其內部產出績效；通過數據包絡分析法，將本次培訓與前期的兩次培訓績效進行對比，評價其相對效率，評價其內部運行績效；再通過對參訓學員的個案追蹤，評價其外部適應績效。

(一)內部產出績效的評價應用

在對系統進行內部產出績效評價時，暫不考慮投入對產出的影響，只是單純從產出的絕對量角度來比較各區域高等教育系統績效的高低。具體到教師信息技術應用能力培訓系統而言，其產出的絕對量便是教師教育技術能力的提升。根據教師教育技術能力評價指標體系[9]，對教師教育技術能力是否提升、提升的程度進行評價。

1.培訓后學員“意識與責任”的自我評價

如表3所示，數據統計結果顯示，Fi＞0.5，這說明培訓后，大部分教師的教育技術意識與責任比較高，主要表現在能夠認識到教育技術對教學的重要性，意識到教育技術是教師專業素質的必要部分，具有新技術的意識，尊重版權，具有較強的資源發布責任感等。

表3 培訓后學員的教育技術能力自我評價——意識與責任

如表4所示，雙側t檢驗的Sig.值為0.025＜0.05，則表明培訓前與培訓后學員的教育技術能力中的“意識與責任”部分差異顯著，即培訓提高了教師的教育技術意識與責任。

表4 培訓前與培訓后學員“意識與責任”成對樣本檢驗

2.培訓后學員“知識與技能”的自我評價

如表5所示，數據統計結果顯示，Fi＞0.5，這說明培訓后，大部分教師的教育技術知識與技能水平較高，主要表現在教育技術基本理論、Web2.0等信息技術工具的使用、掌握數字化教學的特點、模式與方法等方面。

表5 培訓后學員的教育技術能力自我評價——知識與技能

如表6所示，雙側t檢驗的Sig.值為0.005＜0.05，則表明培訓前與培訓后學員的教育技術能力中的“知識與技能”部分差異顯著，即培訓明顯提高了教師的教育技術知識與技能。

表6 培訓前與培訓后學員“知識與技能”成對樣本檢驗

3.培訓后學員“教學設計、實施與評價”的自我評價

如表7所示，數據統計結果顯示，Fi＞0.5，這說明培訓后，大部分教師關于教育技術的“教學設計、實施與評價”水平較高，主要表現在能夠確定合理的教學目標，選擇有效的教學內容、能夠設計并實施有效的教學活動、能夠為教學提供恰當的媒體、資源和工具，創設有效的學習環境、能夠與同行和管理人員等就教學問題進行有效交流、能夠為學生提供與學習內容和技術標準相一致的多種形成性評價與總結性評價， 并能利用評價結果和數據支持教學與學習等方面。

表7 培訓后學員的教育技術能力自我評價——教學設計、實施與評價

如表8所示，雙側t檢驗的Sig.值為0＜0.05，則表明培訓前與培訓后學員的教育技術能力中的“教學設計、實施與評價”部分差異顯著，即培訓明顯提高了教師的教學設計、實施與評價能力。

表8 培訓前與培訓后學員“教學設計、實施與評價”成對樣本檢驗

4.培訓后學員“科研、創新與自我發展”的自我評價

如表9所示，數據統計結果顯示，Fi＞0.5，這說明培訓后，大部分教師關于教育技術的“科研、創新與自我發展”水平較高，主要表現在能夠關注新技術和方法，并將其應用于個人專業成長，能夠借助技術手段開展學術交流、提升科研管理水平。

表9 培訓后學員的教育技術能力自我評價——科研、創新與自我發展

如表10所示，雙側t檢驗的Sig.值為0＜0.05，則表明培訓前與培訓后學員的教育技術能力中的“科研、創新與自我發展”部分差異顯著，即培訓明顯提高了教師的科研、創新與自我發展能力。

表10 培訓前與培訓后學員“科研、創新與自我發展”成對樣本檢驗

(二)內部運行績效的評價應用

數據包絡分析(Data Envelopment Analysis,DEA)是由著名運籌學家查恩斯(A.Charnes) 、庫伯(W.W.Cooper) 及羅茲( E.Rhodes) 于1978 年在“相對效率評價”基礎上發展起來的一種新的系統分析方法，它主要采用數學規劃方法，利用觀察到的數據樣本資料數據，對決策單元(Decision Making Units,DMU) 進行生產有效性評價或處理其他多目標決策問題。這一模型是用來研究具有多個輸入，特別是具有多個輸出的“生產部門”同時為“規模有效”與“技術有效”的十分理想且卓有成效的方法。

本文采用數據包絡分析法對本次基于Web2.0的教育技術培訓與廣州大學之前開展的兩次教育技術培訓進行績效對比分析。Web2.0環境下的教師教育技術能力培訓過程中信息化資源、人力資源、物理資源及財力資源等的配置問題，主要采用的方式是對培訓中各種資源配置的分析，了解Web2.0環境下的教師教育技術能力培訓與其他教育技術培訓相比，投入與產出比是否存在優勢。Web2.0環境下的教師教育技術能力培訓的內部運行績效采用主成分分析法對培訓與傳統培訓的輸入指標及輸出指標進行主成分分析，采用數據包絡分析法對主成分分析后的輸入、輸出主成分標準化分值進行數據包絡分析。

1.教師教育技術能力培訓輸入指標分析

(1)教師教育技術能力培訓輸入指標統計

根據上述表2提出的教師教育技術培訓績效評價體系，對基于Web2.0的教師教育技術培訓與前期的兩次教師教育技術培訓的輸入指標進行統計、分析，如表11所示。

表11 教師教育技術能力培訓輸入指標原始數據

(2)教師教育技術能力培訓輸入指標主成分分析

如表12、13可以看出，從教師教育技術能力培訓的輸入指標中抽取兩個主成分。由于主成分是一個綜合指標，其值可能會出現負數，而在應用數據包絡分析法時要求指標值非負，故對得到的主成分綜合指標用級差變換法進行標準化，結果如表14所示。

2.教師教育技術能力培訓輸出指標分析

(1)教師教育技術能力培訓輸出指標統計

表12 教師教育技術能力培訓輸入指標總體方差解釋情況

表13 教師教育技術能力培訓輸入主成分得分系數矩陣

表14 樣本輸入主成分分值及標準化分值

根據表2提出的教師教育技術培訓績效評價體系，對基于Web2.0的教師教育技術能力培訓與前期的兩次教師教育技術能力培訓的輸出指標進行統計、分析，如表15所示。

表15 高校教師教育技術能力培訓輸出指標原始數據

(2)教師教育技術能力培訓輸出指標主成分分析

從下頁表16可以看出，高校教師教育技術能力培訓輸出指標主成分分析，抽取出一個主成分。樣本的輸出主成分分值及標準化分值如下頁表17所示。

表16 教師教育技術能力培訓輸出指標總體方差解釋情況

表17 樣本輸出主成分分值及標準化分值

3.教師教育技術能力培訓的內部績效評價

利用Max DEA5.2對教師教育技術培訓輸入主成分的標準化分值及輸出主成分的標準化分值進行數據包絡分析后，得出結果如表18所示。A代表“基于Web2.0的教育技術培訓”，B代表“教育技術培訓一”，C代表“教育技術培訓二”。由表18可以看出，A組(基于Web2.0的教師教育技術培訓)的內部運行績效值為1，且高于前期的兩次教育技術培訓。

表18 教師教育技術培訓輸入輸出數據包絡分析

4.基于Web2.0的教師教育技術能力培訓內部運行績效分析小結

通過對教師教育技術培訓的輸入指標及輸出指標進行主成分分析，并對主成分分析后的輸入、輸出主成分標準化分值進行數據包絡分析。根據數據包絡分析的結果，可以得出：基于Web2.0的教師教育技術培訓的內部運行績效相對高于之前的教師教育技術培訓，即基于Web2.0的教師教育技術能力培訓策略提高了培訓系統的內部運行績效，具有更高的投入/產出比。

(三)外部適應績效的評價應用

為了驗證基于Web2.0的教師教育技術能力培訓的外部適應績效，本論文選取參加培訓的三位學員進行個案追蹤，主要采取的方式是對這三位學員所教授的學生進行訪談，訪談的內容以教師的信息化教學能力的提升為主。

1.訪談目的

本次訪談旨在了解，學員參加教師教育技術培訓后，在教學中的信息化教學行為的改變。

2.訪談對象

訪談對象選擇參加基于Web2.0的教師教育技術培訓的三位教師所教授的9位學生，選擇每位教師教授的3位學生。

3.訪談內容分析

訪談的內容包括：(1)教師在教學中采用多種教學模式的情況；(2)教師為學生提供參與教學過程機會的情況；(3)教師關于學生協作學習活動的組織情況；(4)教師對學生進行多元評價的情況。培訓學員個案追蹤訪談記錄如表19所示。

表19 培訓學員個案追蹤記錄表

根據以上對訪談結果的內容分析，可以得出：學員在結束了個案組織的基于Web2.0的教育技術培訓后在信息化教學方面得到較為明顯的改善，基于Web2.0的教師教育技術培訓呈現出較高的外部適應績效。主要體現在：在教學中能夠采用教師講授、案例教學、協作學習等多種學習模式；開始關注學生對教學的參與性，讓學生參與教學內容、教學活動的設計；能夠較好地組織小組協作學習，且加強對學生協作學習的指導；能夠開展全方位的教學評價，做到評價主體多元化、形成性評價與總結性評價相結合。

四、結語

教師信息技術應用能力培訓的層級化績效評價模型，從內部產出績效、內部運行績效及外部適應績效三個層面系統全面地對教師信息技術應用能力培訓系統進行績效評價，主要突出以下特點：

(一)主體、客體雙向評價，優化教師信息技術應用能力培訓系統要素關系

對教師信息技術應用能力培訓活動的評價是復雜多樣的。從培訓活動效果評價角度看，是以培訓者為主體、參訓人員為客體的評價；從培訓活動本身評價角度看，是以培訓者為客體、參訓人員為主體的評價。主體、客體的相互轉化，能優化兩者之間的價值關系，能優化兩者所在的系統各個要素之間的關系。

(二)以績效評價的思維，優化教師信息技術應用能力培訓系統的投入和產出

以績效評價的思維設定績效評價模型，從內部產出績效、內部運行績效及外部適應績效三個層級對優化教師信息技術應用能力培訓系統進行評價。這種評價方法，更突出評價關注的投入和產出比例，以優化教師信息技術應用能力培訓系統的運行，達到合理配置資源、提高培訓效率的目的。

(三)定量的評價和定性的評價結合，優化教師信息技術應用能力培訓系統的評價標準

定量評價與定性評價也是相互聯系、辯證統一的。就對教師信息技術應用能力培訓系統的評價而言，通過應用教師教育技術能力評價指標體系進行內部產出績效評價和應用數據包絡分析法開展內部運行績效評價，屬定量評價。應用個案追蹤開展外部運行績效評價，屬定性評價。兩個結合，互相印證，優化教師信息技術應用能力培訓系統的評價標準。

[1] 袁振國,張男星,孫繼紅. 2012年高校績效評價研究報告[J].教育研究,2013,(10):55-64.

[2] 郭偉剛,李亞娟等.學校教育信息化績效評價模型的設計與應用[J].中國電化教育,2010,(4):36-40.

[3] 解月光,張曉卉,王海.農村基礎教育信息化的績效與發展階段研究[J].中國電化教育,2015,(1):62-69.

[4] 朱慧倩.高等教育績效評價研究[D].南昌:華東交通大學,2008.

[5] 盧春,李樅樅,周文婷,吳砥.面向區縣層面的教育信息化績效評估及其影響因素實證研究——以東部S市為例[J].中國電化教育,2015,(3):67-74.

[6] 祝智庭,尚春光,郭炯.教育技術與教育創新——績效評價的理論、系統與實踐[M].北京:高等教育出版社,2011.

[7][8] 吳鵬澤,楊琳. Web2.0環境下教師教育技術能力培訓模式構建[J].中國電化教育,2014,(5):126-138.

[9] 楊琳. 基于Web2.0的高校教師教育技術能力評價指標體系研究[J].中國電化教育,2013,(1):57-62.

責任編輯：李馨 趙興龍

Research on Hierarchical Performance Evaluation of Teachers’ Ability to Apply Information Technology

Wu Pengze1, Yang Lin2
(1.College of Educational Information Technology, South China Normal University, Guangzhou Guangdong 510631;2.Center of Network and Modern Educational Technology, Guangzhou University, Guangzhou Guangdong 510006)

Higher education Performance can be divided into internal output performance, internal operation performance and external adaptation performance. Researches on performance evaluation of ICT in education focus on internal output performance,which can combine internal output performance and internal operation performance with external adaptation performance, and apply them into reality are very few. So, the performance evaluation of ICT in education with the three layers has important significance.This paper studied performance evaluation of ICT in education from the perspective of teachers’ professional development,constructed hierarchical performance evaluation model of teachers’ ability to apply information technology, and applied the model into training evaluation. In the case study, we used evaluation index system of teachers’ educational technology competence in the internal output performance evaluation, DEA in the internal operation performance evaluation, longitudinal case study.in the external adaptation performance evaluation.

Ability to Apply Information Technology; DEA; Hierarchical; Performance; Evaluation

G434

：A

1006—9860(2016)01—0109—07

吳鵬澤：博士，教授，博士生導師，研究方向為教師信息化應用能力提升、媒介素養教育(wpz2013@live.com)。

楊琳：博士，高級實驗師，研究方向為教育信息化、教師信息化應用能力提升(yanglin@gzhu.edu.cn)。

2015年11月30日

* 本文系國家社會科學基金教育學青年課題“基于web2.0的教師教育技術能力培訓模式與效果研究”(項目編號：CCA120109)階段性成果。