談遠程培訓項目的質量評估

遠程培訓項目質量評估的基本方法

培訓質量評估一直是員工培訓難以突破的瓶頸。對于遠程培訓質量評估，剛剛進入探索階段，遇到的問題更多。從企業遠程培訓的業務運行環節看，應主要從以下方面著手：培訓需求分析，培訓課程學習，遠程在線答疑、在線測試、培訓跟蹤評價。本文提倡要結合企業實際，圍繞遠程培訓給受訓者帶來的實際效果，實施量化評價，提高評估工作的實效性與可操作性，推動工作的持續改善。

遠程培訓項目質量評估的指標體分類

隨著遠程教育事業的飛速發展，國內外對遠程教育質量評估標準的研究也在不斷深入。美國ASTD(American Society for Training Development)制定的對網上課件和多媒體課件認證的標準，主要從可用性和教學設計兩方面進行衡量。《E-Learning Certification Standards》是由美國教學設計與應用專業委員會建立的認證標準，從可用性、技術性和教學性三方面進行了評價。另外，還有ADL(Advanced Digital Learning)的網上教學設計和評估指南（ Guidelines for Design and Evaluation of Web-Based Instruction）制定的多媒體課件評估標準，內容大體相同。在國內，關于遠程教育質量評估標準的研究也在逐步深入，清華大學組織開展了關于課程資源的評價標準的開發，北師大制定了網上課程的認證標準，中國科技大學開展了網上電子書評價標準的開發研究。但對于企業遠程網絡培訓項目的質量評估，目前仍然沒有一套明確的質量評價指標。本文結合國內外專家研究成果，將遠程培訓項目質量評價指標確定為以下幾類：

（一）學習類指標：通過系統記錄即可查找并進行分析的相關運行數據，主要包括：課程點擊率，學員學習累計總時數、課程按時完成率、學員在線活躍程度等。

（二）考核類指標：通過檢測、考試（核）所得出的具體數據，主要包括：作業（測試）完成率、參考率、合（及）格率、優秀率等。

（三）滿意度指標：指通過對學員及相關方面組織的評價，評價人員對被評價對象的各類評價要素的打分及評價意見。主要包括：對課程的評價、對管理的評價、對輔導（指導）的評價、對培訓效果的評價、對教學服務的評價、對網絡功能的評價等。

（四）對具體問題的評價意見：這類評價可能無法通過打分給出具體結論，只是由評價者針對某環節、某個方面問題發表的意見、做出的結論、提出的建議等。這類評價可能無法直接通過具體分數統計體現，但對于發現及解決運行中存在的問題，持續提升工作水平有直接的指導與推動作用。

遠程培訓項目質量評估主要指標

（一）對課程的評價：對課程評價主要來自用人單位及學員兩個方面。主要評價指標有：培訓內容與學員需求吻合度、對課程主講教師講解的滿意度、課程內容顯示方式、課程結構合理性、課程畫面清晰度、播放流暢程度、點擊率（量）、發帖贊許次數、學員平均成績，合格率、優秀率等。

（二）對輔導教師的評價：輔導教師評價主要來自遠程教育中心（站）及參加培訓的學員兩個方面。主要的評價指標有：對輔導解答及時性的滿意率，對輔導解答準確性的滿意率，對教師輔導態度的滿意率，輔導教師參加輔導工作出勤率，受學員指控或批評的次數，受學員贊許和表揚的次數，個人工作的準確率，相關業務合(協)作人員的滿意率。

（三）對培訓方案的評價，對培訓方案的評價主要來自學員及用人單位兩個方面。主要評價指標包括：課程內容知識點覆蓋率（是否全面涵蓋了學員全部應掌握的知識點），培訓內容對學員的適用性，培訓內容安排順序的科學性、培訓內容的深度、培訓內容的廣度，對總學時數的安排及開班時間安排是否合理，培訓活動安排是否科學，相關措施能否保證培訓質量，學員對課件表現形式的滿意率。

（四）對教學管理的評價。對教學管理的評價主要來自由遠程教育中心（站）及參訓學員的反映。主要評價指標有：開班通知送達及時率，課程準時完成率，作業（測試）完成率、參考率，學員對培訓活動組織滿意率，學員對課件滿意率，教師解釋答疑學員滿意率，教師到位準時率，教師資格符合率，學員問題解決滿意率等。

（五）對培訓實際效果的評價。培訓效果評價主要來自企業基層及學員對培訓結果的滿意度。主要評價指標包括：課件主要內容與培訓對象崗位工作需要吻合率，培訓主要內容對生產（業務）急需程度的吻合率，學員作業（測試）合（及）格率、成績優秀率，學員能力提升（或行為變化）滿意率，學習對學員工作推進作用的滿意率，培訓對學員單位工作質量提升的滿意率，學員對課件運行滿意率，學員對教學評價滿意率，學員對培訓組織與管理評價滿意率。

（六）對系統軟件性能的評價。對系統軟件性能的評價主要來自系統各類使用人員的反映。主要評價指標：頁面友好性滿意度，網絡流暢性滿意度，界面按鈕、欄目設置的滿意度，業務功能齊全性滿意度、流程操作便捷性滿意度，信息搜索、查詢滿意度，學習輔助工具滿意度，資源調動方便性滿意度，信息通知便捷性滿意度，系統穩定性滿意度等等。

遠程培訓項目質量評價模型

（一）評價指標體系構成模型。遠程培訓項目質量評價指標體系主要包括六大模塊內容，各模塊還可根據工作實際細分，其構成模型見下圖：

（二）評價指標體系數學模型。為便于計算遠程培訓質量評價量化分值，并對項目質量立整體的質量概念，通過對各項工作評價指標的研究，歸納建立起遠程培訓項目質量評價數學模型：

Z=∑XiYi

公式中：

Z表示對該項工作評價的綜合得分；

X表示評價指標權重系數；

Y表示評價指標分值；

n表示指標總數量；

i 表示通項公式的變量值，i=1，2，3，#8943;，n-1，n。

（三）模型使用方法。培訓評價實施過程中，評價組織人員要根據培訓項目內容、安排及實施要求，確定評價的對象與目標，設置評價指標的權重系數X i。為方便量化評價統計匯總等操作，對評價中各項指標Y i，應統一采用百分制評分，可設定60分為及格，也可根據具體情況設定合格分值。由評價者根據實際情況打分，再根據公式計算出Z值（量化評價分數）。

關于指標的效度與信度

（一）關于信度問題。許多人對遠程教育的實效性還是持有非常嚴重的疑慮，比如：我怎么知道學員上線學習了？他若請“槍手”替考怎么辦？如此等等，這是非常現實的問題。但是，遠程教育首先建立在學員自愿學習的基礎上，如果這個前提不成立，那么所有的工作都將失去意義。當然，在培訓運行中，我們可以通過一些技術手段或行政措施建立激勵與約束機制，保證所獲信息的準確，但更多還是要靠問題的科學性、趣味性和吸引力來引導評價者樂于參與并把真實感覺表達出來，以提高評分的有效性。

（二）關于指標的效度問題。在評價過程中，到底采用什么樣的指標更能客觀真實反映出項目運行效果及培訓質量，尤其針對不同對象，什么樣的指標更能反映出其工作質量與效果，這是我們研究的重點。所以在評價過程中，盡管我們在對不同對象的評價中會用到相同的指標，但這些指標所體現的重要程度是不同的。我們在對具體項目評價實施過程中，應結合評價目的、重點、要求為每個指標確定一定的權重系數，結合用戶評價數據及權重系數，得出科學合理的評價分值或結論。

（三）關于指標的量度問題。在培訓效果評價工作中，可用來量度各指標分值的方法很多，包括百分制打分法、直接權重值評分法，五等級五分值評分法等等。各種方法均有自身的合理性和適應操作的評價內容。本評價體系考慮多種評價通過遠程教育系統實施并統計有關數據，為方便評價計分及數據統計，各類評價表均按五等級法給出一定的評分參考區間，由評價者在規定參考區間內打分，既保證評價結果相對一致性，也便于評價者的操作與評價后的統計與分析。