嚴向宏



摘 要 培訓效果評估是考察是否達到培訓目標、分析培訓體系是否有效的重要途徑。基于柯氏四層級評估理論構建了企業安全培訓效果評估模型,同時結合模糊綜合評價的數學方法進行了應用分析。模型的輸出定量描述了企業實施安全培訓的總體效果,并分層次識別了企業安全培訓中的潛在改進機會。
關鍵詞 安全培訓 培訓評估 柯氏評估模型
中圖分類號:C961 文獻標識碼:A DOI:10.16400/j.cnki.kjdks.2016.07.075
Abstract Training evaluation is a primary way of tracking the training performance and understanding the effectiveness of training system. The research initiated a safety training evaluation model which based on Kirkpatrick four-level method and fuzzy comprehensive assessment tool. As a result, the evaluation model outlined overall training performance with quantitative description, and identified improvement opportunities on the safety training for enterprise as well.
Key words Safety training; training evaluation; Kirkpatrick evaluation model
美國的事故統計表明僅有15%的事故是由不安全的環境和設備造成的,大約有85%的事故是由人的不安全行為所致。①然而人的大多數不安全的行為主要是由于自身的安全意識淡漠或欠缺安全知識技能所致,通過實施有效的安全培訓可以增強從業人員的安全意識,提升安全知識、技能;進而杜絕由人的不安全行為引發的安全生產事故。②因此在企業安全管理過程中策劃合理的安全培訓并不斷提升培訓的效果顯得尤為重要。
1 安全培訓效果評估現狀
1.1 國外培訓評估的研究情況
國外常用的培訓效果評估模型有柯氏四級評估模型,考夫曼的五級評估模型、CIRO評估方法、CIPP模型等。③這些評估理論或模型在基礎數據的確定、評估方法的選擇、指標體系的建立等方面并沒有結合特定的領域,大多聚焦于培訓對企業人力資源管理的影響。④在近20年的研究過程中很多學者引入了統計學和會計學的理論,側重于對培訓效益的定量分析。例如菲利普斯五級投資回報率模型(Five-Level ROI)。
1.2 國內安全培訓效果評估進展
國內學者在引進國外評估模型的基礎上對培訓目標的實現程度以及培訓給企業帶來的效益等進行了研究。例如2015年賀龍,彭恩澤等基于柯氏理論對安全培訓效果評估模型進行了研究。在國家相關部委也陸續發布了安全生產領域的很多培訓大綱及考核標準,如《安全生產監察員培訓大綱》,《危險化學品經營單位主要負責人和安全管理人員的培訓大綱及考核標準》,《特種作業人員安全技術培訓大綱及考核標準》等等; 這些標準在一定程度上提升了我國安全生產培訓標準化的程度,也為高危行業的主要負責人、企業安全管理人員、特種作業從業人員等群體提供了安全培訓及效果評估的基本依據。⑤
2 評估模型的建立及應用
2.1 安全培訓評估模型
柯氏培訓評估模型在各類培訓中已得到廣泛應用,根據美國行政管理部門對300多家企業和行政管理部門的統計表明有67%的機構使用了柯氏模型來對組織的培訓效果進行評估。⑥柯氏模型包含了四個評估層次,即從反應層、學習層、行為層、結果層四個層次對評估的效果進行評估,各評估層的主要要素如表1所示。⑦
反應層評估主要是了解學員在培訓結束后對培訓課程的總體反應,包括學員對培訓內容興趣程度,對講師的授課方法以及課程策劃的滿意程度,對培訓項目在今后的工作產生影響的預期等。在反應評估層中應用較多的是問卷調查法,問卷調查法最大的優點是易于實施,講師可以在培訓結束后通過收集學員的反饋問卷直接掌握學員對培訓課程的反應;但問卷調查法也存在過于依賴學員主觀判斷的局限性,甚至會受到學員情感因素的影響。因而在設計問卷及實施調查時應該充分考慮這些潛在的影響因素,例如設計更多層次的客觀選項,保留被調查人可以發表自由評論的欄目,明確調查的真實目的是為了不斷完善培訓項目等。
學習層評估主要是評估學員學習的獲得程度,包括評估學員對培訓項目中相關知識技能、態度等內容的理解和掌握程度。學習層評估通常采用現場考試、情景模擬等方式來實現。考試最大的優勢在于可以直接獲得量化的結果,但也存在刻板、靈活性不足的缺點。為避免學習評估完全依賴于考試的不足可以在培訓過程中穿插一些小組討論、成果展示的環節,并把學員在這些環節的表現作為評估結果的一部分。
行為層評估是指考察學員對所學知識技能、態度的運用程度,通常是來自學員周圍的同事,特別是上級主管對學員在培訓結束后行為發生變化的反應。例如學員是否在工作中運用了培訓所學的內容,培訓后學員的態度是否發生了變化等。行為層評估一個顯著的特點是一般基于第三方反饋或行為觀察的結果,結果相對客觀真實,但卻要在培訓結束一段時間后才能實施,不利于收集收據。
結果層評估是判斷所實施的培訓是否為組織創造出價值,既包括經濟價值也包括社會價值。通常可以通過一系列指標來度量,如客戶滿意度、產品合格率、設備停機時間、傷害事故頻率等等。結果層評估要考察的不再是受訓者的情況,而擴展到整個大范圍的組織,對企業而言具有非常重要的意義。然而這些度量指標的績效水平通常都應歸因于企業實施綜合管理手段的結果,因而這個階段的評估難度也是最大的。
在應用柯氏四級模型的過程中結合了某企業安全生產的實際情況,按照適用性、導向性、多樣性、定量與定性相結合的原則構建了企業安全生產培訓效果評估的模型。如表2所示。
評價模型的一部分數據來源于滿意度問卷調查,為更精確反映調查結果的特征,在問卷調查中共設計五個結果區間,如表3所示。選取反饋最多的結果作為評估模型的輸入。
評估模型輸出的安全培訓量化效果將按照如表4進行評定,并根據不同的評價等級采取相應的措施。
2.2 培訓效果評估因子集
在研究過程中將柯氏模型的四個評價層次分別定義為綜合評價的四個一級評價因子,即 = {,,,}。在每個一級評價因子集中結合被評價組織的具體情況分別設置了若干二級評價因子。
2.3 因子權重
評估過程中要確定一級因子集和二級因子集各因子的權重,通常可以通過專家經驗與AHP層次分析法結合的方式構建因子權重系數。依據專家對各級因子的重要性進行定量評分描述,再采用加權平均的手段進行量化分析,最終可以得到因子集或評價因子的權重。
一級因子權重集:
= {,,,}
二級因子權重集合:
2.4 模糊綜合評價
模糊綜合評價即按每類因子集對培訓效果影響的貢獻程度進行綜合評價, 則對培訓效果(F)的綜合評級可以表示為:
以反應層評估因子為例,在輸入因子權重和量化得分后可以得到該因子集合的量化得分:
再以學習層評價因子U2 為例,在輸入的各因素權重與量化得分后,可得到結果:
最后,對整個培訓的效果的計算如下:
由評估結果可以看出,各評估層次的得分從反應層、學習層、行為層到結果層總體上呈現遞減的態勢。企業實施的安全培訓總體有效,但仍需進一步改善。
3 結論
將柯氏模型的四個層次作為綜合評價的四個子集;并運用模糊綜合評價法進行量化計算,最終根據量化的結果分析各培訓因素的有效性。該評估方法有幾個顯著的特點:(1)在反應層、學習層、以及行為層的評估過程中采取了雙向評估模式,如學員對培訓的反饋、講師對學員的反饋;學員在車間研討會的表現、主管對學員安全表現的反饋等。雙向評估模式可以在一定程度上消除單向信息輸入在數據準確性方面的不足。(2)在行為表現層評估中引入了學員對組織安全管理的參與程度方面的指標作為定量評估指標,如現場標準化作業審核的結果、員工對安全合理化建議的數量等。(3)評估模型既可以對所實施安全培訓在反應層、學習層、行為層以及結果層產生的影響分別進行量化評估,又可以對培訓效果進行綜合量化評價。根據各子項及綜合評價的結果分析安全培訓系統各因素的進一步改進機會。(4)在實施評價過程中,組織可以結合已有的管理手段靈活設計各評估子集的評估因子。根據每個因子的評價結果采取有針對性的管理措施。
4 模型應用的注意事項
(1)安全培訓是一種間接的安全管理手段,而學員的主管或經理卻往往要直接對學員的安全表現負責。評估后應讓學員的主管或經理充分了解安全培訓的效果,使他們能在日常管理過程中采取措施強化培訓效果。(2)組織不可能通過一兩次安全培訓或考核就能完全改善學員的安全意識,無論是安全培訓的策劃實施,還是對培訓效果的評估都應該是長期連續的過程。(3)在應用柯氏模型四個評估層次對安全培訓的效果進行評估時,獲得數據的過程從第一層次到第四層次由易到難。評估到第幾個層次,應根據企業的實際需求而定。
注釋
① 彭城,徐志剛.世界發達國家安全培訓情況[J].當代礦工,2004(8):14.
② 傅貴,李志偉,扈天保等.改善企業安全文化技術手段的應用研究[J].中國安全生產科學技術,2009.5(2):121-124
③ 李燕萍.培訓與發展 [M].北京:北京大學出版社,2007.
④ 賀龍,彭恩澤,陳本偉等.基于柯氏理論的安全培訓效果評估模型研究[J].中國安全生產科學技術,2015.3(11):186-187.
⑤ 黎艷珍.安全培訓效果評估體系研究 [D].長沙:中南大學,2009:5.
⑥ 張莉娜.S-E電力公司的培訓評估現狀與對策研究[D].天津:天津大學,2008:14.
⑦ (美)唐納德 · L ·柯克帕特里克,詹姆斯· D ·柯克帕特里克著.如何做好評估培訓:柯氏四級評估法(第3版)[M].奚衛華,林祝君等譯.北京:機械工業出版社,2007.