孔令強 林秀芳 馬佳嘉 薛微
摘 要:柯克帕特里克的“柯氏”評估模型自1959年建立以來,得到諸多領域的廣泛應用。反應、學習、行為和結果四層面基本能夠對評估主體進行細致的全面評價,但這主要局限在一個封閉的自我評價空間,并沒有向外延擴散。在原有的第四個層面結果層面后再加上第五個層面——傳遞層面,則進一步延伸了該模型是否繼續實行或者擴散的客觀作用和意義,則會使得該評估模型具有更強的邏輯性和聯系性。
關鍵詞:評估模型;第五個層次;傳遞層面
中圖分類號:G71 文獻標識碼:A
一、柯氏評估模型的基本架構
唐納德?柯克帕特里克教授創立的“柯氏”四層次評估模型作為目前世界上各領域廣泛應用的培訓評估工具,從1959年算起迄今已有將近56年的歷史。經過柯氏家族第二代人的努力,柯氏四級評估模型得到了更進一步的延伸和優化。該模型從評估工作的橫向和縱向角度把培訓效果分為4個遞進層次:反應層面、學習層面、行為層面和結果層面。反應層面所反饋的問題重點是評估被培訓者的滿意程度;學習層面反饋的重點問題是測定被培訓者的學習獲得程度;行為層面所反饋的問題重點是考察被培訓者的知識運用程度;成果層面則是側重于反饋通過計算工具測算出培訓所創造的經濟效益。更通俗易懂的見表1。
“柯氏”模型產生之后被廣泛應用到各個領域,如今又在企業培訓中獲得了更為充足的發展。作為科學決策的重要工具,進一步研究評估模型,深入完善評估模型則成為了首當其沖的要求。經過半個多世紀的理論研究與實踐驗證,柯氏四級培訓評估模式模型不但沒有隨著時間的推移而褪色,反而越加光芒四射,為培訓的開展與提升創造著令人矚目的價值。
柯氏評估模型帶給培訓評估領域的不僅僅因為它是一種好的方法,更為關鍵的因素是模型本身架構的清晰性。除了邏輯清楚、步步緊追的研究思路外,還給我們呈現出理論結構的完整輪廓,這讓評估領域的專業人士和非專業人士皆可用柯氏評估模型發揮其最大的理論優勢和功效。
二、柯氏評估模型存在層次缺陷的理性論證
縱觀國內外的培訓評估研究成果,我們可以發現,對于行業效益的評估受到了各國和相關組織越來越多的重視,更多的更加客觀的、科學的評估方法和評估模型也不斷的涌現出來,水平參差不齊。基于這一情況,對評估方法和模型的認識需要有一個理性的態度。俗語道:“金無足赤,人無完人。”任何理論的廣泛應用一方面使得該理論得到較大程度的推廣和普及;另一方面也會使得理論在應用過程中被充分地暴露弱點,在這一系列過程中不斷完善,從而最優。正如杰克·菲利普斯在《柯氏評估的過去和未來》一書中所說:在一些研究中我們發現,雖然已經得到了第四級的預期業務結果,但是投資回報率的狀況不佳,我們想了解投資回報率的情況,但這在當時還不是唐納德?柯克帕特里克所提出的業務結果的一部分;因此我們認為投資回報率是一個完全不同的層級,所以應該在四級的基礎上再加上一級,這樣就會更加合適,于是就有了第五級。菲利普斯雖然用近似玩笑的話提出了評估模型第五級的需要,但這已經充分說明了理論完整性和延續性的重要程度。
“柯氏”評估模型經過ASTD的影響力帶動和廣泛的宣傳,可以說是培訓評估最為主流的評估模型,在多個領域的應用也證明了其現實意義。但從目前評估的現實實踐看,暴漏出了兩個弱點:第一,評估的四個層面中,前兩個層面(反應層面和學習層面)比較容易做到,后兩個層面(行為層面和結果層面)鑒于層次較多、時間周期長等客觀因素相對比較難持續操作;第二,從更為全面角度看,該評估模型的可延續性沒有得到充分體現。“柯氏”評估模型第四層結果層次的評估主要考慮的是受訓者參加培訓后其所在的組織的工作績效是否有所提高,可對培訓進行成本收益分析,培訓成本易于計算,培訓的經濟效益卻較難獲得。由于涉及許多復雜的因素,該層面的數據收集相當困難,使得結果層的評估極其困難。 出現了這一困境,就需要評估主體做出選擇,即培訓工作是否需要繼續。期望理論認為只有當人們預期到某一行為能給個人帶來有吸引力的結果時,個人才會采取特定的行動,才會有激勵力的產生,即激勵力=效價(活動對自身有用性評價)×期望,這就更有必要對第四層評估結果重新梳理,進行第五層次評價。然而,“柯氏”評估模式恰恰似乎缺少了這一環節,這就使得“柯氏”培訓評估模型的第五層面意義凸顯出來,也就是傳遞層面。具體實際操作指標對比見表2表3。
表2和表3分別是“柯氏”四層面評估模型和五層面評估模型的相關應用內容。五層次柯氏教育培訓評估理論模型的主要優勢主要由以下幾個方面:第一,五個層面的評估使得培訓的證據鏈更加全面和詳實,更具說服力;第二,更加切實回應了柯氏評估模型原則之一,即在展示價值之前必須創造價值,改變了人們普遍認為評估只是在培訓項目結束后才開始,目的是簡單了解一下培訓結果而已的誤區,事實上是通過評估結果加強后續措施,讓培訓創造實實在在的價值;第三,展示更堅實的影響力衡量指標,第三級和第四級衡量指標雖也是向利益攸關方展示培訓效果的最重要衡量指標,但仍不如傳遞層面更為顯明、直觀、高度的總結性和巨大的“殺傷力”,會令決策層更清晰明了做出下一步的決策判斷,彰顯理論的優勢性。
帕累托最優原則指出:從一種狀態到另外一種狀態中,在沒有任何人情況變壞的前提下,至少使一個人的情況變好;人們在追求“帕累托最優”的過程,其實就是不斷完善管理過程的行為,其目的是充分利用有限的人力、物力、財力,使得管理行為更為嚴謹。如果能將“帕累托最優原則”用到評估方面,將在沒有使柯氏四級評估模型削弱的情況下取得更好的效果,相比之下,五層次評估模型則更具有比較優勢,達到了新的“帕累托最優”。
三、柯氏評估模型第五個層面的內涵及合理性解釋
內涵,通常指某一概念和事物最直接和基本的內容總和。
第五個層面是繼反應層面、學習層面、行為層面、結果層面之后的“傳遞層面”。何為“傳遞層面”?通俗意義講就是在對培訓的成本效益通過科學方法全面計算之后,從更為經濟化的角度來科學決策該培訓工作的持續與否。如果成本小于收益,培訓評估后效益良好,則繼續該培訓行為,從第一層面繼續循環;如果成本大于收益,培訓評估顯示效益較差,則可以終止該培訓行為,循環結束。
針對柯氏評估模型第五個層面存在必要性的分析主要分為兩個層面:概念層面和內涵層面。概念層面分析主要指從模型的基本含義和框架結構的完整性分析,確保該理論形成一個完整的理論鏈條;內涵層面分析主要指從柯氏評估模型第五個層面的補充對整個模型對實際應用分析的作用而言,以證明理論的理論意義和實踐意義高度契合。具體如下分析:
(一)保證理論鏈條的完整性
證據鏈在柯氏評估理論中主要指,按照一到四級評估順序依次呈現的相關數據、信息和證詞,以展示通過業務合作伙伴方式完成的培訓項目所帶來的價值。任何理論都有其完整的理論框架和鏈條,如此才能稱為一個完整的理論。柯氏評估模型正式直觀上缺失了“傳遞層面”這一環節,出現了不完整情況,這樣評估流程就不能稱之為一個完整的鏈接。更為嚴謹地講,理論的不完整對學術評估領域就形成了潛在的漏洞。第五個層面的補充,則使得柯氏評估模型結構更加完整,層面更加豐富,評估理論也更加有說服力。
(二)充實了評估模型的理論內涵
該評估模型一直作為評估領域的典型,其理論內涵相當豐富。培訓評估的發展現在已經成為了流行趨勢,雖在中國尚處于新生事物階段,但隨著內外環境競爭的激烈,該評估模型會得到進一步理論延伸,開發出更大的價值。四層次分析法充分考慮了培訓全過程環節,這是在評估工作中使得柯氏評估法一直更加權威的源泉所在。第五個層次的加入,更進一步充實了該評估模型的理論內涵,這讓評估過程和結果及其后期的價值效能指標完美地結合在了一起,呈現了“多贏”局面。
(三)更準確引導行動的延續與否
評估的目的在于讓活動組織者清楚地知道活動的成本和收益比,從而決定活動是否繼續,為活動組織者提供了一個權威參考。固有的四層評估模型用科學的理論方法和直觀數據分析,呈現出了活動的各項結論;但是并沒有給活動組織者建議或者說是有意的提示。第五個層次的增加把這一問題正面提出,專門供評估對象的組織者決定該活動的延續與否見表4。
根據報告我們可以直觀得到這樣一個結論:管理層的支持與否或者說管理層對培訓評估的理解程度直接關聯著評估工作的成敗和效益。傳遞層面存在的最大意義莫過于給管理層或者決策層一個更為有效的觀察指標,以從潛在的層面決定他們下一步行動。
(四)學術負責的需要
學術領域講究科學、認真、負責、嚴謹,任何理論的提出都要有科學的依據和實踐的可操作性。不成型的理論或者不夠完整的理論在一定程度上可以說是對學術的不尊重、不負責,作為從事學術探討的所有人來說,都有義務幫助理論進一步完善,也有責任指出理論缺陷,這才是學術負責精神的實際所在。
在評估工作開展的最后,評估方總要向利益攸關方展示其價值所在。在展示培訓所帶來的實際價值上,最有效的方法是開展影響力研究并將研究結果直觀呈現出來,這樣可以使一個培訓團隊的角色從請求管理層允許下屬參加培訓轉變到讓管理層主動向他們尋求有關的業務需求、問題解決和機會把握方面的幫助,這是培訓評估工作追求的境界。這其中的影響力研究是基于培訓結果的廣義闡釋,這也正是用一條極具說服力的證據鏈展示培訓帶來的基本價值的最好詮釋。
四、柯氏評估模型補充第五個層面的前瞻性意義
柯氏評估模型的第五個層面—傳遞層面的提出,比較完整地補充了該模型與生俱來的微弱缺憾,這是理論的一大進步。研究表明,大多數培訓項目的評估到第二級就會戛然而止,這是非常不幸的,因為如果參訓學員不通過一些行為改變將所學的知識和技能應用到工作中,培訓本身的價值就會變得很小。原因在于第三級行為的實施超越了培訓專業人員的掌控范圍,我們把第二級評估和第三級評估之間的空隙稱為“巨大的斷層帶”。而第五個層面的確實也可成為隱藏的“第二個巨大的斷層帶”,這對培訓工作是否需要繼續或者繼續的方向和策略調整都有直接的效應影響,是不能夠被忽略的。
培訓工作本身就是一項整合信息的過程,是把培訓工作的所有信息“化零為整”,對于評估結果這種無形的業務結果來說,最好的辦法是將其與相對應的衡量標準聯系在一起,以確保評估過程的可行性和可信性。這就需要證據鏈條的完整性,除了常規評估材料的證據外,對于評估本身的證據鏈條完整性更是必不可少。
柯氏評估模型有一項基本原則,即期望值回報率是價值體現的最終指標。期望值回報率不僅能夠讓我們清楚明了看懂培訓工作本身價值存在,更能從技術層面體現業務和人力資源建設工作的最高目標。第五個層面——傳遞層面本質上正是期望值回報率的效能指標體現,只是用更加量化的方法呈現出來。除了需要協商確定的培訓期望外,還需要把期望量化的、可衡量的、可觀察的評估指標,正是這一需要,催生了傳遞層面的客觀出現。
參考文獻
[1]朱瑞娟.企業培訓效果評估方法研究[D].長沙:湖南大學,2004.
[2]詹姆斯?唐納德?柯克帕特里克(美).柯氏評估的過去和現在、未來的堅實基礎[M].南京:江蘇人民出版社,2012.
[3]周維.高校教師教育技術培訓效果評估研究[D].南京:南京師范大學,2012(3).
[4]馬旭玲.氣象培訓評估業務現狀與展望[J].繼續教育,2013(7).
[5]弗洛德?J福勒(美).調查問卷的設計與評估[M].南京:江蘇人民出版社,2010.
[6]易定紅,董偉等著.干部教育培訓質量評估研究[M].南京:江蘇人民出版社,2004.