


摘?要:培訓質量評價是提升培訓質量的重要途徑和手段,科學的評價模型及應用能夠有效提升培訓質量。文章以電力某培訓中心為研究背景,通過調研診斷、指標體系設計、指標權重確定、多輪預測和實測,最終形成適合培訓中心當下的培訓質量評價模型。該評價模型以培訓全過程為主線,就培訓對象反應層級反饋信息進行評價,并引入SPSS統計分析軟件對評價數據進行分析,能夠全面獲取培訓整體和各個過程績效情況,科學聚焦不同樣本水平的具體反饋信息,為持續提升培訓質量提供科學決策方法。在電力體制改革工作的逐漸推進下,電網企業逐漸意識到培訓質量管理提升的重要意義。培訓質量評價是檢驗培訓項目成敗的重要標準,培訓質量評價數據為全面審視現有培訓工作、規范培訓實施過程、提升培訓績效水平提供決策依據。國網某培訓中心(以下簡稱中心)專門成立項目組,充分利用多年來積累的培訓項目運營管理實踐經驗,引入SPSS統計分析軟件,重新對培訓過程質量評價關鍵點及評價模型進行優化,創新建立具有中心特色的基于SPSS統計分析軟件的全過程培訓質量評價模型,有效提升培訓評價質效,同時也為中心其他專業提供有價值的管理工具。
關鍵詞:SPSS統計分析軟件;反應層評估;評價模型;培訓質量;AHP層次分析法
中圖分類號:F272.92文獻標識碼:A文章編號:1005-6432(2024)14-0098-05
DOI:10.13939/j.cnki.zgsc.2024.14.024
1?理論基礎
中心基于SPSS統計分析軟件的培訓質量評價模型構建主要依據Kirkpatrick四層評價模型—反應層和質量管理-過程方法等理論開展研究。
Kirkpatrick四層評價模型就是將培訓評價進行合理分層,具體分為反應、學習、行為、結果。其中,反應層級反映的是培訓對象對培訓過程的感性認知。主要是針對課程內容、授課師資、組織方式方法、教材講義等內容,合理測量估算受訓者的主觀綜合感受,通常情況下采用問卷調查的形式進行測評[1-2]。
質量管理原則之一:過程方法。過程是一組將輸入轉化為輸出的相互關聯或相互作用的活動。過程方法是系統策劃整個體系所需的各種過程,識別確定這些過程的順序和相互作用,按照規則控制過程運行,實現預期結果,并持續改進過程[3]。
2?評價量表設計與檢驗
2.1?量表指標體系構建
在基于Kirkpatrick四層評價模型—反應層和質量管理—過程方法基礎上,通過5次頭腦風暴,多次專家調研和客戶訪談,將培訓過程劃分為培訓策劃過程、組織管理過程、支持服務過程和教學師資4個方面。并進行過程分解,從中提煉出11個二級指標。具體指標體系如圖1所示。
2.2?指標題項設計
項目組參考培訓中心歷史調研問卷以及其他文獻資料,采用李克特五級量表形式進行相關測評題項的設計。在幾輪預測過程中,項目組分析人員通過主成分分析法對問卷中李克特量表題項進行探索性因子分析。根據KMO和Bartlett球形檢驗、解釋的總方差和旋轉成分矩陣結果,對問卷中題項及指標體系進行調整、合并或刪除,降低量表的冗余度,盡量減少和控制那些與測評目的無關因素對測驗結果的影響,最終形成現有測評問卷。
2.3?信度效度檢驗
2.3.1?信度檢驗
對于本問卷量表題項采用α信度系數(克隆巴赫系數)進行信度檢驗。項目組分別對4個維度(預設)使用信度分析,通過SPSS統計分析軟件計算各維度α信度系數(克隆巴赫系數),并進行匯總,得到信度分析匯總表,如表1所示。
從信度分析結果可以看出,本問卷克隆巴赫Alpha值為0.881>0.8,且4個維度克隆巴赫Alpha值分別達到0.931、0.980、0.973、0.934,均高于0.9。結果表明,該量表的內部一致性很高,在培訓滿意度測評方面具有普適性,用此問卷調查的結果是可靠的[4]。
2.3.2?效度檢驗
第一,內容效度。內容效度方面,本問卷依據在基于Kirkpatrick四層評價模型—反應層和質量管理—過程方法,參考其他文獻和量表基礎上進行設計開發。并進行了預測試,經過中心領導、統計學專家和咨詢專家多方多輪修訂而成,具有良好的內容效度。
第二,結構效度。在實際培訓項目實施過程中往往涉及多門課程或多位培訓講師。因此,在設計問卷時將問卷分為兩部分:第一部分包括策劃組織、設施環境和支持服務變量,第二部分包括課程師資變量。在進行結構效度分析時,同樣分兩部分進行結構效度分析。兩部分結構效度分析均采用探索性因子分析方法對本問卷進行結構效度檢驗。
首先,對第一部分量表題項進行KMO和巴特利特球形檢驗。由檢驗結果可以看出,KMO=0.888,巴特利特球形檢驗P=0<0.05,說明該量表數據適合做因子分析。其次,在KMO和巴特利特檢驗合格基礎上進行因子分析,SPSS統計分析軟件直接輸出分析結果,將其匯總形成表2結構效度分析指標匯總。
由表2可以看出,通過探索性因子分析最終探索出3個公因子,且各題項與公因子之間有著良好的對應關系,這種對應關系與量表設計基本相符。并且所有題項的因子載荷系數均大于0.6,最小為0.699。旋轉后的累計方差解釋率為75.28%,即以上3個公因子能夠解釋參與分析題項的75.28%的信息,統計學上認為信息表達良好(60%以上可認為有效表達)[4]。
對于問卷第二部分課程師資部分,進行結構效度分析。同樣使用探索性因子分析,其結構效度分析結果信息匯總如表3所示。
表3結果顯示,本部分KMO值為0.924,巴特利特球形檢驗P=0<0.05,非常適合做因子分析。通過因子分析最終得出1個公因子,所有題項的因子載荷系數均大于0.9,最小為0.913,表明該公因子與題項對應關系良好,這種關系與量表設計完全相符。旋轉后的累計方差解釋率為89.34%,以上綜合說明本部分量表具有良好的結構效度[4]。
3?質量評價模型構建
培訓質量評價模型主要探究如何科學合理綜合統計分析調研對象對于培訓質量滿意度測評值,為培訓質量全面提升提供有效數據支持。培訓質量評價模型主要包括指標權重的確定和模型構建兩個部分。
3.1?AHP層次分析法確定指標權重
指標權重確定方法主要有兩種。第一種是使用因子分析法,求得成分得分系數矩陣,從而確定各級指標的權重。但該種方法一般方差解釋率不能達到100%,不能夠代表所有題項信息,具有一定的局限性。第二種方法是AHP層次分析法,該種方法在確定指標權重時,將定性和定量分析方法有機結合,應用較為廣泛。AHP層次分析法首先使用探索性因子探索因子,然后利用專家打分法建立打分矩陣,最后計算因子的權重系數。本研究在模型構建過程中確定各級指標權重時采用AHP層次分析法[5]。
項目組按照AHP層次分析法構建步驟:建立層次結構模型、構造判斷矩陣、層次總排序及其一致性檢驗等,最終得出各級因子指標權重。如表4所示。
3.2??構建滿意度評價模型
基于AHP層次分析法確定的一級指標、二級指標各指標的權重值,構建培訓滿意度質量評價模型。具體模型如下。
T=∑4i=1wiFi
Fi=∑nj=1ujRj
Rj=∑njXjn
式中,T表示樣本整體滿意度值;Fi表示第i個一級指標的測評值;wi表示第i個一級指標的權重;Fi表示一級指標的測評值等于對應該一級指標項下二級指標與其對應的權重乘積;Rj表示第j個二級指標的測評值;uj表示第j個二級指標的權重;Rj表示二級指標的測評值等于該指標項下各個題項的均值。
4?評價模型應用
本項目使用該模型量表進行了實測,以參加2020年11月某培訓班合計270位學員為調研對象。通過微信小程序“問卷星”發布,共計收回問卷270份,刪除有缺失值等個案,有效問卷215份,問卷有效率80.0%。通過該模型對本次培訓班培訓質量進行評價,并使用SPSS統計分析軟件進行數據清洗、整理和分析,結果如下。
4.1?整體情況分析
本次實證數據結果表明,整體培訓滿意度高,具體數據如圖2所示。整體“滿意”評價占比高達96.2%,平均得分4.71,標準差0.42(用于度量個體偏離平均值的離散程度),“非常滿意”評價集中度高。沒有“不滿意”和“非常不滿意”情況。同時,“策劃組織、設施環境、課程師資和支持服務”四個維度“滿意”及以上評價占比均在97%以上。說明調研對象對于培訓的策劃組織、設施環境、課程師資和支持服務都很認可。
4.2?個別維度聚焦
本模型優勢不僅能夠科學整體地評價每位學員反饋情況,而且能夠聚焦培訓過程中需要改進或完善的地方。如通過本次實證數據分析發現以下內容。
4.2.1?策劃組織水平需進一步提升
培訓組織策劃是培訓項目成功實施的保證,是培訓質量提升的關鍵變量。通過前期方差分析可以看出,大部分樣本對于各維度滿意水平無顯著性差異。但在“策劃組織”維度,部分樣本呈現出明顯差異。如:36歲及以上樣本對于策劃組織維度測評均值價明顯低于其他年齡樣本均值;研究生及以上學歷對于“策劃組織”維度評價均值明顯低于本科及以下樣本均值。
通過進一步分析“策劃組織”維度,筆者發現“策劃組織”項下的二級指標“培訓時間安排”得分最低。說明“策劃組織”測評均值較低主要在于“培訓時間安排”維度測評均值低。可能原因是培訓學習與原崗位工作沖突較多,尤其是36歲及以上或研究生以上樣本群體一般屬于單位骨干力量,工學平衡問題更顯突出。
所以,后期在培訓策劃前,需要切實做好需求調研,重點關注單位骨干力量人群,力爭平衡工學矛盾,進一步提升整體培訓策劃組織水平。
4.2.2?支持服務過程需持續完善
培訓支持服務為培訓項目順利開展提供后勤保障,支持服務水平優劣直接影響培訓感受水平。在“學歷”樣本水平方差分析過程中,發現研究生及以上學歷樣本均值對于“支持服務”維度評價明顯低于本科及以下樣本均值。同樣,從各維度滿意度評價分布情況中也能看出“支持服務”維度“非常滿意”評價占比72.09%,低于“課程師資”“設施環境”“策劃組織”三個維度。
通過進一步分析“支持服務”維度,筆者發現“支持服務”項下的二級指標“餐飲服務”測評均值為4.61,僅排在“培訓時間安排”之前,處于倒數第二的位置。排除不在培訓地就餐或偶爾就餐但仍做評價因素的影響外,說明調研對象中有部分學員對于餐飲服務有所要求。
所以,后期培訓為進一步提升支持服務保障水平,應需參考學員需求,合理改善住宿餐飲條件,為學員學習生活提供更好的環境保障。
5?結論
基于SPSS統計分析軟件的培訓質量評價模型,以Kirkpatrick四層評價模型—反應層和質量管理—過程方法為理論依據,以AHP層次分析法確定權重為前提,按照分解、比較、判斷、綜合的思維方式進行綜合評價。且充分考慮題項、二級指標和一級指標等各級變量的相關關系、影響關系具有很強的科學性和實際應用價值。同時,該模型以SPSS統計分析軟件為評價工具,能夠深層次挖掘測評數據,探求不同樣本水平、不同評價維度的表現數據以及交互信息,能夠很好聚焦個別樣本水平和繼續改進提升的評價維度,為持續提升培訓質量提供決策支持。
參考文獻:
[1]張媛濤.公務員培訓效果評價研究[D].西安:西北大學,2019.
[2]韓晉偉.某航天企業安全生產培訓效果評價研究[D].北京:首都經濟貿易大學,2019.
[3]李詩然.基于信息化平臺的《員工培訓與開發》全過程考核方法研究[J].科技經濟導刊,2020,28(3):16-17.
[4]周俊.問卷數據分析——破解SPSS的六類分析思路[M].北京:電子工業出版社,2017.
[5]邢凱.基于灰色綜合評價法的供應商評價[J].納稅,2017(13):66-67.
[作者簡介]姚津,碩士,中級職稱,中電偉恒(北京)科技發展有限公司天津分公司,研究方向:人力資源。