安徽省直機關干部培訓效果評估指標體系研究

摘要：通過對國內培訓效果評估指標體系問題進行分析，結合要實現的目標和構建原則，建立了一套包含4維度45個指標的效果四要素模型，并確定不同層次指標的權重，提出省直機關干部培訓效果評估指標體系具體的實施步驟。

關鍵字：培訓效果;評估指標體系

中圖分類號：D262.3 文獻標識碼：A

文章編號：1009-3044（2020）22-0120-03

開放科學（資源服務）標識碼（OSID）：

在當今全球大發展的局勢下，黨和政府面臨著各種各樣新的情況和問題，對各級干部的素質提出了更高要求，干部培訓在培養高素質合格干部中起指引和導向作用。2015年《干部教育培訓工作條例》的頒布到2018年《2018-2022年全國干部教育培訓規劃》的印發幫助安徽省直機關干部培訓逐漸步人正規化、制度化的軌道，但在培訓后效果的評估方面重視度還比較低，急需一套比較適用的評估指標體系在決勝全面小康、決戰脫貧攻堅、全面建設現代化五大發展美好安徽中發揮實效。

1 當前國內干部培訓效果評估指標體系存在問題分析

1.1 評估的覆蓋面太窄

主要從學員收集評估數據，而學員單位、培訓組織機構、黨校很少涵蓋或參與，最終會使整個評估工作缺乏公正性和可信度，這可能會導致參訓學員對評估結果不認同，這樣以后同一單位或者同一系統的參訓學員就會以敷衍了事的態度來參加評估或者干脆不參加，導致評估陷入惡性循環的嚴重后果。

1.2 評估意識相對缺失

大部分學員認為干部培訓效果評估沒有什么必要性，與之對應的是學員所在單位對于評估的漠視。

1.3 指標體系設計不完善

評估指標體系主要針對教學管理情況進行了測評，而對于學員回到工作崗位后產生的變化以及單位績效上的變化卻沒有涉及，評估深度不夠，不能真正反映培訓的效果，對今后培訓的借鑒作用也有限。同時，由于各指標所占權重都是相同的，不能清晰的界定評估中各個方面的重要程度。所選取的一些指標也不具有代表性，不能很好反映需要測評的內容，還存在對同一內容重復評估以及區分度較低的情況。

1.4 評估方法不規范

黨校對自身的評估由于缺乏監督，很容易出現評估方和被評估方是同一撥人的狀況。同時由于評估組織者相關評估知識的缺失，使得評估難以深入，而只憑經驗來評估又削弱了評估的有效性。

1.5 評估反饋機制不健全

目前評估的反饋缺乏相應的溝通機制，使得評估對單位、學員自身并沒有太多直接影響。對于單位來說只要按時按量完成調學任務就可以了，而對于學員來說，其個人的考核、職級晉升、薪酬提高與培訓效果并沒有直接聯系，因此單位、學員的積極性和參與度就會越來越低。

2 安徽省直機關干部培訓效果評估要求

黨校作為安徽直機關培養干部的主渠道，依據《中國共產黨黨校工作條例》、《關于加強和改進新形勢下黨校工作的意見》和《2018-2022年安徽省干部教育培訓規劃》安排，目前培訓緊緊圍繞首要任務、重點內容、提升質量這根主線，緊扣增強干部“八種本領”。要想為安徽省的后續發展提供堅強保障，結合安徽省直機關干部實際情況，對黨校干部培訓評估應從以習近平新時代中國特色社會主義思想為中心內容的理論教育更加深入、黨性教育更加扎實、專業化能力培訓更加精準、知識培訓更加有效、干部素質培養的系統性持續性針對性有效性不斷增強這五方面展開，同時評估要堅持定量與定性相結合，推進干部教育培訓機構辦學質量、項目質量、課程質量評估，健全共同參與的評估機制，繼續完善激勵約束機制，將培訓效果評估的結果納入績效考核當中。

3 安徽省直機關干部培訓效果評估指標體系的構建

3.1 評估指標體系構建的原則

（1）客觀性：指標體系必須立足實際、嚴格選取相應指標，同時在數據的收集整理和公式的運用上做到理論依據與實際情況相統一。（2）可操作：指標體系必須具備良好的操作性，為此務必使各指標的數據能較為方便的獲取，使評估過程完整而清晰。（3）穩中有變：由于評估工作的開展有一定的持續性和連貫性，必須增加一定的過程動態指標，作為衡量培訓效果的指標體系只有進行同步變動才能更好地發揮其效果。（4）獨立性：主要是指各指標間不能出現相互重復和代替的情況，各指標應包含有各自獨立的內容。

3.2 評估指標的模型建立和分析方法 本研究在柯氏四級評估模型[1]的基礎上探索建立了一套干部培訓效果四要素模型，從反應、學習、行為和結果等四方面來評估培訓效果。

反應層考察的是學員的直觀感受，從培訓目標、用書、培訓內容、培訓方法、授課態度、授課能力、授課效果、授課環境、拓展實踐、培訓管理等10個方面進行測評，能夠比較好地揭示培訓的教學管理狀況。學習層考察的是學員對相關培訓內容的掌握程度，重點分析理論、觀念、思維等三方面的變化。行為層主要從德、能、勤、績、廉等五方面來考核學員培訓后工作表現和業績上發生的變化。結果層考察的是培訓給學員所在單位部門帶來的改變，重點分析組織凝聚力、部門公共服務、部門組織能力、部門形象等方面發生的變化。

在干部培訓效果四要素模型的基礎上，結合國內外研究和省直機關干部培訓實際情況，初步選擇了88個指標作為第一輪指標體系。由于初選的指標可能帶有較多的主觀因素，操作起來也比較復雜，這里使用隸屬度分析、鑒別力分析、相關性分析[2]進行篩選。

隸屬度分析是就把預選指標作為一個集合，其中的元素就是指標，如果有Nk張問卷勾選第K個指標Yk，問卷數為M，那么Yk的隸屬度為Rk=Nk/M。Rk越大說明Yk被越多的專家認可，否則Yk要被刪除。鑒別力簡單來說就是獲得識別不同對象差別的一種手段。如果不同的培訓班次在某指標上得分相差無幾，則顯示該指標的鑒別力較低，無法識別出不同班次培訓效果的高低。鑒別力一般是通過變差系數來測定的。通過上面兩輪分析后，指標間還可能存在較大程度的關聯性，這樣會破壞評估指標的獨立性，因此接下來就需進行相關性分析，對關聯性高的指標予以刪除。

為了方便進行數據分析，本研究從省直機關黨校、省委黨校、省內大專院校、省公務員局等單位選擇了若干名專家和進行培訓管理工作的領導進行了咨詢。將預選指標制作成問卷，要求從中選擇44個最理想指標。共發出問卷60份，全部回收，其中有效的為57份。同時，使用分層隨機取樣法，從2017年到2019年所有主體班中選擇5個培訓班，用電子郵件發放問卷，請他們對預選指標進行勾選，有效回收400份問卷。對以上數據按上述方法篩選后最終構成一個包含21個反應層指標，5個學習層指標，11個行為層指標，8個結果層指標、4個領域層（反應層、學習層、行為層、結果層）、1個目標層（干部教育培訓效果評估）的最終指標體系。

3.3 評估指標的權重確定

（1）由于不同指標對于培訓效果評估的重要性不同，有必要先確定權重。這里通過構造判斷矩陣，用1-9比例標度f見表1），分別對同一層的指標間進行兩兩判斷，得出判斷矩陣R={rjk）nxn，其中rjk=1（j=k），rjk=1/rkj，共得到五個矩陣。

3.4 評估方法選擇

（1）測試比對法：測試比對法[3]主要用來評估學員對所學知識的掌握程度，通常在培訓前后對學員進行兩次內容基本相同的測評。為了避免當中非培訓因素的影響，一般設立一個對照組，與被對照組的測評結果進行比較，將培訓與學員對相關知識的掌握這兩者的聯系較為清晰的體現出來。

（2）密切人物考察法：想了解學員在單位的表現，最便捷的就是選擇與學員接觸較密切的單位領導和同事。為了避免同事之間可能存在競爭從而做出不客觀的評價，有的領導根據學員一時的表現主觀臆斷，為此采取從領導、同事、下屬和服務對象等多方面360度考察學員工作和服務上的變化[4]

（3）目標比對法：目標比對法是將學員應掌握的知識、持有的工作態度和能力、組織應達到的目標列入培訓目標中，將培訓后學員工作和單位績效上的變化與培訓目標相比對，以便找出培訓需要進一步加強的地方。這需要在培訓前進行良好的需求分析，了解各方面的訴求，以便使評估發揮實效。 （4）問卷法：使用問卷進行評估既可以事先擬好備選答案讓學員選擇，也可以讓學員自由發表其意見建議。由于問卷不記名，可以獲得一些較真實的想法[5]。

（5）訪談法：訪談法相對問卷法更加靈活主動，調查者可以根據需要對調查提綱隨時進行增加和刪除，對需要重點關注的環節花費較多時間交流和了解，具體可以采用引出、導人、商討等多種方式[6]，以便獲得盡可能多的信息。

在整個評估過程中應盡量多種方法結合使用，最大程度做到對培訓效果的認知與實際情況的有機統一。

4 黨校干部培訓效果評估指標體系的實施

（1）明確評估目標。一般是由培訓目標是否得到實現、評估過程的可操作性、評估的回報是否超過投入、各評估主體是否盡職盡責等來確定，其中最關鍵的是培訓目標的實現。這項工作主要由培訓組織機構完成。

（2）做好評估方案。主要涉及評估參與方、評估手段、評估的具體操作步驟、人財物安排、最終報告的生成與使用。這項工作由培訓組織機構、專家評估小組、黨校共同完成。

（3）獲取評估指標數據，其中培訓組織機構進行全程的監督和指導。評估各主體使用文獻查閱、訪談、問卷、測驗、重點考察等方法來獲取數據，注意數據獲取的全面性。其中，反應層獲取數據工作是在培訓中進行，由黨校和專家評估小組來具體操作，可采用調查問卷、訪談來從培訓學員獲取對培訓的直觀感受。學習層獲取數據工作在培訓即將結束前實施，由黨校和專家評估小組共同來實施評估，同時從管理、教學以及服務質量等方面展開對黨校工作的自我評估。在對黨校進行自我評估時主要由培訓組織機構牽頭，規范相關紀律，黨校獨立評估小組具體操作，對分管培訓的黨校領導、辦公室、人事處、教務處、后勤部門進行考察，力求客觀透徹。專家評估小組配合黨校工作，對當中的難點重點調查，對黨校調查結果中的疑點實施重新排查。在培訓結束后，開始由學員單位、黨校、專家評估小組展開下一步評估工作。行為層評估主要獲取體現學員培訓后工作表現和業績上變化的數據，可以采用密切人物考察、目標比對、問卷、座談等方式來進行。結果層評估主要獲取體現培訓給學員單位帶來改變的數據，可采用目標比較法、重點訪談以及問卷等方式。為了提高獲取學員和單位相關數據的可靠度和有效性，一般會進行兩遍評估，第一遍選擇在培訓后一個月內進行，借此使學員和單位熟悉評估流程并督促其按要求開展工作，第二遍在培訓后三到五個月內進行，選擇這時進行評估既可以及時掌握培訓對學員和單位工作產生的效果和相關不足之處，可以在下次培訓開始前及時采取整改措施，同時避免離培訓結束時間太久、各種非培訓因素摻雜而導致測得數據與實際培訓效果存在較大的偏差。

（4）整理并分析評估數據。評估數據因獲取方式不同體現形式也會不同，必須先按類別整理，對一些復雜數據的統計還需要使用圖表進行篩選，同時在這一過程中還需要剔除無效和不可信的數據，最后基于前面提到的數據分析流程進行分析以便得出結果。這項工作主要由專家評估小組和黨校共同負責實施。

（5）編制評估報告。編制報告的工作要十分慎重，相關結論的認定要有確鑿的事實和數據支撐，要充分認識本次評估報告可能給當前培訓和以后培訓帶來的各種影響。編制評估報告要涵蓋相關背景介紹、培訓計劃和實施情況的描述、評估步驟與落實情況、評估數據的處理、培訓實施效果與目標的比對、整改意見或有關建議。這項工作主要由專家評估小組負責，黨校配合工作。

（6）調整和完善培訓方案。依據評估報告中提出的整改意見或有關建議，漏洞和不足在下一輪培訓計劃的制定和實施中要及時地得到修改和完善。這項工作主要由培訓組織機構、黨校、專家評估小組共同負責實施。

（7）評估的結果反饋。評估的結果反饋主要著力點是本次培訓的整體評估效果，并有針對性的附上有關學員的培訓情況。結果反饋給學員讓其認識到自己與其他學員的差距和不足，明確日后努力的方向，同時提出進一步的培訓需求并反饋給培訓組織機構。結果反饋給學員所在單位讓其認識到培訓對其內部人員考核管理、外部公眾服務等眾多方面起到推動作用，讓他們更加透徹理解培訓的意義，今后對培訓經費的使用就更有計劃性和針對性，對培訓效果評估工作也會更加重視和支持。

5 結論

本研究力求設計出一套能滿足安徽省直機關干部培訓效果評估指標體系，在設計層面和執行層面盡量避免出現之前評估中出現的問題，但是為了讓制定出的指標體系真正發揮實效，還得在今后的實踐中加大評估理論的研究，制定配套的法律法規，健全激勵約束機制，真正地讓培訓落到實處，為省直機關干部建設現代化五大發展美好安徽發揮積極作用。

參考文獻：

[1]徐姌，高巖，新警師徒制培訓效果評估模型研究——基于柯氏四級評估模型[J].行政與法，2019（10）：96-103.

[2]屈小妹，付康，龍青春，基于改進模糊層次分析法的電力需求側管理效益綜合評價[J].湖北師范大學學報（自然科學版），2019，39（4）：1-9.

[3]彭冬蘭，同異反評估法在公共部門人力資源培訓效果評估中的應用一以廣西區**培訓中心為案例[D].廣西大學碩士論文。2006：9，22.

[4]黃燕燕.在職培訓有效性的模糊綜合評價模型與應用研究[D].華東師范大學，2019.

[5]吳海霞，易濤，易恒山.中醫藥院校本科畢業生就業質量跟蹤調查[J].學校黨建與思想教育，2019（24）：53-54.

[6]胡麗，崔連斌，羅勝飛，數據收集中訪談法與問卷調查法分別要怎么做[J].杭州金融研修學院學報，2019（8）：30-32.

【通聯編輯：李雅琪】

作者簡介：馬浩淼（1986-），安徽合肥人，工程師，碩士學位，主要研究方向為計算機網絡及軟件工程。