基于模糊綜合評價法的應急培訓項目效果評估模型設計

成都市疾病預防控制中心（610041） 張 雙 庹曉莉 曾 偉

基于模糊綜合評價法的應急培訓項目效果評估模型設計

成都市疾病預防控制中心（610041） 張 雙 庹曉莉 曾 偉△

目的構建應急培訓效果評估模型，不斷改進和完善培訓效果評估工作。方法采用德爾菲專家咨詢和模糊綜合判法構建指標體系和效果評價。結果對34名專家開展兩輪咨詢，專家權威均在0．77以上，平均值約0．80，第二輪專家意見協調系數經檢驗有統計學意義（P＜0．05），咨詢結果可靠。效果評估體系共包括4個一級指標（反應層、學習層、行為層、結果層）和16個二級指標，并確定了指標權重。構建的模糊綜合評估模型可以評估培訓的總體效果和各層次培訓效果，各層實施評估的時間依次在培訓期間、培訓剛結束、培訓后3個月以及更長的時間。評估方法可采用問卷法、關鍵人物訪談法、目標考核法、資料收集法等。結論構建的效果評估模型科學、合理、可靠，具有一定可操作性和推廣價值。

應急培訓 效果評估 德爾菲法 模糊綜合評價

為提高我市疾控隊伍應急管理與現場處置能力，我中心于2012年啟動了成都市現場流行病學培訓項目，至今已舉辦4期。培訓質量及效果如何，學員所學知識和技能有多少運用到工作當中，培訓的預期目標是否達到？暫未進行過深入系統的評估。現有的評估多是通過簡單的問卷進行單一的評價，培訓人員關注的是培訓過程的講授和指導，忽略了培訓前的計劃，培訓中期的質量控制以及培訓后效果與工作績效的有效結合［1］。如何提高培訓成果的轉化率成為急需解決的課題，效果評估即成了培訓工作的重要環節。基于此，本課題嘗試以我市現場流行病學培訓項目為例，構建一套應急培訓效果評估體系。

資料與方法

1．理論基礎 采用柯氏評估模型作為評估的理論基礎。該模型是國際著名學者威斯康星大學教授唐·柯克帕在1959年提出的四層次模型，根據評估的深度和難度將培訓效果的評估分為4個遞進的層次：反應層、學習層、行為層和效果層［2］，見表1。

表1 柯氏評估模型

2．評估體系構建思路 應用德爾菲專家咨詢法篩選評估指標，計算指標權重系數，運用模糊綜合評判法對培訓效果進行綜合評價；對效果評估的具體實施進行設計（包括評估對象、評估工具、評估時間等），完成評估體系的整體構建。

3．德爾菲法

（1）專家咨詢

以柯氏四層次模型為指標體系基礎框架，結合現場流行病學培訓項目背景和目的［3］，初步擬定評估指標［4］，編制咨詢問卷，進行2輪德爾菲專家咨詢。請專家對指標的重要性進行評判，并自行評價對指標的熟悉程度（Cs）及判斷依據（Ca），同時收集專家對評估指標體系的相關建議。重要性、專家熟悉程度以及判斷依據，根據不同程度，依次賦值［5］，量化見表2。

表2 重要性、熟悉程度、判斷依據量化表

（2）專家咨詢可靠性估計

專家咨詢的可靠程度一般用專家積極系數、專家權威程度和專家意見的協調系數來衡量。專家積極系數一般用問卷回收率來表示。專家的權威程度Cr＝（Cs＋Ca）/2，在0～1之間，值越高表示專家權威程度越高。專家意見的協調系數W，在0～1之間，值越高表示專家對全部指標評分的協調程度越好；計算協調系數并進行顯著性檢驗判斷專家對各項指標的評價是否存在較大分歧。

（3）指標篩選及權重確定

采用界值法［5］篩選評價指標，同時結合專家意見進行取舍。采用加權均值法計算指標權重，wj＝將指標（j）重要性均值（j）與權威程度均值的乘積做分子，該指標歸屬的某上級指標下所有m個指標重要性均值與權威程度均值的乘積累積之和做分母，兩者的比值為該指標的權重系數，

4．數據處理與方法

采用Epidata建立數據庫，SPSS18．0進行數據分析。計算各項指標的重要性均值、標準差、滿分比、變異系數、專家積極系數、專家權威程度、專家意見協調系數、指標權重，構建模糊綜合評估模型。

結 果

1．咨詢專家的基本情況

共咨詢公共衛生領域專家34名，其中高級職稱20名（58．8%），中級職稱14名（41．2%）；平均工作年限17年。24人（70．6%）來源于衛生技術部門，4人（11．8%）來源高等院校，6人（17．6%）為我市國家現場流行病學培訓項目畢業學員。

2．咨詢結果的可靠性估計

兩輪咨詢發出問卷34份，回收有效問卷34份，專家積極系數為100%；經計算，一級、二級指標專家權威程度在0．77～0．83，平均值為0．80。一般認為，專家權威程度≥0．70為可以接受［6］；專家意見的協調系數，如表3所示，第二輪高于第一輪，意見趨于一致。一級、二級指標的W分別為0．242、0．433，且經χ2檢驗后，P均小于0．05，有統計學意義，說明專家意見協調性較好，對指標權重的估計較為穩定可靠，結果可取。因此指標權重的計算采用第二輪咨詢結果。

3．篩選指標并確定指標權重

根據界值法計算結果，所有初選指標均保留，結合專家意見，對部分指標解釋更具體，對部分指標內容進行了擴展。評估體系最終包括4個一級指標，16個二級指標，具體解釋及權重系數見表4。

4．構建培訓效果模糊綜合評估模型

步驟一：建立指標權重集A，見表4。

步驟二：建立評語集

根據評價決策的實際需要，將評估效果按程度劃分為優、良、中、差四個等級。即評語集V＝（優、良、中、差）＝（v1，v2，v3，v4）

步驟三：建立模糊矩陣

模糊矩陣用Ri表示，Ri＝（Rij1，Rij2，Rij3，Rij4），其中Rij＝eijv/K，K為參加考評的總人數，v＝1，2，3，4，表示評估效果的等級。eijv為ij指標考核結果中等級為v的人數。可得到以下模糊評估矩陣Ri為：

以學習層為例（A2），若有100人參加考核評估，學習表現優、良、中、差的人數分別為45人、33人、12人、10人，則R211＝0．45，R212＝0．33，R213＝0．12，R214＝0．10。理論知識考試優、良、中、差的人數分別為60人、20人、15人、5人，則R221＝0．60，R222＝0．20，R223＝0．15 R224＝0．05。實踐操作考核優、良、中、差的人數分別為55人、27人、11人、7人，則R231＝0．55，R232＝0．27，R233＝0．11，R234＝0．07。案例分析考試優、良、中、差的人數分別為50人、32人、12人、6人，則R241＝0．50，R242＝0．32，R243＝0．12，R244＝0．06。得如下矩陣：

根據此步驟，可以得出反應層、行為層和結果層的二級指標模糊矩陣R1、R3、R4。

對R1、R2、R3、R4進行初始模糊綜合評判，Bi＝Ai*Ri，得B2＝（0．5245，0．5770，0．1377，0．0344），經歸一化處理后B2＝（0．41，0．45，0．11，0．03）。可知，“良”這一等級的隸屬度（比例）最高，“差”隸屬度最低，可以認為，該培訓學員的學習效果多為良好。根據此步驟，計算出B1、B3、B4，得出其他各層的評判效果。

步驟四：確定模糊綜合評判結果

（1）模糊綜合評判效果。

本研究培訓效果模糊綜合評判結果為B＝A·R

（2）模糊綜合評估值

因評估效果分為優、量、中、差四個等級，按4：3：2：1比例進行劃級，按百分制計算綜合評估值。假設本研究綜合評估結果B＝（0．25，0．40，0．21，0．14），則模糊綜合評估值S＝B×V，其中V＝（100，75，50，25），據此，亦可計算出各層的評估值。

綜合評估值S＝0．25×100＋0．40×75＋0．21× 50＋0．14×25）＝69

表4 應急培訓效果評估指標體系及指標權重

學習層評估值S2＝0．41×100＋0．45×75＋0．11 ×50＋0．03×25）＝81

5．實施設計

對評估的時間和方法、工具進行設計：反應層在培訓期間評估，采用問卷法、訪談或觀察等；學習層在培訓期間和培訓結束后盡快評估，采用考勤、觀察法、測試和演練等；行為層在培訓結束后3個月或較長時間內評估，結果層在培訓結束6個月－12個月后評估，可采用行為觀察法、關鍵人物訪談法、資料收集法以及目標考核等方法。

討 論

1．指標體系的全面性及推廣性：指標的選取，涵蓋培訓環境對效果的影響，知識技能的改善，培訓后行為和績效提升等多方面，緊扣現場流行病學培訓項目內容，指標選取合理、科學、全面。同時，該體系指標具有較強的通用性，絕大多數指標亦適用于其他培訓，推廣性較好。

2．指標設置的重要性和整體性：通過指標權重系數可知，學習層和行為層權重系數相對較高，但各層相差不大，提示在開展現場流行病學培訓以及效果評估的時候，有側重點，但均需兼顧，做好培訓保障、教學、成果轉化及跟蹤管理等工作，以確保總體效果。

3．模糊綜合評估模型的優勢：模糊數學對不確定現象往往能進行很好的說明和解釋［7］，本研究利用這一特點，對培訓效果這一模糊的概念進行綜合評價，更趨于合理可靠。且該模型既可以評估培訓效果整體情況，還能分析各層次培訓效果，便于培訓的不同主體對與目標培訓有差距的地方進行分析和改進，有效實現培訓效果的結果反饋［8］。

4．評估模型的可操作性：該模型雖暫時未能在實踐中得到應用，但對各指標都進行了詳細釋意，且對反映層、學習層、行為層和結果層的評估方法或工具，評估對象以及評估時間都進行設計，具有一定可操作性。

［1］王玲．GTH公司內部培訓效果評估方案設計．廣東：廣東工業大學，2012：1-67．

［2］Donald K．Great ideas Revisited：Revisiting Kirkpatrick｀s Four-Lever Mode．Training and Development，1996（1）：54-57．

［3］曾光．現場流行病學及中國現場流行病學培訓項目．中華流行病學雜志，2003，24，（4）：322-324．

［4］Bhatnagar T，Gupte MD，Hutin YJ，et al．Seven years of the field epidemiology training programme（FETP）at Chennai，Tamil Nadu，India：an internal evaluation．Human Resources for Health，2012，10（36）：1-7．

［5］曾光主編．現代流行病學方法與應用．北京：北京醫科大學中國協和醫科大學聯合出版社，1994：250．

［6］劉歡，吳晶，劉軍安，等．村衛生室基本藥物制度績效評價指標體系構建研究．中國衛生統計，2015，12，32（6）：935-938．

［7］孫振球主編．醫學綜合評價方法及其應用．北京：華西工業出版社，2006：103．

［8］張波．重慶市公務員培訓效果評估體系研究．重慶：重慶大學，2009：1-56．

（責任編輯：劉 壯）

△通信作者：曾偉，E-mail：3004658＠qq．com