基于CIRO培訓評估模型的繼續(xù)護理學教育效果評價指標體系的構建

蒲海旭，馮曉林，袁 群，劉紅華，俞 纖，顏立春，張銀華

湖南中醫(yī)藥大學護理學院，湖南 410208

繼續(xù)護理學教育(continuing nursing education,CNE)是指護士在畢業(yè)后繼續(xù)進行規(guī)范化的專業(yè)培訓，以學習新知識、新技術、新方法的一種終生性護理學習方式[1]。隨著社會對護士專業(yè)素養(yǎng)及能力要求的不斷提高，護理人員需要在整個職業(yè)生涯中不斷接受繼續(xù)護理學教育，以增強自身業(yè)務能力，醫(yī)院則期望通過開展繼續(xù)護理教育提升院內整體護理質量，繼續(xù)護理學教育的重要性已得到全球衛(wèi)生行業(yè)的一致認可[2]。但研究指出，國內外當前開展的繼續(xù)護理學教育在培訓內容、培訓方式、考核方法等設置方面存在諸多不足，直接影響了繼續(xù)護理教育的培訓效果，而構建全面、合理的繼續(xù)護理學教育效果評價指標體系能對繼續(xù)護理學教育進行客觀評價，以發(fā)現(xiàn)其現(xiàn)存缺陷并加以完善，從而更好地提高繼續(xù)護理學教育的培訓效果，提升參與繼續(xù)護理學教育的護理人員綜合素質[3]。近年來，國外已通過應用柯氏模型、CIPP 模型等逐步構建出成熟的繼續(xù)護理學教育效果評價體系，而國內目前仍然是通過護理人員參與繼續(xù)護理教育后的滿意度及理論考核和操作考核成績等指標對培訓效果進行評價，評價指標的設置隨意性強，繼續(xù)護理學教育效果評價體系亟待規(guī)范。CIRO 培訓評估模型是由英國的Warr 等提出，評估模型由4 項評估活動組成，包括背景評估、輸入評估、反應評估和輸出評估，分別能對培訓的必要性、可能性、有效性和相關結果進行全要素的評價，目前已成為最常用、操作性最強的培訓評估模型[4]。因此，本研究基于CIRO 培訓評估模型，并采用德爾菲專家咨詢法和層次分析法構建繼續(xù)護理學教育效果評價指標體系，旨在對繼續(xù)護理學教育效果進行全方位評價，并為規(guī)范繼續(xù)護理學教育效果評價提供科學可靠的工具。

1 研究方法

1.1 成立研究小組 研究小組由4 名成員組成，包括1 名具有博士學歷的教授及3 名碩士研究生，研究領域涉及護理教育、護理管理等。研究小組內的成員負責檢索繼續(xù)護理學教育相關文獻，對各級評價指標的內容進行商討及確定，編制指標體系的初稿，聯(lián)系確定函詢專家，發(fā)放與回收問卷，分析處理數(shù)據(jù)等。

1.2 確定指標體系初稿 研究小組在查閱文獻及半結構式訪談的基礎上，結合現(xiàn)階段繼續(xù)護理學教育的實際開展情況和相關衛(wèi)生政策，并以CIRO 培訓評估模型為導向確定繼續(xù)護理學教育效果評價指標體系的初稿。①查閱文獻：檢索Cochrane Library、PubMed、EMbase、EBSCO、中國知網(wǎng)、萬方數(shù)據(jù)庫、維普數(shù)據(jù)庫、國際指南網(wǎng)(Guidelines International Net-work,GIN)、美國指南網(wǎng)(National Guideline Clearinghouse,NGC)、英國國家臨床醫(yī)學研究所(National Institute for Health and Care Exellnce,NICE)以及中國指南網(wǎng)(China Guideline Clearinghouse,CGC)等收集有關繼續(xù)護理學教育效果評價的循證指南、證據(jù)總結、最佳實踐、專家建議、系統(tǒng)評價、原始研究等類型的相關文獻，并檢索與繼續(xù)護理學教育相關的衛(wèi)生政策及法律法規(guī)。②半結構式訪談：對參與繼續(xù)護理學教育的護理專業(yè)學生、護理管理者和護理教育專家進行訪談，通過整理分析訪談內容，并結合CIRO 培訓評估模型，研究小組在經(jīng)過討論后歸納出4 個一級指標、12 個二級指標以、41 個三級指標。

1.3 制定專家函詢問卷 在確定繼續(xù)護理學教育效果評價指標體系的初稿后，制定專家函詢問卷，問卷內容如下：①問卷說明，重點介紹研究的目的、研究意義及問卷填寫的方法。②指標函詢，即對各級指標進行函詢，指標的重要性評分采用Likert 5 級評分法，從“非常不重要”到“非常重要”分別賦值1～5 分，并在各指標后設置“意見修改”欄和在各級指標最后設置“您認為需要補充的指標”欄。③專家情況調查，包括專家的基本信息調查表、內容的熟悉程度調查表、判斷依據(jù)調查表。

1.4 選擇函詢專家 通過查閱文獻，在評價指標體系的相關研究中，選取的咨詢專家人數(shù)一般為15～50人[5]。本研究選取了17 位專家進行函詢，專家納入標準為：①從事護理教育及管理、臨床護理及管理、衛(wèi)生事業(yè)管理及護理科研工作；②相關工作經(jīng)驗≥10年；③本科及以上學歷；④中級及以上職稱；⑤參與積極性較高，并保證有時間完成專家函詢。

1.5 實施專家函詢 2020年6月—8月，通過采用發(fā)送電子郵件等方式開展了2 輪專家函詢。第1 輪專家函詢共選取了17 位專家，在問卷收回后，研究小組依據(jù)專家函詢結果及專家意見對指標體系內容進行討論，并對部分條目進行增添、修改與刪除。在間隔21 d后，研究者對17 位專家進行第2 輪函詢，避免函詢結果因記憶影響而出現(xiàn)偏倚[6]。2 輪函詢均要求專家在1 周內完成函詢問卷的填寫并返回給相應郵箱，研究者則按照指標篩選原則對2 輪函詢中變異系數(shù)＞0.25、重要性賦值均數(shù)＜4 分以及滿分率＜40%的指標進行刪除。

1.6 統(tǒng)計學方法 采用Excel 2010 和SPSS 21.0 統(tǒng)計軟件對數(shù)據(jù)進行處理分析，所有數(shù)據(jù)均由雙人錄入。其中，定性資料采用頻數(shù)及百分比表示；定量資料則采用均數(shù)、標準差以及變異系數(shù)表示。

2 結果

2.1 函詢專家一般情況（見表1）

表1 函詢專家一般資料（n=17）

2.2 專家積極性 專家的積極性反映專家對本研究項目的關心程度，使用問卷有效回收率表示，一般≥50%。本研究共進行2 輪咨詢,第1 輪專家函詢發(fā)放問卷17 份,回收有效問卷17 份,問卷有效回收率為100.0%,并有8 名專家提出修改意見；第2 輪發(fā)放問卷17 份,回收有效問卷16 份,問卷有效回收率為94.1%，并有6 名專家提出意見，表明專家對研究問題的積極性高，對該研究較為重視。

2.3 專家意見權威程度及協(xié)調程度 專家權威系數(shù)（Cr）是專家在本研究領域權威程度的量性評價指標,用熟悉程度系數(shù)（Cs）和判斷依據(jù)系數(shù)（Ca）的平均值表示，Cr＞0.7 表示可信任程度較好，Cr＞0.8 說明專家有較大把握[7]。2 輪函詢的專家權威系數(shù)分別為0.880，0.889,說明專家的權威性較高，函詢結果具有較高的可信度。專家意見協(xié)調程度用肯德爾和諧系數(shù)（W）表示，取值范圍為0～1，W 值越大表示協(xié)調程度越高。2 輪專家函詢的肯德爾和諧系數(shù)分別為0.423，0.576，差異具有統(tǒng)計學意義(P＜0.01),表明2 輪專家意見趨于一致。

2.4 專家函詢結果 第1 輪專家函詢結束后，研究小組依據(jù)指標篩選標準和專家意見對各項指標進行討論，增設2 項二級指標，包括“時間資源”“患者認可”；修改1 項二級指標，將“培訓改進”改為“質量控制”；刪除1 項二級指標，“學科發(fā)展”；增設11 項三級指標，包括“患者的需求”“提高患者護理滿意度”“國家或政府對培訓項目經(jīng)費投入”“科室對培訓在時間上的支持”等；修改2 項三級指標，將“提升科研水平”改為“提升科研水平及創(chuàng)新能力”，將“教學和科研水平提升”改成“護理學科水平提升”；刪除7 項三級指標，包括“護理專業(yè)發(fā)展需求”“改善護理人員的工作態(tài)度”“提高醫(yī)院整體護理質量和水平”“促進護理專業(yè)發(fā)展”“組織建設增強”“豐富護理理論”“提高護理實踐水平”，并形成了第2 輪專家咨詢表，包括4 項一級指標、13 項二級指標、45 項三級指標。

第2 輪專家函詢結束后決定修改5 項三級指標，將“臨床教師資源”改為“臨床師資”，將“培訓班授課資源”改為“培訓班授課師資”，將“講座授課資源”改為“講座師資”，將“網(wǎng)絡授課資源”改為“網(wǎng)絡授課師資”，將“患者護理滿意度提高”改為“患者對護理服務滿意度提高”；刪除1 項二級指標“醫(yī)院發(fā)展”；刪除2 項三級指標，“提高患者護理滿意度”和“提高護理服務質量”，最終形成基于CIRO 培訓模型的繼續(xù)護理學教育效果評價指標體系，包括4 項一級指標、12 項二級指標和43項三級指標。采用層次分析法計算各層級指標權重及組合權重，見表2。

3 討論

3.1 基于CIRO 培訓評估模型構建的繼續(xù)護理學教育效果評價指標體系理論依據(jù)充分,制定過程嚴謹，具有較好的科學性 本研究以CIRO 培訓評估模型為框架，在查閱文獻、半結構式訪談以及小組討論的基礎上制定了基于CIRO 培訓評估模型的繼續(xù)護理學教育效果評價指標體系的初稿,之后采用德爾菲專家咨詢法的標準程序進行2 輪專家函詢,初步構建出繼續(xù)護理學教育效果評價指標體系,并采用層次分析法確定各層級中各指標的權重，使得指標體系得以量化,研究方法與步驟較為嚴謹，具有較好的科學性。研究結果的可靠性由函詢專家的代表性、積極性、權威性及意見協(xié)調程度等確定[8]。本研究遴選的專家長期從事護理教育、護理管理及臨床護理等工作，并均作為學生或老師深入?yún)⑴c過繼續(xù)護理學教育，在該研究領域具有一定的理論知識和實踐經(jīng)驗，專家意見具有較好代表性。2輪專家函詢的問卷回收率分別是100.0%和94.1%，且提出建議的專家分別占總函詢專家的47.1% 和37.5%，表明專家具有較高的積極性。2 輪專家函詢的專家權威系數(shù)分別為0.880，0.889，同時函詢專家的職稱及學歷顯示其具有較高的權威性。2 輪函詢專家的肯德爾和諧系數(shù)分別為0.423，0.576，具有統(tǒng)計學意義(P＜0.01)，表明專家對各指標的函詢意見較為一致。采用層次分析法計算各層級指標的權重，并在進行一致性檢驗后發(fā)現(xiàn)一致性比率均＜0.1，說明各層級指標的權重設置合理[9]，結果具有科學性。

3.2 基于CIRO 培訓評估模型構建的繼續(xù)護理學教育效果評價指標體系能對繼續(xù)護理學教育效果進行全程、全面評價，評價結果具有較強的可靠性 目前，有多種培訓評估模型被應用于繼續(xù)護理學教育效果評估中，主要包括柯氏模型和CIPP 模型等，為繼續(xù)護理學教育效果評價提供了一定的科學依據(jù)。有研究指出，當前所應用于繼續(xù)護理學教育效果評價的模型多存在局限性，如柯氏模型是以結果為導向的培訓績效型評估模型，培訓者多注重于對培訓結果的評價，而未能對培訓需求、培訓目標、培訓內容等進行整合及全面評估，以至于缺乏對繼續(xù)護理學教育的整體性評價[3]。CIPP 模型則注重于對繼續(xù)護理學教育的過程進行詳細評估，但忽略了對結果層面的精細化評價，且因存在評估耗時長、復雜性高等問題，其實用性仍有待檢驗。本研究以CIRO 培訓評估模型構建的繼續(xù)護理學教育效果評價指標體系能對繼續(xù)護理學教育進行全程效果評價，包括評估其在開展繼續(xù)護理學教育前是否充分了解各方需求并合理設置培訓目標，開展繼續(xù)護理學教育過程中的學習方式、師資配置、培訓內容、質量控制等環(huán)節(jié)內容的制定是否恰當，開展繼續(xù)護理學教育后培訓結果的考核方法及評價方式的設置是否合理等，高度體現(xiàn)了繼續(xù)護理學教育的系統(tǒng)性，評價內容全面、可靠。

3.2.1 充分了解各方培訓需求并合理設置培訓目標是有效開展繼續(xù)護理學教育的前提 準確地對護理人員學習需求及各方對護理服務的需要進行全面評估，并以此為基礎確定培訓目標是開展繼續(xù)護理學教育課程的第一步,其對后續(xù)各環(huán)節(jié)及培訓效果有著深遠影響[10]。本研究構建的背景評估中包含培訓需求和培訓目標2 個二級指標和7 個三級指標，而二級指標中的培訓需求權重高于培訓目標，且培訓需求組合權重（0.169）在所有二級指標中位列第二，提示在實施繼續(xù)護理學教育課程前進行培訓需求評估確有其必要性,這與Ni 等[11]學者的研究結果相似，同時也與教育學中課程開設的理論要求相契合。然而,目前相關研究發(fā)現(xiàn)我國在評估繼續(xù)護理學教育培訓需求內容時常以護理人員個人需求層面為主進行,評估方式則是使用自行設計的問卷對護理人員進行調查，導致對繼續(xù)護理學教育需求的評估欠缺科學性，評估結果應用的效果欠佳[12-13]。國外學者Boet 等[14]則指出，繼續(xù)護理學教育培訓者常根據(jù)自身臨床經(jīng)驗及主觀價值對培訓的需要進行判斷，并以此設定培訓目標，制定培訓計劃，從而導致學員被動參與繼續(xù)護理教育，且繼續(xù)護理教育的培訓內容與臨床實際存在脫軌，進而出現(xiàn)了護理人員參與的積極性不高、參與后收獲不大等情況。因此，建議繼續(xù)護理學教育組織者在開展繼續(xù)護理學教育前可采用科學、統(tǒng)一的標準全面收集不同群體對教育培訓的需求，以明確培訓目標，并合理設置培訓內容及培訓結果評價方法。

3.2.2 選擇恰當授課方式及權威教師并獲得社會各方支持是繼續(xù)護理學教育順利開展的重要保障 多樣便利的學習方式、強大雄厚的師資力量以及國家、單位和家庭在經(jīng)濟與時間上的支持等是繼續(xù)護理學教育得以順利開展的重要保障，決定著繼續(xù)護理學教育的培訓效果[15]。我國當前的繼續(xù)護理學教育培訓方式較為傳統(tǒng)（主要包括學術會議、學術講座、專題討論會等），僅僅依靠傳統(tǒng)的繼續(xù)教育方式進行繼續(xù)護理學教育已遠不能滿足護理專業(yè)精細化發(fā)展的需求，國內繼續(xù)教育方式急需改進優(yōu)化。此外，我國在開展繼續(xù)護理教育中還存在培訓師資隊伍教學水平參差不齊、護理人員因工作繁忙或家庭和經(jīng)濟等方面原因在參與繼續(xù)護理教育上存在困難等問題，嚴重阻礙了繼續(xù)護理學教育的開展[16]。本研究構建的輸入評估中包含學習資源、師資資源、經(jīng)費資源和時間資源4 個二級指標及13個三級指標，能夠充分對繼續(xù)護理學教育的教育方式、師資配置以及各方支持情況進行全面評估，進而判斷開展繼續(xù)護理學教育的可能性，并發(fā)現(xiàn)其在設置學習方式、配置授課師資、協(xié)調參與各方等工作上存在的不足，以客觀綜合評價繼續(xù)護理學教育的培訓效果并明確改進方向，促進繼續(xù)護理學教育的發(fā)展。在輸入評估的二級指標中，師資資源所占權重最大，表明專家一致認為繼續(xù)護理學教育的師資資源配置對培訓效果有著重要影響，這與李虹等[17]的研究相一致。因此，建議加強繼續(xù)護理學教育師資隊伍建設，從教育能力、業(yè)務水平、個人修養(yǎng)等方面選拔繼續(xù)護理學教育授課教師，并構建出一套科學完善的繼續(xù)護理學教育師資隊伍選拔、準入、培訓、測試、監(jiān)督等多位一體的綜合體系。

3.2.3 繼續(xù)護理學教育實施過程決定培訓結果，而培訓結果則是培訓效果最為直觀的體現(xiàn) 國內外研究均已指出，繼續(xù)護理學教育管理者在實施繼續(xù)護理學教育過程中合理應用各種資源充實培訓內容、高效組織培訓以及建立培訓反饋調節(jié)機制等能使護理人員在參與繼續(xù)護理學教育后掌握更多實用性的知識和技能，豐富培訓結果的同時也增強了培訓效果[16]。國內目前開展的繼續(xù)護理教育培訓內容中涉及臨床護理、護理教育、護理管理、護理科研、專科護理等方面，培訓內容覆蓋面較全,但存在針對性不強、實用性不夠、創(chuàng)新性不足等問題,無法充分滿足護理人員希望獲取新技能、新知識及各方渴望獲得高質量護理服務的需求[18]。此外，國內繼續(xù)護理學教育在開展時還存在組織形式不規(guī)范、反饋調節(jié)機制不健全等問題，導致護理人員參與繼續(xù)護理教育的積極性低，并常以獲得繼續(xù)教育學分為目的而被動參與，甚至出現(xiàn)了護理人員直接購買學分的現(xiàn)象,對繼續(xù)護理學教育事業(yè)發(fā)展造成了巨大沖擊[19]。本研究構建的反應評估中包含培訓內容、培訓組織、培訓方式和質量控制4 個二級指標及15 個三級指標，能對繼續(xù)護理學教育的教學內容設置是否實用前沿、繼續(xù)護理學教育組織者是否合理應用各種資源豐富了培訓開展方式及考核方式、繼續(xù)護理學教育管理者是否建立了監(jiān)督反饋機制全面把控繼續(xù)護理教育的實施過程等進行全方位評價，進而發(fā)掘出繼續(xù)護理學教育在實施過程中的不足并加以改進，以增強護理人員參與繼續(xù)護理學教育的積極性，并使其在參與后得到更多收獲。輸出評估則包含自我提升和患者認可2 個二級指標及8 個三級指標，且輸出評估的權重（0.332）在所有一級指標中排名第一，而自我提升和患者認可2 個二級指標的組合權重分別為0.198，0.133，在二級指標中位列第一和第三，表明專家一致認為繼續(xù)護理學教育的培訓結果是繼續(xù)護理學教育培訓效果最為直觀的反應，且應從護理人員及病人等角度多方位評價培訓結果，這與郝艷青等[20]的研究結論相似。因此，建議繼續(xù)護理學教育在實施過程中通過不斷提高培訓質量來吸引護理人員積極參與，并注意設置規(guī)范化的考核方式對培訓結果進行總結和確認，以保證繼續(xù)護理教育的培訓效果。

4 小結

本研究以CIRO 培訓評估模型為框架，通過文獻回顧、半結構式訪談、專家咨詢、層次分析法以及小組討論制定了基于CIRO 培訓評估模型的繼續(xù)護理學教育效果評價指標體系，包括4 項一級指標、12 項二級指標和43 項三級指標，能對繼續(xù)護理學教育的全過程進行全面評價，具有較好的科學性和可靠性。但由于時間及條件的限制，研究團隊目前還尚未使用該指標體系進行實證研究，下一步將開展該指標體系的實踐應用進一步檢驗本次構建的繼續(xù)護理學教育效果評價指標體系的實用性及可操作性，并不斷進行修正，最終形成一套全面、可行的繼續(xù)護理學教育效果評價工具，為規(guī)范繼續(xù)護理學教育效果評價提供參考。