“一帶一路”發展中國家婦幼衛生培訓評價指標體系構建

李 行 蔣 泓

復旦大學公共衛生學院 國家衛生健康委員會衛生技術評估重點實驗室 上海 200032

衛生領域合作作為共建“一帶一路”倡議的重要內容之一，以“健康絲綢之路”為主線，通過加強全球公共衛生治理，達到構建人類衛生健康共同體的目標。[1]婦幼衛生是全球衛生領域合作的重要關注點，繼聯合國千年目標(Millennium Development Goals，MDGs)后，2030年可持續發展目標(Sustainable Development Goals，SDG)繼續將改善孕產婦保健、降低兒童死亡率等作為核心指標。[2]

中國在改善婦幼健康方面積累了豐富的經驗，并且是全球少數幾個同時實現MGD4和MGD5，改善兒童和孕產婦生存和健康指標的國家之一。[3- 4]其中有很多經驗和做法對其他發展中國家具有借鑒意義。長期以來，中國向其他發展中國家提供力所能及的援助，尤其在以可持續發展為目標的時代，更強調全球所有國家的參與和合作伙伴關系的發展[5]，中國也因此增加了對援外培訓的支持，其中包括為發展中國家衛生專業人員提供培訓，促進其技能提升以實現持續發展[6]。

2019年起，國家衛生健康委員會國際交流與合作中心(IHECC)和聯合國兒童基金會合作(UNICEF)共同開展“一帶一路”婦幼衛生合作示范培訓基地的建設，旨在在國內建立整合最佳資源以支持南南合作交流的培訓基地網絡，依托該網絡開展長期可持續的“一帶一路”發展中國家婦幼衛生援外培訓。[7]目前，我國在努力促進全球實現SDG目標的進程中，已積極開展了諸多涉外培訓活動，婦幼健康作為發展中國家衛生工作的薄弱點，是“一帶一路”倡議培訓活動的重點領域，但當下仍缺乏一套規范化的評估工具以了解培訓成效。同時，由于新冠疫情對全球的影響，在線培訓的模式將會長期持續，因此指標體系的制定也應結合線上與線下婦幼衛生援外培訓項目的特點。研究如何建立“一帶一路”婦幼衛生培訓評價指標條目并形成專家共識，是規范、持續、動態地開展和推進婦幼衛生援外培訓所必須的。

本研究旨在制定“一帶一路”發展中國家婦幼衛生評價指標體系，用于開展培訓后，對受援國學員進行婦幼衛生援外培訓的評估，從而為改善中國婦幼衛生合作示范培訓的質量提供可靠的工具。

1 資料與方法

1.1 研究框架與指標來源

本研究以決策導向型(Context,Input,Process,Product,CIPP)評價模型作為理論框架，CIPP模型是將培訓項目本身作為一個對象進行分析，由背景評價(Context evaluation)、投入評價(Input evaluation)、過程評價(Process evaluation)、結果評價(Product Evaluation)四項評估活動的首字母組成[8]，根據文獻回顧確定二級指標。三級指標建立的主要參考標準: 一是現有援外培訓評估表，如商務部《中國對外援助培訓項目學員評估調查表》；二是基于文獻研究評閱，如援外醫療培訓質量評價研究、遠程教育質量保證標準研究等；三是現有原則，如南南合作原則、布魯姆教育目標分類法(提供了從培訓結果的角度描述和刻畫達成各教學目標的依據，分別為認知，理解，分析，應用，綜合，評價)。[9]

在初步構建了三級指標體系后，課題組邀請了3名分別來自婦幼衛生、衛生政策、全球衛生領域的專家進行定性訪談。基于培訓背景、投入、過程、結果四個維度，結合目前“一帶一路”婦幼衛生培訓與開展的現況收集專家對指標體系的意見與建議，完善并形成了初擬的指標體系。

1.2 專家咨詢法遴選指標

1.2.1 確定函詢專家

2021年10—11月，本研究邀請在婦幼衛生領域有豐富理論和實踐經驗并開展或參與過援外培訓活動的專家。專家入選標準：(1)具有高級職稱或者在國際衛生組織擔任資深項目官員；(2)具有從事公共衛生、婦幼衛生和護理相關領域工作或者全球衛生、衛生政策工作經驗；(3)具有參與援外培訓項目制定的經驗。最終確定了來自婦幼衛生、助產、衛生政策等領域專家共16人。

1.2.2 實施專家函詢

本研究共發放兩輪咨詢問卷，第二輪咨詢問卷是在匯總第一輪專家咨詢意見的基礎上形成的，主要內容與第一輪基本一致。采取指標必要性得分均值小于0.40且變異系數大于0.25作為指標排除標準。同時在問卷中，請專家進行重要度評判時綜合考慮指標的可行性、適用性等因素，對于一些不適合指標，直接提出“刪除”建議。將量化評判和專家意見相結合，決定是否對指標進行增加、刪除和修改。最后依據兩輪專家函詢結果及討論分析，建立“一帶一路”發展中國家婦幼衛生培訓評價指標體系。

1.3 統計分析

1.3.1 Delphi法結果計算

專家積極系數，即專家對研究的關心程度=實際參與調查的專家人數/全部邀請專家人數，專家的權威程度根據熟悉程度和判斷依據的影響程度計算，專家權威系數=(對專家判斷影響程度+專家對問題的熟悉程度)/2。專家意見集中程度根據指標的必要性賦值計算，專家意見協調程度根據變異系數和協調系數計算，專家協調系數采用肯德爾(Kendall)和諧系數W檢驗，和諧系數(W)取值范圍在0～1之間，W值越大，表明專家的意見越統一，協調程度越高，對W值的顯著關系進行檢驗，若P<0.05，則表示意見具有顯著一致性。

1.3.2 層次分析法確定指標權重

應用層次分析法測定各項指標的組合權重：(1)根據專家評分對各指標必要性進行兩兩比較，按照Satty 1-9比例標度賦值，構造判斷(成對比較)矩陣。(2)采用方根法計算矩陣特征向量的近似值。(3)對判斷矩陣的一致性進行檢驗，若一致性比例CR<0.1, 則認為判斷矩陣的一致性可以接受。

2 結果

2.1 初擬指標體系

本研究對婦幼衛生援外培訓項目背景、培訓課程的投入、實施和效果4個維度進行評價，依據這4個維度的內容，制定評價指標體系建設方案(表1)。

表1 CIPP模型評價指標體系建設方案

基于CIPP模型，課題組結合文獻回顧、專家訪談意見與工作實際，初步構建了“一帶一路”婦幼衛生培訓項目的評價指標體系，包含4個一級指標，19個二級指標，83個三級指標。

2.2 Delphi咨詢結果

2.2.1專家情況

參與咨詢的16位專家平均年齡為50歲，平均工作年限為26年，主要分布在婦幼衛生、衛生政策與管理、助產和護理學、全球衛生等專業領域，都對援外培訓工作有豐富的理論和實踐經驗(表2)。

表2 專家基本情況(N=16)

2.2.2 專家積極系數

專家積極系數根據問卷的有效回收率計算，本研究兩輪咨詢的問卷回收率均為100%，受詢專家具有較高積極性。

2.2.3 專家意見權威程度

專家意見權威程度用專家權威系數來表示，本研究專家的權威系數為0.91，說明專家意見較為權威。

2.2.4 專家意見協調系數

第一輪咨詢的一級指標、二級指標、三級指標Kendall協調系數分別為0.133、0.115、0.203，經過調整后，第二輪的咨詢一級指標、二級指標、三級指標Kendall系數為0.207、0.229、0.262，差異均有統計學意義(P<0.05)，表明專家意見具有一致性。

2.2.5 指標體系修改與調整

第一輪咨詢后，課題組根據專家評分及修改意見，進行如下修改與調整：(1)刪除二級指標“學員在線課程的可及性”“在線培訓及時性”“在線培訓效果”。(2)刪除“機場接送”“文化”“健康保障制度”等11個三級指標。(3)調整三級指標“教師資質”為“師資配備”，“學員招募”為“招生信息介紹”等。形成4個一級指標，16個二級指標，55個三級指標。

第二輪咨詢后，課題組根據專家修改意見，進行如下修改與調整：(1)刪除三級指標“培訓課程設計”“‘南南合作’發展”。(2)為保證布魯姆認知目標分類體系完整性，保留對于變異系數大于0.25的三級指標“評價”。

經調整，確定最終納入的指標后，根據層次分析法計算各層級各指標的權重，最終的“一帶一路”婦幼衛生培訓項目的評價指標體系包含4個一級指標，16個二級指標，53個三級指標(表3)。

表3 “一帶一路”發展中國家婦幼衛生培訓評價指標體系及權重(學員評估)

3 討論

3.1 評價指標體系的科學性和合理性

3.1.1 應用Delphi法的科學性和合理性

Delphi專家咨詢已被廣泛的運用于指標評價研究，是一種客觀性較強的專家咨詢法[10]，其研究結果的可靠性由函詢專家的積極性、權威性及意見協調程度等確定。[11]

問卷回收率達70%時說明專家積極性良好[12]，本研究兩輪專家函詢的問卷回收率均為100.0%，且多位專家針對指標條目提出修改意見，專家積極性較高。

運用Delphi法的關鍵在于權威專家的選擇和嚴謹的研究過程。[13]本研究遴選的專家長期從事婦幼衛生、衛生政策、衛生管理、衛生體系、護理教育及全球衛生等工作，專家全部為高級職稱，工作年限在20年以上的專家占81.3%，并均深入參與過援外培訓的開展。一般認為當權威系數Cr>0.800時，專家對內容的決定很有把握。[14]本研究專家的權威系數為0.91,說明專家作出的判斷是建立在理論知識和實踐經驗上的，具有可信性。

專家意見的協調程度包括變異系數與Kendall協調系數，變異系數反映專家評分的集中程度，第一輪專家咨詢后，刪除了變異系數大于0.25的條目如組織管理中的“機場接送”和“南南合作”精神體現中的“無附加條件”。在第二輪中除“評價”外指標變異系數均小于0.25，且集中程度較第一輪高。Kendall系數常用于考察多位評分者評分的一致性程度，P<0.05，說明專家意見具有一致性。[15]本研究第一輪和第二輪咨詢三級指標的Kendall協調系數分別為0.133和0.207，P值均小于0.01，說明專家意見趨于一致且具有一致性。

3.1.2 指標體系的權重分析

本研究構建的指標體系分為背景評價、投入評價、過程評價和結果評價4個維度，其中背景評價權重系數最高，且二級指標權重系數相同，表明背景評價對于援外培訓尤為重要，培訓需求和培訓目標的評價均為培訓背景評價的重要組成部分。因此，在培訓開展前對受援國學員進行需求分析，制定科學合理的培訓目標對提高培訓質量有重要意義；在投入評價中，培訓方案權重系數最高，且三級指標培訓大綱占比最重，表明培訓大綱的適宜性對于培訓非常關鍵。而對于在線培訓條件，最重要的是有豐富的在線課程資源；在過程評價中，“南南合作”精神體現權重系數最高，其次為培訓態度(教師備課、尊重學員、溝通交流)和培訓內容；在結果評價中，滿意度權重系數最高，其次為“南南合作”影響。表明專家認為“南南合作”精神、學員滿意度是援外培訓需關注的重要內容。因此，在實際培訓開展中，除了注重對培訓內容和培訓態度外，更應該加強融入“南南合作”理念，提升學員滿意度。

綜上，本研究通過兩輪專家咨詢，遴選了專家具有共識的指標，總體上研究結果具有一定的科學性和合理性。

3.2 評價指標體系的應用價值

本研究以CIPP模型以理論框架，通過兩輪Delphi法遴選了指標，構建了一套由4個一級指標，16個二級指標和53個三級指標構成的“一帶一路”婦幼衛生培訓評價指標體系。本研究所構建的工具可以為我國“一帶一路”婦幼衛生培訓的評估提供科學合理的評估體系框架；基于本研究指標體系所構建的評估工具，將可為培訓組織者提供學員反饋，有利于組織方結合培訓背景、投入、過程、結果環節，制定精準的改善策略；同時，本指標體系的構建框架和核心原則亦可為其他“一帶一路”發展中國家培訓活動提供參考依據。

3.3 評價指標體系的局限性

本研究構建的評價指標體系同樣存在一定局限性，由于本研究函詢專家均來自國內，沒有結合其他國家例如受援國專家的意見。此外，指標體系需要在實際應用中得到檢驗和進一步完善。

作者聲明本文無實際或潛在的利益沖突。