信函和會議兩種形式Delphi專家咨詢的效果評價

王妍敏，張彩倩，吳茵茵，王 憓，黃崢強，陳 坤

信函和會議兩種形式Delphi專家咨詢的效果評價

王妍敏，張彩倩，吳茵茵，王 憓，黃崢強，陳 坤

(浙江大學公共衛(wèi)生學院流行病學與衛(wèi)生統(tǒng)計學系，浙江杭州310058)

目的：評價和比較信函和會議兩種形式Delphi專家咨詢的效果。方法：通過信函和會議兩種形式進行醫(yī)療衛(wèi)生信息系統(tǒng)數(shù)據(jù)集的Delphi專家咨詢，專家對各項指標從重要性、必需性和可獲得性三個方面做出評價。計算并比較信函和會議兩種形式咨詢的周期、指標的變異系數(shù)、專家意見的權(quán)威系數(shù)、協(xié)調(diào)系數(shù)等。結(jié)果：信函和會議形式完成兩輪咨詢的周期分別為4個月和2天。與第一輪相比，兩種形式的咨詢第二輪的變異系數(shù)均變小(P＜0.001)，協(xié)調(diào)系數(shù)變大(P＜0.005)。比較兩種形式的咨詢效果發(fā)現(xiàn)，專家意見的權(quán)威系數(shù)(0.83±0.05)高于函詢(0.77±0.03)(P=0.001);且會議咨詢第二輪協(xié)調(diào)系數(shù)上升比信函咨詢明顯，即專家意見更容易趨向收斂(P＜0.033)。結(jié)論：兩種形式的Delphi專家咨詢均能達到咨詢目的，但會議咨詢效果更好，且能彌補信函咨詢周期過長的缺陷。

德爾菲技術(shù);評價研究;咨詢;信函咨詢;會議咨詢

［JZhejiang Univ(Medical Sci)，2011，40(3):276-280.］

Delphi法是采取匿名的方式，廣泛征求專家意見，經(jīng)過反復多次的信息交流和反饋修正，使專家的意見逐步趨向一致，最后根據(jù)專家的綜合意見，對評價對象做出一種定量與定性相結(jié)合的預測、評價方法［1］。因Delphi法能解決一些用常用分析方法無法解決，而且必須通過集體主觀判斷做出決策的問題，目前已成為世界上比較流行的預測或評估某事物規(guī)律或流行趨勢的調(diào)查方法之一，并廣泛應用于醫(yī)療衛(wèi)生領(lǐng)域［2-5］。

用信函形式開展的Delphi法最大的缺陷是所需時間很長，僅適用于對時間要求不太嚴格的項目。同時，該方法需長時間反復征求專家意見，常導致預測結(jié)果并不理想。心理學家Sackman將Delphi法專家評價作為心理測試學實驗，得出結(jié)論是:Delphi法的最終結(jié)果一致更可能是出于因周期長，且反復填寫專家咨詢表的厭煩情緒，而非意見一致［6］。通過會議形式，將所選專家召集到一處進行專家咨詢，將有效解決以上問題。本研究將對信函和會議兩種形式開展Delphi專家咨詢的效果進行比較和評價。

1 材料和方法

1.1 研究對象 本研究的對象是健康信息數(shù)據(jù)集。通過文獻查閱、頭腦風暴、小組討論等方法，采取逐級遞進方式初步擬定數(shù)據(jù)集的各級指標，咨詢的內(nèi)容主要是對數(shù)據(jù)集各級指標進行補充并決定各項指標的優(yōu)先次序。

1.2 研究步驟

1.2.1 編制專家咨詢表 將初步擬定的數(shù)據(jù)集編制成專家咨詢表，專家對各項指標從重要性、必需性和可獲得性3個方面做出評價，賦值范圍為“0～10”分。分值越大，分別表示該項指標越重要、不可或缺、容易獲得。另外，專家還需對各項目的熟悉程度及判斷依據(jù)進行自評，其中判斷依據(jù)包含實踐經(jīng)驗、理論分析、對國內(nèi)外同行的了解和直覺4個方面，熟悉程度和判斷依據(jù)的賦值范圍為0～5分。

1.2.2 確定函詢專家并開展專家咨詢 選擇專家是Delphi法的關(guān)鍵環(huán)節(jié)，通常要求從與研究主題相關(guān)的各個分支學科中選擇具有一定經(jīng)驗的專家，專家數(shù)量一般以15～50人為宜［7］?？紤]到信函咨詢回收率較低，初步擬定的專家人數(shù)比實際需要的專家人數(shù)多30%左右，因此選擇信函咨詢專家39位，會議咨詢專家28位。

1.2.3 數(shù)據(jù)整理與分析 所有數(shù)據(jù)以Epidata 3.0軟件進行錄入，用SPSS13.0軟件進行統(tǒng)計分析。評價指標包括咨詢表回收情況、專家基本情況、專家意見的權(quán)威系數(shù)、變異系數(shù)、協(xié)調(diào)系數(shù)以及兩種形式咨詢指標的差異性。專家意見的權(quán)威系數(shù)(Cr)是判斷系數(shù)(Ca)與熟悉程度系數(shù)(Cs)的算術(shù)平均值，即Cr=(Ca+Cs)/2，而判斷系數(shù)由實踐經(jīng)驗、理論分析、對國內(nèi)外同行的了解和直覺4個方面的打分決定。熟悉程度系數(shù)的計算公式為:Cs=熟悉程度得分/滿分;判斷系數(shù)的計算公式為:Ca=(實踐經(jīng)驗得分×0.5+理論分析得分×0.3+對國內(nèi)外同行的了解得分 ×0.1+直覺得分 ×0.1)/滿分。變異系數(shù)的計算公式為:CV=標準差/均數(shù);協(xié)調(diào)系數(shù)的計算采用非參數(shù)檢驗中的Kendall's W檢驗。第一輪與第二輪指標的差異性采用配對t檢驗，信函和會議咨詢兩者指標的差異性采用兩獨立樣本的t檢驗。

2 結(jié)果

2.1 咨詢表回收情況 信函形式進行的兩輪咨詢各發(fā)放問卷39、28份，分別收回有效問卷28、26份，問卷有效回收率分別為 71.79%、92.86%。從第一輪問卷發(fā)出至第二輪問卷全部收回的周期為4個月。

會議形式進行的兩輪咨詢均發(fā)放問卷28份，全部收回，有效回收率為100%。專家咨詢會為期2 d，首日進行課題背景和概況介紹，并完成第一輪咨詢，對數(shù)據(jù)進行整理和分析后，編制第二輪咨詢表，次日會議即完成第二輪咨詢。

2.2 專家的基本情況 函詢有效回收問卷的28位專家中，副高以上者26人(92.86%)，工作年限為 9～51年，平均(28.31±10.52)年;會議咨詢的28位專家中，職稱全部為副高以上，工作年限為 15～35年，平均(25.07±5.37)年。咨詢的專家均為衛(wèi)生行政部門的管理人員、衛(wèi)生事業(yè)管理專業(yè)的大學教授、基層衛(wèi)生服務(wù)工作者和從事流行病學、衛(wèi)生統(tǒng)計學、醫(yī)學信息學等領(lǐng)域的資深專家，經(jīng)t檢驗，兩種形式咨詢專家的工作年限無顯著性差異(t=1.518，P=0.137)。

2.3 專家的權(quán)威程度 專家的權(quán)威程度主要通過專家對指標做出判斷的依據(jù)和對指標的熟悉程度來反映。權(quán)威程度用權(quán)威系數(shù)(Cr)表示，一般來說，預測精度隨著專家權(quán)威程度的增加而提高［8］。兩輪函詢的權(quán)威系數(shù)均為(0.77±0.03)，兩輪會議咨詢的權(quán)威系數(shù)分別為(0.83 ±0.06)和(0.83 ±0.05)，經(jīng) t檢驗，前后兩輪咨詢的權(quán)威系數(shù)均無統(tǒng)計學差異(函詢和會議咨詢的P值分別為0.889和0.456)，說明專家自評表的可重復性較好。將第二輪會議咨詢與函詢的權(quán)威系數(shù)進行比較，會議咨詢的權(quán)威系數(shù)較高(t=3.751，P=0.001)。

2.4 專家的協(xié)調(diào)程度 專家意見的協(xié)調(diào)程度通過計算各指標評價結(jié)果的變異系數(shù)(CV)和專家意見的協(xié)調(diào)系數(shù)(W)表示，前者反映某個指標的專家觀點協(xié)調(diào)程度，后者則了解專家對多個指標意見的協(xié)調(diào)程度。表1示無論是信函還是會議咨詢，第二輪的變異系數(shù)均降低，且差異有統(tǒng)計學意義(P＜0.001)。表明兩種咨詢形式都能使專家對單個指標的意見趨向一致。

表2示無論是信函還是會議咨詢，第二輪的協(xié)調(diào)系數(shù)均升高，且有統(tǒng)計學意義(P＜0.005)。這表明兩種形式的咨詢均能使專家對多個指標的意見趨向一致。

表1 信函和會議形式兩輪咨詢的變異系數(shù)Table 1 Coefficient of variation of graded items of Delphi study by two forms

表2 信函和會議形式兩輪咨詢的協(xié)調(diào)系數(shù)Table 2 Cooperation index of specialists'opinion of Delphi study by two forms

表3示信函和會議兩種形式的專家咨詢第一輪與第二輪變異系數(shù)和協(xié)調(diào)系數(shù)差值的比較。重要性和必需性兩輪變異系數(shù)的差值沒有統(tǒng)計學差異，而可獲得性差異有統(tǒng)計學意義(P＜0.001);兩輪協(xié)調(diào)系數(shù)的差值會議咨詢比信函咨詢高(P＜0.033)。表明以會議形式進行專家咨詢，更易使專家意見的協(xié)調(diào)程度升高，即專家意見更易于趨向一致。

表3 兩種咨詢形式變異系數(shù)和協(xié)調(diào)系數(shù)第一輪與第二輪的差值比較Table 3 Difference of coefficient of variation and cooperation index between two rounds of Delphi study

3 討論

3.1 信函和會議兩種形式開展Delphi專家咨詢的效果評價 專家的權(quán)威程度與預測精度呈一定的函數(shù)關(guān)系。函詢的兩輪權(quán)威系數(shù)均為0.77，會議咨詢的兩輪權(quán)威系數(shù)均為 0.83，且兩輪咨詢的權(quán)威系數(shù)均無差異性，具有可重復性，說明專家的評估是建立在豐富的實踐經(jīng)驗和理論基礎(chǔ)上的，具有較高的可信度［10］。

變異系數(shù)和協(xié)調(diào)系數(shù)兩個指標都反映專家意見的協(xié)調(diào)程度，同時，變異系數(shù)又能反映專家意見的集中程度。變異系數(shù)越小表明專家的協(xié)調(diào)程度越高，變異系數(shù)越大則表明專家們意見波動性越大，觀點不集中，存在較大分歧［8］。兩種形式的咨詢，第二輪的變異系數(shù)均變小，協(xié)調(diào)系數(shù)變大，表明意見趨于收斂，達到了專家咨詢的目的。協(xié)調(diào)系數(shù)取值0～1之間，越接近1，說明協(xié)調(diào)程度越好。根據(jù)國內(nèi)幾項大型德爾菲法在衛(wèi)生領(lǐng)域的應用，經(jīng)2～3輪咨詢協(xié)調(diào)后，協(xié)調(diào)系數(shù)在0.5的范圍內(nèi)波動［11］。本研究中，函詢和會議咨詢第二輪的協(xié)調(diào)系數(shù)的均值分別為0.516和0.699，表明專家意見的協(xié)調(diào)程度較好。

3.2 信函和會議兩種形式開展Delphi專家咨詢的效果比較 從咨詢周期上來看，傳統(tǒng)的Delphi專家咨詢一般以函寄的形式進行，所需時間很長是其致命的缺陷［9］。對于時間要求緊迫的課題，不宜用Delphi法，尤其在臨床應用時對于病情緊急，預后差的患者，時間的局限性更為明顯。本研究中函詢的時間周期為4個月，而會議咨詢僅2天便能達到咨詢的效果，大大節(jié)省了時間。

本次研究結(jié)果表明，會議咨詢專家的權(quán)威程度高于函詢，且專家意見更易于趨向一致。一般以信函形式進行專家咨詢的時候會在信中向?qū)＜液喴榻B本次咨詢的目的和任務(wù)，并對研究背景作出說明，使專家對評價對象有初步了解。以會議形式開展專家咨詢時，組織方可在會議開始時對課題研究背景、目的等資料作出詳細說明，甚至可簡單展示待評估的事件，加深專家對評估對象的理解。Chocholik在研究自動化病人信息服務(wù)軟件時，在作出判斷以前，請專家對要預測的事件進行現(xiàn)場體驗，將主觀建之于客觀，取得了很好的效果［12］。另外，大部分專家都非常繁忙，收到專家咨詢表后轉(zhuǎn)交給他人代為填寫的現(xiàn)象難以避免，會議咨詢可以很好的克服這一點，保證專家意見的正確反映。這也是導致會議咨詢比函詢的專家意見更容易收斂，權(quán)威程度更高的原因。

3.3 會議形式進行專家咨詢時的注意點 匿名性是Delphi專家咨詢的一大特點，即參加評估的專家在互不見面和互不討論的情況下回答所提出的問題，避免了領(lǐng)導、同伴的影響和壓力，給每位專家提供了平等的機會來表達觀點［13］。而會議咨詢違背了這個特點，因此組織方在開展咨詢時需特別注意，要求專家之間不對要評價對象進行意見交流，獨立完成咨詢表的填寫。

另外，會議咨詢所需的費用遠比函詢高，需在研究經(jīng)費比較充足的情況下，才能選擇召開Delphi專家咨詢會來替代信函咨詢。

［1］ ZENG G(曾 光).Modern Epidemiology Method and Application(現(xiàn)代流行病學方法與應用)［M］.Beijing:Joint Publishing House of Beijing Medical University and Peking Union Medical College，1994:250-271.(in Chinese)

［2］ NOBLAT L，OLIVERIRA M G G，SANTOS-JESUS R，et al.Validation of criteria for nosocomial use of amikacin in brazil with the Delphi technique［J］.BJID，2006，10(June):173-178.

［3］ HU Guo-qing， RAO Ke-qin，SUN Zhen-qiu.Identification of a detailed function list for public health emergency management using three qualitative methods ［J］.Chin Med J，2007，120(21):1908-1913.

［4］ KINGSTON A H，JORM A F，KITCHENER B A，et al.Helping someone with problem drinking:Mental health first aid guidelines-a Delphi expert consensus study［J］.BMC Psychiatry，2009，9:79-85.

［5］ HODKINSON P W，WALLIS L A，F(xiàn)CEM F.Emergency medicine in the developing world:A Delphi study［J］.ACAD EMERG MED，2010，17(7):765-774.

［6］ LI J M，ZHU R Y，LU X L(李嘉明，朱如意，魯曉利).Determine the subjective probability based on expert group judgment［J］.Statistics Information Forum(統(tǒng)計學信息論壇)，2008，10(23):18-20.(in Chinese)

［7］ DU Y L，LI Y J，HAN Z L，et al(杜艷麗，李亞潔，韓宗利，等).Periodicity study of completing the content of grading nursing based on Delphi study［J］.Journal of Nursing(護理學報)，2009，16(9A):1-5.(in Chinese)

［8］ CHEN K(陳 坤).Rural Public Health Survey(農(nóng)村公共衛(wèi)生調(diào)查)［M］.Beijing:Science Press，2009:80.(Chinese)

［9］ PING W W(平衛(wèi)偉).The research advance of delphi study and its application in medicine［J］.Chinese Journal of Disease Control and Prevention(疾病控制雜志)，2003，3(7):243-246.(in Chinese)

［10］ XIAO L，CHEN Y L，MA Y，et al(肖 瓅，程玉蘭，馬 昱，等).Application of delphi study in screening the evaluating index of Chinese public's health literacy［J］.Chinese health education(中國健康教育)，2008，2(24):81-84.(in Chinese)

［11］ WANG H M，ZHU W，ZHANG Y，et al(王紅妹，朱 雯，張 揚，等).Evaluating index system study of feasible medical technology screening in rural area of Zhejiang province ［J］.Chinese Journal of Hospital Administration(中華醫(yī)院管理雜志)，2008，24(8):531-534.(in Chinese)

［12］ CHOCHOLIK JK，BOUCHARD SE，TAN J K，et al.The determination of relevant goals and criteria used to select an automated patient care information system:a Delphi approach［J］.J Am Med Inform Assoc，1999，6(3):219-233.

［13］ JI X Q，LIU Z M(季新強，劉志民).Delphi study and its application on medical research and decision making［J］.Chinese Journal of Drug Dependence(中國藥物依賴性雜志)，2006，15(6):422-426.(in Chinese)

Comparison of mail and meeting forms in evaluation of Delphi study

WANG Yan-min，ZHANG Cai-qian，WU Yin-yin，WANG Hui，HUANG Zheng-qiang，CHEN Kun
(Department of Epidemiology and Health Statistics，Zhejiang University School of Public Health，Hangzhou 310058，China)

Objective:To evaluate and compare mail and meeting forms in evaluation of Delphi study.Methods:Delphi study by mail and meeting approaches was used to determine the health information dataset.Experts were required to grade the listed items through three indexes:importance，necessity and availability.Study duration，coefficient of variation of items，authority coefficient and coordination coefficient of the experts'opinion of two forms of study were calculated and compared.Results:The study duration was four months through mail form and 2 days through meeting.Compared with the first round，the coefficient of variation decreased(P ＜ 0.001，all of the three indexes by two forms)，and the cooperation index increased(P ＜0.005)in the second round.The experts'opinions were easier to be consistent through meeting than through mail(P ＜0.033).And the authority coefficient by meeting consultation(0.83 ± 0.05)was higher than that by mail(0.77 ± 0.03)(P=0.001).Conclusion:Both mail and meeting forms of Delphi study can determine the health information dataset，but meeting consultation is better and requires shorter study duration.

Delphi technique;Evaluation Studies;Counseling;Mail consultation;Meeting advisory

R 18

A

1008-9292(2011)03-0276-05

http:∥www.journals.zju.edu.cn/med

10.3785/j.issn.1008-9292.2011.03.008

2010-11-23

2011-03-31

“十一五”國家科技支撐計劃(2008BAH27B01).

王妍敏(1985-)，女，碩士研究生.

陳 坤(1960-)，男，博士，教授，博士生導師，從事管理流行病學、腫瘤流行病學研究;E-mail:ck@zju.edu.cn

［責任編輯 黃曉花］