COSMIN內容效度評價指南解讀
——以移動健康信息搜索行為問卷為例

高云 趙俊峰 李豪 張嘉琪 徐麗麗 蔣俊玲

(1廣州醫科大學護理學院，廣東 廣州 510515；2河南省中醫院)

健康測量工具遴選標準(COSMIN)是通過對來自21個國家的158名專家進行專家咨詢而達成共識的健康相關測量工具的遴選指南，指導評價者通過評價量表研究的方法學質量及測量指標的優劣性對量表進行評價，從而篩選出符合研究目的高質量的量表〔1〕。在COSMIN指南中，內容效度被認為是最重要的測量特征〔2〕。只有內容效度充分并且內部一致性證據等級不低于“低”的量表才可以被推薦〔3〕。因此，考量量表的內容效度是評價量表的重要環節。在網絡信息迅速發展的今天，越來越多的人可以通過網絡、手機APP、社交媒體搜索與健康有關的信息，進行自我健康管理〔4〕。在獲取健康信息的過程中，網絡用戶需要對信息進行瀏覽、查找、選擇和評價等一系列行為活動，這些行為活動稱為健康信息搜索行為〔5〕。它是電子健康素養的重要組成部分，能反映使用者能否正確獲取網絡健康信息〔4〕。因此，評估使用者的健康信息搜索行為，是構建網絡健康資源，開展電子健康素養教育，指導用戶正確、合理獲取、使用網絡健康信息的重要保障。選擇合適的評估工具是評估健康信息搜索行為的前提。胡文奕〔5〕于2018年研發了移動健康信息搜索行為問卷，用于評估癌癥患者的健康信息搜索行為。而該研究的方法學質量和內容效度指標如何，該量表適用于哪些人群目前尚無定論。本文采用COSMIN內容效度評價手冊對健康信息搜索行為問卷進行內容效度的評價。

1 資料和方法

1.1評價方法 采用2018版的COSMIN內容評價手冊〔2〕對健康信息搜索行為問卷進行評價。

1.1.1COSMIN量表研發的研究質量評價標準〔2〕包括兩部分共35個條目。條目1～13為“量表設計質量評價標準(條目的產生)”，描述了量表總的設計要求和概念引出(即條目相關性和全面性)的評價標準；條目14～35為“認知訪談研究質量評價標準或測試新量表理解性和全面性的其他預試驗(如調查)的評價標準”，描述了總的設計要求和條目理解性、全面性的評價指標。評價結果分為非常好、充分、不確定、不充分4個等級。

1.1.2COSMIN量表內容效度研究的質量評價標準〔2〕包括5部分共31個條目，評價研究方法學質量。第1部分至第2部分為詢問病人條目相關性(條目1～7)、全面性(條目8～14)和理解性(條目15～21)的研究質量評價標準；第4、第5部分為詢問專家條目相關性(條目22～26)及全面性(條目27～31)的研究質量評價標準。每一部分分別從研究設計(如采用質性研究還是量性研究、樣本量、訪談者是否有經驗、訪談話題或提綱是否恰當、訪談是否錄音和轉錄)及數據分析過程(如分析數據的方法是否恰當、是否有至少2名研究員參與分析)兩方面進行評價。評價結果分為非常好、充分、不確定、不充分4個等級。

1.1.3COSMIN量表研發及內容效度標準〔2〕分為量表研發標準及內容效度標準，每個標準各8條。其中內容效度標準中有5條需評價者完成。其中，標準1～5為量表條目與待測結構“相關性”的標準，標準6為“全面性”標準，標準7～8為量表條目“理解性”的標準。

1.1.4COSMIN量表內容效度評定指引〔2〕COSMIN給出了針對“優秀量表研發及內容效度標準”的方法指引，見表1、表2。指引描述了如何使用“優秀量表研發及內容效度標準”將每個研究中量表從相關性、理解性及全面性三方面進行評價，結果分為+(充分)、-(不充分)、?(不確定)、±(不一致)。

1.1.5修訂版GRADE方法〔6〕該方法根據研究的偏倚風險、量表研發或內容效度評定結果的不一致、間接性(量表使用的群體是否與研發時的群體一致)對內容效度的評定結果進行證據等級的評定。首先考慮是否需要根據研究的偏倚風險對證據等級進行降級。根據基于偏倚風險的質量等級分級流程圖〔2〕，當至少有一項內容效度研究，且研究質量為非常好或充分時，證據等級為高級；若至少有一項內容效度研究，且研究質量為不確定，則證據等級為中級(降1級)；若僅有研究質量為不充分的效度研究或無效度研究，但量表研發質量評為非常好或充分，證據等級亦為中級(降1級)；若僅有研究質量為不充分的效度研究或無效度研究，且量表研發質量評為不確定，則證據等級為低級(降2級)；若僅有研究質量為不充分的效度研究或無效度研究，且量表研發質量評為不充分，則證據等級為非常低(降3級)。其次考慮量表研究及內容效度的評定結果是否一致考慮降級，最后考慮量表研究與使用人群是否一致，若不一致則考慮降級。

表1 量表內容效度評定指引〔2〕

該表中的評價標準指“COSMIN優秀量表研發及內容效度標準”

表2 內容效度總評指引〔2〕

1.2評價步驟〔2〕分三步。第一步，評價量表研發過程的方法學質量。根據“量表研發的研究質量評價標準”，見表3，將量表研發研究的方法學質量評為非常好、充分、不確定或不充分。方法學質量評價中總評結果根據“最低分原則”，將條目的最低分作為最終的總評價結果〔7〕。第二步，評價量表內容效度的方法學質量。根據“內容效度研究的質量評價標準”，見表4，評價量表的內容效度研究的方法學質量。第三步，評價量表的內容效度優劣。首先，對照COSMIN“優秀量表研發及內容效度標準”，見表5，對量表研發及內容效度的相關性、理解性及全面性逐條進行評定，每個條目分為+(充分)、-(不充分)、？(不確定)、±(不一致)，然后根據表1對量表研發或內容效度的評定結果按照相關性、理解性、全面性進行綜合，形成相關性評分、理解性評分及全面性評分；接著根據表2將相關性評分、理解性評分及全面性評分進行匯總，形成總的內容效度評分；最后，根據Grade 標準〔6〕對內容效度評價結果給出證據等級。由2名評價者根據COSMIN的數據提取表分別對測量特征逐一提取，并分別進行評價，結果不一致時請第3名評價者進行討論。

1.3數據提取 根據COSMIN提供的“質量評分表”(包括“量表研發質量評分表”及“內容效度質量評分表”)由2名評價員分別獨立對數據進行提取及核對。

2 結 果

2.1量表研發研究及內容效度研究的方法學質量評價結果 表3顯示，量表設計質量評分為“不確定”；量表理解性及全面性評分均為“不確定”，因此，量表研發研究的方法學質量評為“不確定”。 由于量表的內容效度研究僅涉及了專家效度，因此，根據專家效度評價指標進行評價。表4 顯示，專家對量表條目的相關性及全面性評分均為“不確定”。

表3 移動信息搜索行為問卷研發研究質量評價

2.2量表研發及內容效度指標評價結果及證據等級 表5列出了量表研發研究及內容效度研究的每條評價標準的評價結果，表6為內容效度總的評價結果及證據等級。由于量表內容效度研究的方法學質量評為不確定，內容效度中相關性方面的評價結果未不一致，按照GRADE標準〔6〕，對證據等級降2級，因此量表內容效度的評定結果的證據等級為低。

表4 量表內容效度研究質量評價

表5 COSMIN量表研發及內容效度標準

表6 內容效度評價總結果及評價結果的證據等級

3 討 論

3.1量表研發的方法學質量評價 本研究顯示，根據COSMIN指南中量表研究總設計要求，待測的量表結構要清晰。COSMIN指南指出，對量表內容效度威脅最大的一個因素是量表的結構與待測的目的或概念不匹配〔2〕。因此，要清楚描述量表的結構，讓讀者判斷量表的結構是否與測量目的相關。例如，對于疼痛評估量表，要清楚描述評估疼痛的哪些方面，如疼痛的嚴重程度、頻率及疼痛的困擾。這些結構與評估疼痛的目的是密切相關的。本研究中“移動信息搜索行為問卷”滿足了上述要求。該問卷清楚描述了移動信息搜索行為包括信息搜索頻率、搜索意愿、搜索自我效能、信息評價四個維度〔4〕，可以看出這4個維度與“移動信息搜索行為”是密切相關的。此外，量表的結構起源要求基于理論模型、概念框架或疾病模型等；要求量表的使用情境及目的人群均要清晰描述。本研究中“移動信息搜索行為問卷”的結構是基于“威爾遜信息行為模型”〔4〕。使用情境是指該量表是用于診斷、評價還是區分；也可以指某個具體的環境，如社區、醫院等〔2〕。本研究中，作者描述了問卷是用于評價“移動信息搜索行為”，使用環境包括腫瘤醫院、院外患教會(患者健康教育組織)及網絡，目標人群為“癌癥患者”〔4〕。因此，量表研發總設計要求評為“非常好”。在概念引出方面，本研究中移動信息搜索行為問卷確定條目時采用“半結構訪談”，并對訪談進行錄音和轉錄，采用“內容分析法”進行數據分析，并采用預調查對問卷進行修訂，符合COSMIN指南的標準。但在訪談實施和數據分析細節仍有欠缺，如未闡述訪談人員是否有經驗。對于質性研究，訪談人員的知識、背景對數據收集乃至數據分析影響很大〔8〕。如長期從事家庭暴力的質性研究人員，對質性研究經驗豐富，在數據收集方面優勢豐富，并且很容易理解家暴受害者的經歷，但另一方面，也會對數據分析產生一定的偏倚，如將家暴受害者的“嘆氣”理解為絕望。因此清晰交代訪談人員的資歷及背景有利于讀者了解研究者本身對研究產生的偏倚。此外，在研究中應列出訪談提綱，讓讀者了解訪談內容是否與研究問題相關。在數據分析階段，應由兩名研究員分別進行獨立編碼，以減少數據分析的偏倚〔9～11〕。在數據是否飽和的問題上，本研究的樣本僅提到數據飽和，但未給出數據飽和的證據。COSMIN指南推薦給出編碼表〔2〕，列出每個訪談的主題，通過編碼表一方面可體現無新主題出現的數據飽和的證據，還可以顯示質性研究的整個“反復分析、對比”的過程。

在量表設計質量方面，COSMIN推薦應詢問量表使用人群是否能正確理解量表的條目、指令及選項，該過程成為認知訪談。本研究中“移動信息搜索行為問卷”進行了癌癥病人的認知訪談，但未充分描述訪談的過程及數據分析的細節，因此研究質量評為“不確定”，根據COSMIN的“最低分”原則〔2〕，量表研發方法學總體質量評為“不確定”。在今后的研究中，應在研究設計及論文中對以上問題加以考慮及闡述。

3.2內容效度的方法學質量評價 量表研發完成后，要進行內容效度的測量。COSMIN指南中，內容效度可以通過問被試對象量表條目的相關性、理解性、全面性及問專家量表條目的相關性、全面性的兩種方法實現〔2〕。COSMIN指南推薦至少采用一種方法進行內容效度的評定。本研究中的“移動信息搜索行為問卷”采用的專家效度評判方法。本研究樣本采用了Delphi法對專家進行調查，而未采用質性研究方法，專家數量不足30名，專家的選取僅選取了護理專家，未闡述是否由2名研究者共同分析數據等問題，內容效度的方法學只聯系評為“不確定”。在今后的研究中，應借鑒COSMIN方法學質量標準對研究進行完善設計，論文撰寫中也應體現以上細節，提高量表設計的方法學質量。

3.3量表研究和內容效度指標的質量 根據COSMIN指南，一個優秀的量表，應全面涵蓋待測的概念，無關鍵內容的缺失〔2〕。本研究顯示，“移動信息搜索行為問卷”在研發過程中僅體現了被試對象對條目的理解性和相關性，對條目是否能反映待測概念的“全面性”證據不足。因此，將“全面性”評為不確定。而內容效度研究中，專家對相關維度及條目予以補充，根據COSMIN指南，可以視為反映量表條目“全面性”的證據，因此，內容效度評為充分；此外，該量表未設置“回憶時間”，在質性研究中未體現對量表指令及應答選項的理解。在今后的研究中，除了對量表條目的理解性描述外，還要注意對量表指令與應答選項的理解，設置“回憶時間”；在質性研究中體現量表內容全面性描述。

3.4內容效度評價結果的合成及質量證據等級 雖然“移動信息搜索行為問卷”研發研究的相關性評為充分，但由于其未在受試對象中進行內容效度的研究，并且未設置回憶時間，因此，內容效度的“相關性”最終結果評為不一致；全面性方面，雖然研發研究中為體現全面性的充足證據，但內容效度研究中給出了充分體現“全面性”的證據，結合評價小組意見，量表全面性的最終評價結果為充分；理解性方面，量表研發研究及內容效度研究均評為充分，因此，量表理解性的最終結果評為充分。本研究顯示，“移動信息搜索行為問卷”的證據等級為低。原因主要包括：①內容效度研究的方法學質量使證據等級降級。根據COSMIN指南〔6〕，內容效度方法學質量為非常好或充分時，證據等級為高，而有一項方法學質量為“不確定”的內容效度研究，證據等級應降一級〔6〕；②內容效度結果的不一致，“移動信息搜索行為問卷”僅在量表研發研究中進行了被試對象的“認知訪談”，而未在內容效度階段問被試對象關于量表相關性的問題，因此內容效度評為不一致。因此，證據質量從高級降為低級〔6〕。在今后的研究中應注重對被試對象訪談的內容效度研究方法，訪談提綱應充分體現被試對象對量表條目、指令及選項相關性、理解性和全面性的評估。設計問卷時，應注意設置回憶時間；參照COSMIN指南，提高問卷研發及設計研究的質量。

綜上所述，“移動信息搜索行為問卷”內容效度的相關性為不一致，理解性和全面性為充分，證據等級低，該結論適用于癌癥患者。COSMIN從量表內容的相關性、理解性、全面性評價量表研發及內容效度。量表的結構應基于理論模型，采用質性研究引出條目，在目標人群中進行認知訪談，明確目標人群對量表指令、條目、選項及回憶時間的理解性、全面性和相關性；推薦分別在目標人群及專家中采用質性研究的方法測試內容效度。