人口健康信息化評價指標體系構建研究

胡紅濮 劉 碩 陳 荃 代 濤

中國醫學科學院醫學信息研究所 衛生政策與管理研究中心 北京 100020

·衛生決策支持與信息化建設·

人口健康信息化評價指標體系構建研究

胡紅濮 劉 碩 陳 荃 代 濤

中國醫學科學院醫學信息研究所 衛生政策與管理研究中心 北京 100020

目的：構建以人口健康信息化主管部門為評價主體，對人口健康信息化發展水平進行測度的綜合評價指標體系。方法：分別應用德爾菲法、層次分析法、綜合指數法、數理統計等方法確定評價指標內容、各項指標的權重及組合權重、構建綜合評價模型以及檢驗評價指標體系的信度、效度和區分度。結果：建立人口健康信息化發展水平綜合評價指標體系，包含信息資源建設，信息化基礎設施建設，信息技術應用，信息化籌資，信息化人才和信息化政策、規劃與標準等6個一級指標、16個二級指標和33個三級指標的三階層次結構模型及指標權重；構建了綜合評價模型，并對指標體系進行了信度、效度及區分度檢驗。結論：指標體系可以用于人口健康信息化發展水平的綜合評價，對人口健康信息化建設具有一定的指導意義。

人口健康信息化； 信息化評價； 指標體系

人口健康信息化是指衛生計生系統中的各類組織，利用現代網絡和計算機技術對人口健康信息進行搜集、整理、存儲、使用、提供服務，并對衛生計生領域的信息活動和各種要素(包括信息、人、技術與設備等)進行合理組織與控制，以實現信息及相關資源的合理配置，從而滿足衛生計生行業信息服務與管理需求過程的統稱。[1-3]我國人口健康信息化經過多年發展，已經成為衛生事業發展和醫藥衛生體制改革的重要支撐手段。開展人口健康信息化評價工作有助于明確人口健康信息化定位，為優化信息資源配置、減少投資浪費提供支持。2013年，國家衛生計生委和國家中醫藥管理局聯合發布《關于加快推進人口健康信息化建設的指導意見》(以下簡稱《指導意見》)文件，強調要加強信息化建設業務指導和監督評估，將信息化建設成效納入年度目標考核內容。目前，國內信息化評估的理論研究尚不豐富，實踐活動也主要在醫院信息化等業務領域內，能夠服務于人口健康信息化主管部門的綜合性評價基本處于空白。[4-7]本研究結合當前人口健康信息化發展實際和未來趨勢，綜合運用多科學研究方法，探索建立一套能夠對區域人口健康信息化綜合發展水平進行測度的評價指標體系。

1 資料與方法

1.1 研究對象

本研究以省及以下區域人口健康信息化發展水平為主要研究對象，涵蓋了人口健康信息化基礎設施，信息資源，技術應用，人才，籌資和政策、規劃、標準等，即區域人口健康信息化建設的核心要素和實施過程中所涉及的關鍵環節及其應用效果等。

1.2 資料來源

通過查詢CNKI、萬方、pubmed等數據庫獲取相關文獻，初步確定指標體系內容；利用國家衛生計生委規劃信息司“2015年人口健康信息化建設情況網絡調查”數據進行指標體系的檢驗。

1.3 研究方法與過程

綜合運用文獻調研、德爾菲法、層次分析法、綜合指數法、數理統計方法構建評價指標體系。

1.3.1 評價指標的選擇

綜合借鑒國內外人口健康信息化評價以及教育、電信等領域信息化評價的理論與實踐[5,7-14]，以國家統計局信息中心設計的“信息化六要素”模型為參照構建評價框架[6]，與人口健康信息化建設總體要求相結合，構建人口健康信息化評價的總體框架[15]。

在評價指標的選擇上，主要思路如下：(1)以國家政策要求為導向，體現人口健康信息化建設總體要求；(2)以信息化評價理論為依據，多層次、多角度反映評價對象的特征和狀況，體現評價對象的變化趨勢和發展動態，反映信息化的投入、過程及其產品；(3)兼顧指標的典型性和可操作性，用盡量少的指標來反映人口健康信息化的主要狀況；(4)注意評價結果的可比性，指標既能夠在空間上比較不同區域人口健康信息化水平的差異，又能在時間上測算區域人口健康信息化水平的歷史進程。

基于以上原則和思路，將人口健康信息化評價對象劃分為“信息資源，信息化基礎設施，信息技術應用，信息化建設籌資，信息化人才及信息政策、法規與標準”6個維度，下設16個二級指標、35個三級指標(專家咨詢后調整為33個)。

1.3.2 德爾菲專家咨詢確定指標內容

本研究選擇人口健康信息化領域的專家學者、政府官員以及相關從業人員作為咨詢專家，通過兩輪德爾菲專家咨詢，對初步確定的指標體系進一步篩選或補充，對初選指標的重要性進行評分，分值范圍為1～5分(分值從高到低分別對應“極為重要”、“比較重要”、“一般”、“不重要”、“完全不重要”)，并補充未列出的指標。在正式函詢前，請專家填寫基本信息表和權威程度自評表。經專家咨詢后，完成指標內容的確定，最終建立一個遞階層次結構模型。為保持咨詢的連貫性，第二輪咨詢專家為第一輪中回復有效咨詢表的專家。

1.3.3 層次分析法確定指標權重

采用層次分析法對各項指標權重及組合權重進行測定，主要步驟：構造指標兩兩判斷矩陣，專家對同一矩陣中各個指標重要性進行兩兩比較，并按照Satty 1—9比例標度賦值；對專家反饋矩陣評分表進行層次單排序及一致性檢驗；最后使用群決策方式對各位專家的打分進行綜合，得到各指標權重及組合權重。層次分析法所選專家為第二輪德爾菲咨詢中回復有效問卷的專家。

1.3.4 構建綜合評價模型

通過研究討論和專家咨詢，結合信息化調查數據，確定指標體系中各三級指標的計算公式；使用均值法對三級指標數值進行標化處理；將三級指標標化處理后的數值乘以該項指標的組合權重可以得到綜合指數值。

1.3.5 檢驗評價指標體系

利用信息化調查數據進行驗證，通過計算克朗巴赫α系數、因子分析法、聚類分析和方差分析等數理統計方法檢驗指標體系信度、結構效度和區分度。

2 結果

2.1 德爾菲專家咨詢結果

2.1.1 專家積極程度

專家遴選標準：(1)國家和部分省級人口健康信息化管理部門領導和業務骨干，人口健康信息化研究領域的專家學者，以及其他相關領域的研究人員和業務人員；(2)具有中級或中級以上職稱或者是中層以上領導；(3)從事人口健康信息化相關工作5年以上。

首輪發出咨詢表16份，收回14份，其中有效咨詢表14份，有效回收率為87.5%；第二輪發出咨詢表14份，收回有效咨詢表13份，有效回收率為92.9%。

2.1.2 專家基本情況

參與咨詢的專家中以參加工作20年以上的副高級職稱及以上為主，主要從事行政管理工作和教學科研工作，學歷以碩士及以上學歷的為主，專業分布主要集中在計算機類、衛生管理類和臨床醫學類(表1)。

2.1.3 專家權威程度

專家的權威程度用權威系數Cr表示，由兩個因素決定，即專家對指標的熟悉程度Cs和判斷依據Ca。Cs和Ca采用通用量表，Cr計算公式：Cr=(Ca+Cs) /2。專家權威程度自評結果顯示，專家對評價指標熟悉程度的平均系數為0.74，專家判斷依據的平均系數為0.96，專家權威程度平均為0.85，表明所選專家在行業內具有較高的權威性。

2.1.4 專家意見協調程度

專家評分結果的變異系數基本保持在0.2以下，對全部指標進行Kendall和諧系數W檢驗，結果顯示全部檢驗結果P值小于0.05，有統計學意義。檢驗結果表明專家意見的協調性較好。

表1 專家基本情況

*注：有兩名行政工作人員沒有職稱評定

2.1.5 指標遴選及權重確定結果

經過兩輪咨詢，根據德爾菲專家咨詢結果，將最后的評價指標體系建立遞階層次結構模型。其中，第一準則層6個指標，第二準則層16個指標；指標層33個指標。在接受第二輪咨詢的14位專家中，有11位繼續為層次分析法的判斷矩陣打分；經過調整后，最后取7位專家的結構進行群決策計算，所有判斷矩陣一致性良好，并通過行Kendall和諧系數W檢驗。采用算術平均的方法將各位專家打分計算得出的指標權重進行處理。最終結果詳見表2。

表2 評價指標體系遞階層次模型及其指標權重

2.2 綜合評價模型的構建

在取得評價指標體系結構及其權重后，采用綜合指數法構建綜合評價模型。首先確定所有三級指標評分細則，然后使用均值化法對指標得分進行無量綱化處理[16]，再對評價對象采取正向累積的方式計分，將三級指標標化處理后的數值乘以該項指標和組合權重可以得到綜合指數值。計算公式為

其中y為綜合指數值，wi是指標i的權重，xi是指標i的標化值，n為指標個數。

2.3 指標體系的檢驗

信度與效度的檢驗是量表或測量工具在應用于實踐之前必要的過程。本研究采用克郎巴赫α系數、因子分析、聚類分析和方差分析進行信度、結構效度和區分度的檢驗。利用國家衛生計生委規劃信息司“2015年人口健康信息化建設情況網絡調查”數據進行實證，共使用了 28個省份的有效數據，其中少量指標的調查數據暫時缺失，在本次實證中以缺失值處理或不參與數理統計計算。根據三級指標評分細則計算各級指標的得分，然后進行標化處理，再利用綜合指數法結合指標權重計算加權分值，最后使用SPSS19.0軟件進行統計分析。

2.3.1 信度

通過計算得到一級指標及下屬指標的克朗巴赫α系數標準值在0.674～0.847之間；全體二級指標的克朗巴赫α系數為0.899，P值均小于0.05。

2.3.2 效度

運用主成分分析法，“按照公共因子盡量少，貢獻率大于70%，特征值大于1”的原則[17]，共提取了6個公因子，二級指標所提取的公因子對各自變量的方差貢獻，大部分指標共同度在0.7以上，說明變量空間轉化為因子空間時保留了比較多的信息，可以認為因子分析效果顯著。經方差最大正交旋轉后，6個公因子的累計貢獻率為76.384%。

2.3.3 區分度

本研究根據不同地區的綜合評價得分，應用快速聚類法將28個樣本分為5類組，各類別包含的樣本數分別為11、3、8、4和2；方差齊性檢驗P值等于0.608，差異無統計學意義。釆用方差分析比較不同組別之間的差異，五組樣本之間以及每兩組樣本之間有顯著差異(P<0.05)。

3 討論

3.1 評價視角的全面性與內容的針對性

我國人口健康信息化建設，受到信息技術水平差異、政策環境支持力度、保障水平高低等因素的影響，各地存在差異。以往研究多集中在單一業務領域的信息系統研究，缺乏技術視角之外的政策考量。本研究在指標選取時，加入了較為宏觀的政策指標。

在評價操作層面，區域人口健康信息化評價主要有“發展水平測度”，“績效評價”以及“考核評估”等類型。水平測度側重了解整體情況，并進行空間和時間上的對比；績效評價重視結果，對信息化效率、效果和效益進行衡量；考核評估幫助評價對象查找不足和改進完善。目前人口健康信息化建設并無統一的模式，且政府主導的信息化建設有較高的公共產品屬性，短期內難以看到實際效益。本研究將此次評價界定為開展基礎性的區域人口健康信息化水平測度，適當突出現階段發展戰略，有針對性地反映信息化過程中主要屬性的發展情況。為兼顧評價視角的全面性與評價內容的針對性，本研究選取了理論和實踐成熟度較高的國家信息化水平“六要素”模型為基礎，結合國家人口健康信息化建設的總體要求，建立了信息資源建設、信息化基礎設施建設、信息技術應用、信息化籌資、信息化人才和信息化政策、規劃與標準六方面的評價框架。

3.2 咨詢專家的代表性與意見一致性

使用德爾菲法必須滿足兩個條件，一是有一定數量和代表性的專家群體，二是專家意見存在一致性。[18]本研究中，有14位專家參加兩輪的問卷反饋，未超出20人的一般上限，基本符合人數限定要求。代表性取決于專家的背景和專業素養，人口健康信息化評價作為一個較快的領域，專家的專業和學歷對權威程度的影響有限，因此除科研人員外，從業經驗較為豐富的一線工作者和行業管理者同樣具有較好的知識水準和判斷能力。在專家篩選標準上，行政管理人員和信息化一線工作者的選取得到重視。由于嚴格執行篩選標準，且專家的權威系數較高，對指標的判斷有較高的一致性，只用兩輪咨詢反饋基本達到了指標內容的穩定和一致。

3.3 指標權重賦值的方法選擇

在指標體系的權重賦值方面，有德爾菲法、層次分析法、模糊分析法、數據包絡分析法、灰色評價法等，不同方法在主客觀賦值、定性與定量表達、數據完整性等方面要求不一，各有優劣。[19]在人口健康信息化發展水平測度中，專家的主觀意見不可或缺，同時定性數據也不可避免，使用層次分析法賦值較為恰當。層次分析法把復雜系統的問題描述成條理清楚的層級結構因素集合，對每一層級的元素定性判斷，用數學方法得出定量的權重結果，從而實現定量和定性的結合，克服了主觀賦值方法的隨意性，同時也避免了客觀賦值法需要長期完整統計數據的困境以及經驗判斷的武斷。[20-21]但在實際使用中也存在一定局限性，兩兩對比的指標一般不超過7個，因為對比的次數越多，越容易出現邏輯混亂，打分的一致性就越差；即便本研究中每一級中同根的指標數不超過4個，依然有專家出現邏輯不一致的情況。

3.4 綜合評價模型的實用性

完成指標體系的層級結構和指標權重的確定只是評價工作的一部分，還需進行綜合評價模型的構建，即將實際數據與指標權重結合的過程，包括將實際數據轉化成指標值，以及將指標值與指標體系結合。本研究對各項三級指標制定了詳盡的評分細則，包括指標解釋和計算公式，主要分三種情況：一是定性指標，如“機房安全等級”，該項指標的調查數據為“A/B/C/無”4類，必須先轉換成數值，根據等級高低賦予有遞階的數值；二是從調查數據中無法直接得到的指標，如“村衛生室計算機普及率”。該項指標的調查數據只有以縣為單位的普及率情況，而計算一個省的整體情況還需要全省各個縣的村衛生室數，計算極為繁瑣。為方便起見，對村衛生室的普及率進行分段賦值，將連續性的“率”值轉化成等級分數，然后進行全省的平均計算；三是涉及到多個行政級別的指標，如“區域內電子病歷數據庫建設率”，該指標涉及到省、市、縣三級的電子病歷庫建設情況，而各個級別的建設數量、難度和重要性并不一致，不能將每個電子病歷庫都同等對待，必須分級處理，各級別的建設率對應各自的權重系數。

3.5 指標體系的合理性與可靠性

本研究利用全國人口健康信息化網絡調查的數據對評價指標體系進行驗證，得到綜合評價結果。對評價工具的信度檢驗通常使用克郎巴赫α系數，該系數取值在0～1之間，α系數越高，指標體系的內部一致性越好，信度越高。[22]本研究構建的指標體系中一級指標的克朗巴赫α系數標準值在0.674～0.847之間，信度較好。評價工具的效度一般分為內容效度、結構效度、關聯效標效度，由于目前人口健康信息化沒有公認的“金標準”，關聯校標效度無法測量；而內容效度一般無法定量測量，本研究認為內容效度較好；結構效度的測量可以使用因子分析，本研究共提取了6個公因子，在二級指標中載荷較高，累積貢獻率達到76.384%，可以認為指標體系總體上具有結構效度。區分度的檢驗可以通過對不同組別樣本的差異性檢驗來實現，本研究使用快速聚類將樣本分組，并用方差分析證明了各組有顯著性差異，表明指標體系的區分度較好。

[1] 國家衛生計生委 國家中醫藥管理局.關于加快推進人口健康信息化建設的指導意見[Z].2013.

[2] 李新偉, 胡紅濮, 郭珉江， 等.我國衛生信息化發展策略研究[J].中國數字醫學, 2011, 6(6): 50-52.

[3] 劉碩.區域人口健康信息化發展水平綜合評價指標體系構建研究[D].北京： 北京協和醫學院, 2015.

[4] 胡曉鵬.中國區域信息化差異的實證研究[J].財經問題研究, 2003(5): 73-78.

[5] 張大朋, 周均清, 王乘， 等.國內外信息化水平評估體系簡析[J].中國信息導報, 2004(7): 17-19.

[6] 《中國信息化水平評價研究》課題組.中國信息化水平評價研究報告[J].統計研究, 2006(2): 3-9.

[7] 李彬, 王葉婷, 向璨, 等. 我國衛生信息化評估體系研究[J]. 醫學信息學雜志, 2013, 34(2): 10-15.

[8] Yu P, Yu H, Soar J. Methods to evaluate health informationsystems[J]. Faculty of Informatics-Papers, 2011， 32(2)： 15-21.

[9] Mettler T, Vimarlund V. Evaluation of E-Health Strategies: A Portfolio Approach[C]//Proceedings of the 15th International Symposium on Health Information Management Research-ISHIMR 2011. 2011: 301-305.

[10] Ancker J S, Kern L M, Abramson E, et al. The Triangle Model for evaluating the effect of health information technology on healthcare quality and safety[J]. J Am Med Inform Assoc， 2012， 19(1)： 61-65.

[11] 夏志遠, 陳潔, 范啟勇， 等.上海市社區衛生服務機構信息化水平綜合評價指標體系構建研究[J].中國衛生資源, 2011, 14(2): 114-115.

[12] 馬玉成, 星吉, 周杰. 區域衛生信息化建設績效評價指標體系研究[J]. 中國衛生信息管理雜志, 2012, 9(3): 57-61.

[13] 馬克盧普(美).美國的知識生產與分配[M].孫耀君,譯.北京: 人民大學出版社, 2007.

[14] 鄭建明, 王育紅.信息測度方法模型分析[J].情報學報, 2000， 19(6): 546-552.

[15] 劉碩, 代濤, 胡紅濮, 等.人口健康信息化評價視角的變遷與評價要素分析 [J].中國數字醫學,2015,10(4): 35-38.

[16] 葉宗裕. 關于多指標綜合評價中指標正向化和無量綱化方法的選擇[J]. 統計科學與實踐, 2003(4): 24-25.

[17] 何有世, 徐文芹.因子分析法在工業企業經濟效益綜合評價中的應用[J].數理統計與管理, 2003, 22(1): 19-22.

[18] 田軍, 張朋柱, 王刊良， 等.基于德爾菲法的專家意見集成模型研究[J].系統工程理論與實踐, 2004, 24(1): 57-62.

[19] 杜棟， 龐慶華， 吳炎.現代綜合評價方法與案例精選[M].北京: 清華大學出版社, 2008.

[20] 李寶山. 管理系統工程[M]. 北京: 中國人民大學出版社, 2004.

[21] 李道蘋. 醫學信息分析[M]. 北京: 人民衛生出版社, 2009.

[22] 劉朝杰.問卷的信度與效度評價[J]. 中國慢性病預防與控制, 1997, 5(4): 174-177.

(編輯 謝宇)

Study on the establishment of evaluation system for population & health informatization

HUHong-pu,LIUShuo,CHENQuan,DAITao

CenterforHealthPolicyandManagement,InstituteofMedicalInformation,ChineseAcademyofMedicalSciences,Beijing100020,China

Objective: The present study aims at setting up an evaluation index system aiming at providing a set of measurement tools for population & health informatization developing level for administrative departments. Methods: Delphi method, analytic hierarchy process, Synthetic Index Method and some mathematical or statistical methods were used respectively to select the primary indexes, calculate the weight and combined weight of each index, build up the synthetic evaluation mode，and test the evaluation system. Results: According to the results of this work, the evaluation index system has been established which is composed of 6 level 1 indexes, 16 level 2 indexes, and 33 level 3 indexes, and it covers 6 aspects, such as information resources construction, information infrastructure construction, information technology application, informatization talents and the information policy, planning, and standards. The weights of these indexes were also calculated. The synthetic evaluation model has been built. Finally, the reliability, the validity and the discrimination of the evaluation system were tested. Conclusions: The evaluation index system has been established, which is able to be used in the evaluation, and to some extent guide the work of population & health informatization construction.

Population & health informatization; Informatization evaluation; Index system

國家自然科學基金(71273280)；國家衛生計生委規劃信息司委托課題

胡紅濮，女(1968年—)，博士，副研究員，主要研究方向為衛生信息管理。E-mail: hu.hongpu@imicams.ac.cn

代濤。E-mail:dai.tao@imicams.ac.cn

R197

A

10.3969/j.issn.1674-2982.2016.12.002

2016-10-19

2016-12-10