科技評(píng)價(jià)中不同權(quán)重賦值方法的比較研究：以中國(guó)醫(yī)院科技量值為例

單連慧，鐘 華，胥美美，安新穎

（中國(guó)醫(yī)學(xué)科學(xué)院醫(yī)學(xué)信息研究所，北京 100020）

1 研究背景

科技評(píng)價(jià)體系改革已經(jīng)成為國(guó)家意志的體現(xiàn)。黨中央、國(guó)務(wù)院在“科技三會(huì)”和中央全面深化改革委員會(huì)第十九次會(huì)議中都對(duì)科技評(píng)價(jià)工作作出了重要指示，加快實(shí)現(xiàn)科技自立自強(qiáng)要用好科技成果評(píng)價(jià)這個(gè)“指揮棒”。而在中國(guó)的科技評(píng)價(jià)體系中，指標(biāo)單一化問題還不同程度存在。隨著研究領(lǐng)域的拓展，科技評(píng)價(jià)對(duì)象也日趨復(fù)雜，常常需要采用指標(biāo)綜合評(píng)價(jià)方法。在綜合評(píng)價(jià)模型中，指標(biāo)權(quán)重的確定是科技評(píng)價(jià)中的基礎(chǔ)問題。指標(biāo)權(quán)重賦值的方法有很多，國(guó)內(nèi)外學(xué)者確定指標(biāo)權(quán)重的方法主要包括主觀賦權(quán)法、客觀賦權(quán)法以及主客觀綜合賦權(quán)法［1］。主觀賦權(quán)法例如層次分析法（analytic hierarchy process,AHP）、專家調(diào)查法等，客觀賦權(quán)法例如熵值法、標(biāo)準(zhǔn)離差法、CRITIC法（criteria importance though intercrieria correlation）等。主觀賦權(quán)法的指標(biāo)權(quán)重在數(shù)據(jù)采集前確定，主要由專家依據(jù)經(jīng)驗(yàn)和主觀判斷而得；客觀賦權(quán)法的指標(biāo)權(quán)重在數(shù)據(jù)采集后計(jì)算確定，是由各指標(biāo)在被評(píng)價(jià)對(duì)象中的實(shí)際數(shù)據(jù)決定的。主客觀賦權(quán)法各有其優(yōu)缺點(diǎn)。主觀賦權(quán)法的缺點(diǎn)是忽視了評(píng)價(jià)指標(biāo)數(shù)字特征本身所蘊(yùn)含的信息，以及易受專家的知識(shí)、經(jīng)驗(yàn)、偏好等主觀因素的影響；客觀賦權(quán)法的缺點(diǎn)是僅以數(shù)據(jù)說話，忽視了專家的知識(shí)和經(jīng)驗(yàn)，有時(shí)會(huì)出現(xiàn)權(quán)重系數(shù)不合理的現(xiàn)象［2］。

在科技評(píng)價(jià)過程中，指標(biāo)權(quán)重的確定方法相關(guān)研究成果很多，例如，李珊珊等［3］、方振邦等［4］利用層次分析法分別確定不同層級(jí)公立醫(yī)院公益性評(píng)價(jià)指標(biāo)權(quán)重和醫(yī)師勝任力模型指標(biāo)權(quán)重等；王鳴濤等［5］在評(píng)價(jià)區(qū)域工業(yè)科技創(chuàng)新能力時(shí)利用基于指標(biāo)相關(guān)性的權(quán)重確定法CRITIC來確定指標(biāo)權(quán)重；張?zhí)芈龋?］利用層次分析法與熵權(quán)法相結(jié)合的方法確定組合權(quán)重對(duì)校園安全進(jìn)行評(píng)價(jià)；李望晨等［7］利用AHP、優(yōu)序圖和熵權(quán)法計(jì)算組合權(quán)重評(píng)價(jià)公立醫(yī)院患者滿意度；蔣雪琳等［8］利用熵值-灰色關(guān)聯(lián)分析方法來確定專利實(shí)力綜合評(píng)價(jià)指標(biāo)的組合權(quán)重等，以及其他一些綜合運(yùn)用主客觀方法和主客觀權(quán)重組合方式確定科技評(píng)價(jià)指標(biāo)權(quán)重的研究。權(quán)重計(jì)算的合理性將直接影響評(píng)價(jià)結(jié)果的客觀性和準(zhǔn)確性，因此指標(biāo)權(quán)重的賦值也是各種評(píng)價(jià)的難點(diǎn)和關(guān)鍵點(diǎn)。

醫(yī)學(xué)科技評(píng)價(jià)是衡量醫(yī)學(xué)科技發(fā)展水平的重要手段。醫(yī)院在臨床醫(yī)學(xué)科技創(chuàng)新中起關(guān)鍵作用，醫(yī)院的科技評(píng)價(jià)對(duì)推動(dòng)臨床研究具有重要導(dǎo)引作用，因此需建立反映高質(zhì)量發(fā)展要求的綜合評(píng)價(jià)指標(biāo)體系以全面反映醫(yī)院工作質(zhì)量。中國(guó)醫(yī)學(xué)科學(xué)院長(zhǎng)期致力于醫(yī)學(xué)科技評(píng)價(jià)體系改革研究，2018年首次提出“科技量值（science and technology evaluation metrics，STEM）”，探索建立醫(yī)院創(chuàng)新評(píng)價(jià)體系，全面評(píng)價(jià)醫(yī)院科技成果的科學(xué)、技術(shù)和社會(huì)價(jià)值。中國(guó)醫(yī)院科技量值是面向醫(yī)學(xué)科技領(lǐng)域開展的系統(tǒng)、全面、深層次的評(píng)價(jià)實(shí)踐研究，評(píng)價(jià)結(jié)果于2014—2021年連續(xù)8年發(fā)布，受到社會(huì)廣泛關(guān)注。醫(yī)院科技量值通過德爾菲法確定評(píng)價(jià)指標(biāo)體系，采用層次分析法確定權(quán)重［9］。鑒于指標(biāo)權(quán)重賦值在科技評(píng)價(jià)體系中的重要性，有必要進(jìn)一步比較不同主觀和客觀指標(biāo)權(quán)重賦值方法的特點(diǎn)，以篩選出更加相對(duì)科學(xué)、合理的指標(biāo)權(quán)重。

2 資料與方法

2.1 研究方法

本研究以中國(guó)醫(yī)院科技量值為例，研究中國(guó)醫(yī)院科技評(píng)價(jià)中不同客觀評(píng)價(jià)方法的本質(zhì)及其影響，采用熵值法、CRITIC權(quán)重法、獨(dú)立性權(quán)重法、信息量權(quán)重法等4種客觀評(píng)價(jià)方法確定權(quán)重后進(jìn)行評(píng)價(jià)，并與中國(guó)醫(yī)院科技量值利用層次分析法的評(píng)價(jià)結(jié)果進(jìn)行比較分析。

（1）熵值法。“熵”原本是一個(gè)熱力學(xué)概念，最先由美國(guó)數(shù)學(xué)家C.E.Shannon［10］引入信息論，已得到廣泛應(yīng)用。熵值法（entropy method）是用來判斷某個(gè)指標(biāo)離散程度的數(shù)學(xué)方法。在信息論中，熵是對(duì)不確定性的一種度量，可為多指標(biāo)綜合評(píng)價(jià)提供依據(jù)［11］。熵值法是一種客觀賦權(quán)法，僅依賴于數(shù)據(jù)本身的離散性，彌補(bǔ)了傳統(tǒng)專家打分法主觀性太大的問題。

（2）CRITIC法。CRITIC法是由Diakoulaki等［12］提出的一種客觀權(quán)重賦權(quán)法，使用對(duì)比強(qiáng)度和沖突性指標(biāo)兩項(xiàng)指標(biāo)，權(quán)重計(jì)算時(shí)對(duì)比強(qiáng)度與沖突性指標(biāo)相乘，并進(jìn)行歸一化處理，得到最終的權(quán)重［13］。

（3）獨(dú)立性權(quán)重法。獨(dú)立性權(quán)重法是一種客觀賦權(quán)法，利用指標(biāo)間的共線性強(qiáng)弱來確定權(quán)重：如果某指標(biāo)與其他指標(biāo)相關(guān)性很強(qiáng)，說明信息有較大重疊，意味著該指標(biāo)權(quán)重會(huì)比較低；反之，說明該指標(biāo)攜帶信息量較大，應(yīng)賦予更高權(quán)重。

（4）信息量權(quán)重法。信息量權(quán)重法是一種客觀賦權(quán)法，也稱變異系數(shù)法，利用數(shù)據(jù)的變異系數(shù)進(jìn)行權(quán)重賦值，變異系數(shù)越大說明其攜帶的信息越大，因而權(quán)重也會(huì)越大。

2.2 指標(biāo)體系

本研究基于2018年度中國(guó)醫(yī)院科技量值指標(biāo)體系［14］，包括科技產(chǎn)出、學(xué)術(shù)影響和科技條件3個(gè)維度，如表1所示。

表1 2018年度中國(guó)醫(yī)院科技量值指標(biāo)體系

2.3 樣本選擇及數(shù)據(jù)來源

選取2018年度中國(guó)醫(yī)院綜合科技量值前100位醫(yī)院（以下簡(jiǎn)稱“樣本”），各醫(yī)院數(shù)據(jù)來自國(guó)內(nèi)外權(quán)威的科技論文、科研項(xiàng)目、國(guó)家標(biāo)準(zhǔn)等數(shù)據(jù)庫(kù)，科技部、國(guó)家衛(wèi)健委等政府部門統(tǒng)計(jì)資料，各醫(yī)院網(wǎng)站以及相關(guān)內(nèi)部資料等。STEM是涉及多指標(biāo)的綜合評(píng)價(jià)，各指標(biāo)間無統(tǒng)一的度量標(biāo)準(zhǔn)，需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，本研究采用極差標(biāo)準(zhǔn)化方法對(duì)原始數(shù)據(jù)進(jìn)行線性變換，將各指標(biāo)數(shù)據(jù)統(tǒng)一變換到［0，1］范圍內(nèi)，消除量綱影響。

在統(tǒng)計(jì)分析方法方面，利用SPSS 24.0統(tǒng)計(jì)軟件和SPSSAU智能化在線統(tǒng)計(jì)分析平臺(tái)，評(píng)價(jià)數(shù)據(jù)的可靠性，并開展不同方法權(quán)重和評(píng)價(jià)結(jié)果計(jì)算與分析。

3 結(jié)果

3.1 極差標(biāo)準(zhǔn)化數(shù)據(jù)

本研究所采用的指標(biāo)體系中涉及的指標(biāo)均為正向指標(biāo)，利用極差標(biāo)準(zhǔn)化計(jì)算公式（Xi-min）/（max-min），對(duì)2018年度中國(guó)醫(yī)院綜合科技量值前100位醫(yī)院各指標(biāo)數(shù)據(jù)進(jìn)行無量綱化處理，得到極差標(biāo)準(zhǔn)化數(shù)據(jù)。受篇幅限制，表2中僅列出前20位樣本的極差標(biāo)準(zhǔn)化數(shù)據(jù)。然后利用SPSS 24.0統(tǒng)計(jì)軟件分析數(shù)據(jù)可靠性，克朗巴哈系數(shù)（Cronbach'α）值為0.883，大于0.8，說明研究數(shù)據(jù)的信度質(zhì)量高，可用于進(jìn)一步分析。

表2 前20位樣本2018年度綜合科技量值評(píng)價(jià)指標(biāo)的極差標(biāo)準(zhǔn)化數(shù)據(jù)

3.2 不同方法計(jì)算的權(quán)重結(jié)果

利用SPSSAU平臺(tái)，分別采用熵值法、CRITIC法、獨(dú)立性法、信息量法計(jì)算各指標(biāo)權(quán)重系數(shù)，結(jié)果如表3所示。客觀評(píng)價(jià)方法用于評(píng)價(jià)需要明確客觀賦權(quán)的原理［15］。可以看出，以上幾種方法中，熵值法與信息量法因原理接近，計(jì)算出各指標(biāo)的權(quán)重整體趨向一致。

表3 不同方法計(jì)算的樣本綜合科技量值評(píng)價(jià)指標(biāo)權(quán)重

利用相關(guān)分析研究熵值法權(quán)重與CRITIC權(quán)重、獨(dú)立性權(quán)重、信息量權(quán)重之間的相關(guān)關(guān)系，使用Pearson相關(guān)系數(shù)表示相關(guān)關(guān)系強(qiáng)弱（見表4）。可以看出，熵值法權(quán)重與CRITIC、獨(dú)立性、信息量之間的相關(guān)關(guān)系系數(shù)值呈現(xiàn)出顯著性。具體來看，熵值法權(quán)重與信息量權(quán)重和獨(dú)立性權(quán)重之間的相關(guān)系數(shù)值分別為0.984和0.728，P＜0.01，有顯著的正相關(guān)關(guān)系；熵值法權(quán)重和CRITIC權(quán)重之間的相關(guān)系數(shù)值為0.518，P＜0.05，說明兩者有顯著的正相關(guān)關(guān)系。

表4 不同方法下樣本綜合科技量值評(píng)價(jià)指標(biāo)權(quán)重相關(guān)系數(shù)

3.3 評(píng)價(jià)結(jié)果

采用不同方法下各指標(biāo)權(quán)重計(jì)算，得到100家樣本醫(yī)院的評(píng)價(jià)結(jié)果，其中前20位醫(yī)院綜合科技量值結(jié)果如表5所示。

表5 不同方法下2018年度前20位樣本綜合科技量值

利用相關(guān)分析研究了5種方法評(píng)價(jià)結(jié)果之間的相關(guān)關(guān)系（見表6），可以看出各種方法評(píng)價(jià)結(jié)果之間的相關(guān)系數(shù)全部呈現(xiàn)出顯著性，并且相關(guān)系數(shù)值均大于0，意味著層次分析法與其他4種方法評(píng)價(jià)結(jié)果之間有正相關(guān)關(guān)系。

表6 不同方法得到的2018年度樣本綜合科技量值評(píng)價(jià)結(jié)果相關(guān)系數(shù)

4 結(jié)論

（1）既往很多研究比較了不同主客觀賦權(quán)方法的差異，常常因各種評(píng)價(jià)方法原理不同，導(dǎo)致不同客觀賦權(quán)法權(quán)重與評(píng)價(jià)結(jié)果相差很大［16］。本研究的醫(yī)院科技評(píng)價(jià)中，采用的4種客觀賦權(quán)方法雖然原理不盡相同，但相關(guān)關(guān)系呈現(xiàn)出顯著正相關(guān)，并且層次分析法與這4種客觀賦權(quán)方法計(jì)算所得評(píng)價(jià)結(jié)果的相關(guān)關(guān)系全部呈現(xiàn)出顯著性正相關(guān)。

（2）層次分析法作為一種主觀賦權(quán)法，優(yōu)點(diǎn)是專家可依據(jù)實(shí)際情況相對(duì)合理地確定指標(biāo)排序，不需預(yù)先準(zhǔn)備樣本數(shù)據(jù)；熵值法、CRITIC法、獨(dú)立性法、信息量法等客觀賦權(quán)方法，根據(jù)各指標(biāo)原始數(shù)據(jù)，經(jīng)統(tǒng)計(jì)分析或其他數(shù)學(xué)方法處理后得到權(quán)重，具有較強(qiáng)的數(shù)學(xué)理論依據(jù)。中國(guó)醫(yī)院科技量值采用層次分析法確定指標(biāo)權(quán)重得到評(píng)價(jià)結(jié)果，本研究利用指標(biāo)客觀數(shù)據(jù)進(jìn)行數(shù)理分析來確定客觀權(quán)重，并且通過計(jì)算驗(yàn)證了層次分析法的主觀權(quán)重評(píng)價(jià)結(jié)果，體現(xiàn)了評(píng)價(jià)過程的合理公正。

（3）本研究采用層次分析法與客觀賦權(quán)方法評(píng)價(jià)結(jié)果相互得到驗(yàn)證，但這并不能代表客觀賦權(quán)法適用于各類評(píng)價(jià)，對(duì)于多屬性綜合評(píng)價(jià)來說，由于評(píng)價(jià)角度涉及多個(gè)方面，所以客觀賦權(quán)評(píng)價(jià)方法的選取仍要慎重，需要根據(jù)評(píng)價(jià)目的、管理需求及評(píng)價(jià)數(shù)據(jù)實(shí)際，系統(tǒng)比較，選取合適的賦權(quán)方法。