科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估：綜合評(píng)價(jià)信息可靠性的多指標(biāo)證據(jù)推理規(guī)則研究

朱衛(wèi)東，劉 芳，王東鵬，Jian-Bo Yang,4

(1．合肥工業(yè)大學(xué)經(jīng)濟(jì)學(xué)院，安徽 合肥 230009；2．合肥工業(yè)大學(xué)管理學(xué)院，安徽 合肥 230009；3.杭州電子科技大學(xué)，浙江 杭州 310018；4.曼徹斯特大學(xué)商學(xué)院，英國(guó) 曼徹斯特 M15 6PB)

?

科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估：綜合評(píng)價(jià)信息可靠性的多指標(biāo)證據(jù)推理規(guī)則研究

朱衛(wèi)東1，劉 芳2，王東鵬3，Jian-Bo Yang2,4

(1．合肥工業(yè)大學(xué)經(jīng)濟(jì)學(xué)院，安徽 合肥 230009；2．合肥工業(yè)大學(xué)管理學(xué)院，安徽 合肥 230009；3.杭州電子科技大學(xué)，浙江 杭州 310018；4.曼徹斯特大學(xué)商學(xué)院，英國(guó) 曼徹斯特 M15 6PB)

公正合理的科研項(xiàng)目立項(xiàng)評(píng)估與選擇是國(guó)家自然科學(xué)基金管理活動(dòng)的關(guān)鍵環(huán)節(jié)。綜合考慮科研項(xiàng)目的評(píng)估指標(biāo)體系和選擇流程，提出了利用歷史評(píng)估準(zhǔn)確性度量專(zhuān)家提供信息可靠性的方法，進(jìn)而提出了一種系統(tǒng)性的基于證據(jù)推理規(guī)則的科學(xué)基金項(xiàng)目評(píng)估決策模型。該模型使用證據(jù)推理合成規(guī)則對(duì)多專(zhuān)家多指標(biāo)評(píng)估信息進(jìn)行集結(jié)。在集結(jié)過(guò)程中：充分考慮評(píng)估指標(biāo)的權(quán)重以及評(píng)估等級(jí)的多樣性；鑒于參與項(xiàng)目評(píng)估的專(zhuān)家具有不同的知識(shí)背景和經(jīng)驗(yàn)，提出利用歷史評(píng)估結(jié)果的準(zhǔn)確性衡量專(zhuān)家提供的評(píng)價(jià)信息可靠性的方法；應(yīng)用信度分布表征項(xiàng)目的整體評(píng)價(jià)結(jié)果，包含了更豐富的信息。國(guó)家自然科學(xué)基金項(xiàng)目評(píng)估的實(shí)例分析證明了該評(píng)估決策模型的有效性。

科學(xué)基金項(xiàng)目；立項(xiàng)評(píng)估選擇；證據(jù)推理；可靠性

1 引言

以科研活動(dòng)為核心的企業(yè)或組織，都面臨著科研項(xiàng)目的立項(xiàng)評(píng)估和選擇問(wèn)題。隨著備選項(xiàng)目的增加及資源的限制，如何科學(xué)合理地評(píng)估科研項(xiàng)目并從中選擇若干項(xiàng)目加以資助至關(guān)重要。公正合理的科研項(xiàng)目立項(xiàng)評(píng)估與選擇，不僅利于提高科研經(jīng)費(fèi)的使用效率，并會(huì)對(duì)項(xiàng)目研究的成敗具有重要的影響[1-2]。

由于科研項(xiàng)目立項(xiàng)評(píng)估選擇的普遍性和重要性，一直受到學(xué)者的廣泛關(guān)注[3]。國(guó)內(nèi)外在項(xiàng)目立項(xiàng)評(píng)估選擇的理論及方法等方面做了大量的研究工作，并取得了不少成果[4-14]。目前，關(guān)于科研項(xiàng)目立項(xiàng)評(píng)估選擇方法通常可分為定性和定量方法兩類(lèi)。如圖1所示，定性方法包括同行評(píng)議法、Delphi法等，定量方法有得分排序法、決策分析等[3,8]。

圖1 科研項(xiàng)目立項(xiàng)評(píng)估常用方法分類(lèi)

上述科研項(xiàng)目立項(xiàng)評(píng)估方法的研究成果從不同的角度豐富了學(xué)術(shù)界對(duì)評(píng)估方法的認(rèn)識(shí)，也為科研項(xiàng)目的評(píng)估實(shí)踐提供了有效支撐。在定性評(píng)估方面，同行評(píng)議是由從事特定領(lǐng)域或接近該領(lǐng)域的專(zhuān)家來(lái)評(píng)定一項(xiàng)研究工作的學(xué)術(shù)水平或重要性的一種方法。同行評(píng)議法已有幾百年的歷史，在評(píng)審科研項(xiàng)目申請(qǐng)、評(píng)定科研成果等方面一直發(fā)揮著重要影響與作用[8]。但評(píng)價(jià)信息的利用以及在分階段同行評(píng)議情況下如何進(jìn)行項(xiàng)目選擇的決策分析仍未受到學(xué)者的重視。在定量評(píng)估方面，近年來(lái)多屬性決策分析方法由于可以反映項(xiàng)目的實(shí)際評(píng)估選擇機(jī)制而被學(xué)者廣泛研究并應(yīng)用到科研項(xiàng)目的評(píng)估與選擇[10-11]。層次分析法由于相對(duì)直觀并易于理解，是決策分析模型中常用的方法之一，但由于“排序逆轉(zhuǎn)問(wèn)題”和兩兩比較的工作導(dǎo)致工作量大而不適合大量指標(biāo)或者備選項(xiàng)目的情況，實(shí)際應(yīng)用范圍受到一定限制[12]。

針對(duì)以上方法的特點(diǎn)和局限性，本文提出基于證據(jù)推理(Evidential Reasoning，簡(jiǎn)稱(chēng)ER)規(guī)則[15-16]的科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估決策模型，在同行評(píng)議信息的基礎(chǔ)上，利用證據(jù)推理規(guī)則集結(jié)專(zhuān)家的意見(jiàn)。ER規(guī)則是基于證據(jù)推理方法[17-18]和多屬性決策上的多信息集結(jié)方法。證據(jù)推理方法已被應(yīng)用到許多決策問(wèn)題領(lǐng)域中，包含風(fēng)險(xiǎn)評(píng)估，企業(yè)管理，供應(yīng)鏈管理和群決策等[19]。在ER規(guī)則框架下，權(quán)重用來(lái)表示一條證據(jù)相對(duì)于其他證據(jù)的重要程度，而可靠性是證據(jù)的固有屬性。證據(jù)的可靠性表示信息資源的質(zhì)量以及對(duì)給定問(wèn)題提供正確評(píng)估的能力，它對(duì)決策的質(zhì)量具有重要影響，而現(xiàn)有研究如文獻(xiàn)[2]中利用原始ER方法合成專(zhuān)家意見(jiàn)時(shí)，僅考慮了權(quán)重對(duì)評(píng)審結(jié)果的影響。研究證明(1)當(dāng)每個(gè)證據(jù)都完全可靠的情況下，D-S證據(jù)合成規(guī)則是ER規(guī)則的一個(gè)特例；(2)當(dāng)證據(jù)的可靠性等于其歸一化的權(quán)重時(shí)，原始ER算子也成為ER規(guī)則的特例[15,20]。作為基本證據(jù)推理方法的擴(kuò)展，ER規(guī)則將對(duì)一個(gè)評(píng)價(jià)問(wèn)題的評(píng)價(jià)集定義為識(shí)別框架，并賦予識(shí)別框架中各個(gè)元素一定的信度，根據(jù)各個(gè)信息源的重要性和可靠性，對(duì)各條證據(jù)進(jìn)行折扣，能很好地集結(jié)不同權(quán)重和不同可靠性下的多條證據(jù)。

綜合考慮科研項(xiàng)目的多指標(biāo)評(píng)價(jià)體系特點(diǎn)和項(xiàng)目選擇流程，本文提出了利用歷史評(píng)估準(zhǔn)確性度量專(zhuān)家提供信息可靠性的方法，并進(jìn)一步提出了基于證據(jù)推理的科研項(xiàng)目立項(xiàng)評(píng)估決策模型。該模型具有以下特點(diǎn)：充分考慮評(píng)估指標(biāo)的權(quán)重以及評(píng)估等級(jí)的多樣性；利用歷史評(píng)估結(jié)果的準(zhǔn)確性衡量具有不同知識(shí)背景和經(jīng)驗(yàn)的專(zhuān)家提供的評(píng)估信息可靠性；應(yīng)用信度分布表征項(xiàng)目的整體評(píng)價(jià)結(jié)果，并引入效用函數(shù)得到項(xiàng)目的評(píng)價(jià)得分以供排序擇優(yōu)。

2 基于ER規(guī)則的科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估決策模型

在同行評(píng)議情況下，首先將專(zhuān)家評(píng)議信息轉(zhuǎn)化為以信度表示的證據(jù)體。同時(shí)考慮專(zhuān)家提供的評(píng)價(jià)信息的權(quán)重和可靠性，在各個(gè)指標(biāo)上分別合成多個(gè)專(zhuān)家的意見(jiàn)。由于不同指標(biāo)使用的識(shí)別框架可能不同，需將不同的識(shí)別框架轉(zhuǎn)換到統(tǒng)一的框架上，然后考慮各個(gè)指標(biāo)的權(quán)重，利用ER規(guī)則合成公式集結(jié)不同指標(biāo)上的信息。最后利用效用函數(shù)得到科學(xué)基金項(xiàng)目的評(píng)價(jià)得分并進(jìn)行排序優(yōu)選。基于ER規(guī)則的立項(xiàng)評(píng)估模型涉及的相關(guān)流程如圖2所示。

圖2 基于ER規(guī)則的科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估決策模型的相關(guān)流程

2.1 指標(biāo)評(píng)價(jià)的信度表示

在利用ER規(guī)則集結(jié)專(zhuān)家意見(jiàn)前，需將專(zhuān)家提供的評(píng)價(jià)信息轉(zhuǎn)化為證據(jù)體，并用信度分配的形式表示。

定義1 (識(shí)別框架[21])：一個(gè)判決問(wèn)題，設(shè)人們所能認(rèn)識(shí)到的可能結(jié)果用集合Θ表示，那么人們所關(guān)心的任一命題都對(duì)應(yīng)于Θ的一個(gè)子集。Θ被稱(chēng)為識(shí)別框架，它依賴(lài)于人們的認(rèn)識(shí)水平。舉例來(lái)說(shuō)，科學(xué)基金項(xiàng)目評(píng)價(jià)指標(biāo)i劃分為差、中、良和優(yōu)四個(gè)等級(jí)，則識(shí)別框架可定義為Θn,i={H1,i,H2,i,…H4,i}={差，中，良，優(yōu)}。

定義2 (D-S基本信度分配[22])：設(shè)Θ為識(shí)別框架，2Θ是Θ的冪集。如果集函數(shù)m:2Θ→[0,1]，滿足∑A?Θm(A)=1和m(φ)=0，則稱(chēng)函數(shù)m為Θ上基本可信度分配；m(A)稱(chēng)為A的基本可信數(shù)或mass函數(shù)，表示證據(jù)支持命題A發(fā)生的程度。

設(shè)mn,i,k表示專(zhuān)家k提供的證據(jù)ei支持項(xiàng)目被評(píng)為Hn的程度，稱(chēng)之為基本可信度。專(zhuān)家提供的評(píng)議信息可被視為一條支撐最終立項(xiàng)評(píng)估結(jié)果的證據(jù)，專(zhuān)家k在指標(biāo)i上給出的評(píng)價(jià)信息ei可表示為：

s(ei)={(Hn,i,mn,i,k)},i=1,…,L,n=1,…,Ni,k=1,…,K

(1)

2.2 基于效用的不同識(shí)別框架下的信息轉(zhuǎn)換

為便于專(zhuān)家對(duì)科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估問(wèn)題的認(rèn)識(shí)和理解，評(píng)價(jià)總體指標(biāo)和子指標(biāo)的識(shí)別框架中的評(píng)價(jià)等級(jí)可能不同。子指標(biāo)上的信息如何影響項(xiàng)目的總體指標(biāo)得分，需要將子指標(biāo)的信息轉(zhuǎn)化到總體指標(biāo)上。在此之前，需要將子指標(biāo)識(shí)別框架上的元素轉(zhuǎn)化到公共識(shí)別框架即總體指標(biāo)的識(shí)別框架上，才能對(duì)子指標(biāo)信息進(jìn)一步合成。轉(zhuǎn)化過(guò)程可以依據(jù)決策者偏好給出的等價(jià)規(guī)則來(lái)實(shí)現(xiàn)，當(dāng)決策者偏好規(guī)則不能獲得時(shí)，基于決策效用的信息轉(zhuǎn)化方法可用于實(shí)現(xiàn)此過(guò)程。定量或定性評(píng)價(jià)信息都能應(yīng)用這種基于效用或者規(guī)則的轉(zhuǎn)化方法[23]。

設(shè)總指標(biāo)上的識(shí)別框架Θ={Hj,j=1,…,N}，各元素的效用u(Hj)和子指標(biāo)各元素的效用u(Hn,i)(n=1,…,Ni)已知，一個(gè)原始評(píng)價(jià)信息{(Hn,imn,i)}可以通過(guò)以下等式轉(zhuǎn)化到總指標(biāo)上的信度分布{(Hj,βj,i)}：

(2)

(3)

(4)

各評(píng)估指標(biāo)等級(jí)的效用可由決策者偏好給出。當(dāng)決策者的偏好信息不能獲得時(shí)，可假設(shè)各等級(jí)在歸一化效用空間中呈線性分布，即u(Hj)=(j-1)/(N-1)(j=1,…,N)。

2.3 基于歷史評(píng)價(jià)信息的可靠性度量方法

由于專(zhuān)家的知識(shí)背景，經(jīng)驗(yàn)和判斷能力的差異性，所提供的評(píng)價(jià)信息反應(yīng)項(xiàng)目實(shí)際科研質(zhì)量的程度可能有差異，可表達(dá)為評(píng)價(jià)信息的可靠性。可靠性可利用專(zhuān)家歷史評(píng)價(jià)決策的準(zhǔn)確性來(lái)表示，而專(zhuān)家評(píng)估的最終結(jié)果分為資助和不資助兩種，因而專(zhuān)家的可靠性也分為兩種情況，分別用專(zhuān)家給出資助意見(jiàn)時(shí)的準(zhǔn)確率和專(zhuān)家給出不資助意見(jiàn)時(shí)的準(zhǔn)確率表示。若TP表示建議資助并實(shí)際資助了的項(xiàng)目數(shù)，F(xiàn)P為專(zhuān)家建議資助而實(shí)際沒(méi)有資助的項(xiàng)目數(shù)，F(xiàn)N為不建議資助但實(shí)際資助了的項(xiàng)目數(shù)，TN為區(qū)分出來(lái)實(shí)際沒(méi)有資助的項(xiàng)目數(shù)。本文構(gòu)造了如表1所示的混淆矩陣[24]，根據(jù)混淆矩陣可進(jìn)一步定義專(zhuān)家提供的評(píng)價(jià)信息的可靠性。

表1 科學(xué)基金項(xiàng)目評(píng)價(jià)信息可靠性的混淆矩陣

總體準(zhǔn)確度：

(5)

“資助”決策時(shí)的評(píng)價(jià)信息可靠性：

(6)

“不資助”決策時(shí)的評(píng)價(jià)信息可靠性：

(7)

根據(jù)歷史評(píng)審記錄，若一專(zhuān)家共評(píng)價(jià)項(xiàng)目20項(xiàng)，給出“資助”決策5個(gè)，“不資助”決策15個(gè)，其中“資助”決策和實(shí)際結(jié)果一致個(gè)數(shù)為2，“不資助”決策時(shí)一致個(gè)數(shù)為12。根據(jù)式(5)～(7)計(jì)算可得到專(zhuān)家評(píng)估的總體可靠性P=0.7，“資助”決策時(shí)的可靠性PTP=0.4，“不資助”決策時(shí)的可靠性PTP=0.8。當(dāng)專(zhuān)家參與當(dāng)前科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估時(shí)，給“資助”意見(jiàn)情況下，其可靠性參數(shù)值可定義為0.4，反之為0.8。專(zhuān)家提供的評(píng)價(jià)信息的可靠性并非一成不變，可隨評(píng)審項(xiàng)目數(shù)的變化進(jìn)行動(dòng)態(tài)調(diào)整。

2.4 群集結(jié)與多指標(biāo)合成的ER規(guī)則

科學(xué)基金項(xiàng)目評(píng)估是一個(gè)多專(zhuān)家多指標(biāo)的決策過(guò)程。首先，在各個(gè)指標(biāo)上合成多專(zhuān)家的意見(jiàn)，其次，將指標(biāo)上的信息通過(guò)轉(zhuǎn)化公式到公共識(shí)別框架上，最后合成多指標(biāo)上的信息。兩階段的合成過(guò)程可通過(guò)以下公式實(shí)現(xiàn)。

(8)

此時(shí)，證據(jù)ei可表示為：

(9)

ER規(guī)則的證據(jù)遞歸合成公式為：

(10)

(11)

(12)

(13)

上式為ER規(guī)則的遞歸合成公式，它具備交換律和結(jié)合律的性質(zhì)。與D-S合成公式相比，ER規(guī)則具有以下特點(diǎn)：(1)該方法考慮了證據(jù)的權(quán)重；(2)考慮了證據(jù)的可靠性；(3)合成沖突證據(jù)時(shí)將沖突信度分配給冪集，從而產(chǎn)生更為合理的結(jié)果。

設(shè)βj為支持Hj的聯(lián)合信度，則科學(xué)基金項(xiàng)目的評(píng)估結(jié)果可表示為以下信度分布：

S={(Hj,βj),j=1,2,…,N}

(14)

最后，計(jì)算科學(xué)基金項(xiàng)目的整體評(píng)價(jià)得分的效用公式定義如下：

(15)

進(jìn)而備選科學(xué)基金項(xiàng)目可利用以上評(píng)價(jià)得分進(jìn)行排序擇選。

3 實(shí)證研究

3.1 研究背景

國(guó)家自然科學(xué)基金委是由國(guó)家設(shè)立的用于資助基礎(chǔ)研究的部門(mén)，其資助項(xiàng)目采取宏觀引導(dǎo)、自主申請(qǐng)、平等競(jìng)爭(zhēng)、同行評(píng)審、擇優(yōu)支持的機(jī)制，并充分發(fā)揮專(zhuān)家的作用。科學(xué)基金項(xiàng)目立項(xiàng)評(píng)審一般按照項(xiàng)目提交、初審、通訊評(píng)審、綜合處理、會(huì)議評(píng)審和最終決策的程序進(jìn)行，其中同行評(píng)議和專(zhuān)家意見(jiàn)的綜合處理階段是科學(xué)基金項(xiàng)目管理最重要的內(nèi)容。在通訊評(píng)審階段，三個(gè)或以上評(píng)審專(zhuān)家在對(duì)項(xiàng)目的創(chuàng)新性、研究?jī)?nèi)容和工作基礎(chǔ)等評(píng)議的基礎(chǔ)上，給出綜合評(píng)價(jià)和資助與否的意見(jiàn)。在綜合處理階段，由項(xiàng)目主任將通訊評(píng)審專(zhuān)家給出的“綜合評(píng)價(jià)”和“資助意見(jiàn)”量化成得分，并撰寫(xiě)通訊評(píng)審綜合意見(jiàn)。以管理學(xué)部為例，賦予項(xiàng)目綜合評(píng)價(jià)“差”、“中”、“良”和“優(yōu)”的分值為1、2、3、4，而資助意見(jiàn)“不予資助”、“可資助”和“優(yōu)先資助”的分值為0、1、2。將各個(gè)專(zhuān)家給出的意見(jiàn)賦值后，在兩個(gè)指標(biāo)上分別相加并除以專(zhuān)家數(shù)，所得兩個(gè)平均數(shù)之和即為項(xiàng)目評(píng)價(jià)的總成績(jī)。基于項(xiàng)目量化得分并考慮專(zhuān)家意見(jiàn)后，科學(xué)基金項(xiàng)目會(huì)被劃分為A、A-、B、E、C及D六個(gè)檔次，以確定能否進(jìn)入會(huì)評(píng)階段[25]。科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估框架如圖3所示。

圖3 科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估框架

國(guó)家自然科學(xué)基金現(xiàn)行的同行評(píng)議方法已實(shí)行多年，為科學(xué)基金項(xiàng)目的規(guī)范、公正評(píng)估選擇起到了重要作用。然而，現(xiàn)行方法仍存在諸多缺陷，主要表現(xiàn)在：①對(duì)多位專(zhuān)家評(píng)審意見(jiàn)的綜合過(guò)于簡(jiǎn)單，量化信息過(guò)于粗糙[26-27]；②將多個(gè)具有不同知識(shí)背景、經(jīng)驗(yàn)的專(zhuān)家提供的評(píng)議信息一視同仁[2]。本文提出的基于ER規(guī)則的科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估決策模型能有效解決上述問(wèn)題。

3.2 評(píng)估步驟與舉例說(shuō)明

對(duì)于項(xiàng)目a1，共有五份有效的評(píng)審意見(jiàn)表，五個(gè)評(píng)審專(zhuān)家在兩個(gè)指標(biāo)上給出的意見(jiàn)分別是良、優(yōu)、優(yōu)、優(yōu)、中和可資助、優(yōu)先資助、可資助、優(yōu)先資助、不予資助。以項(xiàng)目a1為例，利用目前科學(xué)基金專(zhuān)家通訊評(píng)審的信息，科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估選擇可通過(guò)以下步驟進(jìn)行。

步驟1 將原始評(píng)估信息轉(zhuǎn)化為證據(jù)體，即用信度分布的形式表示專(zhuān)家意見(jiàn)。利用2.1節(jié)的知識(shí)，設(shè)指標(biāo)1上的識(shí)別框架為Θi,1={H1,1,H2,1,H3,1,H4,1}={差，中，良，優(yōu)}，指標(biāo)2上的識(shí)別框架為Θi,2={H1,2,H2,2,H3,2}={不予資助，可資助，優(yōu)先資助}，項(xiàng)目a1的原始評(píng)估信息可表示如下：

(H3,1,1)；(H4,1,1);(H4,1,1);(H2,1,1)和(H2,2,1)；(H3,2,1);(H2,2,1);(H3,2,1);(H1,2,1)。 步驟2 確定專(zhuān)家權(quán)重和可靠性。目前國(guó)家自然科學(xué)基金委不區(qū)分通訊評(píng)審專(zhuān)家意見(jiàn)的相對(duì)重要性，因而本文也給同一項(xiàng)目的評(píng)審專(zhuān)家意見(jiàn)賦予相等的權(quán)重。即設(shè)五個(gè)專(zhuān)家的權(quán)重相等，標(biāo)準(zhǔn)化后即為0.2。專(zhuān)家提供的評(píng)價(jià)信息的可靠性可利用2.3節(jié)的混淆矩陣計(jì)算，由原始評(píng)審信息中的資助意見(jiàn)可知，前四個(gè)專(zhuān)家的評(píng)價(jià)信息可靠性用“資助”決策下的歷史準(zhǔn)確率衡量，而第五位專(zhuān)家用“不資助”決策下的歷史準(zhǔn)確率衡量，使用實(shí)際數(shù)據(jù)的計(jì)算結(jié)果分別為0.1538、0.3333、0.2726、0和1。歷史評(píng)審記錄缺失的專(zhuān)家的評(píng)價(jià)信息可靠性用當(dāng)年所有參與評(píng)審專(zhuān)家的平均值代替。現(xiàn)有數(shù)據(jù)求得的專(zhuān)家給“資助”決策時(shí)的評(píng)價(jià)信息可靠性為0.2726，而給“不資助”決策時(shí)的可靠性為0.9592。

表2 項(xiàng)目a1在兩指標(biāo)上分別合成多個(gè)專(zhuān)家意見(jiàn)的結(jié)果

步驟4 利用公式(2)～(4)將指標(biāo)上的信度分布轉(zhuǎn)換到公共識(shí)別框架上。由于科學(xué)基金綜合處理結(jié)果是將項(xiàng)目劃分到六個(gè)等級(jí)，因此，本文定義的公共識(shí)別框架包含六個(gè)元素。設(shè)所有識(shí)別框架元素的效用在[0，1]區(qū)間內(nèi)線性分布，則項(xiàng)目a1的轉(zhuǎn)化結(jié)果如表3所示。

表3 項(xiàng)目a1信息轉(zhuǎn)化及指標(biāo)合成結(jié)果

步驟5 考慮指標(biāo)權(quán)重的情況下，合成兩個(gè)指標(biāo)上的信息。分別賦予“綜合評(píng)價(jià)”和“資助意見(jiàn)”指標(biāo)的權(quán)重為2/3和1/3，其可靠性等于權(quán)重，利用公式(8)～(14)求得的結(jié)果如表3中ER規(guī)則合成結(jié)果行所示。

步驟6 利用效用函數(shù)計(jì)算項(xiàng)目的總體評(píng)價(jià)得分。項(xiàng)目a1的得分為0.7795。

3.3 實(shí)例分析

研究的數(shù)據(jù)樣本為國(guó)家自然科學(xué)基金委員會(huì)信息中心獲得的1225項(xiàng)管理學(xué)部項(xiàng)目的實(shí)際評(píng)審和立項(xiàng)信息，且所有項(xiàng)目均有五份有效評(píng)審意見(jiàn)表。項(xiàng)目評(píng)審信息主要包括：科學(xué)部項(xiàng)目編號(hào)、熟悉程度、綜合評(píng)價(jià)和資助意見(jiàn)。項(xiàng)目立項(xiàng)信息主要包括：科學(xué)部項(xiàng)目編號(hào)、項(xiàng)目批準(zhǔn)號(hào)和批準(zhǔn)金額等。將這1225個(gè)項(xiàng)目按科學(xué)部項(xiàng)目編號(hào)在立項(xiàng)信息中進(jìn)行匹配，查詢其是否最終得到立項(xiàng)。一般而言，在既定的同行評(píng)議意見(jiàn)下，科學(xué)處綜合處理結(jié)果與最終審定結(jié)果(是否立項(xiàng))越一致，綜合處理方法就越科學(xué)、合理。按目前科學(xué)基金綜合處理的結(jié)果如圖4所示。

圖4 科學(xué)基金現(xiàn)行方法下資助項(xiàng)目與總體項(xiàng)目得分折線圖

由圖4可以看出，現(xiàn)行方法1225個(gè)項(xiàng)目的得分以近似正態(tài)分布的形式離散分布于[1.0，5.8]區(qū)間中的25個(gè)分值上。其中資助項(xiàng)目的得分也在一個(gè)較小區(qū)間中近似服從正態(tài)分布。但其中很多項(xiàng)目得分相同，因而難以區(qū)分。

為比較科學(xué)部現(xiàn)行方法與本文提出的方法的有效性，從樣本空間中隨機(jī)抽取了9個(gè)代表性的項(xiàng)目共45份項(xiàng)目評(píng)議書(shū)。項(xiàng)目原始評(píng)估信息、相關(guān)方法

表4 科學(xué)基金項(xiàng)目專(zhuān)家評(píng)價(jià)信息及現(xiàn)行方法與本文方法下得分的比較結(jié)果

對(duì)項(xiàng)目進(jìn)行評(píng)估排序和選擇的量化結(jié)果、及實(shí)際資助情況如表4所示。表4中x和Ox分別為用管理學(xué)部現(xiàn)行方法量化的項(xiàng)目得分和排序；y和Oy分別為本文方法量化的項(xiàng)目得分和排序。

從表4可以看出，和管理學(xué)部現(xiàn)行方法相比，兩種方法都同樣使用了專(zhuān)家通訊評(píng)審的意見(jiàn)并進(jìn)行處理，但求出的分值和排序具有較大變化。首先，用管理學(xué)部現(xiàn)行方法部分項(xiàng)目的得分相同，無(wú)法區(qū)分優(yōu)劣，如項(xiàng)目5和項(xiàng)目6，項(xiàng)目8和項(xiàng)目9。本文的方法有效避免了這一問(wèn)題，下面的統(tǒng)計(jì)分析進(jìn)一步證明了此特點(diǎn)。其次，某些項(xiàng)目的排序發(fā)生了變化。如項(xiàng)目4和項(xiàng)目5，用現(xiàn)行方法的得分分別為4分和3.8分，而基于ER規(guī)則的方法項(xiàng)目5得分為0.6371，顯著高于項(xiàng)目4的0.6141分。分析發(fā)現(xiàn)，項(xiàng)目5在本文方法下評(píng)分較高的原因是在權(quán)重較大的“綜合評(píng)價(jià)”指標(biāo)上評(píng)價(jià)優(yōu)于項(xiàng)目4，且給出“資助”決策的專(zhuān)家，其提供信息的可靠性更高。反觀項(xiàng)目4，現(xiàn)行方法下得分較高的原因是專(zhuān)家3和專(zhuān)家5評(píng)價(jià)較高，而他們的可靠性相對(duì)較低。充分考慮并利用權(quán)重和可靠性參數(shù)，能夠獲得更加科學(xué)合理的立項(xiàng)評(píng)估結(jié)果。從立項(xiàng)結(jié)果看，項(xiàng)目5獲得了立項(xiàng)，而項(xiàng)目4沒(méi)有，這也證明了本文方法的有效性。

值得注意的是，項(xiàng)目5和項(xiàng)目6按現(xiàn)行方法得分相等，均為3.8分，依據(jù)本文提出的方法得分區(qū)別也不甚明顯，但資助結(jié)果卻截然相反。為此，我們分析兩個(gè)項(xiàng)目的信度分布結(jié)果，如圖5所示。

圖5 項(xiàng)目5和項(xiàng)目6的信度分布情況

從圖5中可以看出，兩個(gè)項(xiàng)目的信度分布有很大不同，項(xiàng)目5分布在兩個(gè)極端表明部分非共識(shí)評(píng)價(jià)優(yōu)秀，而項(xiàng)目6則所有評(píng)價(jià)較一般。由于科學(xué)基金項(xiàng)目的性質(zhì)，項(xiàng)目5上專(zhuān)家意見(jiàn)反差較大，屬非共識(shí)項(xiàng)目，可能具有更強(qiáng)的探索性。而項(xiàng)目6雖然評(píng)價(jià)都良好，但不符合科學(xué)基金項(xiàng)目的資助要求。

為進(jìn)一步驗(yàn)證本文方法的有效性，應(yīng)用本文的方法和學(xué)部現(xiàn)行的方法分別將1225個(gè)項(xiàng)目量化得分排序之后進(jìn)行了統(tǒng)計(jì)分析。由于該1225個(gè)項(xiàng)目中有210個(gè)項(xiàng)目實(shí)際獲得了資助，因此本文首先比較了排序在前210名中兩種方法下各項(xiàng)目的資助情況，如表5所示。

表5 兩種方法下前210名項(xiàng)目的資助情況

從表5中可以看出，依據(jù)本文提出的方法排序后，前210個(gè)項(xiàng)目中有164個(gè)項(xiàng)目被資助了，而現(xiàn)行方法只有151個(gè)項(xiàng)目被資助。且現(xiàn)行方法排序結(jié)果中從第181名開(kāi)始，有56個(gè)項(xiàng)目得分相同(4.0)。考慮現(xiàn)行方法無(wú)法區(qū)分第181至第236之間的該56個(gè)項(xiàng)目，圖6以累積形式進(jìn)一步比較了本文提出的基于ER規(guī)則立項(xiàng)評(píng)估方法和科學(xué)基金現(xiàn)行方法的量化排序結(jié)果。

圖6 兩種方法下所有項(xiàng)目得分排序后實(shí)際資助情況對(duì)比

通過(guò)圖6可知，雖然兩種方法在排序前180名中的實(shí)際被資助項(xiàng)目數(shù)差別不大，但現(xiàn)行方法無(wú)法區(qū)分一組較大數(shù)目的56個(gè)項(xiàng)目，該組項(xiàng)目的評(píng)價(jià)得分在實(shí)際決策過(guò)程中無(wú)法傳遞有效信息，而本文提出的方法則避免了此類(lèi)問(wèn)題。此外，該方法可進(jìn)一步通過(guò)對(duì)歷史評(píng)價(jià)數(shù)據(jù)的學(xué)習(xí)調(diào)整評(píng)估參數(shù)，以減少排序在210名之后的實(shí)際被資助項(xiàng)目數(shù)。

4 結(jié)語(yǔ)

科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估與選擇是一種多專(zhuān)家多指標(biāo)的決策問(wèn)題，采用科學(xué)的方法表示專(zhuān)家的意見(jiàn)并進(jìn)行集結(jié)，是綜合處理階段的重要環(huán)節(jié)，也是科學(xué)基金項(xiàng)目立項(xiàng)的依據(jù)和基礎(chǔ)。本文提出了一種基于ER規(guī)則的科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估模型，并給出了一種度量評(píng)估信息可靠性的方法。與現(xiàn)行方法和已有研究相比，本文的創(chuàng)新點(diǎn)在于：(1)充分利用目前已有的通訊評(píng)審信息，建立基于ER規(guī)則的多專(zhuān)家多指標(biāo)的評(píng)估模型，更具針對(duì)性，且不改變現(xiàn)行通訊評(píng)審體系和流程，可操作性強(qiáng)；(2)引入評(píng)估信息可靠性，可以有效利用不同質(zhì)量的評(píng)審信息；(3)結(jié)合應(yīng)用信度分布表征項(xiàng)目的整體評(píng)價(jià)結(jié)果，包含了更豐富的信息；(4)采用效用函數(shù)計(jì)算方案的綜合得分，在一定程度上減少項(xiàng)目得分相同的情況。

本文提出的方法可充分利用現(xiàn)行通訊評(píng)審的信息，改進(jìn)決策，提升資助結(jié)果的可說(shuō)明性。在有限的科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估抽樣信息基礎(chǔ)上的實(shí)證結(jié)果表明，新方法能夠利用專(zhuān)家歷史評(píng)估信息提高通訊評(píng)審意見(jiàn)集結(jié)的合理性。在實(shí)踐中，經(jīng)過(guò)長(zhǎng)期的對(duì)立項(xiàng)評(píng)估專(zhuān)家歷史評(píng)估信息的積累，可以計(jì)算獲得更加可信的專(zhuān)家評(píng)估信息可靠性。而對(duì)于沒(méi)有歷史評(píng)估信息(第一次參與立項(xiàng)評(píng)估或歷史信息缺失)的評(píng)審專(zhuān)家，本文在實(shí)證分析中用平均值代替了此類(lèi)專(zhuān)家信息，在實(shí)踐中這一做法值得改進(jìn)，例如可利用評(píng)價(jià)意見(jiàn)表里的熟悉程度對(duì)專(zhuān)家評(píng)估信息的可靠性進(jìn)行修正，未來(lái)可進(jìn)一步進(jìn)行相關(guān)研究。其次，衡量專(zhuān)家評(píng)估信息的可靠程度，對(duì)改進(jìn)科學(xué)基金通訊評(píng)審專(zhuān)家指派的合理性，具有重要的參考價(jià)值。另外可建立優(yōu)化模型學(xué)習(xí)指標(biāo)的權(quán)重和識(shí)別框架上各等級(jí)的效用，以得到更為合理的科學(xué)基金項(xiàng)目立項(xiàng)評(píng)估決策模型。

[1] 陳媛,樊治平. 基于研究領(lǐng)域匹配度的科研項(xiàng)目評(píng)審指派方法 [J]. 中國(guó)管理科學(xué),2011,19(2):169-173.

[2] 張洪濤, 朱衛(wèi)東, 王慧, 等. 多維框架證據(jù)推理的科研項(xiàng)目立項(xiàng)評(píng)估方法 [J]. 科研管理, 2013, 34(6): 122-128.

[3] 楊列勛. R&D 項(xiàng)目評(píng)估研究綜述 [J]. 管理工程學(xué)報(bào), 2002, 16(2): 60-65.

[4] Poh K L, Ang B W, Bai F. A comparative analysis of R&D project evaluation methods [J]. R&D Management, 2001, 31(1): 63-75.

[5] Amiri M P. Project selection for oil-fields development by using the AHP and fuzzy TOPSIS methods [J]. Expert Systems with Applications, 2010, 37(9): 6218-6224.

[6] Feng Bo, Ma Jian, Fan Zhiping. An integrated method for collaborative R&D project selection: Supporting innovative research teams [J]. Expert Systems with Applications, 2011, 38(5): 5532-5543.

[7] Jung U, Seo D W. An ANP approach for R&D project evaluation based on interdependencies between research objectives and evaluation criteria [J]. Decision Support Systems, 2010, 49(3): 335-342.

[8] 王憑慧. 科學(xué)研究項(xiàng)目評(píng)估方法綜述 [J]. 科研管理, 1999, 20(3): 18-24.

[9] 陳媛, 樊治平. 科技類(lèi)評(píng)審中項(xiàng)目選擇的兩階段綜合集成方法 [J]. 中國(guó)管理科學(xué), 2010, 18(2): 127-133.

[10] Khalili-Damghani K, Sadi-Nezhad S, Tavana M. Solving multi-period project selection problems with fuzzy goal programming based on TOPSIS and a fuzzy preference relation [J]. Information Sciences, 2013, 252: 42-61.

[11] Huang Chicheng, Chu Pinyu, Chiang Y H. A fuzzy AHP application in government-sponsored R&D project selection [J]. Omega, 2008, 36(6): 1038-1052.

[12] Heidenberger K, Stummer C. Research and development project selection and resource allocation: A review of quantitative modelling approaches [J]. International Journal of Management Reviews, 1999, 1(2): 197-224.

[13] Thamhain H J. Assessing the effectiveness of quantitative and qualitative methods for R&D project proposal evaluations [J]. Engineering Management Journal, 2014, 26(3): 3-12.

[14] Silva T, Jian Ma, Chen Yang. Process analytics approach for R&D project selection [J]. ACM Transactions on Management Information Systems (TMIS), 2015, 5(4): 21.

[15] Yang Jianbo, Xu Dongling. Evidential reasoning rule for evidence combination [J]. Artificial Intelligence, 2013, 205: 1-29.

[16] Chen Yue, Chen Yuwang, Xu Xiaobin, et al. A data-driven approximate causal inference model using the evidential reasoning rule [J]. Knowledge-Based Systems, 2015, 88: 264-272.

[17] Yang Jianbo, Xu Dongling. On the evidential reasoning algorithm for multiple attribute decision analysis under uncertainty [J].IEEE Transactions on Systems, Man and Cybernetics, Part A: Systems and Humans, 2002, 32(3): 289-304.

[18] 杜元偉,楊娜. 大數(shù)據(jù)環(huán)境下雙層分布式融合決策方法 [J]. 中國(guó)管理科學(xué),2016,24(5):127-138.

[19] Xu Dongling. An introduction and survey of the evidential reasoning approach for multiple criteria decision analysis [J].Annals of Operations Research, 2012, 195(1): 163-187.

[20] Yang Jianbo, Xu Dongling. A study on generalising Bayesian inference to evidential reasoning[M].Belief Functions: Theory and applications. Switzertand:Springer International Publishing, 2014: 180-189.

[21] 朱衛(wèi)東, 張洪濤, 張晨, 等. 基于兩維語(yǔ)義的科學(xué)基金立項(xiàng)評(píng)估方法 [J]. 系統(tǒng)工程理論與實(shí)踐, 2012, 32(12): 2697-2703.

[22] Shafer G. A mathematical theory of evidence[M]. Princeton: Princeton University Press, 1976: 74-78.

[23] Yang Jianbo. Rule and utility based evidential reasoning approach for multiattribute decision analysis under uncertainties [J]. European Journal of Operational Research, 2001, 131(1): 31-61.

[24] Provost F, Kohavi R. Guest editors′ introduction: On applied research in machine learning [J]. Machine Learning, 1998, 30(2): 127-132.

[25] 陳曉田. 國(guó)家自然科學(xué)基金與我國(guó)管理科學(xué)(1986-2008)[M]. 北京: 科學(xué)出版社, 2009.

[26] 王雄, 吳慶田. 基于模糊語(yǔ)言的科研基金項(xiàng)目立項(xiàng)評(píng)估研究 [J]. 科技進(jìn)步與對(duì)策, 2007, 24(9): 61-63.

[27] 肖人毅, 王長(zhǎng)銳. 科研基金項(xiàng)目立項(xiàng)評(píng)估方法的研究與改進(jìn) [J]. 系統(tǒng)工程理論與實(shí)踐, 2004, 5: 66-71.

[28] 王東鵬, 朱衛(wèi)東, 陳波, 等. 認(rèn)知視角的科學(xué)基金項(xiàng)目專(zhuān)家評(píng)議意見(jiàn)分析—基于 ER 規(guī)則的研究 [J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理, 2015, 36(04): 22-35.

Research Project Evaluation and Selection in the NSFC: An Approach Based on the Evidential Reasoning Rule with Reliability

ZHU Wei-dong1, LIU Fang2, WANG Dong-peng3, Jian-Bo Yang2,4

(1.School of Economics, Hefei University of Technology, Hefei 230009, China; 2.School of Management, Hefei University of Technology, Hefei 230009, China; 3.School of Management, Hangzhou Dianzi University, Hangzhou 310018, China; 4.Manchester Business School, the University of Manchester, Manchester M15 6PB, UK)

Research project evaluation and selection is one of the core research management activities in the National Science Foundation of China (NSFC). Through taking into consideration evaluation criteria and selection procedure, a systematic method of implementing the evidential reasoning rule is presented to aggregate evaluation information on multiple criteria by multiple experts. The proposed method has the following strengths: 1) combine evaluation information with different weights and reliabilities effectively, 2) employ a confusion matrix for generating experts’ evaluation reliabilities, as experts may have different knowledge background and expertise, and 3) use a belief distribution to represent the overall performance profile of research projects in a more informative way. The belief distribution can be further transformed as utilities which are used to support the decision making of project selection. A case study on the project evaluation and selection of the National Science Foundation of China (NSFC) demonstrates the applicability and effectiveness of the proposed method.

research project in the NSFC; evaluation and selection; evidential reasoning; reliability

2015-01-28；

2015-09-02

國(guó)家自然科學(xué)基金資助項(xiàng)目(71071048)

簡(jiǎn)介：劉芳(1988-)，女(漢族)，安徽界首人，合肥工業(yè)大學(xué)管理學(xué)院博士生，研究方向：決策分析，E-mail: fangliu.hfut@gmail.com.

1003-207(2016)10-0141-08

10.16381/j.cnki.issn1003-207x.2016.10.016

C931

A