兼顧重要性與可靠性的科學基金項目績效評價方法*

杜元偉 楊 寧 陳 群 王素素

(1.中國海洋大學 管理學院，山東 青島 266100；2.中國海洋大學 海洋發展研究院，山東 青島 266100)

一、引言

《科技評價工作規定(試行)辦法》指出，政府管理部門及相關方面要委托評價機構或組織專家評價組，運用合理、規范的程序和方法，對科技活動及其相關責任主體所進行的專業化評價與咨詢活動，旨在優化科技管理決策，加強科技監督問責，提高科技活動實施效果和財政支出績效。國家863計劃、國家973計劃、國家自然科學基金、國家社科基金、教育部人文社科基金等科學基金項目是科技活動的重要組成部分,它們對提升科技水平、促進經濟增長、提高社會福利、增強國家競爭力起到了重要的支撐作用。目前已有專家學者從影響因素分析、指標權重確定、評價方法構建等方面對科學基金項目的績效評價問題進行了研究。其一，在影響因素分析方面，現有成果主要是通過定量或者定性分析找出影響科學基金項目績效評價的因素，為科學構建科學基金項目指標體系提供依據。[1-3]例如：王長峰利用灰色模型及柯布道格拉斯生產函數就互聯網的發展對科學基金項目的績效影響進行定量分析。[4]其二，在指標權重確定方面，現有成果主要是應用主觀賦權、客觀賦權、主客觀交叉賦權等方法確定科學基金項目績效評價指標的權重，進而依據該權重對各項指標上的績效表現信息進行綜合集成計算項目取得的績效。如：Jung采用網絡分析法(Analytic Network Process, ANP)、[5]Nilashi采用決策試驗和評價實驗室(Decision Making Trial and Evaluation Laboratory, DEMATEL)和ANP相結合的主觀賦權方法確定各項指標的權重；[6]Charttirot采用逼近理想解排序法(Technique for Order Preference by Similarity to Ideal Solution, TOPSIS)等客觀賦權方法確定指標權重；[7]關于主客觀交叉賦權法，Mohaghar采用將模糊集與ANP相結合的方法確定指標權重，[8]Sangaiah等采用將模糊集、DEMATEL、TOPSIS等進行結合的主客觀交叉賦權方法確定指標權重。[9-10]其三，在評價方法構建方面，現有成果或者側重于從項目產出視角構建能夠確定項目績效效果的評價方法，或者側重于從項目投入與產出雙重視角構建能夠確定項目績效效率的評價方法。如：在項目績效產出評價方面，肖人毅、Feng、Liu、Gül?in分別采用統動力學仿真、專家系統整合法、智能決策支持法、多準則妥協解排序法(VIKOR)進行項目產出績效評價；[11-14]在項目績效投入產出評價方面，吳建南、楊方娟、宋志紅基于循證設計和傾向得分分層等方法得出科學基金資助確實提高科研產出的結論；[15-17]李志蘭、Chun、Karasaka采用數據包絡分析(Data Envelopment Analysis,DEA)對科學基金的整體投入產出效率進行分析，得出加大科學基金的投入力度有助于提高產出效率的結論；[18-20]段慶鋒、楊雨昆采用DEA兩階段模型分析了科學基金項目投入產出效率問題并指出效率瓶頸在于知識生產階段。[21-22]

上述研究成果對豐富科學基金項目的績效評價理論和方法起到了重要作用，也為啟發本文研究思路、構建理論方法起到了借鑒作用。上述成果中的決策信息主要來源于專家對科學基金項目在各項評價指標上績效表現的主觀判斷，最終績效評價結果是對專家主觀判斷信息的綜合集成。一些成果認識到知識經驗、認知能力等諸多方面的差異可能會導致源于不同專家的決策信息的可利用程度并不相同，為此借鑒在多屬性決策中利用指標權重對決策信息進行線性加權的融合思路，提出了利用專家權重對主觀判斷信息進行綜合集成的應對策略。然而，多屬性決策中的指標權重與群體決策中的專家可靠性是兩個截然不同的概念。前者用于反映一個指標相對于另一個指標的重要程度，取決于決策者偏好，具有主觀性和相對性，而后者常用于反映一個信源在一段時間內和一定條件下無故障地執行特定功能的能力或可能性，具有客觀性和絕對性。需要注意的是，目前對于指標權重的內涵及其確定方法已經在業界達成共識，而專家可靠性確是一個近幾年剛剛被關注的新概念。在群體決策領域，有關專家可靠性的研究成果并不多見，個別成果提出了專家可靠性的計算方法，如熵值法、偏離目標測算法等，[23-25]其他成果則是直接根據統計信息給出專家可靠性的具體數值。[26-27]本文中的專家可靠性將遵循第二種思路予以確定。由信息融合理論可知，基于指標權重的融合策略和基于可靠性的融合策略并不相同，前者應采用補償性策略、后者應采用非補償性策略(原因詳見后文)。現有成果因融合策略選擇不當而造成對科學基金項目績效評價結果的科學有效性是有待商榷的。有鑒于此，本文在考慮指標權重與專家可靠系數之間性質差異的基礎上，提出了兼顧重要性與可靠性的科學基金項目績效評價方法。

二、科學基金項目績效評價機理

科學基金項目績效評價問題一般是基于專家對待評項目在各項評價指標上績效表現判斷來確定項目綜合績效表現的等級。下面從專家評價信息表達、個體補償性融合、群體非補償性融合三個層面構建科學基金項目的績效評價機理。

基于基本信任函數的信息表達機理。在進行項目績效評價時，專家需要對待評價項目在各項評價指標上的績效表現情況進行判斷，但是工作經驗、專業背景等方面的差異使得各類專家都有自己擅長的領域，他們能對與自己領域相關性高的指標做出完備性評價，對相關性一般的指標做出相對完備的評價，對相關性低指標可能做不出任何的評價。因為專家在各項指標上給出評價信息的完備程度可能并不相同，所以為了有效地提取專家對科學基金項目在各個指標上績效表現的不完備性評價信息，合理地描述專家的真實推斷情況，本文利用證據理論中的基本信任分配函數(Basic Belief function，BBA)構建提取專家判斷信息的表達機理。BBA函數是證據理論中的一種證據信息表達方式，能夠利用局部不確定和全局不確定描述相對完備和不完備的推斷信息。

基于指標權重的個體信息補償性融合機理。個體信息融合是指為了得到某一專家對科學基金項目的綜合性評價信息而對其在所有指標上給出的績效評價信息進行融合的過程。當項目在某一指標上表現優秀，在另一項指標(如人才培養)表現中等，利用指標權重對兩方面信息進行融合后得到的綜合評價等級為良好是可能的。上述過程體現了專家評價在信息在不同指標之間是可以相互補償的，故基于指標權重的個體信息融合要遵循補償性融合策略。考慮到證據推理(Evidential Reasoning, ER)規則常被用于解決指標之間具有補償性的多屬性決策問題，[28]故本文采用ER規則對專家在各項指標上的評價信息進行融合。

基于專家可靠系數的群體信息非補償性融合機理。群體信息融合是指為了從專家群體視角得到他們對科學基金項目的綜合性評價信息而對所有專家個體融合結果進行再融合的過程。如果某位專家認為科學基金項目整體績效表現(經過個體融合得到的結果)一定不是優秀，而他又是絕對可靠的(給出無誤信息的可能性是100%)，那么顯然該項目最終評價等級一定不應該是優秀(否則會與該專家具有絕對可靠性相沖突)。這體現了專家之間非補償性的特點，故基于專家可靠系數的群體信息融合應遵循非補償性融合策略。考慮到證據理論(Dempster-Shafer Theory of Evidence, DS)中的Dempster規則具有“一票否決”的性質，能夠反映證據融合的非補償性特征，故本文采用該規則對群體信息進行融合。[29]

兼顧重要性與可靠性的科學基金項目績效評價機理可以描述為：先基于基本信任分配函數信息表達機理提取專家對科學基金項目在各項指標上的不完備性評價信息，再以專家個體為單位、利用ER規則對各項指標上的評價信息進行補償性融合，最后利用Dempster規則對所有專家的個體評價結果進行非補償性融合。上述績效評價機理可描述為下圖形式。

圖1 科學基金項目績效評價機理

三、科學基金項目績效評價方法

(一)評價信息提取

(1)

(二)個體信息的補償性融合

(2)

(3)

(4)

(5)

(6)

(三)群體信息的非補償性融合

(7)

(8)

由式(8)的性質可知，若只要有一位絕對可靠的專家反對科學基金項目的績效評價結果隸屬于某個或某幾個等級，則無論其他專家的意見如何，該項目的績效評價結果一定不會隸屬于這些評價等級。這體現了Dempster規則能夠反映群體信息融合具有非補償性的特點。

(四)評價等級確定方法

由式(8)可知，mk(θ)為所有專家對項目ak最終績效隸屬評價等級的評價結果。因為mk(θ)依然是一種BBA函數形式，其中可能存在著局部確定和全局不確定，所以為了確定項目ak的最終隸屬評價等級，需要對該結果進行轉換處理。這里采用被業界學者廣泛接受的且能兼顧信度函數和似然函數雙重優勢的Pignistic概率進行轉換。[30]依據Pignistic概率計算規則，確定項目ak最終績效隸屬評價等級θn的計算公式如下：

(9)

其中，Belk(θn)=∑θ?θnmk(θ)，Plk(θn)=∑θn∩θ≠?mk(θ)，εk=[1-∑θn?ΘBelk(θn)]∑θn?ΘPlk(θn)。

(五)專家可靠系數計算方法

關于可靠性的描述，多出現在電氣工程領域，常用可靠性系數來刻畫可靠性，以此為鑒，專家的可靠性由專家的可靠性系數來表示。[33-38]在科學基金項目績效評價中，每位專家都可以視為一個信源，則專家的可靠系數是專家對科學基金項目績效評價問題給出無誤信息的可能性，其值的確定可根據專家歷史評價信息予以確定。由實際情況可知，大部分的科學基金項目都是可以順利結題，只有極個別項目會存在不能結題或者延遲結題的情況。如果采用準確率，即專家認為可以結題的項目數和已經結題的項目數進行比較，則可能會導致這樣一個現象，一位評審專家總是給出建議結題的評價結果，不考慮項目完成的質量，這位專家仍然具有較高的可靠性系數，這并不能很好地區分專家之間的可靠程度，故采用該種方法處理刻畫專家可靠性系數存在問題。考慮到上述情況，本文建議構建混淆矩陣方法確定專家可靠系數。[39]混淆矩陣也稱誤差矩陣，是表示精度評價的一種標準格式，不僅具有很好地描述誤差的能力，且計算方法簡單，易于理解和實際應用。

設Y、N分別表示專家建議結題、不建議結題的項目數，T、F分別表示該項目實際結題、實際未結題的項目數，則YT表示建議結題并實際已結題的項目數，YF為專家建議結題而實際沒有結題的項目數，NT為不建議結題但實際已結題的項目數，NF為不建議結題且實際結果并沒有結題的項目數。為計算專家可靠性，構造如下表所示的混淆矩陣。[28]

表1 混淆矩陣

專家的可靠性系數可由式(10)予以計算。

(10)

例如：若專家共評價項目20項，給出評價結果中，“建議結題”16個，“不建議結題”4個，其中“建議結題”且“實際已結題”項目數為13，“不建議結題”且“實際未結題”項目數為2。根據式(10)計算可得到專家評價的可靠性r=0.75。不難發現，專家的可靠性并非一成不變，而是會根據專家評審結果的準確率予以動態調整。

(六)方法步驟

遵循前文提出的科學基金項目績效評價機理，基于評價信息提取、個體信息的補償性融合、群體信息的非補償性融合、評價等級確定方法等構建兼顧重要性和可靠性的科學基金項目績效評價方法步驟。具體如下：

步驟2：設定初始評價項目。令k=1，設定當前評價項目為ak=a1。

步驟7：判斷是否完成評價。令k=k+1。若k≤K，則說明還有項目ak需要進行績效評價，轉到步驟3；若k>K，則說明已完成對所有項目的績效評價，結束。

四、案例模擬分析——以某國家自然科學基金項目為例

為驗證提出方法的科學有效性，本文以某國家自然科學基金項目為例進行案例分析。該科學基金項目于2012年立項，預期目標是通過借鑒吸收知識管理、行為科學、管理決策、信息融合等理論的基本觀點和技術方法，針對知識網絡中知識數量龐大、知識類型多樣、知識主體復雜等特點，對知識網絡中決策信息的提取問題開展研究，以期能夠明確知識網絡中關鍵知識主體的識別方法、揭示多元決策信息智能提取機理、建立多元決策信息智能提取模型。

參照《國家自然科學基金資助項目研究成果管理辦法》和《國家自然科學基金資助項目結題/成果報告》，這里選用項目執行情況(c1)、項目取得成果的總體情況(c2)、成果轉化應用(c3)、人才培養情況(c4)、應用前景情況(c5)作為項目的績效評價指標。設指標權重為(ω1,…,ω5)=(1.00,1.00,0.64,0.92,0.52)。為給專家開展績效評價提供依據信息，在此給出項目原計劃目標以及實際完成情況，具體如表2所示。

表2 項目計劃情況以及完成情況信息表

表3 專家歷史評價結果

表4 專家評價信息

表5 個體/群體融合結果

表6 評價等級的概率分布

因為本文核心思想是基于指標權重的個體融合采用補償性融合策略、基于可靠性的群體融合采用非補償性策略，所以這里分別從個體融合結果和群體融合結果兩個方面對上述融合策略進行科學性分析。

從個體融合結果看可以得到以下結論：(1)專家e1認為該項目績效表現等級有46.49%的可能性為優秀，53.51%可能性為良好，該評價信息是否科學呢？由表5可知，專家e1在c1、c2、c4三項指標上的評價信息與其他專家略有差距，專家e1認為該項目在這些指標上的績效表現為良好的可能性很大、其次為優秀，而其他專家則認為績效表現為優秀可能性較大。由表3可知，該項目在上述三項指標上的績效表現均達到并超額完成了原計劃目標，這說明專家e1的評價信息可能是存在偏差的。本文方法通過可靠系數80%對存在偏差的信息進行了折扣處理，并未對項目最終績效評價結果(優秀)產生不利影響，這體現了本文方法對評價信息進行折扣處理具有科學性。(2)專家e4的個體融合結果是該項目100%屬于優秀。由表5可知，雖然專家e4并沒有認為該項目在指標c3、c4、c5上100%為優秀，但是由于指標c1、c2的權重都為1(即這兩項指標是絕對重要的)，而專家e4又認為該項目在這兩項指標上絕對優秀，所以其個體融合結果為絕對優秀，符合直覺判斷。(3)專家e5對項目在c1、c2的績效表現均給出完全不知道的評價信息，這并未對其個體評價結果造成影響，體現了本文信息表達機理在允許專家結合自己的知識經驗給出評價信息方面具有獨特優勢。

從群體融合結果看可以得到以下結論：(1)由表6可知，專家e2、e3認為該項目有屬于優秀的等級的可能性約為95%，二者可靠系數分別為100%、95%，可靠性強，項目的最終評價結果與二者的個體判斷相一致，符合直覺邏輯。(2)專家e4認為該項目100%一定屬于優秀，即認為該項目一定不會是其他等級(如良好)，而最終評價結果并非100%優秀，在其他等級(良好)上也賦予了信度。由前文可知，當專家絕對可靠且他/她認為該項目一定不會是良好時，則該項目最終評價結果一定不會是良好。但專家e4的可靠系數是90%而非100%，這與非補償性融合中的“一票否定”規則并不沖突。(3)由表5可知，該項目的每一項指標每位專家都沒有給出較差、很差的評價信息，專家個體融合結果、群體融合結果在較差、很差等級上也均未賦予信度，符合直覺邏輯，這體現了本文采用ER規則和Dempster規則進行信息融合具有科學性。

五、結束語

現有科學基金項目績效評價并未區分指標權重與專家可靠性之間的性質差異，從而容易導致評價結果可能存在科學有效性差的問題。為了解決上述問題，本文首先基于基本信任分配函數給出了能夠反映指標權重與專家可靠性兩種參數性質特征和專家認知能力的科學基金項目績效評價機理。然后，基于ER折扣和ER規則構建了能夠對專家在不同指標上評價信息進行補償性融合的個體融合方法，基于Shafer折扣和Dempster規則構建了能夠對所有專家個體融合結果進行再融合的群體融合方法。在此基礎上，結合Pignistic概率和結果有效性閾值提出了科學基金項目隸屬評價等級的確定方法，并基于專家歷史評價信息構建了專家可靠系數的計算方法。最后，遵循本文提出的科學基金項目績效評價機理，結合評價信息提取、個體融合方法、群體融合方法等給出了科學基金項目績效評價的方法步驟。本文還以某國家自然科學基金項目為案例背景模擬了提出方法的具體操作過程、分析了方法在解決實際問題過程中的科學性。需要說明的是，本文方法側重于從靜態決策視角基于專家給出的評價信息予以綜合集成，實現對科學基金項目績效表現的最終評價，而對于需要專家之間通過彼此交互對科學基金項目績效進行評價的動態決策問題并未涉及，這也是下一步要研究的重點問題。