基于兩維語義證據推理的科學基金項目專家評議系統研究

張 晨，周光中，朱衛東

(1.合肥工業大學管理學院，230009;2.合肥工業大學知識經濟與企業管理創新研究中心，230009;3.大公國際資信評估公司，100016)

基于兩維語義證據推理的科學基金項目專家評議系統研究

張 晨1，2，周光中3，朱衛東1，2

(1.合肥工業大學管理學院，230009;2.合肥工業大學知識經濟與企業管理創新研究中心，230009;3.大公國際資信評估公司，100016)

科學基金在國家創新體系中發揮著重要作用，研究基金立項評估的決策問題對提高基金使用效率具有重要意義。決策的復雜性與決策問題結構化程度、決策信息完備性和決策行為相關。證據理論提供了一種基于決策者知識和經驗的決策方法，然而經典證據理論構建的一維識別框架不能反映決策過程與特征信息。論文提出建立兩維語義的證據推理理論，構建反映決策者知識和行為特性的第二維識別框架。以科學基金專家評議系統為實證研究對象，充分利用決策過程信息，改善科學基金項目專家評價系統的決策質量。

證據推理;兩維語義;證據合成;科學基金;專家評議系統

一、引言

隨著科學技術和經濟社會的發展，人們正面臨著愈來愈復雜的決策問題，利用專家的知識和經驗成為解決復雜決策問題常用的方法之一。證據理論提供了一種基于證據與決策者知識和經驗的決策方法，構建開放性識別框架，可以隨著決策者對相關事物的知識和經驗的增加、對問題理解的不斷深入而進行動態調整，符合人對客觀事物認知的基本路徑。

然而，經典證據理論在利用專家知識和經驗解決復雜問題的建模中，對證據的處理條件不能完全符合實際的決策情境;在復雜問題決策中，不同專家的知識和經驗不同，專家利用各自掌握的證據給出問題的基本信度分配函數的過程具有不確定性(黑箱)，判斷機理難以定量描述;在反映決策客體屬性的一維識別框架中不能充分反映決策主體由實證據和知識、經驗給出決策結論的相關過程與特征信息，這類信息的損失影響了決策質量。

二、國內外文獻綜述

復雜問題群體決策中，不僅要利用專家已有的顯性知識，更重要的是要在決策過程中學習積累知識，挖掘蘊藏在大量數據中對決策有用的隱性知識。證據理論在處理不確定性決策問題具有比較優勢。證據理論(Dempster;Shafer)［1-2］基于“概率上下界(Probabilities with Upper＆Lower Bounds)”提出具有半可加性的不確定性度量概念——信度，它是人在客觀證據基礎上構造出他對某一命題為真的信任程度。作為一種不確定推理方法，證據理論允許將整個問題和證據按照其屬性(經濟或物理屬性)分解為若干子問題和子證據，形成混合多屬性決策問題的層次結構。對子問題和子證據處理后，利用Dempster合成法則逐層進行證據合成得到整個問題的解。證據理論近期研究主要集中于以下方面：

(1)識別框架的構建。識別框架是以集合表示對于某個需要判定的問題人們所能夠認識到的所有可能結果。Shafer(1976)［2］認為這一框架的確定取決于問題決策者的先驗知識、認知水平、已經知道和想要知道的信息。識別框架的構建問題主要集中在對其完備性的研究。Smets［3］在可傳遞信度模型(transferable belief model，TBM)理論中引入“開放世界假設”，把對空集的基本概率賦值定義為對“真命題在當前已知的識別框架之外”的信任度。

(2)信度函數的獲取。證據理論要求決策者根據其所擁有的證據，在識別框架上產生一個信度分配函數，能夠對決策專家意見的不確定性進行表述。信度函數反映人們對客觀問題的主觀判斷，通常由專家給定或由觀察數據構建。定性方法是直接根據專家的判斷構建信度函數，Shafer和Smets討論了對專家的主觀判斷量化的方法［2-3］。定量方法基于觀察數據，構建量化模型從專家主觀判斷中求取信度函數。

(3)證據沖突和相似性度量方法。證據合成的前提是所有的證據必須相互獨立;證據沖突不能超過一定的限值。經典證據理論的沖突系數k在很多情況下不能充分反映證據間的沖突程度。Jousselme等［4］將識別框架所生成的子集空間的一個基本可信度分配視為一個2N維向量，用證據體之間的距離來度量證據的沖突程度。

科學基金項目專家評議系統屬于復雜問題群體決策系統，國內外關于科學基金項目評價的研究主要集中于：(1)專家遴選及績效研究。合理選擇專家是專家決策支持系統的關鍵，專家績效的測度及其結果利用是保證專家決策支持系統公開公正的重要手段。研究采用學術造詣、個人素質和工作態度［5］、專家以往的決策工作、評議過程的公正性、評議意見的有效性等定性判斷來考核專家評審績效［6］，或通過考察決策結果偏差率、命中率和有效性等的經驗指標來遴選專家［7］。(2)決策專家意見的綜合方法。目前專家意見集結存在專家判斷映射失真、不完全信息難以描述、量化信息粗糙等問題［8］。專家決策意見的集結引入了模糊語言評估模型、灰色系統理論等［9］。Kostoff［10］和 Hochbaum，Levin［11］等針對科研項目評價建立專門數據庫引入文本挖掘技術。

證據理論處理不確定性決策問題具有比較優勢，然而應用時存在(1)識別框架中基本概率分配的確定問題。(2)信度函數的獲取未考慮專家的有限理性(有限計算能力、選擇性記憶和感知能力等)問題。本研究提出構造兩維識別框架用來反映專家決策知識和行為特征，從識別框架的構建、信度函數的獲取、兩維證據的合成等方面探討兩維語義的證據推理方法，有助于提高專家決策系統的決策質量。

三、兩維語義的證據推理理論與方法研究

(一)兩維語義證據推理概念的提出

決策不確定性由決策問題的不確定性和決策者主觀認知的不確定性構成，建立兩維語義區分兩類不確定問題，有助于全面描述決策過程和結論。

1.兩維語義的群決策問題 定義1.兩維語義群決策問題是指用兩維語義評價信息表示決策意見的群體決策。決策時使用I，II兩個維度的評價信息分別表示對決策對象的描述和決策意見可靠性信息，其中II維信息可以依據決策者對同類項目評價行為和績效的歷史記錄，或者利用決策者自己對決策意見可靠性的主觀評價得出［12］。由此I，II兩個維度信息構成了兩維語義評價信息。

2.主觀證據推理與兩維語義評價 J?sang在DS證據理論中引入證據空間(Evidence Space)和觀念空間(Opinion Space)概念［13］，將識別框架中元素狀態的集合粗化為二元邏輯的識別框架，如識別框架 Θ ={X1，X2，X3，X4}，決策關注的子集 A={X1}，則Θ轉化為Θ=A∪ˉA的簡明二元邏輯。

式中x，y屬于Θ的冪集;m(y)為mass函數;當x為非空集合時，滿足bx+dx+ux=1。I維評價信息是決策問題不確定性的描述，II維評價信息則是決策者主觀認識不確定性的反映。

(二)兩維語義證據推理的決策者行為特性研究

1.決策者行為基本假設 阿羅公理(Arrow Axiom)［14］指出一個合理的群體可排規則應該滿足一組理性條件：正相關性條件、無關方案獨立性條件、帕累托原則和非獨裁性條件。K.Arrow遵從經濟學研究集體決策和公共選擇(public choice)問題時的慣例，采用數學中的公理化方法對群體決策結果與多數原則(majority rule)進行研究［15］，得出“在大多數情況下不存在滿足Arrow公理的投票規則”的結論(arrow＇s impossibility theorem)。

學者沿著兩條路徑深入研究Arrow集體決策問題——(1)尋找能夠使Arrow公理得到滿足的各種限制條件，然而這種“限制個體選擇的自由以達到集體理性”的做法，無法保證決策結果真實反映決策者的意志。(2)采用“可重復決策機制”，在實際決策過程中，由于決策者個人不能保證始終給出嚴格的占優偏好關系，偏好無限可分或連續的假定也就無法保證，動搖了“可重復決策機制”的合理性。Black在研究中發現［16］：①當決策者偏好為單峰曲線時，有m個評價點，采用重復決策機制，對m個評價點進行兩兩比較需要進行次投票。此時簡單多數原則被證明是有效的;②當決策者偏好曲線無約束，決策者對項目的評判存在不確定時，仍然在重復投票機制下進行次投票，個體偏好傳遞性不存在，簡單多數原則不能成立，因此在Arrow的選擇理論中偏好均衡狀態對決策個人是嚴格禁止的。然而實際決策實踐中確實存在個體偏好均衡狀態，探討放松Arrow公理的限制以使群決策偏好集結可行是值得深入探索的方向。

2.決策者個體偏好關系的基本假設和效用轉化定理 Arrow假設個體的偏好排序滿足完全性(Perfectibility)要求，即對任意一對備選方案a，b和c，一個人喜歡a勝于b、喜歡b勝于c和對兩者同樣喜歡這三種情況必有其一。然而，分析決策者依據證據對方案的判斷過程可以發現存在認知的漸進性和可拓展性，即存在決策者個體對某一領域知識的積累和不斷完善，及個人對證據理解不斷深刻的動態變化。決策者個體并不總是存在偏好的完全性。同時個體偏好關系在一定期間保持相對穩定，相對穩定性假設是因為個體偏好不可直接觀測到，需要分析專家行為在一段時間上的記錄積累才能得出其偏好的變化。本文給出非完全性、相對穩定性、偏好非對稱性的決策者個體偏好關系的基本假設，由此探討從個體偏好關系到決策者效用的轉化定理。

上述假設保證了一個連續的、期間內不變的具有實際價值的效用函數u的存在，對于任意兩個(組)備選方案 a和 b，有：①a≥b，當且僅當u(a)≥u(b);②個體對a，b的偏好不確知，當且僅當a，b的效用函數無法判斷。情形①表明，由決策者個體依據效用函數而賦予的偏好假設，實際上無異于假設他們對于備選目標集的偏好與擁有由行為假設(1)～(3)所包含的屬性之間的一個(弱)關聯。定理表明，如果效用函數u(.)正確反映了個體的偏好，那么任何對效用函數u(.)的增減變換都將保持效用函數u(.)原有的序。情形①是不涉及不確定信息的一個特例。情形②分析不確定信息下的選擇理論;在不完備信息下，決策是在各個備選方案特征不確知的情況下作出的。決策者在事件狀態出現之前并不知道事件的屬性特征，只能根據預測或者事件狀態的概率分布，沒有一項選擇預期嚴格占優于其他預期。因此，引入II維評價信息反映決策者評價行為特性。

(三)基于證據距離的兩維語義評價意見共識性分析

科技史研究表明［17］，在創新性強的前沿知識領域，項目初始評價的共識率較低。本研究以兩維語義評價信息的距離為基礎測度非共識程度，全面考慮決策問題的評價和意見可靠性的兩維信息。

定義3.設任意兩位決策者DMa和DMb給出的兩維語義評價信息為(sa，ca)和 (sb，cb)，可將其量化為主觀信度 ωa和 ωb，則(sa，ca)和 (sb，cb)之間的距離為：

式中 α=b+ub，β=d+ud，分別表示第 П 維語言評價信息影響下的肯定程度和否定程度。可以證明Da，b滿足距離的基本性質。

定義4.在由M位專家組成的評審組中，可以計算任意一位專家與其它M-1位專家對項目ai所持評審意見的兩維語義評價信息距離，則關于申請項目ai的非共識程度(Degree of Controversy)表示為：

根據應用背景設定共識性評審意見的相似度閾值SDthreshold，即兩條評審意見可認定為共識的最小相似程度;若 min{SDa，b}≥SDthreshold，則可認定評審意見取得共識。從相似矩陣的非對角元素中找出相似度最大的 SDe，f=max{SDa，b}，則評審專家DMe和DMf首先獲得共識，記為 Lr={DMe，DMf}，并在DM中以Lr替換DMe和DMf。用公式Drj=min(SDej，SDfj)計算其他評審專家與Lr的評審意見相似度，更新相似矩陣，直至相似矩陣中的非對角元素均小于閾值SDthreshold為止(圖1)。

圖1 基于兩維語義證據距離的共識性分析流程

(四)基于共識性分析的專家聚類賦權的兩維語義信息合成規則

當專家權重信息完全未知時，基于修正系數優化思想［18］，本研究給出基于共識性分析的專家聚類賦權信息合成規則(圖2)。

圖2 基于共識性分析的專家聚類賦權兩維語義信息合成

四、基于兩維語義的科學基金項目立項評估實證研究

科學基金項目專家評價系統是一個復雜問題的群決策系統，在運作中擁有相對穩定的專家庫，專家遵照一定的評審標準和規則對項目進行獨立評價;專家的評審決策過程和評價結果具有可記錄、可描述、可重復和可學習的特點，可以作為兩維語義證據理論重要的試驗研究領域。然而實踐中發現我國科學基金項目專家評議系統：①沒有利用專家決策知識和決策行為的相關信息;②沒有充分利用專家評議的歷史記錄對專家的分類遴選提供輔助支持;③沒有考慮專家的個體差異和專家決策的績效。本研究利用兩維語義證據推理方法，研究科學基金項目專家評議系統的優化。

(一)科學基金立項評估兩維語義標度

根據《國家自然科學基金委員會項目評議書》的要求，專家反饋的評審意見包括“綜合評價”和“熟悉程度”兩部分。綜合評價分為特優、優、良、中和差5個等級，熟悉程度分為熟悉、較熟悉和部分熟悉3個等級，兩維評語等級出現15種組合。本研究通過專家問卷調查法對“熟悉程度”和“綜合評價”的語言標度集中的評語等級給出量化解釋。在基金委專家庫中隨機抽取1000位評審專家發送調查問卷，回收了189份，有效問卷184份。依據調查結果建立由“熟悉程度”和“綜合評價”構成的兩維語義評價信息與主觀證據信度值的映射關系(表1)［17］。

(二)兩維語義評審意見處理實例與結果檢驗

經驗表明［19］，科學項目資助效果需要在立項研究后4-5年才能有比較充分的顯現，管理科學部于2007年對2002年度資助的面上項目進行了全面后評價。本文從2002年度管理科學部資助的自由申請項目中抽取具有完整數據的134個項目為試驗樣本，以這些項目后評估結果作為試驗的目標序列(比較標桿)。采用不同的評審意見合成方法獲得項目排序，與目標序列的相似程度越高的評審意見處理方法越有效。

方法①僅利用綜合評價信息，這是目前科學基金立項評審的方法。方法②將綜合評價作為基本語言評價信息Sj={特優，優，良，中，差}，反映評價可靠性的“熟悉程度”作為權重信息wj={熟悉，較熟悉，部分熟悉}，采用加權平均集結。方法③應用兩維語義信息集結方法，計算并比較期望效用函數確定申請項目的優先資助順序。對于肯定和否定的期望效用系數分別取ξb=1和ξd=-1，不確定程度的期望效用系數ξu的確定應結合不同年度的情況設定(資助形勢越好，ξu取值越大)。2002年管理科學部集中受理項目的申請數量、資助率(資助項目數/申請項目數)、資助強度較之前幾年均有較大增長［19］，且各科學處劃檔與送審專家評審組的標準較之前有所提高［20］，該年度資助形勢比較理想，ξu取0.85。

表1 兩維語義評價信息與主觀證據的映射關系

圖3 不同方法下的項目排序與目標序列相似程度比較

實驗證明(圖3)，利用了評價信息可靠度“熟悉程度”的方法②和③比未利用該信息的方法①具有更高的準確性。在多數誤差閾值下，方法③獲得的項目排序結果與后評估結論的相似程度最高，尤其在誤差閾值取值較小，即對誤差要求較為嚴格的情況下，本文方法的優勢更為明顯。

五、結論

本文提出構建兩維語義的識別框架，反映決策問題的評價信息和決策行為特征或可靠性信息，研究兩維語義證據推理方法，以國家自然科學基金的評審專家遴選和面上項目評審意見處理為實例，對所提出的基于兩維語義評價信息的評審意見處理方法進行檢驗，證明較現行評審意見處理方法具有提高決策質量的優勢，對于其他復雜決策評價系統的改善具有借鑒價值。國家自然科學基金委要求專家反饋熟悉程度信息具有很強的

實際意義。

［1］Dempster A P.Upper and Lower Probabilities Induced by a Multi-valued Mapping［J］.Ann Math Stat 1967，38：325-339.

［2］ Shafer G.A Mathematical Theory of Evidence［M］.Princeton：Princeton University Press，1976.

［3］Smets P.The Transferable Belief model［J］.Artificial Intelligence，1994，66(2)：191-234.

［4］Jousselme A L，Grenier D，Bosse E.A New Distance Between two Bodies of Evidence［J］.Information Fusion，2001，2(1)：91-101.

［5］賀林科，賈毅華.關于科學基金同行評議的一些思考［J］.中國科學基金，2005，(2)：115-116.

［6］何杰，王成紅，劉克.對同行評議專家評議工作進行評估的思考［J］.中國科學基金，2004(1)：47-50.

［7］王國彪，彭芳瑜.國家自然科學基金同行評議結果評價方法與專家遴選因素分析［J］.中國科學基金，2008(6)：372-376.

［8］肖人毅，王長銳.科研基金項目立項評估方法的研究與改進［J］.系統工程理論與實踐，2004，(5)：66-71.

［9］王雄，吳慶田.基于模糊語言的科研基金項目立項評估研究［J］.科技進步與對策，2007，(9)：61-63.

［10］Kostoff N，Federal Research Impact Assessment：State-of-the-Art［J］.Journal of the American Society for Information Science，1994(6)：428-440.

［11］Hochbaum D S，Levin A.Methodologies and Algorithms for Group-rankings Decision ［J］.Management Science，2006，52(9)：1394-1408.

［12］朱衛東，周光中，楊善林.基于二維語言評價信息的群體決策方法［J］.系統工程，2009，27(2)：113-119.

［13］J?sang A.The Consensus Operator for Combining Beliefs［J］.Artificial Intelligence，2002，141(1)：157-170.

［14］Arrow K J.Social Choice and Multicriterion Decision Making［M］.Boston：MIT Press，1986.

［15］Kenneth J Arrow，A Difficulty in the Concept of Social Welfare［J］.The Journal of Political Economy，1950，58(4)：328-346.

［16］Duncan Black.Decisions of a Committee Using a Special Majority［J］.Econometrica.1948，16(3)：245-261.

［17］周光中.基于D-S證據理論的科學基金立項評估問題研究［D］.合肥工業大學博士論文.2009.6.

［18］Yang J B，Xu D L.On the Evidential Reasoning Algorithm for Multiple Attribute Decision Analysis Under Uncertainty［J］.Systems，Man and Cybernetics，Part A，IEEE Transactions on System，Man and Cybernetics-Part A：Systems and Humans，2002，32(3)：289-305.

［19］周寄中，楊列勛，許治.關于國家自然科學基金管理科學部資助項目后評估的研究［J］.管理評論，2007，(3)：13-19.

［20］陳曉田，黃海軍.2002年度管理科學部基金評審工作綜述［J］.中國科學基金，2002，(6)：376-377.

(本文責編：辛 城)

Research on Peer Review System for the National Science Foundation Based on Two-dimensional Semantics Evidence Reasoning

ZHANG Chen1，2，ZHOU Guang-zhong3，ZHU Wei-dong1，2
(1.Management School，Hefei University of Technology，Hefei 230009，China;2.Research Center of Knowledge Economy and Enterprise Management Innovation，Hefei University of Technology，Hefei 230009，China;3.Dagong Global Credit Rating Co.，Ltd.，Beijing 100016，China)

The science foundation plays an important role in the national innovation system.It is important that research the core of foundation management-expert review system.The complexity of decision-making has a high degree of correlation with decision-making structure，the completeness of information and decision-making behaviors.Evidence theory provides a knowledge-based decision-making method.However，one-dimensional frame of discernment which is built by the classical evidence theory didn＇t reflect the characteristic information of decision-making process.This paper proposed two-dimensional evidence reasoning theory，built the second-dimensional frame of discernment to reflect the knowledge and behavior characteristics of decision-makers.Studied the expert appraisal system of science foundation to make full use of information and improve the decision-making quality.

evidence reasoning;two-dimensional semantics;evidence synthesis;science foundation;peer review system

G31

A

1002-9753(2011)02-0176-07

2010-07-01

2010-09-08

國家自然科學基金(71071048)，安徽省自然科學基金(2009AKZR0276)，合肥工業大學博士專項基金(GDBJ2009-060)。

張 晨(1968-)，女，安徽合肥人，合肥工業大學管理學院教授，博士，研究方向：金融市場與金融機構。