淺析基金評審的模糊屬性

付雪峰，戴亞飛，黃艷，崔琳，陳擁軍

國家自然科學基金委員會，化學科學部，北京 100085

1 引言

基礎研究是整個科學體系的源頭1。國家對基礎研究項目的組織、評審、管理等出臺了一系列相關政策與規定。國務院印發的《關于全面加強基礎科學研究的若干意見》明確提出了“完善符合基礎研究規律的項目組織、申報、評審與決策機制”的要求2。國家自然科學基金委員會(以下簡稱基金委)是國家基礎研究項目的重要組織部門，貫徹“依靠專家、發揚民主、擇優支持、公正合理”的方針，秉持“公開、公平、公正”的評審原則，采用同行評議的方式對項目申請進行評審。

高質量的同行評議對實現基金項目的精準資助具有重要意義3-8。然而，評審過程中會出現同行評議結果與項目的真實質量不相符的情況。本文將以國家自然科學基金項目的通訊評審(函評)為例，針對同行評議結果與項目真實質量不相符的現象進行分析，提出可能的解決方案。

2 評審偏差

國家自然科學基金項目在申請階段的評審一般包括函評和會議評審(會評)兩個環節。函評過程中，每個項目均被分配給數名同行專家進行評審。評審專家針對項目的科學價值(Intellectual Merit)、影響力(Broader Impacts)、創新性(Originality)和可行性(Plausibility)進行評判。本文中，把上述四個要素的總體完成情況稱為項目的“真實質量”，把評審專家對“真實質量”的評價稱為“質量預期”。評審專家在不受非科學因素干擾的情況下，理解所評項目的科學內涵、準確把握評審標準，就能做出正確的“質量預期”評價，給出合理的評審結果。

實際評審結果和理想評審預期之間有時會出現評審偏差(Bias in peer review)。評審偏差是指評審專家評審項目時，受到各種因素干擾而未能對項目進行準確、客觀、公正的評價9。評審偏差產生的原因很復雜10-12，可能因素包括：受到項目申請人學術地位或學緣關系等因素影響、自身科學鑒賞力不足、對項目研究內容存在個人偏好以及對評審標準把握不一等13。本文主要探討由于對評審標準把握不一而產生的“質量預期誤判”，從而導致評審偏差的問題。

基金委化學科學部(以下簡稱化學部)對歷年重要人才類項目和研究類項目的評審與執行情況進行了大量的統計分析，試圖尋找評審偏差的來源，提出有效的解決措施和辦法，完善項目評審，提高項目遴選質量，推動化學學科整體健康發展。通過統計分析發現，不僅函評評價和會評評價之間存在偏差，獲資助項目的會評評價與結題評價(項目完成質量)之間也存在偏差。例如：獲資助項目會評評價一般，結題評價很好；獲資助項目會評評價很好，但結題評價一般。在排除項目負責人個體因素的情況下，說明在項目函評和會評階段，確實有部分評審專家對項目的評價出現了評審偏差。

3 基金評審的模糊屬性

從發布項目指南到項目結題驗收，國家自然科學基金項目管理過程涉及多個環節。2019年化學部在基金項目申請和評審過程中采取了“專家參與指派”、“三盲評審”等一系列新舉措14,15，并提出了會評的“確認-糾偏-擇優”機制16，有效降低了由于項目申請人學術地位和學緣關系等因素導致的評審偏差。但是，由“質量預期誤判”導致的評審偏差問題仍然沒有得到很好解決。

評審專家通過對項目申請真實質量的評價形成質量預期，并對質量預期分別給出“好”或“不好”程度的判斷，再將這種判斷歸入“優、良、中、差”等級(對應4、3、2、1評分)。然而，這些等級(或集合)之間的邊界并不清晰。在評審過程中，由于項目質量預期評價的復雜性和專家對真實質量認知的局限性，評審專家在做出評價決策時可能會在項目等級歸屬問題上猶豫不決。例如，質量預期“好”到什么程度是“優”？或者，比“優”差多少是“良”？雖然每個等級的外在表現形式(評分值)是明確的，但其內涵(質量預期的等級)卻是不確定的、具有模糊屬性(如圖1所示)。基金項目評審是一種群體決策17過程，單個評審專家對質量預期等級的模糊性可能會導致評審偏差或因疊加作用產生更大的評審偏差，進而顛覆處于資助或不資助邊緣區域項目的評審結果。因此，有必要對基金評審過程中的模糊屬性進行詳細分析并進行合理處置。

圖1 基金評審的模糊屬性。

4 評審結果的模糊集合表達

在經典集合(Two-valued Sets)理論中，一個對象是否屬于集合，只有“是”或者“否”兩種情況。比如定義一個集合表示“天氣熱”，那么我們需要設置一個閾值(如氣溫超過30 °C)。當氣溫高于這個閾值時，這天就屬于“天氣熱”集合，反之則不屬于“天氣熱”集合。這種歸類簡單明了，但在解決實際問題時可能會遇到困難：比如氣溫是29 °C時，就不屬于“天氣熱”集合了，但在人們主觀判斷上卻可能覺得天氣熱。這表明主觀評價中存在模糊屬性，經典集合無法描述這種模糊屬性。在現實生活中，人們通常不會把諸如天氣、“顏值”等與人類主觀感受密切相關的事務簡單分成是或否、對或錯的類別，而更傾向于以“是”或“否”的程度來區分。例如，在進行天氣總體情況描述時，天氣預報一般不說：“今天熱，有云”，而會使用一些模糊的說法，如“今天天氣較熱，部分地區多云”等等。這些“較”、“部分”、“多”等修飾程度的語言雖然是模糊的，但在人類世界中卻可以傳遞比數值更為豐富的信息。

模糊集合(Fuzzy Sets)由L. A. Zadeh在1965年提出，用語言變量代替數值變量來描述系統行為，能夠較好地反映人類思維及決策過程的復雜性，更適用于“有人參與”的系統，提供了一種處理類似“天氣熱”等不確定性的有效方法18-21。模糊集合在自動控制、化工、交通、機器人、電子、家電、管理、決策、醫療、心理和經濟等多方面得到了廣泛的應用，現已成為人工智能領域最為實用的理論工具之一22。

與經典集合相比，模糊集合在處理“天氣熱”問題時，把氣溫作為基礎變量，構建一個值域為[0，1]的一致性函數，給基礎變量賦予一個模糊參數(也稱為一致性)。如此，集合中的每個對象就由基礎變量(氣溫)和模糊參數(由一致性函數生成的0到1之間的數值)組成。由這些對象構成的集合就是模糊集合。如氣溫為35 °C，則可表達為(35，1)，其中“1”表示這天完全屬于“天氣熱”模糊集合；如氣溫為15 °C，則可表達為(15，0)，其中“0”表示這天完全不屬于“天氣熱”模糊集合；如氣溫為25 °C，可表達為(25，0.7)，其中“0.7”表示以0.7的一致性屬于“天氣熱”模糊集合，當然也可以說是以某種“不一致性”不屬于“天氣熱”模糊集合。通過上述事例，我們可以得到模糊集合的幾個要素：一致性函數表示一個對象對于某個模糊集合的隸屬程度，這種隸屬程度用0到1之間的模糊參數表達，一個對象可以同時屬于多于一個模糊集合。

圖2 基金項目申請評分等級的模糊參數。

應用模糊集合理論，我們可對項目申請函評評價的每個等級或評分值賦予一致性函數，構造等級或評分值的模糊集合，以此解決“優、良、中、差”等級或“4、3、2、1”評分邊界不清晰的問題。如果將一個項目申請包中的所有項目申請當作一個集合，則“優、良、中、差”等級就是這個項目申請包的四個模糊子集(項目評分等級的模糊參數如圖2所示)。若某個項目申請的質量預期“特別好”，評分值就可表達為(4，1)，其中1表示完全屬于“優”這個模糊子集；若某個項目的質量預期“很好”，則可表達為(4，0.6)，也就是以0.6的一致性屬于“優”這個模糊子集；若某個項目的質量預期“較好”，則可表達為(3，0.8)，即以0.8的一致性屬于“良”這個模糊子集；若某個項目評審的質量預期“不太好”，則可表達為(1，0.7)，即以0.7的一致性屬于“差”這個模糊子集。

在實際應用中，評審專家依然是按照現有評審規則對項目申請給出“優、良、中、差”等級和對應的4、3、2、1評分，在專家完成評審之后，由系統通過一致性函數的算法進行相應的模糊參數賦值。我們希望運用模糊集合理論和一致性函數減小評審結果的質量預期誤判，提升群體決策的共識程度，從而進一步提高評審質量。

5 總結和展望

本文針對國家自然科學基金項目函評環節的同行評議進行分析，討論了基金評審結果的模糊屬性，闡述了如何利用模糊集合更精準地描述評審結果。評價等級/評分的模糊集合在形式上比較容易實現。但是，描述和設置模糊參數、構造一致性函數、將一組評分的模糊集合轉化為一個確定的結論(或單一分值表達)是一個較為復雜的問題。今后，我們將針對正確構建一致性函數開展深入研究，努力解決“質量預期誤判”導致的評審偏差問題，以助力基金委“負責任、講信譽、計貢獻”的評審機制改革，為實現科學基金項目精準資助的目標提供理論依據。