新西蘭研究基金項目中的同行評價

楊旭婷，喬 剛

（1.河南大學 教育學部，河南 開封 475004；2.延安大學 教育科學學院，陜西 延安 716000）

一、引 言

同行評價是科學界對科研項目進行評審和對科研成果進行評估的一種基本方法。[1]與量化評價、專家評價、政府評價等評價方式相比，同行評價具有專業性更強、民主參與性更高的優勢。正如布魯貝克所言，大學傳授與研究的是“高深學問”，教師作為同行，他們“最清楚高深學問”的內容，也“比其他人更清楚地知道誰最有資格成為教授”[2]。但同行評價在實施過程中往往存在一些問題，如過于遵循學科固有傳統范式而帶來對創新研究的抵制[3]，容易受到“老友關系網”的阻礙[4],評價者個人情感、個人偏見的帶入影響最終評價結果的客觀性[5]，等等。也正是因為這些缺陷，同行評價這一契合學術發展邏輯和高等教育治理邏輯的評價方式[6]，卻在實際應用中經常受到質疑。究其原因，評價人監督與激勵機制的缺乏、不同類型研究評判標準的單一化、評價信息的不充分等是這些問題產生的主要因素。[7]因此，有效地開展同行評價活動，關鍵在于設計科學合理的實施策略和保障機制，實現在發揮同行評價制度優勢的同時最大限度地規避潛在問題的出現。

2002年，新西蘭政府開始實施的基于績效的研究基金項目（Performance-Based Research Fund，PBRF）是一項評價全國高等教育機構的研究表現，并根據評價結果予以資金支持的活動，意在鼓勵、獎勵新西蘭高等教育機構的高水平研究，提升新西蘭高等教育機構的全球競爭力和國際影響力。項目的評價內容包括三個部分，分別是研究成果的質量評價、研究生學位獲得者數量和外部研究收入。其中，研究成果的質量評價（Quality Evaluation）是項目評價的核心，占到了總體評價權重的55%，與其他兩項可以直接獲得數據的量化指標所不同，質量評價是通過同行評價的方式進行的，依托同行專家來評判參評人及其所在高校的研究成果。質量評價是一項周期性活動，其項目實施以來，新西蘭政府委托高等教育委員會分別于2003 年、2006 年、2012 年和2018 年組織開展了4輪同行評價活動。

經過多年的實踐，PBRF項目持續改進同行評價方式方法，完善同行評價內容。新西蘭高等教育委員會先后發布了《高等教育機構參評指南》《質量評價實施過程指南》《同行評價小組遴選與任命辦法》《不同領域同行評價實施指南》《同行評價線上系統使用手冊》等一系列規章制度，已經形成了較成熟的全國性同行評價體系，構建了較完備的同行評價機制。從實際成效看，PBRF項目的實施有效提升了高校的研究生產率[8]，帶來了新西蘭高等教育研究質量的整體提高[9]，特別是原有基礎相對落后的大學、學科研究水平的實質性提升[10]。有學者基于對英國、美國、日本、德國、荷蘭等16個國家或地區主要高等教育評價模式的比較分析提出，新西蘭PBRF項目是評估研究和分配研究資金的最高質量模型，在評價內容的全面性、評價過程的公正透明性、評價方式的科學性等方面具有顯著優勢[11]。與此同時，項目也獲得了越來越多高等教育機構的認可。數據顯示，參加PBRF項目的高等教育機構數量已從第一輪的22 所發展到最新一輪的36 所，參評教師從4 461 人增長到最新一輪的7 408人[12]。PBRF 項目的評價結果正在被應用到新西蘭高等教育機構內部質量評價、教師評價中，成為高等教育機構評價教師研究水平和研究能力的重要依據。目前，PBRF項目已經成為新西蘭最具影響力的高等教育評價活動之一，是新西蘭高等教育機構獲取研究資金的最主要來源。

本文聚焦同行評價，結合新西蘭PBRF項目2018-2019年最新一輪質量評價實踐，分析其在推動同行評價活動的有效執行、規避同行評價潛在不足方面采取的實施策略與制度保障。

二、新西蘭PBRF項目中同行評價的實施策略

（一）基于同行推薦遴選評價專家

作為一種由從事特定領域或接近該領域的專家來評定一項工作的學術水平或重要性的機制[13]，同行評價制度的最顯著優勢在于其契合學術自身發展邏輯，有助于維護科學發展的自主性，體現了“由內行評價內行”的基本原則。因此，要保障同行評價制度的有效實施，避免“非同行”“偽同行”的出現，誰來擔任“同行”是同行評價首先需要考慮的問題。理想的同行評價專家既要具備扎實的專業素養和較高的學術水平，也要具備評判前沿研究成果的能力，更要富有責任心和學術使命感。

在同行評價專家的產生方面，PBRF項目采用了個人推薦制。這里的“個人”不僅包括大學教師，也包括非高等教育機構的研究人員以及其他技術研發應用人員。推薦人可在線上系統填寫被推薦人相關信息，提供被推薦人獲得的高水平研究成果或獎勵情況（5項以內）、前期參與同行評價活動經驗（5項以內）等表征被推薦人水平的信息。同時，為保證個人推薦的有效性，項目要求被推薦人亦需在推薦信息表中簽字，以示其同意被推薦、認同提交的推薦材料、了解并同意項目相關協議、能夠在規定時間參與培訓及評價會議等活動。遴選同行專家的權力交給了從事研究或與研究工作相關的人群，既有助于保障同行專家的權威性，也有助于保障同行專家對參評內容的熟悉性和專業性，從源頭上避免了由政府指定專家或者小群體推薦專家帶來的不良問題，體現了多元參與的治理理念。

盡管以同行推薦為基礎，但最終誰能獲得評價權并不是依據其被推薦的數量多少而定的。在被推薦的基礎上，PBRF 項目所有同行評價專家均由高等教育委員會遵循三條基本原則進行遴選、任命：一是具有較強的專業能力，專業水平突出、研究內容涉獵豐富，了解本領域理論研究和應用研究發展狀況；二是具有一定的評價經驗，能夠結合學術領域公認的對卓越的理解來進行研究質量的判斷；三是能夠理解和把握質量評價標準，遵守項目評價制度的要求，致力于客觀、公正、高效地開展評價活動。[14]與此同時，PBRF 項目特別強調小組成員構成的多元化，規定每個評價小組成員中至少有25%的國際專家和一定比例的青年學者、跨學科研究者。

最終的同行評價小組成員由高等教育委員會結合實際進行若干輪的遴選產生。一般是先選擇各小組的組長、副組長，之后選擇各組成員，最后結合實際需要進行增補調整?？偟膩砜矗罱K的同行評價小組成員構成既要滿足項目對評價專家的基本要求，也要能夠兼顧該小組所代表學科的各個研究領域，還要考慮國際學者比例、首次參評專家的比例、女性參評者比例、青年研究者的比例、評價工作量等情況。2018年，PBRF項目各同行評價小組一般由10-20名成員構成。

（二）基于廣泛評價內容進行代表作評價

一是設置廣泛的參評內容。PBRF項目同行評價主要是考察各個高等教育機構研究者的研究質量，但項目對什么是“研究”的界定非常寬泛——具有原創性、能夠增進知識創新或促進社會文化發展的探索性成果均可納入研究的范疇之內。PBRF項目《質量評價指南》中明確提到，高質量的研究不能僅局限于理論探索，而是發生在原始調查活動的整個過程中。因而，項目質量評價在參評內容上設置了兩個方面：研究成果（Research Outputs）和研究貢獻（Research Contributions）。前者意在考察研究成果的科學性，研究結論在促進人類的知識、增進理解、推進創新等方面的成效，后者則側重反映參評者在從事研究及研究相關活動的過程中，在學術界內外所作出的貢獻和獲得的認可情況。每位參評者均需在其提交的參評論證材料（Evidence Portfolios）中羅列其研究成果與研究貢獻。

二是設置多樣的參評形式。為了充分展現參評人在研究成果和研究貢獻兩方面的表現，PBRF項目質量評價認可多樣化的形式表達。在研究成果方面，項目設置了學術論文、會議論文、主編或參編的書籍、學位論文、專利、藝術作品、表演、設計、軟件、電影等共15種不同形式；在研究貢獻方面，項目設置了對學科領域發展的貢獻（如組織或參與重要會議、任職重要國際組織、促進國際合作）、社區參與服務情況、研究成果的認同與影響、獲得的各類獎項、指導或支持學科青年人才情況、參與各類評價評審活動情況等12種不同形式。相較于量化數據評價，同行評價對參評材料統計口徑并沒有嚴格的一致性要求。PBRF項目設置的多樣化的參評形式，符合同行評價的特點，有利于發揮同行評價的制度優勢。當然，盡管質量評價的內容寬泛、形式多樣，但評價小組對各類參評材料均以質量作為判斷的基本標準和核心要義，不受內容或形式的影響。藝術表演的評分不一定比期刊論文低，應用研究的評分也不一定會比基礎研究高，所有研究活動都根據其本身的價值來考慮，這一點將在下文的制度保障部分具體闡釋。

三是實施代表作評價制度。為了更好地反映參評人從事研究工作、產出高質量研究的評價初衷，PBRF項目同行評價并不以參評者研究成果或貢獻的數量為評價標準，而是采取代表作評價的方式，考察其最高水平的研究產出的質量。因此，盡管項目設置了廣泛的評價內容和多樣化的參評形式，但卻并不是漫無邊際的各種材料的堆積，參評人員要選擇他們在評估期間取得的最佳研究成果和研究貢獻。在研究成果部分，項目要求參評者提交不超過4份的主要研究成果和不超過12份的補充研究成果；在研究貢獻部分，要求參評者提交不超過15份的研究貢獻。同時，項目要求參評者對其所提交的代表性成果、貢獻提供證據支持，即除了研究成果的標題、作者、時間、來源（期刊或出版機構等）、對應的參評類型之外，還需要分別對代表作完成過程中的個人貢獻、成果價值與意義進行1 000字左右的文字描述。[15]而且，PBRF項目質量評價還將其他同行的認可或評價情況等納入評價考慮范圍，要求每份代表性成果提交相關的質量保證材料（Quality Assurance），以說明其獲得領域內相關專家的審查與認可情況。如期刊或出版社編輯、編委會的審查結果，會議論文的評價結果，相關使用機構或用戶在合作、資助前開展的審查結果等。對沒有質量保證的作品，評價小組會進行更為嚴格的審查。顯然，這種代表作評價是建立在廣泛而充分的信息分析基礎上的，評價粒度非常細。

（三）基于不同研究領域開展分類評價

不同學科門類具有不同的學術產出機制和特點，即便在同一學科之內，知識也越來越具有高度的不確定性。[16]PBRF 項目質量評價尊重學科領域差異，尊重不同學科領域研究成果與社會影響的多樣化、個性化特點，設置了包括生物科學、商業與經濟、教育、工程技術與建筑、人文與法律、創作與表演藝術、數學與信息科學技術、物理科學、醫藥與公共健康等共13 個代表不同學科領域的同行評價小組（Peer Review Panels）。與之前3 次質量評價活動相比，PBRF 項目2018 年的質量評價新設了“太平洋研究”（Pacific Research）評價小組，專門考察太平洋主題研究的水平以及研究對太平洋地區人民發展與全球化的影響程度，旨在支持太平洋相關研究，提升太平洋研究能力，加速太平洋研究的發展。[17]這一新小組的設置反映了新西蘭PBRF項目對區域性、國際性研究活動的重視。

每個同行評價小組在其《質量評價小組指南》中均規定了該小組設置的研究主題，認可的研究成果、研究貢獻的基本類型以及材料撰寫規范。參評者及其所在高校需要依據研究內容為每一份參評材料選擇特定的同行評價小組。之后，同行評價小組主席結合每份參評材料具體內容，將參評材料分配給相應的小組專家。PBRF項目的分類評價并不排斥跨學科研究和跨學科評價。當評價專家發現某份評價材料的研究主題涉及另一評價小組范疇，應進行跨學科合作評價時，小組主席會向高等教育委員會提出跨小組評價申請并提供具體建議，說明需要進行跨小組評價的依據。高等教育委員會將在征求相關學科小組主席意見的基礎上，作出是否調整評價小組或是否進行聯合評價的決定。

（四）基于多人、多輪計分形成評價結果

PBRF項目采取個人單獨評價、二（多）人合作評價和小組評價相結合的方式形成評價結果。在同行評價的過程中，小組主席將每份參評材料指派給2名小組成員，每位評價成員首先對其所負責材料的研究成果和研究貢獻兩部分分別進行評價并得出預備分數（Preparatory Scores），如果材料涉及到跨小組評價，則相應小組專家也需要參與進來；接下來，小組內兩名或多名成員經過討論，共同對同一份參評材料進行評分，商議得出這份材料的初始分數（Preliminary Scores），如若無法達成一致意見，則該份材料直接進入下一階段；之后，各個學科的同行評價小組召開小組會議，結合評價標準對參評材料進一步討論，給出質量分數并由系統自動生成質量結果與質量類別（Quality Results & Quality Category），整個評分流程如圖1所示。這種個人評分、合作評分和小組評分相結合的機制，有益于成員之間對評價內容的一致性把握。在相互交流的過程中，專家的個人影響得以弱化，從而使得沒有任何一份材料的評價結果是由某一位專家單獨決定的。[18]

圖1 同行評價專家的評價過程

在具體的分數呈現上，PBRF項目采取數字計分、權重計分、分類計分相結合的方式。在預備分數和初始分數階段，采取數字計分（Numerical Scoring System）和權重計分（Weighting System for Scores）方法，同行評價成員選擇0至7中的整數為研究成果和研究貢獻分別打分，其中，0表示質量最低，7表示質量最高。之后，依據研究成果占70%、研究貢獻占30%的權重設置，將數字計分結果賦權，形成兩項的加權分數以及相應的總分數。在最終的評價結果呈現上，項目采取分類計分（Quality Categories），最終結果以A、B、C、R的不同質量類型的形式呈現。其中，A 類表征質量最高（加權總分為600-700 之間），意味著相關研究產出與貢獻達到了世界一流水平、在所在領域取得了非常高的學術認可度、對本學科研究產生了重大影響；加權總分在400-580 之間的為B 類，表明研究產出與貢獻具有較高質量，得到了學界較高的認可，對學科發展作出了一定貢獻；加權分數在200-390之間的為C類，表示取得了一定的學術認可，在較小的范圍內作出了貢獻；加權分數低于200分的被歸為R類，意味著參評者的研究尚不能達到獲得項目資助的水平，表1和圖2展示了這一過程。

圖2 分類計分結果分布

表1 數字計分與權重計分示例

在PBRF項目實施的過程中，參評的高等教育機構通過線上平臺提交材料，審查團隊通過線上平臺進行材料審查，同行評價專家直接在線上平臺對每份證明材料進行評分，系統根據專家的打分自動加權、分類，并形成最終的評價結果。在線開展信息的處理為PBRF項目同行評價帶來了諸多便捷，有效提升了評價工作效率，降低了評價成本。

三、新西蘭PBRF項目中同行評價的制度保障

作為學科專家對其領域的新知識實施質量控制的一種“社會機制”[19]，同行評價要克服其缺陷，僅僅依靠學術共同體內部的自律，無論是專業規范上還是職業倫理上，都難以絕對消除“老友評價”或者“互利評價”等現象。更可行且有效的途徑還是通過制度更替或制度改進的方式，在最大程度上來抑制同行評價弱點的放大效應。[20]新西蘭PBRF項目質量評價設計了全過程、細節化的制度安排，為其同行評價的有效展開提供了可靠保障。

（一）評估材料審查制度

盡管PBRF 項目對參評研究內容、形式的界定較為寬泛，但其對于參評者的資格、參評資料的標準等均制定了一系列詳實的規定，用“嚴入口”來保證信息的可靠性。對于參評者的資格，項目要求其必須是從事學位教育或專門研究的教職工；在評估開展前一年，與所在高等教育機構具有有效的雇傭或聘任關系；在工作時間內從事每周不低于7.5小時的工作量（非國內常住教師要求18.5小時）等。對于參評資料，項目要求成果需符合項目對原創性、創新性的規定（如文件匯編不包括在內），成果的發表時間需在評估前6年的評估周期以內。

為更好地開展審查工作，高等教育委員會專門設置了審查團隊（Audit Team），對所有參評院校提交的材料進行全面審查。材料審查采用抽樣的方式開展，抽樣的比例則取決于質量評價活動開始前，高等教育委員會向每所參評院校發放的對項目理解程度與校內籌備情況的問卷調查結果。在若干輪抽樣調查基礎上，審查團隊將著重對參評者資格、研究成果發布時間等進行檢查，并通過與其他數據庫進行核對，保障相關信息的真實性和客觀性以及填寫數據的完整性，為后續的評價工作的展開奠定基礎。

（二）利益相關者回避制度

為防止利益相關評價的出現，PBRF項目同行評價從參評者和評價者兩個方面建立了利益相關評價專家的回避與退出制度。一方面，大學可以代表其參評教師向高等教育委員會提交利益沖突說明（Conflict of Interest Notices），以說明存在實際利益關系或潛在利益關系的評價專家。在收到利益沖突說明后，同行評議小組組長將決定利益相關評價人員是否參與相關材料的評價（如小組組長為利益相關者則由小組仲裁員負責）。另一方面，小組主席在決定每份參評材料的評價專家時會綜合考慮參評材料的研究主題、是否存在利益相關以及小組成員的工作量，因而，很大一部分利益沖突會在材料分派階段得以避免。同時，評價專家若在評價過程中發現本人與參評人存在實際或潛在的利益關系，也可隨時向小組主席提出意見，由小組主席采取適當的調整行動。在這樣的制度約束下，導師、親友、學術伙伴將被排除在評價者之外，有助于提升同行評價的客觀公正性。

（三）評價全過程審核制度

PBRF項目質量評價是嚴格按照研究質量標準而不是專家常識標準來進行評判的，每個分值都有特定的標準要求，專家需要將參評者的研究成果和研究貢獻與每個分值的標準要求進行比對，在此基礎上給出分數，且不同的評價結果并沒有預先設計好的選取比例。為了切實落實各同行評價小組成員之間、不同小組之間以及幾輪評價之間對評價標準執行的嚴格性、一致性，高等教育委員會專門成立了由1名首席審核員、2 名副審核員和13 名同行評價小組組長組成的審核小組（Moderation Panel）。

審核工作主要包括兩個階段，一是對各個同行評價小組給出的預備分數、初始分數進行審查，并于小組初始分數給出后召開第一次審核小組會議，審查各個小組參評材料的分配狀況、評分數據，了解評價過程中出現或可能出現的評分偏差、錯誤等問題，以確保小組成員之間和各個小組之間評估標準應用的一致性。二是對同行評價小組給出的最終質量結果進行審查，并召開第二次審核小組會議，確定小組評價結果和最終的質量類別與分數標準界定之間是否有偏差、小組間是否有偏差。這個過程說明，項目的審核工作是貫穿評估同行評價全過程的。通過對各個環節評價過程及其存在問題的分析，考察標準理解不到位、標準執行不一等情況，在此基礎上研討問題解決辦法，并向高等教育委員會提交審核報告。如發現有評分不當的問題，審核小組會要求同行評價小組再次對相關材料重新進行評價，切實促進評價改進。總的來看，審核有助于保障評價分數及最終評價結果的形成不是按照評價者的常識經驗判斷或者預設的各個類型的百分比而形成的，而是嚴格依據分值標準、結合研究質量作出的客觀決定。

（四）保密與申訴制度

為提升評價過程的公正性，在評價活動開始前，高等教育委員會要求所有參與同行評價的專家都需要簽署保密協議（Confidentiality Agreement），以確保參評者提交的參評材料不會產生除評價之外的其他用途，確保評價所做的所有討論和決定的機密性，避免評價材料的外傳、泄露；保證小組主席、小組成員以及高等教育委員會成員之間所有討論和交流的機密性，保證同行評價小組做出決定的機密性。同時，為了保障被評者的基本權益，高等教育委員會允許高校針對評價的程序性問題提出申訴，委員會將對申訴信息進行調查，并向高校反饋處理結果以及針對這一結果可能會采取的完善措施。

四、結 語

PBRF項目采用同行評價的方式對全國高等教育機構的研究質量進行考察，在評價主體的形成、評價內容的界定、評價方式的選擇、評價過程的監督等方面作出了積極的探索。PBRF項目在如何保障評價專家的專業性、評價標準執行的一致性、評價過程的客觀性，如何處理不同學科的異質性，如何更好地體現研究創新性與貢獻度，以及如何降低評價成本、提升評價效率等多個方面，為我們理解同行評價的實施提供了可靠經驗。

有學者比較了基于期刊文獻的計量評價結果和同一時期PBRF項目同行評價結果，發現二者具有一定差異，同行評價更善于甄別同一期刊上的優質文獻[21]，而不是簡單的以刊評文，這也進一步體現了PBRF項目同行評價的有效性。當然，PBRF項目同行評價也并不是完美無缺的，有學者質疑其6年的評價周期會降低學者對長期性研究工作的積極性[22]，交叉學科的研究績效往往被低估[23]，獲得低評分的學術人員，尤其是年輕人，可能因此變得沮喪，遭受疲憊和壓力[24]。關于這些問題，高等教育委員會在歷次的同行評價總結報告中也會提及并在下一輪評價活動中采取適當調整措施。在2025年即將舉行的第五輪質量評價活動中，高等教育委員會提出，將進一步豐富PBRF項目對“研究”的界定，以更好地獎勵多樣化的研究，更好地支持合作和參與，提高太平洋研究、毛利研究的資金分配比重，以鼓勵區域化、本土化研究，提升研究質量[25]。PBRF項目同行評價實施策略與制度保障的設計也是一個在尊重學術、尊重學者的基礎上持續完善、不斷改進的過程。