建立第三方機構績效評價質量評估機制的思考
——以上海市嘉定區為例

●孫貝莉 劉曉婷

由于績效評價涉及的領域較廣，專業性較強，需要采集的資料較多，而第三方機構績效評價具有專業性強、相對獨立等特點，評價結果往往被認為較為客觀公正，易被評價各方所接受，因而近年來在我國財政支出績效評價中有較大的推廣應用。通過在財政支出績效評價中引入委托第三方機構績效評價可以克服政府自我評價的一些弊端，提高績效評價質量，促進預算績效管理水平的提升。

近幾年來，上海市參與財政支出績效評價的第三方機構數量越來越多，但各方執業質量參差不齊，對評價報告的形成及評價結果應用有很大的影響。筆者通過梳理近幾年來上海市嘉定區在重點績效評價實施過程中的經驗做法，從績效評價相關方入手，分析問題和原因，探索改進方法，以推動第三方機構績效評價質量評估機制的建立與完善。

圖1 績效評價相關方關系圖

一、影響第三方機構績效評價質量的因素

從上海市嘉定區近幾年委托第三方機構開展績效評價的情況來看，有以下主要因素影響著第三方機構績效評價執業質量。

（一）以往業績經驗

第三方機構的歷年業績經驗是比較重要的執業質量保障，通過對比2020年度嘉定區財政局組織的重點績效評價情況，各機構的最終質量得分都在80分至90分之間（見圖3），而過去兩年全國承接評價項目數量較多的機構，在2020年度嘉定區開展的項目中評價質量相對較高（見圖2和圖3）。

當然，也不是項目承接得越多就越有優勢。圖2和圖3中有幾個點偏離了趨勢，如機構7的項目數量達到了所有公司中的峰值，但評價質量優勢卻不明顯，與其做多卻未做精有一定的關系。機構9項目數量較多但質量得分反而最低，主要由于其90%以上的項目都是同一行業領域的，行業領域較為單一，2020年在嘉定區承接了不熟悉領域的項目，質量就難以保證。

圖2 2018—2019年全國承接評價項目數量

圖3 2020年度上海市嘉定區開展績效評價項目質量得分

（二）負責項目的機構人員素質

機構以往的業績經驗只能據以判斷其整體水平，負責具體績效評價項目的團隊人員的專業能力和素質同樣非常重要。由于績效評價行業是近幾年才發展起來的，設有專門的績效評價專業的高校院所屈指可數，學習鉆研績效評價專業方向的領域人才十分有限。機構吸納績效評價從業人員的門檻往往較低，有些機構由于人手不夠，往往派出經驗較淺、從未接觸過該領域的新人，導致評價質量得不到保障。比如，在某農田排澇設施養護項目的績效評價中，評價人員對于一些專有名詞諸如“圩區”“套閘”“單泵”都沒有弄清，基礎工作沒有做到位，這是作為績效評價從業人員最基本的要求，而剛剛進入這一領域的新人往往摸不到頭腦，從而導致評價方向嚴重偏離需求。

（三）委托主體的要求和態度

由于整個績效評價受多方因素影響，委托主體在其中扮演著不可或缺的角色，監控力度也因委托主體不同而異。委托主體應清晰地表達評價需求，把控評價方向，掌握評價節奏。目前，財政支出績效評價的委托主體主要是財政部門和預算部門，兩個評價主體對評價質量的理解和要求不同。總體上看，財政部門作為績效管理工作的推動方對績效評價的質量要求顯然要高于預算部門。而作為資金使用主體的預算部門和單位，在對本部門或系統的財政資金進行績效評價時，有的是任務觀點，盲目相信和依賴第三方機構的專業性，從項目委托到報告形成之間沒有任何質量把控意識和措施；有的則出于自我保護的考慮，不想、不愿將工作中的某些問題反映到績效評價報告中，從而主觀上放松了對績效評價質量的監控要求。

（四）專家評審意見的指導性

在整個績效評價過程中，至少須經過兩次專家評審，第三方機構則會根據專家評審意見完善評價方法，調整評價體系。因此，專家意見是否具有針對性，能否切中要害，能否糾錯糾偏，是影響第三方機構績效評價結果質量的重要方面。

二、上海市嘉定區加強第三方機構績效評價質量監控的探索

為了較大程度地消減部分因素帶來的影響，上海市嘉定區財政局在組織開展財政重點績效評價時探索形成了一定的流程規范，以把控整個績效評價過程的節奏和質量。

（一）設置準入門檻，擇優選擇機構

如表1所示，綜合考慮機構資質、人力資源、評價任務類型與評價機構擅長領域等因素，通過政府采購方式，聘用合適的第三方機構。

表1 上海市嘉定區財政局第三方績效評價機構報名表

（二）專人負責跟進，協調各方需求

每個評價項目都有一名委托主體代表專門跟進項目進程，如果第三方機構和被評價部門之間有任何溝通上的困難，能及時協調，排除障礙，也能將支出科室的評價需求及時準確地傳達給第三方機構，減少了溝通不暢的弊端。

（三）評價過程把控，保障評價有序進行

從評價項目對接到項目單位結果反饋，做好每個步驟的時間計劃安排（見表2），掌控評價節奏，使評價工作能按部就班地有序進行；且每一步都能形成成果性文檔，便于委托主體掌握評價進程和評價質量。

表2 績效評價時間進度表

（四）綜合各方意見，考核評價質量

評價結束后，對每個項目質量進行考核。考核由工作方案質量、評價報告質量、財政質量評估、評價對象反饋等組成，匯總形成項目考核結果并確定等級。得分高于85分的，評級為優；得分在75分到85分之間，評級為良；得分在60分到75分之間的，評級為合格；得分在60分以下的，評級為不合格。項目考核結果與績效評價服務費相掛鉤，考核結果為優、良、合格、不合格四個等級，對其分別按服務費總價的100%、90%、80%、60%支付績效評價服務費。

三、第三方機構績效評價質量監控的瓶頸

雖然上海市嘉定區財政局在第三方機構績效評價質量監控方面已經積累了一定的經驗，但仍有一些問題僅依靠財政部門自身的力量還不能有效解決。

（一）信息的不對稱性

財政支出績效評價是一個系統性、整體性較強的工作，涉及各行各業、各種各樣的項目。這就需要參與評價的第三方機構對各個被評價部門的工作職責、服務領域、行業知識有較為全面的了解，擁有龐大的知識背景，才能科學合理地進行評價指標的設計和量化；需要第三方機構從公眾的主觀感受出發，科學嚴謹地設計訪談提綱和調查問卷，才能搜集到真實客觀的公眾評價，為最終得出評價結論提供充分的數據支撐。同時，參與調研訪談的對象或社會公眾必須與被評價部門有業務往來，才能對其有一定的了解，從而給出真實、客觀、有用的信息。這三者之間的信息對稱性對績效評價結果準確性的影響和制約顯而易見。

然而，在第三方機構參與的財政支出績效評價實踐中，往往第三方機構與財政部門、被評價部門、參與評價調研的公眾之間都存在著明顯的信息不對稱現象，致使評價結果的客觀性難以保證。

（二）缺乏專業的人才隊伍

1、第三方機構人才的缺乏。近幾年來，參與績效評價的第三方機構發展很快，每年入圍本市的機構都有百多家，而真正能力強、業績突出的卻不多，歸根結底還是缺乏專業人才。以服務于嘉定區的第三方機構為例，據不完全統計，近半數的機構專職績效人員在20人左右，若5人成立一個評價組，最多也只有4個評價組。一般情況下，出于生存的需要，第三方機構并不是完成一個評價項目再進行下一個評價項目，而是在市場的驅動下全國各地盡可能地獲得多的評價項目，賺取更多的利潤。但是第三方機構的組織規模有限，能有效利用的人力、物力資源也有限。一旦同時開展好幾個評價項目，就有可能顧此失彼。即使是專職績效人員，其所學專業、資質能力也千差萬別。其中有財政專業、會計專業、統計專業等相關專業的人員，也有市場營銷專業、工程造價專業等專業匹配度不高的人員，因此有可能造成評價方法五花八門、得出的結論差之千里的尷尬情況。

2、財政部門內部人才的缺乏。以嘉定區為例，區級績效部門負責績效評價的人員一共3人，而到了街鎮可能就只有1人，甚至半個人，且大多數接觸績效評價領域的時間都不長，要管理、監督、指導這么多第三方機構，力量較為薄弱。

3、績效評價專家的缺乏。目前，績效評價中評審專家遴選的方法、標準及門檻，專家組的人員數量及組成結構（如行業專家匱乏）等，都沒有明確的、科學的實施標準和要求可參照執行。這些不僅影響評審專家組在專業學識和行業領域經驗上的互補性，還會影響專家評審意見指導水平的高低和權威性，進而影響第三方機構績效評價結果質量。通過梳理嘉定區歷年來評審專家類型（見圖4），可以發現大多績效評審專家集中為學院教授和區級績效部門人員兩類，且數量十分有限，難以拓展，能提出犀利到位意見的，更是屈指可數。若只集中聘請某些專家，有一定的風險和局限性。

圖4 上海市嘉定區評審專家類型

（三）缺乏標準評價體系

由于財政支出項目的種類千差萬別，要制定一套適用于所有項目的標準評價體系很難，共性指標的選取與項目多樣化具有明顯的對立關系。第三方機構按照項目的不同特點設定不同的評價體系，具有一定的主觀性，難以簡單地用對錯來衡量，這對委托主體把控其質量的好壞造成了一定的困擾。

（四）獨立性與質量控制悖論

在財政部門或預算部門組織開展的第三方績效評價中，財政部門或預算部門不僅兼具了委托主體和監管者的雙重身份，還有既當“運動員”又當“裁判員”的嫌疑。要把控第三方機構的質量，一定要對評價過程中的過程性成果文檔進行審核把關。譬如，方案評審時要召集第三方機構、評價對象一起討論確定細化評價指標，可能在提高評價指標可行性的同時，干預了第三方機構的獨立性，會對績效評價工作的客觀公正造成一定影響。

四、完善第三方機構績效評價質量評估機制的思考

（一）拓展績效管理信息系統應用，以信息化手段為績效評價工作質量的監控提供技術支持

目前，上海市績效管理信息系統與第三方機構績效評價有關的功能較少，還僅限于簡單的任務下達等流程性操作。今后可考慮加強信息交互，促進績效評價項目信息傳遞的便捷性和公開化，加強績效評價工作各方之間的信息溝通和交流。委托主體、被評價部門、第三方機構，以及評審專家都能通過一定的權限直接在系統中查閱、傳遞相關信息，使整個績效評價工作的開展都留有痕跡，便于進行質量監控。

（二）加快隊伍建設和人才培養

鑒于全面實施預算績效管理的長期性和常態化推進，必須加快財政支出績效評價專業隊伍建設和專門人才培養，提高績效評價領域的從業門檻。一是鼓勵高等院校開設財政支出績效評價專業，以財政學、投資學、會計學等知識為主體，定向培養掌握科學績效評價方法的專業人才；二是通過設置社科規劃課題引導各級科研院所加強財政支出績效評價方法的研究和創新；三是借助勞動人力資源體系設置相應的職業和職稱體系，引導更多的專業人才投入財政支出績效評價的發展和研究中來。

（三）建立相對統一的績效評價體系

2018年，廣東省財政廳印發了《廣東省財政預算績效指標庫》，收錄了20個行業大類、52個子類，涉及277個資金用途的2589個績效指標目錄，形成了相對完整的指標體系，且根據實際情況可對指標動態調整，指標入庫、調整、退庫均有明確的規范，但其在具體操作中適用性如何暫不得而知。然而，這仍不失為一次開拓性的嘗試，具有一定的參考價值。要建立起相對統一的績效評價體系，首先要從預算管理出發統一項目設置，將項目適當分類，使每個具體項目都能歸屬對應的分類；其次，按照每一分類梳理出行業內共性指標，并配套給出具體的指標解釋、指標標準值、評分標準及指標出處等；第三，所有評價指標必須從指標庫里選取，若指標發生新增、調整、退出都需經行業主管部門和財政部門的共同審核。

（四）提升第三方機構開展績效評價的獨立性

獨立性是第三方機構參與績效工作的基本立場，是其開展績效評價工作的靈魂所在。獨立性既指第三方機構開展工作過程中的獨立，能摒除各方觀點和要求的影響；也指第三方經濟來源上的獨立，而不必被雇主所主導。在當前我國績效管理工作發展階段，雖然完全獨立的第三方評價機構仍是一個理想化的想法，但仍是一個可以努力的方向。通過培養發展壯大第三方機構，使其獲得經濟獨立性，從而提高其主體獨立性。此外，充分利用人大這一立法機關的監督職能，也是提升其主體獨立性的可行路徑。廣東省人大曾嘗試過引入第三方評價財政資金績效，采取由“人大為委托主體—第三方為評價主體—財政專項資金支出為評價客體”的模式。這不僅可以強化人大的監督職能，同時也可以消除財政部門或預算部門既當“運動員”又當“裁判員”的弊端，極大提高第三方機構的獨立性和評價結果可靠性。■