小議公眾評判法在預算績效管理中的運用

●宋 偉 郗厚洋

黨的二十大報告提出要健全現代預算制度，根據此要求，財政部部長劉昆在2023 年財政工作會議上提出：深入貫徹黨的二十大精神， 政府投資要講究績效， 向資金使用效益高的地方傾斜；深化預算績效管理，提高預算績效管理各環節質量； 抓實抓細重點績效評價，加大績效信息公開力度，形成評價、反饋、整改、提升良性循環。 這些論述說明， 全面實施預算績效管理是健全現代預算制度的重要內容， 是優化財政資源配置、 提升公共服務質量的關鍵舉措。

在預算績效管理系統中， 服務對象或項目受益者作為公共產品和服務的最終“受益方”，對財政支出是否有績效最有發言權， 他們提出的建議或意見也是政府決策的重要參考。 在評價公共財政項目支出績效時， 通過專家評估、 公眾問卷及抽樣調查等方式獲取服務對象對財政支出政策和項目的評判意見， 能夠了解公眾對現有項目績效的態度和對未來的期望， 這些數據在一定程度上反映政策落實效果， 從而可以掌握公眾對社會經濟管理的愿景。 所以，公眾評判法的結論可以應用于全過程預算績效管理。

一、公眾評判法的主要方式

當前，在預算績效管理中，因財政資金的公益性特征，服務對象或受益群體多、影響面大、涉及范圍廣，所以公眾評判法是運用比較普遍的一種方法。根據財政部 《項目支出績效評價管理辦法》（財預〔2020〕10 號），公眾評判法是指通過專家評估、公眾問卷及抽樣調查等方式進行評判的方法，但其中并未指出如何具體應用。 筆者結合工作實踐，就公眾評判法的幾種方式在全過程預算績效管理中的應用進行簡單闡述。

專家評估法， 是組織各領域的專家運用專業方面的經驗和數據資源優勢， 對所評估政策和項目進行綜合分析與研究， 從而對評估對象未來發展狀況或已完成成果提供指導、 監督和評估等裁判作用。 在預算績效管理中，專家的參與能夠在一定程度上提高績效管理工作的專業度和公信力， 其作用主要體現在兩個方面， 一是在立項環節離不開專家智庫的前瞻引領，專家利用專業優勢對投入經濟性、 實施方案有效性和可行性等作出精準判斷；二是項目完成評判成果階段，對項目或政策的實施效果提供判定， 為后續項目實施提供參考依據。

公眾問卷法， 是通過制定詳細周密的問卷， 要求被調查者據此回答以收集資料的方法。相較其他方式，公眾問卷法能夠突破空間限制， 借助網絡和各種新媒體形式開展， 該方法普遍用于事前績效評估中的需求相關性調研、 績效評價中受益群體滿意度等相關數據的獲取，不僅節省時間、人力和物力，還能夠將定性問題轉換為定量問題進行分析研究，從而以最少的投入獲得最大量的信息。

抽樣調查法， 是從大量調查研究對象中，抽選一部分單位進行調查，并據以對全部調查研究對象作出估計和推斷的一種調查方法。 在預算績效管理中，抽樣調查適用于績效運行監控和績效評價環節，可以根據調查對象樣本量確定抽樣方法， 選擇具體抽樣的樣本來核實或反映總體特征。 當前，通常在預算績效管理中采用非概率抽樣的方式來抽選樣本，對總體特征進行推斷。

訪談調查法， 是調查員通過與調查對象進行交談，收集口頭資料的一種調查方法。 這種方法適用于預算績效管理的事前績效評估、 績效目標審核、績效監控和績效評價等所有環節，可以采取一對一或一對多的形式， 就涉密或某一類問題采取交談的方式獲取相關信息， 并與前幾種方式搭配運用。

二、公眾評判法運用中存在的問題

公眾評判法是預算績效管理中獲取信息的一種重要方法，運用的范圍和領域較為廣泛。 在實際運用過程中，第三方評價機構出于人力、物力、財力、時間和效率等方面的考慮，存在聘用的專家作用發揮不充分、 公眾問卷設計不夠科學、抽樣樣本不具代表性等問題，導致無法獲取真實數據或獲取的數據不夠科學、 數據分析不夠深入等情況，在一定程度上影響了績效評估、評價的質量。 以下筆者結合工作實際探討公眾評判法運用中存在的主要問題：

（一）專家專業優勢發揮不充分

在預算績效管理工作中， 聘用專家存在專業不對口、數量不足或組成結構不合理、時間倉促走過場、沒有給專家充分調研準備時間、專家組中缺少內在協調機制的情況， 導致專家作用發揮不充分。 也存在聘用專家忽視回避原則、專家發表意見不負責任的情況， 影響評審論證的獨立、客觀和公正力。

（二）公眾問卷設計不科學

在實際工作中，問卷存在問題設計脫離績效管理目的和調查對象的認知，問題之間邏輯性不強、問題內容不全面或詞意含糊，存在暗示或誘導的情況， 問題權重設計不科學等情況。 例如，“您是否享受過XX 項目的補貼？ ”若受訪者回答“是”，接下來應該調查項目補貼所帶來的產出和效果上的直觀感受；但若受訪者回答“否”，接下來卻缺少跳轉題目引導調查回答不享受項目補貼的原因等內容。 再比如，“您認為XX 項目獎補標準和資金發放是否合適？ ”這類題目過于寬泛，因涉及多個方面的影響因素將會使該題目失去調查重點，無法了解到更多信息。

（三）調查對象不全面

比較常見的情況是人為地縮小調查范圍。比如，對一個財政獎補類項目，通常只選擇獲得獎補的企業或個人進行問卷調查， 忽略了未獲得獎補的企業或個人，導致調查對象不夠全面，無法了解未獲得獎補的真正原因， 從而使得分析結果片面化。

（四）抽樣方法不正確

對于投資大、 涉及多個實施單位的項目，抽取部分樣本開展現場評價是一種高效的方法。 為確保評價質量，委托方會在績效管理工作中要求抽樣比例，比如抽樣現場評價數量原則上不低于具體項目實施單位總量的30%，或抽樣現場評價金額不低于評價總額的60%，第三方評價機構根據要求確定抽樣數量。 但是在評價過程中，第三方評價機構綜合考慮成本、時間、效率等因素，僅僅選擇那些距離評價項目或評價單位最近、最容易找到的人或偶然遇到的人作為調查對象；還有的評價單位在分類抽取樣本時，不同類別抽取比例不同， 導致樣本結構與總體結構存在較大差異，無法代表評價總體的真實情形，最終都會影響調查結論，降低評價質量。

（五）調查程序不科學

在實際工作中，評價工作有時將調查問卷直接交給被評價單位執行，而非親自執行，使整個調查過程處于失控狀態， 無法確保問卷結果的客觀性和準確性。 訪談調查中由政府部門的管理人員陪同，調查對象無法說出真實想法，或者訪談員語言不夠中立， 問題提出時具有引導性和傾向性，也影響調查的結論。

（六）數據分析不深入

在實際工作中， 通常僅將回收的調查問卷簡單計算出一個滿意度分值，用于評價得分，而未從提供公共產品的數量、 服務質量或時效性等方面進行分項計算， 或根據問卷中結果類問題與原因類問題之間的邏輯關系， 查找導致項目績效不高的原因，并深入查找對策，提出可行的建議。例如，某小區廣場WiFi 覆蓋項目，通過對周邊群眾開展滿意度調查， 整體滿意度不足78%，但如果僅據此得出結論項目績效不高，未對問卷當中的基本問題和相關建議進行歸納總結，深入挖掘項目整體存在的問題，則調查問卷資料利用不夠充分。

三、如何正確運用公眾評判法

公眾評判法中的專家評估法、 公眾問卷法、抽樣調查法和訪談調查法這四種方式各有優勢，不能割裂單獨運用，只有四種方式綜合運用互為補充，才能得出科學完整的結論。 本文僅就專家選用和管理、問卷設計和檢測、抽樣方法設計、樣本審核、 數據分析等幾個關鍵環節進行研究探討。

（一）構建專家咨詢機制

首先，建立分行業分領域專家庫，根據項目所在的行業領域選擇相應的專家參與， 并注意各專業專家的綜合運用。比如，某幼兒園園區改擴建項目，該項目屬于基建類項目，還屬于教育行業， 所以要同時聘請工程造價與建筑類專家和學前教育專家。其次，明確需要專家解決的痛點、難點或者需要梳理明晰的工作模糊點，確保專家咨詢建議有的放矢、重點突出。 再次，在專家咨詢過程中， 既要有專家之間不同意見的內在協調機制， 也要充分保障被咨詢對象當事人對專家意見的質疑權， 盡可能避免專家因為信息不充分而導致咨詢建議缺乏客觀性或針對性的情況。 最后，建立專家組組長負責制，明確專家的權利和責任，加強監督管理。

（二）合理設計調查問卷

首先，通過前期對項目的深入了解和調研，結合項目的相關書面資料和行業研究， 找出該項目滿意度的重要影響因素。其次，設計問卷的問題形式，可以根據項目特點，設計不提供答案的開放式問卷， 也可設計給出可供選擇答案的封閉式問卷。 在內容上既要包含被調查者的基本情況，從而判斷其與被調查項目的相關程度，也要包含項目績效影響因素（原因類）問題和項目績效（結果類）問題。 對于項目績效（結果類）問題，應根據項目績效指標，從項目產出數量、質量、 時效性以及所產生的經濟效益、 社會效益、 生態效益和可持續影響方面進行問題的設計。最后，對關鍵滿意度問題的每個定量答案設計分值，通常設計5 檔滿意程度，并分檔進行量化。 同時，結合項目具體情況，分析每項問題的重要性， 根據每個問題的重要性排序設計不同權重。 比如， 有的項目公平性權重要高于時效性，但有的項目便捷性要高于規范性。最科學的權重設計方法是判斷矩陣法， 通過兩兩問題的重要性比對，最終計算出每個問題的權重。

表1 常用滿意尺度集

表2 按照判斷矩陣法確定各因素的權重

（三）全面檢測調查問卷

一是對調查問卷每條內容與調查項目的相關程度進行內容效度分析， 研究各條內容是否有效地表達調查項目的各種變量或者維度。 二是對每項調查內容的可選擇答案進行評判，分析是否存在其他客觀標準， 目的是確保問題設計合理，邏輯性強。三是組織少量被調查者進行串行測試，評判整份問卷結構是否合理，驗證卷面用語是否清晰準確， 被調查者能否準確理解等，驗證其可行性。四是對測試數據進行最后效度和信度分析， 結合具體數據對調查問卷進行微調。

表3 通常信度（Reliability）克朗巴哈系數表

表4 通常效度（Validity）相關系數表

（四）科學選擇抽樣方法

在評價中進行問卷調查時， 對于受益群眾數量巨大且分散的情況，采用抽樣調查，通過局部樣本分析得到受益總體的評判是應用最廣泛的一種方法。 但對于一些特殊項目，應根據項目受益群體特點，選擇不同的評判方法。 一是對于受益群眾文化程度較低的情況，比如“三農”項目， 可采用在項目周邊群眾走訪調查或由調查人填寫調查問卷的方法開展； 二是對于項目支出內容政策性較強， 受益群眾對政策所知有限或根本無所知， 或出于自身利益考慮影響意見客觀性的情況， 可采用專家和社會公眾結合評判或完全由專家對績效進行評判的方法； 三是對于非普惠制的財政補貼政策， 存在重點補貼和典型補貼的情況，應將抽樣調查、重點調查和典型調查相結合，確保獲得更有價值的信息。

對于樣本量的確定， 一般根據下列步驟來計算所需要的樣本量。 已知期望調查結果的精度（E），期望調查結果的置信度（L），以及總體的標準差估計值σ 的具體數據，總體單位數N。 計算公式為：n=σ2/（e2/Z2+σ2/N）。 特殊情況下，如果是很大的總體，計算公式變為：n=Z2σ2/e2。

（五）周密進行樣本審核

樣本收集回來后應通過檢查樣本前后答題的一致性、穩定性與可信度，對樣本真實性、可靠性、完整性進行審核來辨別真偽，剔除無效樣本，一般采用來源法、邏輯法和經驗法判斷。 來源法通過分析被調查者基本信息與評價項目的利害關系進行樣本篩選，如被調查者年齡、行為等證明對被調查項目不了解， 或不能夠提供正確的認識，則這樣的樣本作為無效樣本剔除。 邏輯法通過評估項目內在邏輯聯系來判斷， 如果發現問卷前后明顯無法相互印證或違背事物發展的邏輯，則可判定問卷是不真實的。 經驗法主要由實踐經驗豐富的專家根據以往的經驗分析判斷。 一般來講，評價項目利益相關人反映的情況比局外人反映的情況可靠性高， 文字資料比人群口傳的資料可靠性高， 多數人反映的情況比少數人反映的情況可靠性高。

（六）綜合分析問卷數據

在調查問卷收回后， 第一步要進行資料真實性、可靠性、完整性審核，將不完整、不準確、不可靠的問卷剔除。 第二步，根據被調查者背景信息，比如樣本特征信息、基本現狀、基本態度對有效的被調查者進行分類，并分類整理編號。第三步，按照設計確定的權重和分值，計算每一類型問卷的分值， 最終計算整個項目滿意度分值。 最后，運用各種統計分析，研究問卷調查各項要素之間、調查要素與項目之間的關系，深入分析挖掘問題。將基本信息、基本問題、得分較低的單項滿意度問題、反饋的意見建議進行歸類匯總，與整個項目呈現的問題匹配。 通過數據和問卷之間的邏輯性和嚴密性綜合分析， 增強數據質量，為政府決策提供有力的支持依據。