●宋鶴嬌
政府采購項目支出是高校財政支出的重要組成部分, 如何提高高校采購的投資效益, 使教育投入產出績效最大化,一直是備受關注的問題。在深化政府采購制度改革的背景之下,高校政府采購業務管理全面進入數據化時代,如何堅持新發展理念,結合政府采購大數據治理, 加快形成評價主體職責清晰、評價規則科學高效、評價過程可行可控、政策功能健全完備、技術支撐先進的政府采購績效評價體系具有重要意義。
隨著教育投資規模的不斷擴大,公眾對高校政府采購項目的關注度越來越高。 同時,大數據、云計算等信息手段在政府采購管理上充分運用,給政府采購工作提出了深化改革的方向,政府采購績效評價的研究也逐漸受到重視。 近年來,學術界取得了一定的研究成果, 但仍存在局限性:一是對指標體系的定性分析研究較多,定量分析顯得較為薄弱;二是部分研究重點放在現狀分析和展望上,對指標體系的架構和評價方法研究還有待進一步深入;三是研究以理論分析為主,鮮有結合大數據和實際應用的過程研判; 四是研究較為分散,少有以高校政府采購項目為績效研究對象的理論框架;五是研究注重績效評價過程的研判,忽視評價結果的運用,沒有建立評價結果促進工作提升的運用機制。
本文構建了高校政府采購項目績效評價指標體系,并對指標進行分析解釋,選取科學的實驗方法,對指標進行賦權, 并反復驗證其合理性,確定數據來源、 收集途徑及分析方法,選取代表性項目進行評價的實證分析與研究, 通過實踐不斷改進優化,使指標體系趨于合理、健全,從而為推動政府采購績效管理全面實施提供有益借鑒。
本文以高校政府采購項目為對象, 選取了國際上比較常用的評價法則“4E 評價法”,確立“4E”指標,包括經濟(Economy)、效率(Efficiency)、效能(Effectiveness)、公平(Equity)四方面主要內容。
圖1 4E 理論模型
評價指標體系的設計兼顧系統性、 全面性、導向性和可操作性。筆者運用修正版的德爾菲法(Modified Delphi Method,MDM)進行調查問卷的設計,在對政府采購的政策分析和績效評價相關理論文獻研究的基礎上,通過訪談調研、專家咨詢和問卷調查,反復進行篩選和論證,按照全流程管理方法和“4E”原則,選取了適用于政府采購決策、執行、管理、驗收、反饋等各環節的績效評價指標,設計了《政府采購績效評價指標體系調查問卷》。 問卷調查的對象包括采購預算單位采購人代表、供應商、集中采購機構人員、財政監管人員、專家評委等,共收到反饋問卷40 份。
為了提高問卷的填寫率和填寫質量,在專家意見咨詢問卷中,采用了科學的李克特五點量表(Likert five-point scale)。 該量表由關于每條指標的名稱和解釋說明組成,每一指標有“非常同意”“同意”“沒有意見””不同意”“非常不同意”五種回答,分別記為5 分、4 分、3 分、2 分、1 分,專家根據對政府采購績效評價的認知及每條指標的理解判斷,逐條給出態度及意見,用加總方式來計分。 筆者將每位專家的態度,即對各道題的回答所得分數進行加總平均, 平均得分超過3.5 分的指標予以保留,據此確立了評價指標的具體內容和層級架構,組成最終的評價指標體系。 通過問卷調查,使得本文指標的選取具有科學性和合理性。
指標體系的設計理念具體如下: 第一步,按照“4E 評價法”設計反映政府采購整體特征的一級指標,可以從經濟性、效率性、效益性、公平性四個維度考察;第二步,在一級指標的基礎上設計二級指標,二級指標包括預算管理、資金管理、采購執行效率、履約效率、支付效率、履約驗收管理、政策效力、各方滿意度、采購過程規范與監督等方面;第三步,將反映整體情況的一級指標和反映績效實施情況的二級指標有機結合,并進行分解,設定三級指標。 具體指標內容和解釋詳見下頁表1。
表1 項目采購績效評價指標體系
計算指標體系的效度與信度,并進行檢查和修正,進一步評估構建的政府采購績效評價指標體系的合理性和科學性。
1.項目績效評價指標體系效度的檢測。 效度(Validity)即有效性,測量結果與政府采購績效評價指標體系越吻合,則效度越高。
評價指標效度評定常用內容效度比(C.V.R)來表示。 另外,評價主體中認為某指標可以采用的評價人數記為m, 評價項目的總人數設為M。政府采購績效評價指標效度計算公式為:
當所有評價者都認為指標內容不當時,C.V.R=-1; 當所有評價者都認為指標項目內容很好時,C.V.R=1;當評價者中認為指標項目適合和不合適的人數對半時,C.V.R=0。
通過系統計算內容效度比C.V.R, 得到了各個指標與政府采購績效這一評價對象之間關系的密切程度。 統計結果表明,約有85%指標的效度比值在0.65 以上,評價體系效度較高。
2.項目績效評價指標體系信度的檢測。 信度(Reliability)也就是可靠性,為確保指標體系建立的可靠性,筆者對問卷結果做了信度檢驗。 筆者運用SPSS 軟件檢驗了本次問卷的克隆巴赫系數(Cronbanch’s Alpha)。
克隆巴赫內部一致性系數計算公式為:
α 為信度系數,N 為子指標層所含的指標個數,Si為指標的標準差,Si2表示第i 個指標的方差,S2為總分的方差。
一般認為,克隆巴赫系數大于0.8,則該量表的信度較好。 統計結果表明,總體的克隆巴赫系數為0.86,結果表明項目績效評價共性指標體系的內部一致性比較高,具有良好的信度。
指標權重的確立是評價指標合理量化的關鍵。 傳統的權重設計往往靠主觀設定,在理論上缺乏科學依據。 本文運用層次分析法(Analytic Hierarchy Process,AHP)進行指標權重分配,通過對績效評價各項指標的定量分析,分別賦予合理的權重分配。
筆者根據層次分析法(AHP)的形式設計了“政府采購項目績效評價指標體系AHP 專家咨詢問卷”,用以確定各影響因素之間的相對權重,在同一個層次中對影響因素重要性進行兩兩比較。
筆者共發放55 份問卷, 發放對象包括采購人代表、專家評委、供應商、集中采購機構人員、政府采購監管人員等,收回有效問卷50 份。使用Yaahp層次分析軟件,進行層次模型構建、判斷矩陣數據計算、排序權重計算等。
運用幾何平均數的方式對問卷結果進行集結,并進行了一致性檢驗,計算結果一致性比例為0.005,通過一致性檢驗。
上述判斷矩陣的一致性滿足要求, 根據矩陣的最大特征值, 通過Yaahp 層次分析軟件進一步計算得到對應的特征向量,并通過標準化(使特征向量中各分量的和為1)將其轉化為權向量,從而得到各要素對其相應的上層要素的影響權重,具體指標權重情況如表2 所示。
表2 項目采購績效評價指標體系權重表
筆者運用模糊綜合評價法對績效評價進行等級判斷,結合政府采購績效評價指標體系,設計績效評級評分表,將每個指標分為優、良、合格、 不合格四個評價等級, 分別賦予 100、80、60、0 的分值。 對照評分表對已收集、 整理的數據進行分析, 并對所有指標評分, 科學計算后形成評價結果。 計算各指標的加權平均值得出績效得分, 全部評價指標的總和形成該項目整體績效得分。
項目績效評價總分計算公式如下:
項目績效評價總分=Σ 各指標評級分值×各指標權重
項目整體績效評價結果采用綜合評分定級的方法,總分值為100 分,績效評級分優、良、合格、不合格。評價得分高于90 分(含90 分)的,績效評級為優;得分在75(含75 分)—90 分的,績效評級為良;得分在60(含60 分)—75 分的,績效評級為合格;得分在60 分以下的,績效評級為不合格(具體見表3)。
表3 項目績效評級方法
指標體系實踐應用選取的對象是某高校的4K 電競綜合演播室建設項目,屬于政府采購的設計及施工一體化項目,采購方式為公開招標,允許進口設備投標。 該項目總預算資金1725 萬元,主要資金來源為中央財政、省財政、中央財政配套。
本課題選擇該項目作為績效評估方案的實證案例, 運用績效評價相關理論提出評價的具體方案, 結合項目采購的實際情況, 應用評價指標體系,收集整理指標所對應的基礎數據,運用統計學和信息學的計算方法進行數據分析, 從而做出整體績效評價。
4K 電競綜合演播室建設項目績效評級總體思路如圖2。
圖2 項目績效評級路徑圖
在項目自評階段, 項目負責人根據評價指標體系和評價準則, 對照項目的實際情況,完成項目自評報告,并由專家組進行研判和可行性分析。
在現場評判階段, 專家組根據評價方案深入實地進行調研, 并召開績效評價現場會議,聽取項目負責人自評情況,同時對資料信息進行整理和分析, 將整理后的數據與指標進行對照評價。根據制定的評價指標體系,結合項目實施的實際情況,以科學、客觀、公正的原則,對各項指標進行績效評分, 并綜合計算出評級結果。
通過自評和專家評判, 分析項目績效評價結果,討論項目存在的問題,進一步核實評價結果,形成項目績效評價報告。
在績效評價實施過程中, 專家組使用模糊綜合評價法對項目績效進行評級并賦予分值。 對所有專家的意見進行加權平均后, 得出項目績效分值為94.91,該項目對應的績效評級為“優”。
以4K 電競綜合演播室建設項目為例進行的政府采購績效評價探索,立足績效看采購,從客觀的角度分析政府采購全過程, 全面評判政府采購項目的經濟性、 效率性、效益性和公平性,梳理政府采購的有益措施和改進方向,有較好的實踐意義。
目前,我國對政府采購項目管理總體上還是偏重于前期審批和過程監督,對于采購結果和績效的評價分析相對薄弱。績效評價對政府采購項目實施具有重要的導向、規范與促進作用,強化績效評價工作迫在眉睫。
截至目前, 對政府采購的全過程績效評價和管理規范較少。這使得績效評價工作缺乏法律約束和制度保障,工作推進難度較大,迫切需要加快相關法律法規的建立與完善。通過制定政府采購項目績效評價與管理相關操作規范和管理辦法,推動政府采購項目績效評價工作逐漸納入法制化、規范化的軌道。
政府采購績效評價指標體系構建必須有完善的數據來源和管理系統,確保政府采購數據準確有效,信息搜集、分析和處理過程有效記錄。
從現有政府采購項目數據流分析,采購過程中產生的量化數據采集基礎較好, 采購預算執行、信息發布、開標、評標、定標、合同簽訂等數據記錄較為清楚,可以直接用于績效評價指標的定量計算。但項目采購執行中的一些數據容易出現缺失的情況,比如預算產生、立項依據、實施過程、驗收數據、采購人和供應商的滿意度等,需要進一步設計數據采集模塊。
數據采集模塊可從政府采購項目立項決策體系、過程監管體系、反饋數據收集體系進行建設。通過績效評價信息化管理模塊,可實現從項目預算到采購實施、驗收反饋等全過程、全方位的動態管理,各類信息可以實時查詢、統計和分析, 可以解決績效評價過程中數據資料收集困難的問題, 也為過程中績效評價和指標預警提供了可能性。應用信息化手段,在政府采購執行環節對績效評價指標進行實時計算和評價,對績效目標實現程度和采購進度進行 “實時監控”,對采購過程中績效目標運行偏離、未達預期進度的采購項目, 各采購人可以及時分析原因并糾正。
政府采購作為預算執行的重要方式和項目支出的重要組成,必須強化政府采購績效管理流程約束, 建立政府采購各關鍵環節的績效管理,切實強化程序性約束,協同推進預算管理、項目管理與政府采購管理,加強財務部門與業務部門的協調配合,確保政府采購績效管理延伸至使用終端。 要加快推進績效管理信息系統一體化建設,打破單位預算、績效、業務、財務、采購、資產的“信息孤島”,實現項目支出績效評價和政府采購績效評價的有機結合和信息共享。加快建成全方位、全過程、全覆蓋的績效管理體系,避免多頭評價,交叉監管。