劉嫻


發展援助項目評估有助于總結經驗、發現問題、為新項目立項提供有益借鑒,是增強對外援助綜合效益的重要工具。建立健全系統的指標體系是開展評估活動的必要前提,能夠指導評估人員科學、有效地收集信息,為實現評估管理標準化、規范化夯實基礎,為強化政策統籌提供抓手。國際社會重視援助項目評估,在實踐中形成了較為完整和成熟的評估指標體系。本文擬分析總結國際上發展援助評估指標體系的制定標準和內在邏輯,為探索建設具有中國特色的援助項目評估指標體系提供參考。
我國對外援助評估指標體系建設情況及面臨的新形勢
我國對外援助評估工作從2007年開始。最早的評估以項目評估為主,并逐步開展專題評估和綜合評估。2015年,我國出臺《對外援助項目評估管理規定》(商援發〔2015〕487號),對評估指標等進行了規范。評估內容和指標包括立項適當性、組織實施合規性、援助效果和效率、綜合影響力實現和可持續性發展5個方面,并結合成套、物資、技術援助等不同援助類型制定了指導性評估指標。
2021年1月,國務院新聞辦公室發布的《新時代的中國國際發展合作》白皮書指出:“要建立系統完善、公正獨立的項目評估機制,制定科學規范、完整有效的評估標準,開展綜合評估和專項評估,加強評估結果應用。”從國內看,隨著我國政府和公眾對公共資源使用績效的關注不斷增強,建立系統完善、公正獨立的評估體系是提高援外資金效益、加強問責必不可少的一環。從國際看,在國際社會努力推動實現聯合國2030年可持續發展目標(Sustainable Development Goals,SDGs)的全球背景下,科學合理的評估體系能夠更好地衡量、展現我國對外援助對國際發展合作事業所做的貢獻,回應國際社會對我國的期待,彰顯我國更加公開透明的負責任大國形象。因此,研究建立一套適應新形勢的評估指標體系,對于進一步增強援助評估工作的科學性和有效性具有現實意義。
國際對外援助項目評估指標體系建設經驗
經濟合作與發展組織發展援助委員會(Organisation for Economic Cooperation and Development—Development Assistance Committee,OECD DAC)作為國際重要的援助國或地區指導平臺,其制定的評估標準具有重要指導意義。世界銀行集團作為多邊金融機構,其獨立評估局每年評估數量為多邊發展銀行中最多的,形成了系統的評估架構。世界糧食計劃署(World Food Programme,WFP)作為聯合國機構,其評估標準遵循聯合國標準。日本是年評估數量最大的發展援助委員會國家之一,且其援助體制和項目類型與我國相似。上述機構的評估經驗都具有一定的參考和借鑒意義。
評估內容:基于經合組織評估標準
1991年,OECD DAC首次提出援助評估的5項標準,成為指導國際發展政策和項目評估的重要參考:一是相關性(Relevance),指項目是否符合受援方的優先領域和政策,與受援方及其受益群體的需求是否相關;二是有效性(Effectiveness),將結果與預定目標進行對比,評估項目預期目標是否達到;三是效率(Efficiency),將使用資源與結果進行對比,評估項目是否以性價比最高的方式實施;四是影響(Impact),包括積極和消極、預料之中和預料之外的影響;五是可持續性(Sustainability),評估項目結束后產生的影響是否能夠持續。
2019年11月,OECD DAC重新完善了援助評估標準,在原有5項標準的基礎上新增一項“一致性”(Coherence)標準,用于評估援助活動與援助方國內其他活動和國際上其他援助方活動的兼容互補性。這實質上反映了在全球援助資金渠道多元化的形勢下,OECD DAC更加重視援助方國內和國際的協調統籌,特別是在應對危機和人道主義援助、氣候變化等全球性議題方面,可避免援助資源重復和沖突。
以上6項標準適用于常規的非緊急人道主義援助項目。國際上對于緊急人道主義援助項目的評估標準略有不同,它并不評估可持續性,而主要評估“獲得人道主義援助的覆蓋范圍”,考察大部分面臨生命威脅的人口是否獲得了幫助。此外,還關注短期緊急性質的援助能否與當地長期發展相關聯,并與安全、貿易和軍事等方面政策的協調。
在OECD DAC評估標準的基礎上,聯合國系統的評估標準還加入了物有所值和客戶滿意度。2005年4月,聯合國評估小組出臺了聯合國評估標準,推進整個系統的評估協作。總體而言,OECD DAC和聯合國標準都要求與受援方背景相符;與其他援助活動保持一致;以有效的方式實現援助目標;產生持久的積極影響。聯合國系統作為多邊機構,更重視成本收益比,即使用較少的經費且有效的方式實施項目,獲得受援方的滿意。
評估標準的使用應取決于評估類型和目的,即在開展單個項目、領域、國別合作戰略等不同維度的評估時,可能側重不同的標準。在領域評估時,需要關注援助活動是否符合援助方國內相關行業規劃,并衡量援助對受援國該領域的促進作用。在評估國別/地區合作戰略時,要注重合作戰略本身的質量,如是否包括當地關注的熱點議題、是否涵蓋當地不同主體;還要重視單個項目和整體戰略之間的關聯,保障單個項目有效服務于更高層次的戰略。此外,值得注意的是,隨著性別平等、生態環保、減貧等跨領域主題在發展援助政策中越來越主流化,即使對特定領域的評估,也要注重評估這些國際發展熱點議題的實現程度。
指標設置邏輯:以目標為導向
如果說評估標準為評估活動框定了范圍、指出了方向,那么評估指標則是指導評估機構開展評估的具體工具。在設置具體指標時,國際上主要采用“結果鏈”(Result Chain)的方法,其演變形式也包括變革理論(Theory of Change)、邏輯框架(Logic Framework)等,其原理是通過“投入—產出—效果—最終目標”這樣的線形結果鏈條來推導項目和效果之間的關聯,形成相應的效果指標和產出指標,如圖1所示。其中,投入是指為項目實施而投入的資金、人力和活動;產出是指因項目實施而直接產生的結果或服務;效果是指實施項目而帶來的中期或長期、積極或消極、直接或間接、有意或無意的影響。

“結果鏈”的核心是目標。也就是說,在項目伊始就應該明確目標,基于項目目標才能倒推出援助所需的投入和產出。以世界銀行的指標體系為例,如某受援方提出援助需求,想要解決“因水供應短缺導致衛生問題,影響了農村人口健康”的問題,那么項目的預期目標是要“減少與水短缺相關的疾病”。為達到這一目標,應考慮提高水和衛生資源的獲得性,那么就要增加水供應系統和衛生設施的覆蓋用戶,相應的產出就應設計為“修復或擴建輸水系統、新建衛生設施”。為達到這一產出,投入自然就是修擴建輸水系統、新建衛生設施。除了新增基礎設施外,也可以通過喚醒民眾的清潔衛生意識這種軟援助來達到這一目的。因此,另一種投入也可設計為“發起清潔衛生運動”,如圖2所示。
簡而言之,如果將這些指標體系看作一個樹狀圖,那么各領域戰略目標就是樹根、項目為樹枝,本固枝榮,項目效果才能枝繁葉茂。評估指標體系的建設只需將戰略目標具體化和行為化,指導評估工作追本溯源,衡量援助預期目標是否得以實現。如果脫離立項目標來設計評估指標體系,那將變成無本之木,缺乏評價準繩。
具體指標設定:強調全面性和可及性
在長期援助評估實踐中,國際上不少發展機構形成了自己的一套評估指標。如WFP評估指標在每 4年更新的《結果框架》中確定。瑞士發展合作署于2016年推出“參考指標”(Aggregated Reference Indicators,ARIs),2019年又推出“分領域參考指標”(Thematic Reference Indicators,TRIs),作為結果導向管理體系的一部分,要求每個項目結果框架至少使用50%的參考指標。
總體來看,上述國家和組織的評估指標具有以下幾個特點。
一是全面性和動態更新。評估指標整體架構條塊分明,由面到點,一般涉及不同援助領域和類型。
二是定性和定量相結合。在具體指標設置上,注重量化考核,定量評估項目的影響,特別是產出指標,基本均為定量指標。效果指標方面,既有項目“提高用戶覆蓋數量、縮短路途時間、降低死亡率”等定量指標,也有“受益群體滿意度、條件改善程度”等定性指標。
三是從實際出發考慮數據獲取的難易程度。日本的指標分為基礎指標和補充指標兩種。其中,基礎指標是通用的,適用于大部分項目,數據搜集具有較大可及性;補充指標是如數據搜集有困難,則可以不選取該指標。
四是部分國家和組織開始將評估指標與聯合國17個SDGs相關聯。其中,WFP的模式是“自上而下”關聯,即其戰略目標就是SDGs,包括“消除饑餓,實現糧食安全,改善營養狀況和促進可持續農業”(SDG2),基于此設計開展各類援助活動,并產生評估指標。
構建我國對外援助項目評估指標體系的路徑
隨著我國援助項目監督評估工作的深入推進,我國可借鑒國際經驗,探索建立系統科學的評估指標體系,提升評估科學性和規范化水平,全面、客觀地展現對外援助項目的效用及影響,并加強對立項決策的指導意義。
橫縱結合,搭建系統和全面的指標體系
從橫向看,考慮到各類型援助項目的管理鏈條是類似的,或可參考OECD DAC評估標準構建通用型指標體系,用于評估立項、實施、綜合效益、后續使用的項目管理全過程,可分為4個評估指標:一是目標評估指標,評估項目立項目標的合理性,是否與受援國的實際需求相匹配;二是過程評估指標,從可行性研究、立項到實施管理,覆蓋援助項目全生命周期,評估過程的合規性;三是效果評估指標,評估項目產生的政治、經濟、社會等綜合效益,特別是反映性別平等、社會融合、應對氣候變化等國際發展事業的貢獻;四是可持續評估指標,評估項目后續運營、使用情況和可持續影響。
從縱向看,考慮到不同項目有不同的產出、效果和特點,可根據援助領域、方式、渠道等維度設置專用指標工具包,覆蓋如教育、醫療衛生、文體、公共管理、交通、能源、通信、農業、環境保護、人道主義等援助領域,優惠貸款、現匯、人力資源開發合作等援助方式,以及通過國際組織實施等不同援助渠道。
目的導向,形成立項目標和評估指標相互促進的閉環管理
具體指標的設計應以項目目標為出發點和導向標,綱舉方能目張。具體而言,以結果為導向的評估指標應基于以下3個政策導向設置:一是應契合受援方發展規劃,匹配受援方民眾實際需求,突出以人為本、改善民生的援助理念;二是應展現我國對外援助配合服務外交大局和推動共建“一帶一路”的積極貢獻;三是應與聯合國2030年可持續發展目標保持一致,探討建立項目目標與聯合國2030年可持續發展目標之間的關聯路徑,體現我國作為負責任大國的使命和擔當。
更重要的是,要完善以結果為導向的援助立項決策機制,引導整個對外援助項目在項目設計、可行性研究、立項時就開始關注目標設置,使立項目標和意圖始終貫穿在項目整個實施過程中,指導相關單位及時跟蹤項目目標實現情況,帶動形成立項目標和評估指標相互促進的閉環管理。
實事求是,考慮指標體系的使用便利性
構建指標體系時,要充分考慮對工作的實際指導意義:一是指標設置要有一定的可獲得性和時效性,數據較易搜集和獲得,最好在項目伊始就明確數據報送負責主體,如果設計的指標無法搜集到具體數據,那這個指標就失去了意義;二是將定性指標和定量指標相結合,能夠科學、客觀地反映項目產出,全面反映項目效果,便于比對目標實現程度,對同類型項目進行橫向比較,并對各項目進行效果的集成匯總。
在構建和使用指標體系的過程中要注意兩點:一是突出重點,指標起到參考作用,并不是都必須使用,在評估實施過程中,評估機構可根據評估目的、項目和所在地區的不同特點,有選擇性地選取指標,或在指標基礎上進行增減,體現評估項目差異化的特性;二是由于我國援助項目種類繁多,指標體系很難覆蓋所有領域,應建立指標動態調整更新機制,根據援助方式和評估發展不斷更新內容、擴大范圍,為后續同類項目的評估提供參考。P