[摘要]在評估領域,為彌補基于文化客位的客觀評估忽略項目參與者在評估工作中所起作用的缺陷,強調項目既得利益參與者作用的賦權評估得以提出。在賦權評估實踐中,專業評估者在賦權理論的指導下,通過將項目既得利益參與者納入評估過程,以實現項目既得利益參與者的自我決定和項目完善。通過將項目既得利益參與者納入評估實踐,評估實踐實現了從外部向內部的轉變。由于賦權評估實踐的干預性特征會對項目運作造成影響,因此難以確定項目實現目標的真正原因,而導致賦權評估在方法上存在效度檢驗的困境。本文根據賦權評估的干預性特征,結合社會服務項目的程序邏輯模型(PLM)的思路,提出應對賦權評估效度校驗困境的方法。具體方法是將賦權評估作為獨立干預,然后檢驗這一干預與項目結果(outcome)之間的關系。
[關 鍵 詞]賦權評估 效度檢驗困境 程序邏輯模型 PLM
[作者簡介]劉江,男,四川瀘州人,南京理工大學社會學系講師,博士,研究方向為社會工作理論、社會工作評估、社區研究。
[中圖分類號]C916 [文獻標識碼]A [文章編號]1008-7672(2018)04-0011-08
一、 引言
在我國政府購買社會工作服務越來越重視責信(accountability)的背景下,為能夠對社會工作服務項目進行客觀公正地評價,第三方評估機制得以引入。根據評估實踐,第三方評估者通常與項目及項目參與者保持一定距離,以凸顯評估過程和評估結果的客觀性。作為外部評估專家,第三方評估者使用嚴格的定性或定量的方法收集與項目有關的資料,并通過對資料的客觀分析進而對項目做出評價。這種方法因倡導評估實踐的“客觀性”、“非介入性”而能夠降低評估實踐對項目運作過程和結果造成的“污染”。“客觀性”和“非介入性”的評估方法遭到了來自項目參與者的批評。他們認為,“客觀性”和“非介入性”的評估方法在本質上以犧牲評估者對項目運作的深入理解為前提。從方法論的層面,項目既得利益參與者(vested interest program participants)比其他群體更了解影響其日常生活的重要變量及其效果。與強調評估過程、評估資料和評估結果的客觀性、非介入性的評估實踐不同,另外一些評估實踐(如參與式評估、利益相關者評估、賦權評估等)則強調評估的參與性。這類評估強調項目既得利益參與者參與評估實踐。
作為一種重要的參與式評估方法,賦權評估由Fetterman于1993年提出,進而進入評估領域的視野。賦權評估的提出主要為了回應基于文化客位、強調價值無涉的評估模式。賦權評估強調項目既得利益參與者參與并掌握評估實踐。在具體評估實踐中,它要求評估者將項目既得利益參與者納入評估實踐,并在評估的過程中實現項目既得利益參與者的自我決定和項目完善。雖然通過參與可以深刻理解項目運作,但是作為一種干預,賦權評估對項目運作造成了“污染”。由此導致難以區分項目運作的效果到底是源自項目本身投入,還是源自評估。面對這一困境,本文將從賦權評估的內涵和具體方法出發展開分析,找到賦權評估的本質特征,然后以程序邏輯模型(Program Logic Model,PLM)為指導提出應對策略。期望通過這些分析能夠呈現出賦權評估的基本面貌,以指導相關評估研究和實踐。
二、 文化客位與文化主位的評估實踐之爭
一般而言,為實現評估目標,第三方評估機構會使用監測評估(或過程評估)和影響評估(或效果評估)。其中,監測評估主要指項目開始執行之后評估者必須建立一個服務運行監督機制,以確定服務執行者是否明白服務的目標以及是否有效地推進服務朝著目標發展。影響評估(或效果評估)的主要目的是確定服務干預是否在實踐意義上產生了預期的效果。它一方面要檢驗服務接受者在接受服務前后發生的變化,同時還要檢驗這些變化是否根源于服務提供的各種介入。受到價值無涉(value free)觀點的影響,監測評估和影響評估均要求評估行為本身不會對項目運作和結果產生影響。因此,評估實踐與項目之間是外部的、平行的關系。在評估過程中,評估者通常扮演專家的角色,通過使用客觀的評估工具(如項目計劃書、各類指標體系、量表等)收集項目信息、對項目信息進行分析、對評估結果進行發布。此過程由作為專家的評估者主導完成,而項目參與者被排除在評估實踐之外。雖然基于文化客位的評估方法能夠降低評估實踐對項目運作和項目效果產生的影響,但是它遭到來自文化主位觀點的批評。從文化主位的觀點看來,基于文化客位的評估實踐過于強調客觀性和外在力量的作用,而忽視了項目參與者對評估產生的作用。文化主位的評估實踐強調項目參與者應該在評估實踐中扮演重要角色。其理由是,項目參與者比外在于項目的評估者更了解項目的實際運作過程,更了解對案主日常生活產生重要作用的要素和效果。由此,在文化主位觀點的指引下,評估實踐應該由外部轉向內部,評估的主體由外部評估專家轉變為項目參與者。
除了項目參與者更了解項目實際運作過程這一原因外,基于文化客位的評估實踐遭到批評的另外一個重要原因是,它無法通過評估實踐對項目的運作和結果產生有益的影響。Everhart和Wandersman指出,當前的項目通常面臨兩種困境:其一是很多項目在具體運作時與項目規定之間存在差異,因此導致項目的運作和評估無法根據規定進行評鑒;其二是項目本身缺乏能力,當外在力量撤離后項目就面臨失敗。而聚焦于培育項目參與者自我決定、實現自助和項目完善的賦權評估能夠有效回應基于文化客位評估實踐存在的問題。
三、 賦權評估的內涵及方法
(一) 賦權評估的內涵及目標
賦權評估主要建立在賦權理論的基礎上。理解賦權的內涵是理解賦權評估的前提條件。賦權是社會工作實務和政策中的核心議題。在社工實務中,賦權的目標之一是提升案主和社群的實際權能,以便采取行動改變和預防案主及社群面臨的問題。就賦權與賦權評估之間的關系而言,賦權評估是社會工作賦權視角的自然延伸,并且可以將其置于協作式或參與式項目評估模型中進行理解。
那么,何謂賦權評估呢?賦權評估根源于參與理論。項目參與者越是參與和項目評估有關決策過程,越有可能在決策過程中做出承諾。通過參與評估的決策過程,參與者得以掌握項目評估的過程和結果,進而實現賦權。Fetterman等指出,賦權評估是使用賦權的概念和技術以培育“自我決定”。“自我決定”聚焦于實現項目既得利益參與者的“自助”。就賦權評估中項目既得利益參與者的“自助”而言,Fetterman指出,賦權評估堅持“自我決定”(self-determination)和“能力建設”(capacity building)的取向。其中,“自我決定”能力包括:識別和表達需求的能力、從多種可替代的方案中確定行動方案的能力、采用合適的方法實現目標的能力、評估短期和長期效果的能力、堅持實現所追求目標的能力。
賦權評估另外一個焦點是實現項目的完善(improvement)。有研究者將賦權評估置于項目的整體框架來理解,并認為賦權評估是一種通過為項目既得利益參與者提供評估項目實施的工具對項目進行自我評估、將評估作為項目計劃和項目管理的一部分,進而實現項目獲得成功的評估方法。由此可以看出,作為一種評估實踐,賦權評估嵌入于項目發展的過程之中。賦權評估除了從個體層次培育項目既得利益者在評估過程中的“自我決定”的能力外,還要促使相關機構利用賦權評估以改進服務提供系統。基于賦權評估以改進個體自我決定能力和項目改善的雙重特征,賦權評估本質上是一種基于批判解放(critical-emancipatory)的項目評估方法。
(二) 評估者構成及角色
根據賦權評估的內涵,評估者不再全是來自外部的專業評估者,而是由專業評估者和項目既得利益參與者共同構成的評估團隊。賦權評估要求模糊專業評估者和項目既得利益參與者之間的界線,并且在二者之間培育伙伴關系。在這種伙伴關系中,評估者力圖以有意義的方式讓項目既得利益參與者參與評估過程。有意義的參與方式主要指項目既得利益參與者深度參與項目評估的規劃和設計、確定評估問題、評估過程決策、數據收集和分析、評估結果解釋等。專業評估者通過讓項目既得利益相關者參與這些過程或環節來培育“自我決定”的同時,實現評估控制權向項目既得利益參與者轉移。
在賦權評估實踐中,專業評估者的角色隨項目既得利益參與者的加入而發生改變。專業評估者的身份轉變為教育者、促進者和協助者。在共同參與評估實踐的過程中,項目既得利益參與者在專業評估者的監督和訓練下提升評估技能、學會批判性地評價項目。隨著與“自我決定”有關的各項能力的培育,項目既得利益參與者將主導評估實踐,而專業評估者則主要起到協調或引導的作用。隨著項目既得利益參與者成為掌控評估實踐的主體,并自己開展項目評估工作,評估實踐因此從外部實踐轉變成為內部實踐。
(三) 賦權評估的具體方法
賦權評估強調評估實踐的賦權內涵,那么賦權評估如何實現賦權呢?在個體層次上,賦權評估聚焦于培育項目既得利益參與者“自我決定”。而“自我決定”的培育是一個系統性的過程。具體而言,“自我決定”的提升是一個涉及與項目有關的項目既得利益參與者評估項目計劃、制定項目要實現的目標、形成實現項目目標的策略、記錄實現項目目標的過程。而這些目標的實現有賴于項目既得利益參與者在項目實施和項目評估過程中有意義的參與。在參與過程中,專業的評估者通過教育、培訓、協助等方式,通過給項目執行者提供評估項目計劃、項目實施、項目結果的工具,項目既得利益參與者能夠獲得改善項目計劃、提升項目實施質量、評估項目結果等與評估實踐有關的能力,并形成完善項目質量的系統,進而提升項目成功的概率。
在項目層次上,賦權評估聚焦于項目完善。賦權評估實踐者通常使用三種方法以實現項目完善:(1)設定(評估)目標;(2)收集項目資料;(3)制定計劃。其中“制定計劃”這個步驟主要用于指導項目既得利益參與者對項目運作進行修訂和改進。在賦權評估實踐過程中,傳統的評估工具(如問卷、焦點小組、深度訪談、實驗設計等)用以評估項目計劃是否正常運作。如果項目無法正常運作,那么就根據評估結果重新設定目標、收集資料和制定計劃,直至項目產生特定的影響。這一循環的評估過程使得評估團隊可以對項目的運作過程進行監控,并借助項目運作過程中收集的資料做出有針對性的項目決策。Owen提出了三個相互關聯的步驟以指導評估實踐的展開:(1)制定研究計劃;(2)獲取評估資料;(3)與項目利益相關者交流評估結果。他進一步強調,為確保評估的有效性,專業評估者需要協助項目利益相關者形成完成各階段評估任務的勝任力。與上述三個步驟類似,Patton提出了基于利益相關者參與評估的五個步驟:(1)評估項目計劃(包括評估項目的背景、范圍、預算、項目要應對的問題等);(2)評估項目設計(包括評估的具體方法和測量方法);(3)數據收集;(4)數據分析(包括解釋、評價評估結果);(5)做出決策并實施。根據上述步驟可以看出,賦權評估是一種內嵌于項目運作過程的實踐行動,是構成項目有效運行的重要組成部分。
根據前述賦權評估內涵、評估者構成、評估步驟可以總結出賦權評估具有以下特征:(1)賦權評估的實際執行者是由專業評估者和項目既得利益參與者共同構成的評估團隊,并最終由項目既得利益參與者主導;(2)賦權評估內嵌于項目,是推動項目有效運行、實現目標的重要組成部分;(3)賦權評估是一個包含評估計劃設計、計劃實施、資料收集和分析等步驟的干預行動。“內嵌于項目”體現出評估不再獨立于項目而展開。“干預行動”體現出賦權評估的干預性特征。
四、 賦權評估的效度困境
前文已述,賦權評估的焦點在項目既得利益參與者“自我決定”的培育和項目完善,而不是要求評估者以旁觀者的姿態對項目的運作效果進行外部評鑒。即便如此,作為一種具有干預性質的評估實踐,賦權評估面臨效度問題。賦權評估的效度問題主要表現為兩個方面:其一是個體層次賦權的效度;其二是賦權評估作為項目完善的干預所具有的效度。
(一) 賦權的效度困境
賦權的效度困境主要聚焦于賦權評估個體層次的目標。其具體指項目既得利益參與者“自我決定”是否因專業評估者的賦權行動而得以實現。為實現這一目標,在賦權評估的實踐中,外來專業評估者需要通過教育、培訓、協助等方式,在評估項目計劃、制定項目要實現的目標、形成實現項目目標的策略、記錄實現項目目標的過程、評估結果解釋等方面提升項目既得利益參與者的能力。進而實現項目既得利益參與者對項目進行自我評估。由于項目既得利益參與者“自我決定”能力與評估實踐的好壞直接相關,因此需要以項目既得利益參與者為評估對象、以項目既得利益參與者與評估實踐有關的“自我決定”各項能力為內容進行效果評鑒。主要評鑒“自我決定”的各項能力是否在賦權評估前后具有顯著正向改變。
(二) 賦權評估的效度困境
賦權評估的效度關注作為一種內部評估實踐的賦權評估,因其嵌入性和干預性對項目所產生的影響。Stufflebeam指出,雖然協助利益相關者實現“自我決定”對賦權評估而言非常重要,但是,賦權評估混淆了評估的真實目標(如系統地評價項目的優點或價值)與其可能產生的附加作用。當評估者從外部專家轉變為項目既得利益參與者時,評估實踐的控制權隨之轉讓給項目既得利益參與者,這將會導致評估項目的標準變得不再清晰。因為,賦權評估可能會因項目既得利益參與者強調自己實務工作的重要性而對項目運作和結果產生主觀偏見,因此導致評估結果缺乏可靠性。這會導致評估實踐難以對項目運作的優劣做出有效評價。實際上,賦權評估模糊了評估的本質在于評鑒項目的價值,并且過于強調評估的建構作用。這將進一步導致賦權評估忽略了項目的總結性評鑒。過分強調評估實踐的建構性和項目既得利益相關者的參與會導致項目受污染。在此情況下,評估者難以有效區分項目運作的結果到底是源自項目投入本身,還是源自具有干預性質的評估實踐。由此,為了能夠對項目進行總結性評鑒、有效解釋項目結果,在項目運作之初,就應當啟用外部評估者對項目的運行和結果進行評估,尤其注意對項目運行和結果造成影響的賦權評估的實踐進行評估。
五、 基于PLM的應對策略
前文已述,在項目層次上,賦權評估具有干預性的特征。當項目既得利益參與者實現“自我決定”,并開始獨立地開展評估工作時,評估實踐便開始對項目的運作產生影響。由此,需要檢驗賦權評估的實踐對項目所產生的影響。為實現這一目的,可以將賦權評估處理為協助項目運作的一種投入(inputs)。這種處理之目的在兩個方面:一方面澄清賦權評估對項目設計所做的改動;另一方面澄清賦權評估為項目運作所做的實際投入。然后,可以使用項目發展中的程序邏輯模型(PLM)作為邏輯指導,以回應賦權評估對項目所產生的實際影響。
那么,何謂程序邏輯模型呢?如何在程序邏輯模型的指導下對賦權評估實踐的效度進行檢驗呢?程序邏輯模型是利用邏輯思維,協助活動或服務推行者分析項目中各個環節之間的關系。程序邏輯模型假設項目之間各主要成分若能環環緊扣,那么項目達成目標的可能性將會大大提高。根據程序邏輯模型的思路,一個項目的主要組成環節包括:投入的資源(inputs)、輸出的服務、產品(outputs)、服務的成效及影響(outcomes-impact)。其中投入的資源主要包括人力、財力、技術、器材等用于項目運作的各種投入。實際上,程序邏輯模型堅持線性因果邏輯。其重點是根據項目理論建立資源投入、服務輸出、服務成效之間的線性邏輯關系,并通過項目資料對這一潛在的邏輯關系進行檢驗(程序邏輯模型的框架如圖1所示)。因此,可以將賦權評估效度的檢驗轉化為,檢驗項目投入(含賦權實踐的投入和其他項目投入)與項目運作結果之間的真實關系。
線性邏輯的優點在于可以簡潔地呈現項目各部分之間的關系,不足在于它無法將服務成效作為反饋指導項目本身的改進。與線性邏輯不同,賦權評估是項目既得利益參與者從評估計劃制定到項目改進的“自我決定”的循環過程。由于這一循環過程能夠根據項目運作的實際情況及時修訂項目計劃、改進項目目標,因此,它導致項目內容、項目運作、項目結果等隨評估實踐而不斷發生變化。項目的不斷變動為檢驗項目投入和項目結果之間的關系造成了難度。那么,在項目因使用賦權評估而不斷變動的情況下,如何在程序邏輯模型(PLM)的框架下檢驗項目投入和項目結果之間的關系呢?
結合程序邏輯模型(PLM)的原理,筆者認為在賦權評估實踐的過程中,需要對賦權評估每個完整的循環過程做詳細記錄。所謂完整的循環過程,主要是指在賦權評估過程中,從評估項目計劃到根據評估結果修訂項目的完整過程。然后,按照“資源投入”、“活動/服務”、“服務結果/影響”對記錄內容進行歸類。最后,在項目完結時檢驗三者之間的邏輯關系。具體而言,可以通過以下幾個步驟來完成:(1)以一個完整的賦權評估為單位展開評估實踐并做記錄;(2)根據前一階段賦權評估的結果對項目的投入、產出進行修訂,并形成新的項目介入計劃;(3)對新的項目介入計劃及實施進行評估和記錄。然后如此反復,一直到項目運作趨于穩定或者項目結束。也即賦權評估無法再提供修改項目投入、項目活動、項目成效的信息(實際上,這一過程正好體現出賦權評估實現項目完善的目標)。這一做法可以追蹤項目的變更過程,為總結性評估提供豐富的資料。上述評估方法如圖2所示。
根據圖2,作為一種干預性質的評估實踐,賦權評估過程中繁雜的內容按照項目的“資源投入”、“活動/服務”、“服務結果/影響”進行分解和歸類。由此,賦權評估的實踐對項目運作及項目結果所產生的影響,可以轉化為檢驗賦權評估實踐內容分解之后的“資源投入”、“活動/服務”、“服務結果/影響”之間的邏輯關系(檢驗三者邏輯關系的資料是項目最后的、穩定的記錄)。邏輯關系的檢驗通常可以使用兩種方法:其一是理論導向,用既定的項目理論作為指導來診斷三者之間的聯系;其二是資料導向,從評估者收集的與三個板塊有關的資料內容出發,使用正確的定性或定量研究方法來檢驗三者之間存在的實際關系。
六、 結論
作為一種有別于以客觀主義為基礎的評估方法,賦權評估關注的焦點發生變化、評估實踐的執行者發生變化、評估實踐與項目之間的位置關系發生變化。與客觀主義強調外在評估者的專業性不同,賦權評估關注項目既得利益參與者在評估實踐中的作用。與關注檢驗項目理論和項目效果的評估不同,賦權評估以培育項目既得利益參與者“自我決定”、實現項目完善為目標。為實現這一目標,評估者通過教育、培訓、協助等方式培育項目既得利益相關者自我決定能力。通過這種方式,評估者將評估的控制權轉讓給更熟悉項目的既得利益參與者。在賦權評估的實踐中,外在的專業評估者與項目既得利益參與者之間的界線變得模糊,雙方共同構成了評估實踐的執行者。評估實踐和項目之間的位置從外部的、平行的關系,轉變為內部的、嵌入的關系。評估實踐也因此由外部實踐轉化為內部實踐。雖然賦權評估由外部實踐轉變為內部實踐導致其可能存在評估偏差,以及無法回應項目效果由誰產生的困境,但是賦權評估實踐和項目之間嵌入性的關系又為賦權評估提供了檢驗項目效果的可能性。根據前文的論述,作為一種具有干預性質的評估實踐,賦權評估可以被視為構成項目運行的重要組成部分。評估者可以將賦權評估視為一種項目干預,然后將這種干預作為推動項目運作的眾多投入(inputs)之一,并按照程序邏輯模型(PLM)檢驗投入與項目結果之間真實關系。由此,借助賦權評估的干預性特征和程序邏輯模型的原理,筆者從理論上提出了應對賦權評估無法進行項目效度檢驗的困境。這一方法的真正有效性有待在評估實踐中進行反復檢驗。在未來研究中,研究者應該重點關注兩個方面:一是如何記錄賦權評估實踐作為干預對項目運作過程造成的改變,二是如何利用嚴格的定性和定量方法檢驗項目投入和項目結果之間的關系。
(責任編輯:徐澍)