


摘要:本文以美國高校評估反饋有效性為研究對象,分析了不同形式評估反饋有效性的特征及評估反饋有效性存在的問題,并從微觀的視角以舊金山城市大學的評估再認證為案例,點面結合地分析了美國高校評估體系,以及其評估反饋有效性的保證機制,并展望了美國教育評估反饋有效性的保障機制演進趨勢。
關鍵詞:美國;高校評估;反饋有效性;問題研究美國是具有悠久評估歷史的國家,早期曾以院校評估與專業評估而著稱,進入世紀之交,評估的發展和不斷成熟為高等教育質量提供了保障。美國的評估形式多種多樣,但主要是質量認證及合格評估。所以有人稱其為質量認證既是辦學質量的通行證,又是院校辦學聲譽的標志,它同時起到資源和價值增值的作用。許多院校為了通過合格認證,花了十幾年的功夫創建質量保障機制(因為認證周期為10年),可見,認證在美國高等教育質量管理中的作用。
一、美國不同形式評估反饋有效性
美國采取了不同的評估方式,經過對不同院校評估的考察,人們發現,采取不同方式,評估反饋結果的有效性不同,下面擇其作一描述。
(一)學術審核反饋有效性
學術審核是教育提供者請專家來校進行評估,學校根據自身的特色,寫成自評報告,請專家根據自評報告進行審核。評估專家根據報告中的經驗與做法得出贊揚、贊同、否定等結論,該做法需要揚長避短的論證,沒有橫向比較,沒有固定的指標,正是這種自我評估最能促進質量的改進。它具有針對性,不受指標的限制,通過以評估專家對問題的把握來掌控,靈活性強,適用于不同辦學理念、辦學目標的院校。由于評什么由學校自己來決定,學校往往將最值得炫耀的管理經驗拿出來,請專家鑒定,學校也最了解哪些專家對此有研究,什么方法學校最熟悉,往往事前已經過了相互討論協商的過程,所以評估反饋效果很好,甚至形成進一步整改的方案。有的學校是事前論證、中期檢查、事后評估。
這一模式是學校辦學目標、教學質量改進中較為理想的選擇,但它不適用于問責制,不適用于認證,缺乏同類院校的比較,無法保證統一標準,或者說,學術審計的目的不在于是否達標,而是看學校有否合適的評估方法和程序來測量。因為它的主要缺欠是中介機構不對教育提供者的實際教育或多項教育效果進行測評。另外,由于中介機構相對于教育提供者的權力級別可能較低,也可能由于資源受到限制,所以其實施效果也會受到一定的影響。不過,這種方法更應用于學校的發展性評估。
(二)合格評估反饋有效性
中介機構設計評估過程并實施測評,它具有如下優點:適用于統一標準檢查,如認證;能夠監督各項指標的執行情況,學校能拿出自己的想法,審計是在學校拿出辦法的基礎上得出結論。審計者盡管掌握各校的情況,但是并不將他校和該校及與各校進行橫向比較,改進的針對性與學校的發展性緊密結合。審計還具有效率較高、靈活性較強等特點。在這種模式中,主動權不在學校而在中介機構手中,中介機構掌控評什么、怎樣評,提供一套評估指標并給出結論,中介機構完全是從外部對學校進行評估的。由于有一套標準,有一個外部獨特的視角,所以它非常適用于問責。同類學校有一個統一的標準,通過類比能夠評出優劣等級,推動質量的競爭。評估除了獎優的功能外,更能罰劣,能對那些負有責任的管理者實施問責。
這一模式的主要缺點在于,由于過于標準化,忽略了各校的特點及具體情況,結果對于學校達標程度的測量有效,而對于針對性整改無效或效率很低,容易走過場。因為大部分中介機構完全獨立于教育提供者之外,或許評估結果很客觀,但是卻無法對學校的改進提出建議,因為他們不熟悉學校的情況。因為評價質量的視角獨特適用于問責。另外,這類評估適用于同類院校,前提是高校分類準確,不能將不同層次的院校放到一起。在同類院校基礎上的評估運用同一指標,會激發院校內部相互競爭的積極性,但它對每所學校所評的項目重點不突出,而且,要求學校按照指標收集大量的資料進行準備,評估的目的并不以自我改進為重點,更不能說促進學生學習效率的提高了。絕大多數校長不歡迎這種評估,其評估結論甚至對學校有誤導性。學校目標是多樣的,僅用幾項指標是難以測量其全部工作的,反倒會影響學校多樣化發展。它也未能充分考慮到評估任務的重要特征以及教育提供者的重點。中介機構可能會選擇一些不恰當的目標,從而提供有誤導性的或者與顧客和提供者不相關的信息。強調共性標準,忽略個性問題,對于不同特點的學校要求千篇一律,容易造成辦學目標的趨同化。
·比較教育·美國高校評估反饋有效性問題研究(三)發展性評估反饋有效性
學校設計評估指標,并請國際專家開展評估。教育提供者設計評估過程并實施測評。一般來說,它適用于已經認證過的學校,這類學校的各項工作都已經達標,只是需要過程評估來提煉內涵,盡快形成質量環境。其主要優點是具有靈活性,這種模式適應于發展性評估,而不適用于問責制。它讓教育提供者在沒有中介機構介入的情況下自主確定目標,基于這些目標評估學校的績效,并通過評估學會如何更好地加以改進。因而,它既適用于辦學相當自由的私立大學或者非主流的院校,“并且對于那些已經接受區域認證機構認證的組織來說可能更為適合”?!叭欢谶@一模式中,由于沒有第三方組織來審核教育提供者自評的準確性或可靠性,從而使得教育提供者的評估缺乏外部監督或檢驗,因此,這種模式不太適用于問責。再者,這種模式也沒有提供于評估教育提供者需要的有效機制?!盵1]
二、美國教育評估反饋存在的問題
(一)認證反饋對學校的不利影響
美國高等教育認證的目的是為了向學生、家長、納稅人等外部公眾證明高校已經達到或保持了一定的質量水準,以及向高校提供建議,允許它們繼續改進,不同于其他通過教育部進行質量保證工作的國家。在美國,認證是一個自愿的同行評估過程。那么認證有什么不利之處呢?評估是一個制度化的衡量過程,在評估指標方面具有高度的統一性,一方面能夠促進評估的公平性,另一方面統一的評估也具有與生俱來的缺陷。其不足體現在統一評估的標準往往側重關注可量化指標,如師資、科研項目以及學術成果產出等,學界也有不少質疑其侵害了院校的自治和多樣性,不尊重學術自由與自治,加大了院校的同質化傾向。因此,統一的認證也帶來了一定的負面問題。著名的案例馬薩諸塞州法學院(Massachusetts School of Law)告評估不公正一案就足以說明這個問題。據介紹,馬薩諸塞州法學院,因聘用兼職教師,圖書設施簡陋,沒有達到標準,所以未通過美國律師協會認可,以致學生不能在其他州參加律師考試,取得執業資格。馬薩諸塞州法學院(以下簡稱馬州)拒絕美國律師協會的認可,為此,在費城的聯邦法院對美國律師協會提起反托拉斯訴訟。最后Wahl 委員會提出:開辦法學院必須擁有適當的資源條件;法學院可以開授律師考試課程,但不列入學分;法學院不必有自己的教學硬件設施。法院認為造成法學院傷害的,并非美國律師協會,而是各州采用美國律師協會評鑒認可的律師考試機關(通常是各州律師公會)。
(二)不同類型評估反饋意見不一致帶來的自相矛盾結果
美國評估機構眾多,評估過程太長,高等學校負擔過重。一般來說,美國高校的院校認證周期為10年,即認證機構每10年進行一次院校認證。其間,學校提出一份中期自我評估報告,專業認證的周期為5-7年。無論是院校認證,還是專業認證,首次認證“基本合格”的認可證書有效期一般都是兩年。院校自評需兩年的時間,社會評估機構的評估需要近半年的時間,一次完整的院校評估至少需兩年半的時間。認證機構眾多,高等院校不堪重負不說,地區認證組織的標準不一致甚至完全矛盾的情況也很常見,并且反饋意見來自多個評估機構,有時會出現非常矛盾的狀況而讓高校無所適從。
三、美國高校評估反饋后的改進
為了保證評估反饋的有效性,評估機構除了制定可行的指標外,還有一套成熟的管理制度,以有效保障評估的正常運行。比如,認證要求包括講求信用、問責與懲罰,修訂與完善核心標準、不同類型評估結果反饋意見不一致帶來的自相矛盾的結果等幾個方面。
(一)公正、客觀、講求信譽,輔之必要的問責與懲罰
評估的可靠性來源于公正,公正是誠信的立足之本,一個認證機構嚴格地按照認證標準和認證程序去做,才能得到準確、客觀、可信、有說服力的結論。客觀性是評估機構誠信的本質。在美國,認證是以同行專家參與為主要形式,充分體現科學性、嚴肅性、規范性,認證是自愿的,認證的規則與指標是雙方協商的結果,它包含了雙方對教育理想狀況的認識與追求,對于教育現實一般狀況的認識與了解。只有給認證專家提供真實數據,才能保證專家鑒定和咨詢意見的有效性,為認證結論的客觀性與科學性提供良好的基礎。同時誠信也是高等教育認證目的的本質所在,它就像一份合同一樣,維系著高等院校委員會與每個成員以及申請認證單位之間的關系。在這種關系中,各方同意開誠布公地相互交談。如果沒有這種承諾,高等教育委員會及認證單位之間的關系將不復存在或不能維持。在認證過程中,在以自我評估為基礎,同行專家評議為核心,社會公眾共同參與的認證為前提條件下,誠信也更能有利于自身的改進和發展;有利于同行理解評議,委員會的要求、政策、程序及決定等都建立在誠信基礎之上。懲罰是與誠信相對應的,懲罰措施的運用也是維護誠信的手段。在美國一些大學或學院,如果發生不能很好地遵守認證標準的現象就要受到認證組織的懲罰。在評估網站上,人們可以隨時看到一些違規的行為上網記錄,用來警示后人。評估機構將這些行為公之于眾而不是遮遮掩掩,使得評估的公信力大大上升,評估透明度增強,反饋的準確性增強。
(二)修訂與完善核心標準
核心標準是一所高校通過高校委員會認證的最基本、最基礎的反映學校最基本條件的要求,反映了委員會對候選者和認證單位的硬性條件和主要的期望。有些標準不能覆蓋學校的主要方面,如果不重新修訂誤導了學校的大政方針,則評估適得其反,并且按照原來標準進行評價得出的反饋意見對于學校的中心工作將會產生影響。所以,每一輪評估結束后,進行下一輪評估前都要修訂指標,如果仍然按照原來的指標評價,新的發展水平就不能得到很好的測量。因此,修訂新一輪評價指標是評估反饋后改進的一項主要任務。修訂標準的要求基本上不能重復原標準,并且要看評估標準能否全面真實地反映學校進一步發展后的辦學質量,由于評估標準主要集中在高等院校的辦學目標、教學計劃、辦學條件、師資建設等幾個方面,所以,美國曾發起了評估標準的修訂和注重學生學習結果的評價運動。[2]如美國西卡羅萊納大學的Progrom Assment Policy指標已經應用于各院校,該指標制訂于20世紀90年代中期。1995年州政府要求大學提高入學率、課程的利用率、學生畢業率,修訂教師薪水標準,以便提高大學的競爭力。在這一形式下,學院教務評價委員會于1997年根據各院提供的指標頒布了一項新的評估指標,取代了以前的評估指標。這一指標與以前指標的不同之處在于:第一,增加了教學與學生條款,增加了學校聘用教師和錄取學生的政策、師生比、學生完成課程的比例、學生獲得學位的平均年限、學生就業狀況等條款;第二,這一指標在科研方面增加了教師與研究人員的比例,增加了科研經費獲取的數額、科研成果的比重等等。到目前為止,這一指標已進行了多次修訂,經歷了研究、提議、反對、拒絕等。州高等教育行政局的反饋表明,有相當一部分院校是自愿采取這一指標的;三分之二的學院實施了這一評估指標,采用修改后指標的學院是三年前的兩倍;有11個院系準備擴大這一指標的應用范圍,并且將整改的結果在更大的范圍內推廣;17個院系將評估結果反饋給學校的學生、家長(消費者),同時把自評報告提供給指標制訂部門和決策部門,并對教師作出總結性評價。各學院對評估指標的完善體現在:從提高效率的角度出發,將各學院的資源進行合理的運用;改進教學設施,使設施達到最大化利用;在教學質量上,強調教師與學生互動的方式,教學課程采取自我改進與學生評價結合的方式;信息網絡得到了最大的應用,學生在線選擇優質課程的幾率大大提高。
四、美國評估反饋有效性的保證機制演進趨勢高校評估的出發點在于提高高校的辦學層級與保證教學科研質量,而評估的終點在于完整地彌補評估得出的改進建議,即評估反饋完全有效地得到落實。美國評估體系龐大,種類眾多,大致包括:政府公共管理部門對高校的評估,以判斷投入方式與程度;教育提供者進行評估,中介機構審議教育提供者的評估過程;中介機構設計評估過程并實施測評;教育提供者設計評估過程并實施測評;高校自身主持的作為一種能力本位的評估模等。各種評估體系都有一個良好的反饋循環系統,具有一定的共通之處與最基本的共同特點。隨著社會對美國高校評估反饋有效性的關注,美國高校評估價值觀與評估反饋體系都在不斷自我更新與演進,通過對美國評估系統的反思,可以得出其評估反饋有效性的保證機制演進的大致趨向。
評估過程有效精確是評估反饋有效的前提,因此有利于評估過程控制的把握,是“評估后”工作的保障。美國高校評估為此則是促使評估參與主體、形式多樣,評估指標體系細分多元,逐漸形成了以下特征。首先,從獨白到對話,建構評估反饋與再評估的層次循環體系。傳統的評估,往往是評估主體單方面的參與,客體只需配合提供評估便利即可,沒有形成一個互動交流改進的機制。美國現代的高校評估都具有良好的反饋體系,評估——反饋——評估的閉合回路確保了評估客體的發展與建設,既能夠實現以評促改、以評促建、評建結合的宗旨,又能夠調動被評估高校積極主動參與配合的熱情。其次,精細分類評估體系。傳統的粗放評估,比如大學排行榜等,一般不會出現在美國官方的評估體系中。美國有六大地區認證機構,還有各種各樣的專業評估機構,比如高校體制評估、高校課程評估、高校學生成就評估等。一方面將大學分類,以不同的指標去衡量高校的發展狀態;另一方面,促使評估體系多元,從不同角度對大學進行專業化評估,評估具有專業化和精細化的特征。再次,形成性評估、診斷性評估與總結性評估相結合,評估價值觀走向對教育本質提升的關懷。評估的起點與歸宿決定了是為被評估高校提供可靠的監督,保證辦學資質和教育質量。因此,一個以形成性評估和診斷性評估為核心,形成性評估為輔的立體評估體系是保證評估有效的重要保證。形成性評估往往因為粗放,反饋機制薄弱,所以在注重反饋有效性、建設性的現代評估體系中,不會單獨出現。美國的認證評估,就是三者結合的評估,不光有定性的判斷性結論,還有一個大篇幅的診斷報告與自我改進建設。最后,單一評估與多輪評估走向連續性、一貫性、多層級評估反饋體系。評估——反饋——再評估,是一個良性循環的評估對話機制。比如美國高校認證評估后,四年或者六年一次的評估再認證,前后評估交疊,互相參照,是一個保證評估反饋有效的典型系統。如果評估沒有反饋,就無法起到建設性的作用;但是有反饋建議,而又沒有再次評估的機制,限于高校的改革惰性,其評估反饋的有效性將大打折扣。如圖2所示,美國高校評估反饋有效性保證機制是一個閉路循環體系,各個階段協同互補,在很大程度上保證了評估的成效,也是反饋有效性的一個重要制度性保證。
圖2美國高校評估反饋有效性保證機制運行示意圖[3]五、美國舊金山城市大學再認證評估
(一)舊金山城市大學再認證評估流程
評估反饋是評估系統的一部分,為了更好地了解美國高校評估反饋有效性保證機制,本文以舊金山城市大學(City College of San Francisco)作為最新評估案例完整闡述美國高校評估反饋有效性的制度性保證。本案例具有時效性、典型性兼具科學性,具有較高的研究價值。舊金山城市大學始建于1935年,是坐落在舊金山的綜合性社區學院,主要服務所在的舊金山城市。它既提供學歷教育,也提供非學歷教育,已有學歷在校生9000人左右。2012年3月,由17位評估專家組成的團隊對舊金山城市大學進行了再認證評估(Reaffirmation of Accreditation),具體包括了對文本檔案的分析,數次的訪談交流,召開開放論壇,參與學校常委會議等方式,最終完成了評估和評估反饋的工作。本次評估旨在評定舊金山城市大學在多大程度上達到了認證標準,是否實現了辦學既定目標,是否滿足了認證委員會規定的21條具體要求與4個認證標準。[4]
首先,高校自評(The college’s self-evaluation)。大學的自評必須在評估前準備完整,時間限定在2011年12月,比現場認證提前五個月,以便認證委員會的專家有足夠的時間評定。[5]同時,舊金山城市大學還提供了2011年1月到2012年1月之間的辦學成果與改進效果。在提交報告到現場認證之間,學校必須對認證專家提出的疑問做出回應,比如提交的自評包括欠缺部分的詳細說明等[6]。然后,進行現場評估準備?,F場評估前的一個月,評估委員會主席就召集委員對評估進行了部署,并且隨后對所有的評估專家進行培訓。評估委員會主席需要提前訪問被評高校,評估委員在到校評估前要仔細對高校的自評報告進行研讀,包括之前評估給出的改進意見是否落實等內容。隨后,進行現場評估。現場評估為期6天,根據學校的大小可以做出適當調整。評估委員會在舊金山城市大學的現場評估主要包括:對學校辦學成績和條件進行了驗證,參觀了其中的9個校區,并進行了相關走訪調查。在參觀的過程中,訪談了校園中的大量師生、董事會成員、行政人員、不同的員工以及在校園里面的游人等。評估委員會還在大學里面舉辦了兩個開放訪談沙龍(Well-publicized Open Sessions),應邀參加者是大學所在社區的居民,旨在通過公開沙龍了解居民對大學辦學的評價。最后,提出評估意見。評估委員會最后提出了14個建議,以促使舊金山城市大學完全達到ACCJC 認證標準與要求。而其中核心的一環,則是根據本次評估結果對照上次的評估改進意見,判斷是否完整落實相關改進建議。
(二)評估反饋有效性控制
美國高校評估反饋往往具有一整套連貫周密的反饋機制,以確保評估以及反饋的有效,舊金山城市大學的再認證評估中,很重要的一部分就是評價上次評估提出的建議的落實情況。在評估報告中的“針對2006年評估建議的體制反饋回應”(Evaluation of Institutional Responses to the 2006 Recommendations),周密地呈現了再次評估與之前評估的一貫性,極具代表性地體現了美國對于評估反饋的控制,是評估反饋有效性的保證體系的一個重要方面。
在2012年再認證評估中,舊金山城市大學的綜合自我評估報告是在2011年12月就提交給了評估委員會,報告中對所有上次提出的建議的落實情況做了說明。2012年3月正式評估的期間,2012年再認證評估委員會對舊金山城市大學應對2006年的評估的建設性建議落實情況與努力程度做了細致的評估。評估委員會認為,舊金山城市大學對2006年的評估建議進行了說明,但是不夠完全,還有許多工作沒有達到認證標準和資格要求(Accreditation Standards and Eligibility Requirements)。[7]而針對評估反饋的正規意見的落實情況的評估,是美國高校對評估反饋有效性把握的最重要的手段。與此同時,對反饋有效性落實的評估也會形成正式的評估報告,納入新一輪評估結論。表1為本次舊金山城市大學評估反饋的有效性的具體情況。
通過舊金山城市大學評估反饋的有效性的具體情況,從中我們可以看到,美國高校評估反饋對于整改的重要性。正是由于嚴格的控制要求和改進措施,才使得各院校下輪評估能夠遵循評估方的要求,在更高的層次上得以通過。
注釋:
1.肖紹聰:美國高等教育認證政策的發展(J)大學教育科學;2008(4):91-93。
2.徐國成:對美國高等教育評估制度的思考(J)現代教育科學2008(4):144-146。
參考文獻:
[1]崔瑞鋒,田東平.高等教育評估:美國的基本模式[J].開放教育研究,2007(4).
[2]徐國成.對美國高等教育評估制度的思考[J].現代教育科學,2008(4).
[3]張慧潔.美國高校評估反饋有效性保障機制研究[J].現代教育科學,2013(2).
[4][5][6]Evaluation Report of City College of San Francisco (2012)[EB/OL].http://www.ccsf.edu/Offices/Research_Planning/pdf/CCSFEvalReport16May2012.pdf.
[7] Radbourne. J. Nulty. D. Immersing a faculty in assessment: Making an organizational cultural shift[EB/OL].http://www.cshe.unimelb.edu.au/assessinglearning/02/immersing.html.
[8]Focused feedbacks: highlights from our evaluation of the college costs sumimit[EB/OL].http://www.luminafoundation.org/publications/Focused_FeedbackMarch06.pdf.
[9] David N. From monologue to dialogue: improving written feedback processes in mass higher education[R].Assessment Evaluation in Higher Education.2010(8):501-517.
(責任編輯陳志萍)