高校圖書館成效評估研究述評

萬小剛 洪秋蘭

(福建師范大學圖書館學系，福建福州 350117)

目前我國關于圖書館評估主要有三種類型，20世紀90年代至今，主要是投入和產出為主的績效評估；21世紀初，“用戶至上”的理念不斷盛行，基于用戶感知的圖書館服務質量評價興起；隨后，成效評估(outcome assessment)引入國內，國際圖書館評估逐漸轉向以用戶為中心的成效評估，但國內圖書館成效評估沒有受到重視，還是以績效評估為主。隨著信息網絡技術的發展，圖書館變化的速度越來越快，迫使圖書館不斷轉型升級，以用戶為中心開展服務和活動越來越受到重視。成效評估不同于其他兩種，成效評估是當下最新、最適應未來圖書館發展的評估方法，[1]是以用戶為中心來開展評估圖書館服務和活動，促使圖書館產生積極效果的服務，而放棄具有邊際價值或沒有價值的服務，使圖書館更好地滿足用戶的需求。最終改變圖書館與用戶的關系：把用戶在圖書館的生活中轉化成圖書館在用戶的生活中。

1 高校圖書館成效評估發展過程回顧

1.1 國外高校圖書館成效評估的階段分析

國外圖書館成效評估發展時間長，圖書館成效評估的研究最早開始于美國，理論與實踐研究成果豐富。其發展過程主要分為四個階段：

(1)1966—1995年，圖書館成效評估的雛形期。在這一段時期內，學者主要研究高校圖書館對學生學業的影響，并沒有把高校圖書館的績效評估與成效評估分開，沒有明確的成效評估的概念。1966年，萊恩(G.Lane)就提出建議，評估圖書館對大學生教育結果的影響。[2]尼古拉斯(R.C Nichols)、洛克(D.A Rock)等學者討論了利用圖書館資源與學生學業成績之間存在一定的正向關系。[3][4]

(2)1996—2004年，高校圖書館成效評估理論形成時期。在國際圖書館界堅持“用戶至上”的服務質量管理的背景下，由原來投入與產出不分、效率與效果不分的圖書館評估，逐漸轉向績效評估和成效評估兩個方向發展。1996年，美國大學和圖書館研究協會成立了學術圖書館成效評估組并開展研究，于1998年6月發布了《學術圖書館成效評估報告》白皮書，該白皮書首次厘清了投入、產出和成效的概念，明確了學術圖書館成效評估的定義和原則。[5]此后，英國、法國等國家和高校圖書館相繼展開了圖書館成效評估研究。2004年6月，美國把成效評估寫入統一制定的《高等教育圖書館標準》(Standards for Libraries in Higher Education)中，這標志著成效評估的理論和方法體系逐漸成熟與完善。[6]

(3)2005—2013年，高校圖書館成效評估研究的成長時期。這一時期，國際圖書館評估會議也開始探討成效評估了，圖書館評估重心由績效評估開始向成效評估轉變。高校圖書館成效評估的研究具有全面性，除了高校圖書館對學生用戶的影響，還包括研究高校圖書館對社會的經濟價值、社會影響等。還開展了對成效評估長期研究的項目。L.Duke和A.Asher全面考察了大學生利用高校圖書館的資源和服務的情況和高校圖書館對學生學業產生的影響和價值等多個問題。[7]2011年，英國聯合信息系統委員會(Joint Information Systems Committee，JISC)的“活動數據計劃”(activity data programme)資助了8所大學實施圖書館影響數據項目(library impact data project，LIDP)，調查了33000名本科生，論證了用戶在圖書館的使用數據與其學生成績有較強的相關性。[8]

(4)2014年至今，高校圖書館成效評估研究發展時期。2014年，第一部成效評估國際標準ISO16439：2014《信息與文獻——圖書館影響評估方法與程序》正式出臺。該標準明確提出全新的成效評估概念，指出了開展實證分析的方法。雖然沒有提出具體的評估指標，但為高校圖書館成效評估的發展指明了方向。[9]

通過對國外高校圖書館成效評估發展過程的梳理，眾多學者、機構和標準組織都提出了豐富的成效評估定義理論，具有成熟的理論基礎，其中包括ALA[10]、ACRL[11]、IMLS[12]、Rhea[13]、國際標準組織[14]等。綜合來看，闡述的成效評估定義主要有兩種觀點：一是從用戶個體的角度理解，成效評估是圖書館讀者用戶在利用圖書館資源、服務和活動之后所發生的對用戶自身的影響，包括對知識、學術成就、能力、行為、成功等的影響；二是從整個圖書館群體理解，成效評估是以讀者用戶為中心來計劃和評估圖書館項目或服務所創造的價值、效益。如高校圖書館對實現整體高校教育目標和科研任務所創造的價值；公共圖書館對促進公共文化事業、消除信息鴻溝、促進經濟發展所產生的社會和經濟效益。

1.2 國內高校圖書館成效評估發展現狀分析

在張紅霞把圖書館成效評估概念于2008年正式引入我國之后，[15]國內學者開始了對高校圖書館成效評估的探索性研究，總結起來包括分析借鑒國外優秀成效評估項目，初步提出了大學圖書館成效評估的指標體系；總結國外圖書館成效評估的研究，提出對我國的建議和啟示；從成效評估的內容之一——高校圖書館對學生學業的影響出發，總結國外高校圖書館對學生學業影響的研究并提出對我國的建議，探討高校圖書館對學生學業的影響的問卷調查設計；運用遺傳神經網絡法和投影尋蹤模型理論，建立高校圖書館成效評估模型；對中學圖書館成效評估展開研究；但僅有一篇文獻以南開大學本科生為對象，進行實證研究。綜上所述，國內學者提出的評估體系和引進的方法都是理論上的研究，缺乏實際應用和實證研究。國內更多的是在介紹國外的優秀案例和總結國外的研究，沒有結合我國實際情況開展具體的研究。圖書館成效評估研究的文獻較少，更多是初步研究，研究深度尚淺。缺乏對成效評估內容的全面研究和通過立項進行長期的，追蹤性的研究。圖書館成效評估研究還沒有受到專家學者和相關部門的足夠重視。

2 高校圖書館成效評估內容研究

在評估活動中，接受評估的對象稱為評估客體。[16]根據成效評估的主要內容，成效評估客體包括學生學業、學術科研、經濟價值等。從上述成效評估客體出發，總結分析其研究成果。

2.1 高校圖書館對學生學業的影響

高校圖書館開展對學生學業影響的評估研究，是高校圖書館成效評估的重要內容之一。國內學者的研究受到國外的影響，主要研究圖書館利用與學生學習成果的關系。徐云，莫嵐等從美國大學圖書館學會定義的out-come出發，通過問卷調查，分成學習場所組，資源利用組和溝通組三個小組，把圖書館利用和學生的學習成果作為焦點問題。研究發現大學期間學生獲得的學習成果和圖書館利用之間存在正相關。還發現學生利用圖書館類型與利用后的收獲有關，其中在學習場所組中，利用頻率與收獲成正相關。而在資源利用組和溝通組中利用頻率與收獲無相關，圖書館服務的品質與滿意度可能對利用后的收獲有重要影響。[17]王艷以藥學、行政管理2008級畢業生有關他們所借閱圖書類型、學習成績、個人綜合素質測定的數據，建立圖書館對學生成才影響路徑圖，進行模型擬合，雖然研究發現成才路徑表現不一致，但圖書館對促進學生成才確實有積極影響。[18]吳英梅分析了國外高校圖書館對學生學業影響成效評估的內容，提出高校圖書館學業成效指標分為學業表現、實踐能力、學習經歷和科研能力4個維度，把圖書館利用指標分為對物理空間的利用、對網絡空間的利用、對紙本館藏的利用、對電子資源的利用、官員給予的支持、時間利用情況、其他7類，為更深入地進行相關評估研究和實證提供了基礎。[19]劉桂賓使用南開大學830份本科生問卷調查數據，用IBM SPSS V20對數據進行偏相關性分析，考察了圖書館利用對學生學習行為和學生學習成果的影響，研究表明，圖書館利用與學生學習行為和學生學習成果呈顯著的正相關關系。[20]黃婧通過梳理國外高校圖書館與學生教育成果關系的成效評估理論體系，認為高校圖書館評估理論是不斷向高等教育目標學習的過程和以實證研究為支撐的。[21]我國圖書館成效評估發展要做到理論發展和實證研究的統一，實證研究是基礎，理論是指導；用兼容并包的態度面對多學科交叉領域的高校圖書館評價。

國外高校圖書館對學生影響的研究主要是從學業成效、圖書館利用和高等教育等方面展開的。許多高等教育領域的學者主張把學生的批判性思維納入到學生的學習成效評估中，推動了對學生學業成效的研究。早在40年前，就有學者提出圖書館評價應該與學生學業成果聯系起來，只是這一時期的研究較為簡單，研究的結論主要是利用圖書館資源與學生學業成效的關系的強弱。K.Soria以大學一年級新生為研究對象，研究了學業成效的指標之一學生成績和保留率，提出圖書館使用與學生成績和保留率的關系的問題，研究發現兩者呈正相關關系。專業館員作為利用圖書館的方式之一，同樣對學生學業成效發揮著重要的作用。[22]M.Emmons和F.Wilkinson運用線性回歸分析法，控制社會經濟等基本信息，研究發現專業館員與學生的學習成效存在正向關系，還進一步提出了館員如何發揮作用等問題。[23]作為第三空間的高校圖書館空間，S.Montgomery調查了學生在利用圖書館空間前后對自身學習的變化，包括學習方式、社交學習需求等，發現：利用空間更新對學生的學習有持續的影響，學習方式行為會發生改變。[24]Joseph R.Matthews為了確定圖書館實體或電子資源、參考咨詢服務和圖書館空間的使用對學生學習產生的影響，建議的方法是圖書館用戶使用數據與大學生數據相結合，如圖書館的數據與間接的學習測量(如學生堅持品性、畢業率)以及直接的學生學習測量(如大學學習測試、大學學習能力評估以及學術能力和進步測量)相結合，由此產生的大量數據集可用于探索圖書館服務的使用與重要成果(學生成功率、學生保留率、畢業率等)之間的關系，將增強研究結果的可信度和影響。[25]

2.2 高校圖書館對學術科研的影響

高校圖書館對高校學術科研的作用不言而喻，但目前只有較少的文獻研究高校圖書館對用戶的學術科研的成效評估，沒有形成有影響力的研究和具體的評估體系。李新運，孫志靜搜集了教育部直屬的20所高校在2008-2014年間的圖書館年度經費數據和學科發展的評估指標數據，構建面板數據模型，研究發現圖書館年度經費的投入對科學研究具有長期的推動作用。[26]楊安利等研究了圖書館電子資源對學術研究的影響，電子資源的不穩定性，檢索過程的相關性，內容的權威性等都會對學術研究造成不良影響。[27]劉海燕研究了澳大利大學圖書館學術研究支持工作，從5個方面開展學術研究支持工作，其中，澳大利亞大學圖書館開展了研究成果的評估工作，從過程和結果等多個角度評估學術研究所產生的影響力。她指出我國大學應注重對學術研究的評估工作，包括對研究課題的評估和研究成果的評估。[28]新南威爾士大學(UNSW)提出了研究成果評估的5個維度，包括出版發展戰略、出版物管理、作者簡介的維護、研究影響測量和研究影響展示維度。[29]Mac-Anthony Cobblah通過定性和定量的研究方法，得出加納大學圖書館開展的有效服務與科研成果之間存在一定的相關性。[30]Liu L G發現美國大學圖書館印刷館藏對社會科學，物理科學和數學，工程學等學術課程聲望有重大貢獻。[31]田景梅等、王颯、韓雅鳴，劉雯等學者都做了相關研究。[32][33][34]綜上所述，學術科研與圖書館之間呈現顯著的正向關系，但更多研究是在論證圖書館與學術科研的關系，缺乏圖書館對學術科研的成效評估的研究。

2.3 高校圖書館對產生經濟價值的影響

國外學者系統性的研究了圖書館與社會經濟的關系，如Daniel、Morris、Thomas等，研究發現圖書館投入會增加當地政府收入，增加就業，促進社會經濟發展。[35][36][37]美國伊利諾依大學厄巴那-香檳分校圖書館通過假設“高校圖書館有利于科研人員申請科研經費”，研究發現給高校圖書館投資一美元，大學能夠獲取相應的回報，證明了高校圖書館有利于大學創造經濟價值。[38]

國內學者對公共圖書館和高校圖書館的經濟價值影響進行了研究，但對高校圖書館的經濟價值的研究偏少。鄭京華運用SPSS軟件，分析了1979-2002年公共圖書館支出與GDP的關系，分析表明：公共圖書館發展對我國經濟發展存在必然的正向的聯系。[39]趙迎紅也證明了公共圖書館發展指標與經濟增長存在顯著的格蘭杰因果關系。[40]

3 高校圖書館成效評估體系研究

3.1 宏觀指標體系

2004年6月，美國的《高等教育圖書館標準》提供了一整套關于成效評估的原則、指標體系和標準，正式強調了成效評估體系的重要性[41]。高校圖書館服務質量評價模型—LibQUAL+TM模型[42]是由美國研究圖書館協會(ARL)在1999年提出的，從2000年到2004年經歷了四次修改，到現在已趨于穩定了。提出了服務感受、圖書館環境、信息控制3個一級指標和22個二級指標。其中服務和圖書館環境指標都有涉及到高校圖書館對學生學習的一些指標，所以，對構建高校圖書館成效評估體系具有一定的借鑒意義。Han Sangwoo引入邏輯模型理論，構建了基于邏輯模型的圖書館成效評估系統(LibOutcomes)，該系統應用圖書館成效評估體系，使圖書館員直接從KOLAS中導入數據并上傳。此外，由于該系統是一個基于web的系統，可以增強圖書館開展成效評估的頻率和方便性。[43]徐欣在圖書館利用對大學生發展的成效評估研究中，把圖書館利用當做自變量，大學生發展當做因變量，把影響圖書館利用的主體內在因素和外在環境影響作為控制變量，運用直接測量和間接調查評價方法，構建了成效評估指標體系，并對其展開了詳細的探討，就進一步改進成效評估提出了思路。[44]溫小明通過分析第一輪高校圖書館評估工作的成績和問題，結合績效評估和成效評估兩大體系，創造性的提出了新的高校圖書館評估指標體系基本框架，包括基礎指標(成效)、狀態指標和輸入與輸出指標(績效)、過程指標(績效與成效結合)。[45]但這只是一個框架，為了實際應用，還需制定出評估的細則。向遠媛，溫國強基于對國內外圖書館成效評估實踐和理論成果的分析，構建了對提高用戶學習、科研水平的影響，對個人精神層面的影響，用戶對圖書館服務產生關注度3個一級指標，10個二級指標的大學圖書館成效評估指標體系，認為我國大學圖書館開展成效評估應以用戶為中心，重視服務效果，向管理層、社會證明圖書館的價值。[46]這是目前最完善的指標體系。

3.2 微觀指標體系

在微觀層面，亦有學者從不同的視角對指標的體系進行了探討。斐妍從成效的顯性和隱形性質出發，在參考了國內外學者對評估體系的研究成果后，提出了自己的觀點，僅從用戶的角度，構建了對提高使用者學習水平、科研水平的影響，對使用者個體精神層面的影響，使用者對圖書館服務的關注度3個一級指標，10個二級指標的大學圖書館成效評估指標體系。提出成效評估工作關注服務結果，以使用者為中心，還要關注圖書館提升自身的服務質量。[47]美國大學與研究圖書館協會圖書館評估組在1998年發布了《學術圖書館成效評估報告》白皮書，該報告認為圖書館成效評估是要揭示圖書館的使命、目標是否實現，對整體目標的貢獻和對用戶的影響，服務的質量。從信息素養評估的角度，構建了對揭示研究成果不同來源的參考文獻或書目進行評分、對檢索過程進行評分、對顯示有效檢索策略的檢索日志進行評級、對某個主題任務的滿意度4個維度的指標體系，來說明學生在利用圖書館資源和服務后對信息素養的成效。[48]

4 高校圖書館成效評估方法研究

建立科學全面的成效評估體系和采用合理、可靠有效的評價方法進行評價是相互聯系，又互為基礎和前提，二者缺一不可。

文獻調研發現，圖書館評估方法呈現多樣性，主要包括HAPLR評價系統、層次分析法、數據包絡分析法(DEA)、蒙特卡羅技術、條件價值評估法等。雖然直接應用于圖書館成效評估的方法較少，但學術界還是有科學評估圖書館成效的理論和方法，如遺傳神經網絡算法理論、投影尋蹤理論、引文分析法等。趙偉，張秀華引進了遺傳算法和BP神經網絡的混合模型，構建了圖書館成效評估體系，對成效進行了評估仿真實驗和實證分析，證明了遺傳神經網絡算法在圖書館成效評估中的實用性及可行性。[49]樓高文和干瑞娟等根據趙偉建立的圖書館成效評價體系，運用投影尋蹤理論，建立了圖書館成效(績效)評估的投影尋蹤分類(PPC)模型，具有客觀性好、結構簡單、數學意義清晰和后續應用便捷等特點，為圖書館成效(績效)評估提供了新方法。[50]Jeremy Paley，Julia Cottrill，Katherine Errecart等描述了全球圖書館成效評估常用方法的演變，介紹了性能度量(PMs)和通用影響度量(CIMS)系統理論，旨在提供一套標準的定義和方法共他國使用，使公共圖書館能夠將重點從提供的服務轉移到幫助個人和社區實現的成果。[51]英聯邦大學與圖書館學會(SCONUL)和圖書館與信息研究組(LIRG)在2003年實施的“影響評估計劃”，該計劃主要研究利用信息素養和電子資源對用戶的學習、教學和研究產生的影響，采用行動與研究結合的研究方法，提出了基于”行動研究“方法的圖書館影響評估步驟。[52]

5 下一步研究建議

與國外高校圖書館成效評估研究相比，我國圖書館學界對成效評估的研究還存在諸多不足，主要表現在以下幾個方面：①圖書館成效評估基本理論研究欠缺，目前還未形成統一的定義；②對圖書館成效評估的實證研究較少，缺乏代表性，樣本數據少；③根據圖書館成效評估的內容，成效評估研究不全面，偏向性明確，不利于全面發展；④我國已相繼開展了公共圖書館評估和高校圖書館評估，但從其評估系的具體指標來看，圖書館成效評估還未受到學術界和相關政府部門的重視。筆者針對我國圖書館成效評估研究現狀，提出幾點建議：

(1)開展成效評估的理論研究。理論指導實踐，成熟的理論體系定會促進高校圖書館成效評估的開展。理論發展往往有初期、成長期、發展期三個階段，目前我國圖書館成效評估理論還處于初期，接下來理論研究將成為重點，為把成效評估應用于圖書館評估服務。

(2)擴大研究樣本數據和調查范圍，使用定性和定量的多種方法，進行實證研究。我國少有的成效評估實證研究樣本都基于對本校或幾百人的調查，缺乏跨學校，跨地域研究。還由于成效評估調查是以用戶為中心，數據難免受人為因素的影響。要從橫向(評估范圍)和縱向(評估客體內容)全面展開，以求科學客觀的評估結果。

(3)正確區分績效評估、服務質量評價、成效評估的關系。績效評估注重考察圖書館的投入與產出，服務質量評價是基于用戶的感知，成效評估研究圖書館對用戶的影響，三者評價目的和評價客體不同，不存在孰優孰劣，誰代替誰，也沒有把三者融為一體的圖書館評估體系。

(4)高校圖書館成效評估應與高等教育目標和使命相結合。高校圖書館作為高等教育不可或缺的一部分，對實現大學教育目標和任務的重要性不言而喻，但還沒有學者把高校圖書館和對大學教育的價值納入成效評估的指標體系中。