基于“全評價”分析框架的開放存取倉儲評價體系研究*

陳 銘，葉繼元

1 問題的提出

在信息社會，信息成為重要的戰略資源，科學家之間合作與交流的需要帶來對資源共享的迫切需求。開放存取是國際科技界、學術界、出版界、信息傳播界為推動科研成果、利用因特網自由傳播而發起的運動，倡導學術信息共享的理念，致力于促使學術信息無障礙的傳播。開放存取主要有兩條實現途徑：一是開放存取期刊；二是開放存取倉儲。開放存取倉儲主要包括基于學科的開放存取倉儲和基于機構的開放存取倉儲。

開放存取倉儲早期的發展形式是學科倉儲(也稱學科庫)，是一種以學科為主線的知識庫，收集、整理、組織某一學科領域的各種類型的資源，并對這些資源進行長期保存和廣泛傳播，以促進資源的共享和利用。早期的倉儲學科大多是物理學、數學、非線性科學、計算機科學以及定量生物學等領域。近年社會科學領域的開放存取倉儲不斷涌現，如人文社會學的SSRN和圖書情報領域的E-LIS倉儲等。

開放存取倉儲的另一種形式是機構倉儲(也稱機構庫)，是僅存儲該學術機構內產生的學術資源，它將這個機構內研究者的學術成果進行集中保存，并實現開放共享。機構倉儲雖然出現得比學科倉儲晚，但發展迅速，目前數量上已遠超過學科倉儲。機構倉儲已成為美國、加拿大、澳大利亞、英國等多個國家學術機構的基礎設施，比較著名的機構倉儲有英國南安普頓大學的Cogprints、美國佛羅里達大學的D-Scholarship、美國能源部的Information Bridge。開放存取倉儲對長期保存數字信息資源，促進與加強學術信息和科研成果的傳播、交流與共享，提升科研人員及學術機構科研影響力等方面都具有非常重要的作用。

近年開放存取倉儲發展迅速，據Open-DOAR(Direct of Open Access Repositories，開放存取倉儲名錄，http：//www.opendoar.org/)統計，截至2013年7月，全球已有超過2200個開放存取倉儲，其中主要為機構庫。蓬勃發展的開放存取倉儲給科研人員帶來了豐富的免費學術資源。但數量眾多的倉儲對科研人員如何做出合適的選擇提出了挑戰。因此，應對開放存取倉儲進行評價，明確哪些是高質量的開放存取倉儲，以便用戶有效利用，增加開放存取倉儲在學術界的影響力，更好地發揮其學術價值，促進其健康良性發展。具體說來，開展對快速發展的大量的開放存取倉儲的評價研究，具有較強的理論與實踐意義。從理論層面看，有助于促進學術界對開放存取研究的進程，推進開放存取倉儲理論研究的豐富與發展，拓展研究的新視角；并對有效解決長期保存與開發利用數字學術信息資源、完善數字資源管理理論體系具有重要的理論指導意義；還可以促進學術信息的交流和開發，推動我國信息化的發展和社會的進步。從實踐看，通過構建開放存取倉儲綜合評價的指標體系，可以明確開放存取倉儲建設中的關鍵成功因素，如軟件選擇、數字資源管理、平臺建設等，從而為創辦高質量的開放存取倉儲提供參考；同時還能緩解學術信息獲取與需求之間的不平衡狀態，滿足學者快速、準確地獲取免費的高質量的學術信息的需求，推動學術研究成果的交流與共享，提升學者和研究機構的科研影響力。

2 研究現狀述評

文獻調研發現，對于開放存取倉儲的評價大多集中在對于機構庫的評價上。由于機構庫在歐美等發達國家的發展速度較快，因此對于機構庫的評價研究文獻量較多，研究角度也比較多樣化，特別是對于機構庫內數字資源管理和實踐建設評價研究開展得較為普遍，取得了一定成果。相比之下，國內研究處在初步發展階段，機構庫數量小、資源少，用戶關注度低，實踐建設處在初步發展階段，評價方面的研究成果也比較少。

從國內外的現有研究成果看，大多數學者較少有對機構庫全面系統的評價，主要是因為評價的機構庫樣本偏小、評價指標數據的可獲得性比較低等方面。因此大多是集中在對機構庫的某一方面進行研究，如對機構庫系統軟件進行評價。2003年Tansley R[1]等對由麻省理工學院與惠普公司合作開發的Dspace的各項功能和系統架構進行了詳細的述評。Kim H H[2]等通過用戶調查和實驗測試等方法對機構庫系統軟件進行評價，確定包括滿意度、支持度、有用性和有效性等4個方面的評價框架。國內學者王穎潔對DSpace與其他機構庫系統軟件Eprints和Fedora進行比較分析[3]。開放社會研究所也對9 個機構庫系統軟件如DSpace、Eprints、Fedora等從軟件管理功能、技術特點、信息檢索與利用等多方面進行了評價，并出了“A Guide to Institutional Repository Software”的報告[4]。

還有學者對機構庫資源及其管理等進行評價，其中重點是對機構庫中自存儲(Selfarchiving)的評價。Xia J.F.和Sun L.[5]對英國、澳大利亞等9個機構庫用戶自存儲比例和倉儲內全文可獲取性進行調研，發現作者自存儲比例較低，很多機構庫提供的多為文摘信息。并分析了影響自存儲的因素，如存儲信息、全文可獲取性、存儲資源數量、用戶態度等。國內學者郭清蓉也構建了類似的自存儲評價體系并進行分析研究[6]。

國外學者還對很多國家的機構庫實踐建設進行了宏觀層面的評價。2005年網絡信息聯盟、英國聯合信息系統委員會以及荷蘭SURF基金聯合對美國、英國、澳大利亞等13個國家的包括機構庫數量、資源類型、學科、使用軟件等情況的機構庫建設現狀進行了抽樣調研[7]，結果表明大多數被調查的國家都在大力建設機構庫，機構庫正在成為高校基礎設施的必要組成部分。

雖然對機構庫的總體評價的研究比較少，但還是有一些學者從全局角度對機構庫進行綜合評價。2006年Westell M 提出強制存儲、內容評價、長期保持戰略等八大影響機構知識庫建設的重要影響因素來對機構庫進行綜合評價[8]。韓國的Kim H H與Kim Y H構建了一個包括內容、系統與網絡、使用、用戶及提交者以及管理與政策等四大方面的綜合評價模型[9]。西班牙科學研究理事會的網絡計量實驗室從2008年起開始發布機構庫的網絡計量[10]，以規模、顯示度、內容豐富度和學術性4個指標來對近千個開放知識庫的學術影響力進行排名和評價研究。國內學者馬學良[11]以成熟度理論為基礎，借用了軟件開發過程的管理及能力的提高與評估方法，構建了基于CMM的機構庫評價模型。

綜上所述，現有研究成果多是對機構庫的某一方面進行評價，而對機構庫整體綜合的評價較少。在機構庫的綜合評價中，目前還未見完整的形式評價方面的評價指標體系，且很多研究中設立的指標不易量化。對于機構庫中資源的內容質量究竟如何以及用戶使用后的感受如何也未見有精細的評價，因此無法考察機構庫中資源的學術影響力、創新性和可靠性等方面的情況，也無法驗證機構庫在學術市場得到的反響究竟如何。所以目前還沒有對開放存取倉儲的綜合評價的研究。筆者認為，雖然在開放存取倉儲中，機構庫占了絕大部分，但是學科庫的建設發展對于人們獲取數字資源也是非常重要的；而且學科庫和機構庫本質上并沒有太大的差別。因此，在開放存取倉儲評價中不能把學科庫隔離開來對待，需要在科學的評價理論基礎之上，通過合理可行的方法，構建普遍適用的開放存取倉儲的系統綜合評價體系，并在該體系的基礎上開展綜合評價的實踐研究。

3 全評價分析框架及其在開放存取倉儲上的應用

全評價分析框架是2010年由葉繼元教授首次提出[12]，經過近幾年的應用實踐，在國內評價界和學界產生較大影響。“所謂形式評價是指評價主體對評價客體內含知識的外部特征的評價，它既包含同行的定性評價，也包含定量評價” [13][18]。“所謂內容評價是指評價主體對評價客體內含知識本身特征的評價，由同行專家通過直接觀察、閱讀、討論來進行”[14][19]。“所謂效用評價是指實踐、時間、歷史對評價客體實際作用、價值的驗證或最終評價”[15][20]。“合理的評價體系應由評價主體、客體、目的、標準及指標、方法和制度六大要素組成”[16][21]。“葉繼元教授的‘全評價’體系已經過很多實證檢驗證明是科學合理、切實可行的，并已得到學術界的認可。根據‘全評價’體系的理論依據，可以把其運用在開放存取倉儲的評價中來科學合理地分析開放存取倉儲的評價主體、客體、目的、標準及指標、方法和制度，從而真正掌握開放存取倉儲評價的根本所在”[17][22]。

3.1 評價主體和客體

開放存取倉儲評價的主體，從評價的本質來看，需從用戶使用倉儲的角度出發來展開評價活動，才能真實地反映用戶對倉儲的需求，所以應是使用倉儲的用戶。評價的客體就是開放存取倉儲本身，它是具有數字資源特征的各種數字資源的集合。

3.2 評價目的

開放存取倉儲的評價目的就是評估開放存取倉儲的質量，檢測并反饋它能發揮的各項功能、作用、價值和它能滿足用戶需求的程度，以便有效地利用開放存取倉儲。對開放存取倉儲的評價可以幫助創建高質量的機構庫或學科庫。開展開放存取倉儲的評價研究，有助于緩解學術信息獲取與需求之間的不平衡狀態，滿足學者快速、準確地獲取免費的高質量學術信息的需求，推動學術研究成果的交流與共享。

3.3 評價標準和評價指標

評價的標準依賴于評價目的。首先明確開放存取倉儲是一種系統網絡平臺，集合了各種網絡資源，它的評價標準應從數字資源內容的角度出發，注重評價開放存取倉儲的網絡屬性，以及對倉儲的系統和平臺的評價。

其次，“全評價體系中的形式評價、內容評價和效用評價可以是一種評價標準”[23][25]。開放存取倉儲的形式評價，就是對開放存取倉儲所表現出來的外部特征的評價，主要包括對開放存取倉儲的資源、網絡服務平臺、系統軟件、網絡傳播力等幾個方面情況進行評價，具體指標包括開放存取倉儲的全文率、文摘率、更新速度、檢索入口數、訪問速度、訪問量等。開放存取倉儲的內容評價就是對開放存取倉儲里每一學科所屬的資源的學術性、權威性、新穎性、可靠性等內容質量進行定性的、關于其價值的直接評價。開放存取倉儲的效用評價就是用戶在使用倉儲一段時間后，覺得倉儲對其產生的作用和影響程度以及使用滿意度的評價。

“評價指標是評價標準的細化。根據這些細化的指標就可以構建開放存取倉儲評價的指標體系”[24][26]。

3.4 評價方法

(1)用戶評議法：從評價的本質來看，需從用戶使用倉儲的角度出發來展開評價活動。如在內容和效用評價中，可以采用問卷調查的方式，讓用戶對其進行定性評價。

(2)層次分析法與模糊綜合評價法的結合。“運用層次分析法將開放存取倉儲形式評價的指標體系分成遞階層次結構，然后分層次進行模糊綜合評價，最后綜合出總的評價結果”[27]。“評價制度是為了保證評價活動進行、要求有關人員共同遵守的規程。對開放存取倉儲的評價也需嚴格遵循學術大環境下制定的監督制度，可以充分保障評價活動圍繞評價目的正常進行”[28]。

4 開放存取倉儲“全評價”體系構建

4.1 開放存取倉儲形式評價中的指標體系

在設立開放存取倉儲評價指標體系時須依據一定的原則來科學地設定：首先，各指標不重復，也不遺漏，選取具有代表性的指標，能全面完整地反映開放存取倉儲的本質特征。其次，各評價指標應是易于量化的，數據是易于獲得的。再次，所建的指標體系需層次分明、結構合理，同一層次上的指標不應互為包含關系。

根據開放存取倉儲的特征和形式評價指標體系的設立原則，筆者擬構建一個三層的開放存取倉儲形式評價指標體系，包括4個一級指標、15個二級指標。

要對開放存取倉儲的發展進行全面的綜合評價，需要確定其影響因素，即評價開放存取倉儲，需要從哪些方面著手。筆者認為，開放存取倉儲評價主要考慮開放存取倉儲的資源、系統軟件與網絡平臺服務水平、網絡傳播力等三大方面：

4.1.1 開放存取倉儲資源

開放存取倉儲的資源能體現開放存取倉儲的內容價值，所以首先需要對開放存取倉儲的資源進行評價。開放存取倉儲資源評價一般包括資源的數量、資源的全文率、資源的組織分類、資源的更新速度和回溯時間等。

資源數量(C11)：一個開放存取倉儲的資源總量對用戶的使用有著重要的影響，數量越多，用戶能找到他們所需的科研信息就越多，從而也能促進他們把自己的科研成果存儲在這個倉儲中。因此，開放存取倉儲資源的數量是其價值所在，是評價該倉儲的重要因素。開放存取倉儲收錄的資源形式多樣，包括論文、工作文檔、技術報告、會議錄、多媒體文件等，收錄多少電子文檔格式的資源或多媒體資源，就記為多少“篇”或“件”。

全文率(C12)：這是指開放存取倉儲內全文型的資源占所有資源的比例。開放存取倉儲的全文率高，這樣的開放存取倉儲就更加開放、共享，使用率就會高，是衡量開放存取倉儲開放性和共享性的重要指標。

資源的組織分類(C13)：信息資源組織是否合理影響到機構庫內信息資源的檢索。隨著倉儲資源數量的不斷增加，如果倉儲內不同學科類別的資源不加分類，全部收錄在一起會延長用戶查找特定資源的時間，給用戶帶來不便，對資源的有效管理也會帶來很多弊端。因此，倉儲資源是否進行組織分類是一個重要的評價指標。

更新速度(C14)：這是指開放存取倉儲資源更新的速度，有每日更新，還有每周更新，大多數是不定期更新。它能反映一個倉儲的生命力如何，是否有源源不斷的新資源進入倉儲。

回溯時間(C15)：這是指開放存取倉儲收錄資源的回溯時間，時間越久，越能保證倉儲收集資源的全面性，也越能反映一個倉儲的質量。

4.1.2 開放存取倉儲系統軟件與網絡平臺服務

開放存取倉儲系統軟件和網絡平臺服務水平的評價是對倉儲進行全面綜合評價必不可少的環節。目前，倉儲使用最多的軟件是DSpace，其次是軟件Eprints和OPUS。一般來說，評價倉儲的系統軟件和網絡平臺服務，主要考慮以下幾個方面：一是系統軟件的功能。如系統是否接受多媒體文件、是否支持全文搜索功能、系統的可靠性、可擴展性和訪問速度如何等；二是系統軟件技術。如協議標準、元數據質量、系統配置水平以及用戶界面是否友好等；三是網絡平臺的服務水平，如訪問的速度、檢索入口數、個性化服務項目數等各項指標。這些指標，決定了一個倉儲建設是否標準，是體現用戶是否積極使用倉儲頻率的重要指標，反映出倉儲的質量水平。

協議標準(C21)：“由于元數據格式較多，在進行系統間互操作時元數據格式轉換和匹配會產生較大的障礙。是否采用統一的協議標準，決定著開放存取倉儲能否實現有效傳遞。”[29]因此，在自存儲資源建設中，應遵循統一的互操作性協議標準。根據是否有協議標準來確定指標的判定標準。

元數據質量(C22)：選擇合適的元數據類型對于一個倉儲來說是非常重要的。元數據是否正確、統一、完整、唯一和有效是判定其是否能夠充分描述內容，提供正確檢索及資料交換的標準。“可以通過倉儲軟件來考查自動控制元數據質量的程度：(1)是否有一個較為完善的、符合通用元數據標準的元素表；(2)是否制定了元數據的著錄規范；(3)主題詞或關鍵詞是否準確；(4)能否自動檢測系統來控制元數據的質量”[30]。從這幾個方面可以判定倉儲元數據的質量。每符合一條標準計數為1。

個性化服務項目數(C23)：個性化服務項目的質量與數量能夠反映一個開放存取倉儲的服務水平和質量。個性化服務的實用性很強，給用戶帶來了很大的方便，如RSS定制：向用戶“推”送信息來實現信息組織；Trackbacks跟蹤：系統通過自動建立一個網頁來跟蹤記錄用戶的瀏覽記錄；Notify me：系統以郵件的方式把符合用戶檢索要求的資源發送給用戶；Top(用戶下載最多的文章)：倉儲中列出某一段時間內用戶獲取次數最多的前N篇文章，使用戶看到這段時間最受用戶關注的研究主題；New submissions：向用戶提供過去N天內新進入倉儲的文章列表，使用戶獲取最近更新的文章。有一種個性化服務計數為1。

檢索入口數(C24)：指系統提供給用戶的各種檢索途徑的數量，如作者、題名、關鍵詞、全文等檢索入口。可供選擇的檢索入口數越多，用戶查找使用自己需要的資源就越快捷方便。有一種計數為1。

訪問速度(C25)：用戶訪問開放存取倉儲時，從點擊提出訪問申請到系統給予回應告知了所需結果中間所花時間的多少。相應速度越快，用戶找到資源的速度也就越快，可以反映平臺的服務水平。

4.1.3 開放存取倉儲網絡傳播力

網絡傳播力也是評價開放存取倉儲的一個重要方面。開放存取倉儲內的數字資源是基于網絡傳播的資源，能否方便、快速地把資料傳播到用戶中去是體現開放存取倉儲的價值的因素之一。

網頁數量(C31)：從Google、Yahoo、Live Search(BING)、Exalead四個主要搜索引擎中檢索到的開放存取倉儲的網頁數量。倉儲內的網頁數量被搜索引擎收錄的越多，用戶通過搜索引擎能搜索到倉儲及訪問該倉儲的可能性就越大[31]。

外部鏈接數(C32)：目標知識庫從Yahoo和Exalead檢索所得的其他網頁對本網頁外部鏈接總數。它的理論基礎是鏈接與引文的相似性，一個網站被該網站以外的網頁鏈接的數目(簡稱網站的外部鏈接數)越大，該網站被用戶使用的可能性就越大。

被開放存取倉儲名錄的收錄數(C33)：提升倉儲的能見度需要在主要的知識庫目錄和新的搜索引擎中登記并提交信息，以利于信息檢索和發現。國內有一些倉儲由于未在Open DOAR和ROAR中注冊導致沒有進入評測范圍，失去了在世界范圍內提升自身影響力的機會。如果被OpenDOAR和ROAR同時收錄的記為2分，一個庫收錄記1分，如果都沒有收錄則為0。

訪問量(C34)：開放存取倉儲被訪問情況的一個指標，被訪問越多說明該倉儲越受重視。開放存取倉儲的年訪問量是指開放存取倉儲網站在一年內被訪問的次數，可以很好地反映開放存取倉儲的被關注程度。

下載量(C35)：開放存取倉儲資源被下載的一個指標，下載數量越多說明該倉儲資源越受到用戶的認可。開放存取倉儲的年下載量是指開放存取倉儲里的所有資源在一年內被下載的總次數，是一個反映倉儲資源傳播力程度的重要指標。

根據以上分析，開放存取倉儲形式評價的指標體系結構見圖1。

4.2 開放存取倉儲的內容評價

早期的開放存取倉儲是沒有質量控制措施的，只要求作者在提交論文時符合倉儲規定的標準格式(如PDF或Word)和學術規范，并通過限定學科范圍，一般沒有針對文章內容實施嚴格的評審。這實際上屬于“自存儲”行為。但是隨著開放存取倉儲的規范發展，許多開放存取倉儲都采取了相應的質量控制措施以保證倉儲資源的質量，如同行評議等，對學者上傳的學術資源進行審核，以控制上傳資源的質量。這確實從很大程度上保證了開放存取倉儲里資源的質量。但開放存取倉儲里的資源質量如何是不可能如形式評價中用指標和數字就能來評判的。它需要由學科的專家認真閱讀其所屬學科資源后才能給予倉儲里這個學科資源一個總體的定性評價。這種內容評價雖然比較花時間，但是得出的結論相對更可靠。可以采用調查問卷的方法，讓專家根據評價等級給予評定。評價可采用調查問卷(見表1)的形式。

表1 開放存取倉儲內容評價調查問卷

4.3 開放存取倉儲的效用評價

對開放存取倉儲的效用評價是用戶在使用開放存取倉儲一段時間后，倉儲對用戶產生的作用和影響程度的評價，如內容評價一樣不能采取定量的指標來評判。因此也可以采用調查的形式向用戶了解其使用倉儲后對其學習工作和技能提升產生影響的感受。

表2 開放存取倉儲效用評價調查問卷

5 結語

本文在“全評價”分析框架的指導下，針對開放存取倉儲的特點，構建了包含形式評價、內容評價和效用評價三方面的較為全面完整的開放存取倉儲評價體系，可供具體的評價參考。具體的評價首先需要明確評價的目的，從評價目的出發，選擇合適的評價主體，類分評價客體，確定評價標準及指標，采用定性、定量以其一為主，或二者結合的評價方法，制定詳細的評價程序等制度，就能取得評價開放存取倉儲的實際效果。本文篇幅所限，具體的評價待另文撰寫。

[1] Tansley R，Bass M，Stuve D，et al.The DSpace institutional digital repository system：Current functionality[M]//Proceedings of the 3rd ACM/IEEE-CS joint conference on digital libraries. Washington，DC：IEEE Computer Society，2003：87-97.

[2] Kim H H， Kim Y H. Usability study of digital institutional repositories [J]. The Electronic Library，2008，26 （6）：863-881.

[3] 王穎潔.機構知識庫建庫軟件DSpace、Eprints、Fedora 的比較分析[J].圖書館學刊，2008 （4）：133-137.

[4] Open Society Institute. A Guide to Institutional Repository Software [EB/OL]. [2013-06-26].http：//www.soros.org/openaccess/pdf/OSI_Guide_to_IR_Software_v3.pdf.

[5] Xia J F，Sun L. Factors to assess self-archiving in institutional repositories[J]. Serials Review，2007，33（2）：73-80.

[6] 郭清蓉. 機構知識庫自存儲評價體系的構建[J]. 情報雜志，2009，28 （7）：74-76，73.

[7] Westrienen G V，Lynch C A. Academic institutional repositories： Deployment status in 13 Nations as of Mid 2005[EB/OL].[2013-06-27]. http：//www.Dlib.org/dlib/september05/westrienen/09westrienen.html.

[8] Westell M. Institutional Repositories：Proposed Indicators of Success[J]. Library Hi Tech，2006 （2）：211-226.

[9] Kim H H，Kim Y H. An Evaluation Model for the National Consortium of Institutional Repositories of Korean Universities[J].American Society for Information Science and Technology，2007 （1）：1-19.

[10] 西班牙的賽博計量學實驗室于2010 年1 月推出的機構庫400強名單[EB/OL].[2013-06 -22]. http：//repositories.Webometrics.info/toprep.asp?offset= 250.

[11] 馬學良. 機構庫評價的關鍵問題研究[J]. 圖書情報工作，2011，55 （11）：9-12.

[12][13][14][15][16]葉繼元.人文社會科學評價體系探討[J].南京大學學報（哲學·人文科學·社會科學版），2010，47 （1）：97-110.

[17][23][24]陳銘. 基于“全評價”體系的圖書館電子書評價研究[J]. 圖書與情報，2012 （1）：22-26.

[18][19][20][21][22][25][26][27][28]葉繼元，陳銘.開放存取期刊學術質量“全評價”體系研究———以“中國科技論文在線優秀期刊”為例[J].圖書與情報，2013（2）：81-87.

[29][30]張毅君. 機構知識庫質量評價指標研究[J]. 現代情報，2011，31 （10）：50-52，56.

[31]崔宇紅. 開放存取知識庫的網絡計量排名和評價研究[J]. 圖書情報工作，2010，54 （20）：115-118.