〔摘要〕文獻(xiàn)信息資源評(píng)價(jià)為信息資源建設(shè)工作提供了科學(xué)決策和客觀依據(jù),要實(shí)現(xiàn)科學(xué)、合理的文獻(xiàn)信息資源評(píng)價(jià)工作必須構(gòu)建一套完整、科學(xué)、可行的文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系。本文利用層次分析法(AHP)構(gòu)建文獻(xiàn)信息資源評(píng)價(jià)的層次結(jié)構(gòu)模型,然后采用德?tīng)柗品磳?zhuān)家調(diào)查法來(lái)確定指標(biāo)的權(quán)重系數(shù)。最后,根據(jù)文獻(xiàn)信息資源評(píng)價(jià)工作實(shí)踐的指導(dǎo),確定評(píng)價(jià)指數(shù)標(biāo)準(zhǔn),得出文獻(xiàn)信息資源評(píng)價(jià)的計(jì)算公式,并以河北建筑工程學(xué)院圖書(shū)館為實(shí)例進(jìn)行信息資源模擬評(píng)價(jià)。
〔關(guān)鍵詞〕文獻(xiàn)信息資源;信息資源評(píng)價(jià);德?tīng)柗品ǎ粚哟畏治龇ǎ辉u(píng)價(jià)指標(biāo)體系
收稿日期:2011-08-23
基金項(xiàng)目:河北省2011年度社會(huì)科學(xué)發(fā)展研究課題“文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系研究”(課題編號(hào):201103047)研究成果。
作者簡(jiǎn)介:杜占江(1967-),男,館長(zhǎng),研究館員,碩士,研究方向:圖書(shū)情報(bào)管理和數(shù)字文獻(xiàn)資源管理,發(fā)表論文數(shù)篇。
DOI:10.3969/j.issn.1008-0821.2011.10.002
〔中圖分類(lèi)號(hào)〕G253 〔文獻(xiàn)標(biāo)識(shí)碼〕A 〔文章編號(hào)〕1008-0821(2011)10-0009-06
Based on Delphi Method and AHP Constructing EvaluationTarget System of Document Information Resources
Du Zhanjiang Wang Jinna Xiao Dan(Library,Heibei Institute of Architecture Civil Engineering,Zhangjiakou 075024,China)
〔Abstract〕Evaluation target system of document information resources provides scientific and objective basis for building the information resources,so it must construct a integral and scientific evaluation target system of document information resources.The evaluation target system of document information resources used the AHP model,and Delphi method based on the experts and the comparison criterion to determine the target weight.Finally,according to the instruction of document information resources evaluation exercise determines the evaluation number standard,and obtains the formula of document information resources evaluation.The author took the Library of Hebei Architecture Engineering Institute as the example to carrying on the evaluation.
〔Key words〕document information resources;evaluation of information resources;delphi method;AHP;evaluation target system
1 文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系構(gòu)建的重要性
為了適應(yīng)科學(xué)技術(shù)的快速發(fā)展,文獻(xiàn)信息服務(wù)機(jī)構(gòu)加大了信息資源建設(shè)的力度,所藏文獻(xiàn)呈現(xiàn)出知識(shí)載體多元化的特點(diǎn),紙本文獻(xiàn)、電子讀物、聲像資料和數(shù)字信息資源并存。一方面,文獻(xiàn)信息資源建設(shè)需要財(cái)力、人力、物力多方的投入,這些投入價(jià)值的高低、投入效果的期望值、投入與產(chǎn)出的合理性等,決定了信息資源能否得到可持續(xù)性的發(fā)展。這些都需要通過(guò)開(kāi)展信息資源評(píng)價(jià)工作來(lái)判斷信息資源建設(shè)投入的價(jià)值。另一方面,在當(dāng)前網(wǎng)絡(luò)技術(shù)飛速發(fā)展,如何平衡不同載體信息資源在整體信息資源體系中的比例,如何提高各種類(lèi)型信息資源的利用效能,如何提高文獻(xiàn)信息資源的建設(shè)質(zhì)量,這些都有賴(lài)于文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系的指導(dǎo)。為使信息資源隨時(shí)保持最佳的利用狀況,并能夠最大限度地滿(mǎn)足讀者的需要,文獻(xiàn)信息服務(wù)機(jī)構(gòu)必須重視對(duì)信息資源的評(píng)價(jià),并根據(jù)評(píng)價(jià)結(jié)果有針對(duì)性地、及時(shí)地對(duì)信息資源建設(shè)工作進(jìn)行調(diào)整和優(yōu)化。因此,只有擁有了較為健全的信息資源評(píng)價(jià)指標(biāo)體系,文獻(xiàn)信息服務(wù)機(jī)構(gòu)才能確定信息資源的投入是否合理,才能有效提高信息資源建設(shè)質(zhì)量,才能更好地為公眾提供高質(zhì)量、高水平、更加便利的服務(wù)。但是到目前為止,還沒(méi)有一個(gè)公認(rèn)的很有說(shuō)服力的評(píng)價(jià)方法和評(píng)價(jià)指標(biāo)體系。因此,進(jìn)行文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系的研究與探索是具有十分重要的意義,是文獻(xiàn)信息資源建設(shè)研究面臨的一個(gè)重要課題。
劉茲恒教授在《信息媒體及其采集》一書(shū)中指出:“在某種意義上,信息資源評(píng)價(jià)也可以看成是一種技術(shù)或工具,它是根據(jù)既定的信息資源發(fā)展政策,結(jié)合具體的指標(biāo)體系,對(duì)信息資源的各個(gè)組成部分(印刷型信息媒體、電子型信息媒體、網(wǎng)絡(luò)信息資源等)進(jìn)行具體的測(cè)度和計(jì)算,以獲得信息資源和用戶(hù)之間相關(guān)關(guān)系的數(shù)據(jù),以指導(dǎo)新一輪的信息資源建設(shè)。”可見(jiàn),文獻(xiàn)信息資源評(píng)價(jià)是信息資源建設(shè)循環(huán)過(guò)程中一個(gè)極其重要的反饋環(huán)節(jié),它為文獻(xiàn)信息服務(wù)機(jī)構(gòu)開(kāi)展下一步信息資源建設(shè)的科學(xué)決策提供了客觀依據(jù)與實(shí)踐參考。隨著信息技術(shù)的發(fā)展,傳統(tǒng)信息資源和數(shù)字信息資源共同構(gòu)成了信息資源的結(jié)構(gòu)模式,因此,對(duì)文獻(xiàn)信息資源的評(píng)價(jià)要實(shí)現(xiàn)傳統(tǒng)信息資源和數(shù)字信息資源二者的有機(jī)結(jié)合。
2 關(guān)于德?tīng)柗品ê蛯哟畏治龇?/p>
2.1 德?tīng)柗品ê?jiǎn)介
德?tīng)柗品ㄊ嵌问澜绱髴?zhàn)后發(fā)展起來(lái)的一種直觀預(yù)測(cè)法,又名專(zhuān)家意見(jiàn)法或?qū)<艺{(diào)查法,是依據(jù)系統(tǒng)的程序,對(duì)研究對(duì)象的發(fā)展趨勢(shì)和狀態(tài)進(jìn)行調(diào)查、分析和判斷的方法。它采用匿名方式,以反復(fù)的填寫(xiě)問(wèn)卷收集專(zhuān)家意見(jiàn),以集結(jié)專(zhuān)家的共識(shí)及搜集各方意見(jiàn)。德?tīng)柗品ǖ幕静襟E如下:①選擇咨詢(xún)專(zhuān)家組,一般以10~30人為宜;②設(shè)計(jì)調(diào)查表,進(jìn)行專(zhuān)家組問(wèn)卷調(diào)查;③回收調(diào)查表并進(jìn)行統(tǒng)計(jì)處理,以此統(tǒng)計(jì)結(jié)果為依據(jù),制作第二輪調(diào)查表,這樣循環(huán)往復(fù)直至調(diào)查數(shù)據(jù)趨于一致;④統(tǒng)計(jì)數(shù)據(jù),整理最終的調(diào)查報(bào)告,得出結(jié)論。
2.2 層次分析法概述
層次分析法(Analytical Hierarchy Process,以下簡(jiǎn)稱(chēng)AHP)是美國(guó)匹茲堡大學(xué)教授薩蒂于20世紀(jì)70年代提出的一種系統(tǒng)分析方法,將與決策有關(guān)的元素分解成目標(biāo)、準(zhǔn)則、方案等層次,在此基礎(chǔ)上進(jìn)行定量分析與定性分析相結(jié)合的多目標(biāo)決策分析方法,它把人的思維過(guò)程層次化、數(shù)量化,運(yùn)用模糊數(shù)學(xué)中的矩陣算法,計(jì)算出各個(gè)指標(biāo)的權(quán)重,為分析、決策提供定量的依據(jù)。層次分析法的基本思路是將整體問(wèn)題分解成若干個(gè)具體問(wèn)題,形成一個(gè)遞階的、有序的層次結(jié)構(gòu)模型。然后,對(duì)模型中的每一個(gè)層次因素的相對(duì)重要性,根據(jù)人們對(duì)客觀現(xiàn)實(shí)的判斷給予一個(gè)定量的表示。最后,根據(jù)數(shù)學(xué)計(jì)算方法計(jì)算出各層因素相對(duì)重要性的權(quán)重值,從而得到最低層(目標(biāo)層)相對(duì)于最高層(方案層)的相對(duì)重要次序的一個(gè)組合權(quán)重值,以此作為評(píng)價(jià)的依據(jù)。所謂權(quán)重,是表示因素重要性的相對(duì)數(shù)值。是以某種數(shù)量形式對(duì)比、權(quán)衡被評(píng)價(jià)事物總體中諸因素相對(duì)重要程度的量值。同一組指標(biāo)數(shù)值,不同的權(quán)重系數(shù),會(huì)導(dǎo)致截然不同的甚至相反的評(píng)價(jià)結(jié)論。因此,合理確定權(quán)重對(duì)評(píng)價(jià)或決策有著重要意義。
3 構(gòu)建文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系方法
3.1 總體思路
本文所構(gòu)建的文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系是以成熟的傳統(tǒng)信息資源的評(píng)價(jià)指標(biāo)體系為基本的模板,并對(duì)之加以修改和組合。在評(píng)價(jià)數(shù)字信息資源時(shí),張會(huì)田認(rèn)為“應(yīng)從信息類(lèi)型、信息量、存取方式、利用條件和系統(tǒng)易用性等方面,采用定量評(píng)價(jià)、定性評(píng)價(jià)和經(jīng)驗(yàn)評(píng)價(jià)相結(jié)合的方法,對(duì)不同類(lèi)型、不同特性的電子資源的文獻(xiàn)保障能力和對(duì)印刷型文獻(xiàn)的替代程度,進(jìn)行全方位的評(píng)價(jià)。比較可行的方法是將電子文獻(xiàn)的保障能力附加到印刷型文獻(xiàn)保障能力指標(biāo)體系中,形成綜合的評(píng)價(jià)”。我們構(gòu)建文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系的思路,是將數(shù)字信息資源的評(píng)價(jià)指標(biāo)附加并融入到傳統(tǒng)信息資源評(píng)價(jià)指標(biāo)體系中。具體步驟如下。第一步,明確任務(wù),即構(gòu)建科學(xué)、合理、可行的文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系框架、設(shè)置指標(biāo)權(quán)重系數(shù)及指數(shù)標(biāo)準(zhǔn)。第二步,我們列舉出盡可能多而全的影響文獻(xiàn)信息資源評(píng)價(jià)的預(yù)評(píng)價(jià)指標(biāo),將預(yù)評(píng)價(jià)指標(biāo)劃分為4個(gè)大類(lèi)57個(gè)小項(xiàng),建立目標(biāo)和影響因素之間的層次框架。第三步,運(yùn)用德?tīng)柗品ǎO(shè)計(jì)合理、科學(xué)、規(guī)范的專(zhuān)家調(diào)查問(wèn)卷,并向?qū)<野l(fā)放調(diào)查問(wèn)卷,進(jìn)行兩輪專(zhuān)家調(diào)查。第一輪專(zhuān)家調(diào)查的目的是從預(yù)評(píng)價(jià)指標(biāo)中篩選出專(zhuān)家認(rèn)為相對(duì)重要的(即影響評(píng)價(jià)程度等級(jí)較高的)評(píng)價(jià)指標(biāo),構(gòu)建文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系層次簡(jiǎn)表,并對(duì)指標(biāo)內(nèi)涵進(jìn)行詳細(xì)述評(píng)。第二輪專(zhuān)家調(diào)查的目的是通過(guò)進(jìn)行評(píng)價(jià)指標(biāo)兩兩比較矩陣表調(diào)查問(wèn)卷,讓專(zhuān)家判定指標(biāo)體系簡(jiǎn)表中各個(gè)指標(biāo)之間的相對(duì)重要性。第四步,在第二輪專(zhuān)家調(diào)查之后,我們對(duì)調(diào)查問(wèn)卷的結(jié)果進(jìn)行匯總、分析、計(jì)算,運(yùn)用層次分析法(AHP)計(jì)算出指標(biāo)權(quán)重,并得出清晰的圖書(shū)館信息資源評(píng)價(jià)指標(biāo)體系權(quán)重表。第五步,我們對(duì)C層指標(biāo)評(píng)價(jià)指數(shù)標(biāo)準(zhǔn)的最佳值進(jìn)行詳細(xì)的闡述,并構(gòu)建出百分制的圖書(shū)館信息資源評(píng)價(jià)指數(shù)標(biāo)準(zhǔn)表,依此得出文獻(xiàn)信息資源的評(píng)價(jià)計(jì)算公式。第六步,通過(guò)局部實(shí)驗(yàn),得出完善的文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系。
3.2 運(yùn)用德?tīng)柗品ㄟM(jìn)行專(zhuān)家調(diào)查
參考德?tīng)柗品ǖ幕静襟E,筆者制定了構(gòu)建文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系的過(guò)程中采用德?tīng)柗品ǖ木唧w實(shí)施步驟。第一步,組成專(zhuān)家小組,確定咨詢(xún)專(zhuān)家。需要注意的是選擇專(zhuān)家要遵循以下原則。專(zhuān)家要具備與研究課題相關(guān)的專(zhuān)業(yè)素質(zhì),要保證專(zhuān)家具備合理的知識(shí)結(jié)構(gòu),必須是具有一定的專(zhuān)業(yè)知識(shí)和豐富的實(shí)踐經(jīng)驗(yàn)的文獻(xiàn)信息資源建設(shè)、評(píng)價(jià)的人員。另外,專(zhuān)家組的人數(shù)要依據(jù)研究課題的規(guī)模而定,一般以10~30人為宜。人數(shù)太少會(huì)限制學(xué)科的代表性,缺乏權(quán)威性;而人數(shù)太多則無(wú)形中加大了組織專(zhuān)家調(diào)查人員的工作難度。根據(jù)達(dá)爾基對(duì)大量具有不同專(zhuān)家人數(shù)的德?tīng)柗品ǖ谝惠喺{(diào)查的應(yīng)答結(jié)果統(tǒng)計(jì),表明15人以上的德?tīng)柗茖?zhuān)家調(diào)查組得到的評(píng)價(jià)結(jié)果具有足夠的可信度。第二步,設(shè)計(jì)調(diào)查表并進(jìn)行第一輪專(zhuān)家咨詢(xún)。讓各位專(zhuān)家對(duì)預(yù)評(píng)價(jià)指標(biāo)的相對(duì)重要程度進(jìn)行順序排列。第三步,回收調(diào)查表并將各位專(zhuān)家第一次的調(diào)查意見(jiàn)進(jìn)行匯總、整理,構(gòu)建出圖書(shū)館信息資源評(píng)價(jià)指標(biāo)體系的簡(jiǎn)表,簡(jiǎn)表中的指標(biāo)體系包括4個(gè)層次共32個(gè)指標(biāo)。第四步,進(jìn)行第二輪專(zhuān)家調(diào)查,通過(guò)兩兩比較矩陣表的方式,讓專(zhuān)家對(duì)指標(biāo)體系簡(jiǎn)表中的32個(gè)指標(biāo)相對(duì)重要關(guān)系作出判斷。第五步,將所有專(zhuān)家的修改意見(jiàn)收集、匯總并進(jìn)行處理,經(jīng)過(guò)各項(xiàng)指標(biāo)的匯總之后,得出文獻(xiàn)信息資源評(píng)價(jià)的判斷矩陣表,以此作為計(jì)算各指標(biāo)權(quán)重的矩陣計(jì)算模板。
課題組通過(guò)E-Mail方式向?qū)<野l(fā)出《文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)兩兩比較矩陣調(diào)查表》調(diào)查問(wèn)卷,讓專(zhuān)家判定指標(biāo)體系簡(jiǎn)表中各個(gè)指標(biāo)之間的相對(duì)重要性,專(zhuān)家給予了認(rèn)真的反饋,我們對(duì)調(diào)查問(wèn)卷進(jìn)行了統(tǒng)計(jì),因指標(biāo)體系較為繁雜,僅列出4個(gè)一級(jí)指標(biāo)之間的判斷矩陣關(guān)系,如表1所示,并在具體的操作上進(jìn)行了些小的改動(dòng),以使其更加具有實(shí)踐的可操作性。
表1 文獻(xiàn)信息資源評(píng)價(jià)的判斷矩陣
3.3 運(yùn)用層次分析法計(jì)算指標(biāo)權(quán)重
因?qū)哟畏治龇ň哂懈叩冗壿嬓浴⑾到y(tǒng)性、簡(jiǎn)潔性和實(shí)用性而受到社會(huì)經(jīng)濟(jì)各個(gè)領(lǐng)域進(jìn)行決策分析與預(yù)報(bào)的廣泛應(yīng)用。基于層次分析法對(duì)各指標(biāo)之間相對(duì)重要程度的分析具備更加清晰的邏輯性,同時(shí)附加上數(shù)學(xué)的分析、處理與計(jì)算方法,其結(jié)果的可信度更高。層次分析法的基本步驟如圖1所示。
根據(jù)上述AHP的使用步驟來(lái)計(jì)算指標(biāo)的權(quán)重。因指標(biāo)體系較為復(fù)雜,在此僅以一級(jí)指標(biāo)即“信息資源保障、信息資源質(zhì)量、信息資源利用、資源利用效益”為例進(jìn)行具體的權(quán)重計(jì)算。
表1的判斷矩陣可簡(jiǎn)化為:
通過(guò)層次分析法得出了文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系權(quán)重總表,通過(guò)權(quán)重表可以看出,信息資源的質(zhì)量與信息資源利用的權(quán)重趨于領(lǐng)先地位,這說(shuō)明在網(wǎng)絡(luò)環(huán)境下,文獻(xiàn)信息資源建設(shè)工作的評(píng)價(jià)正在向以社會(huì)標(biāo)準(zhǔn)為主,提高滿(mǎn)足讀者信息需求的能力方面轉(zhuǎn)變。只有高質(zhì)量的信息資源才能夠提高讀者的信息資源利用效率。還可以看出,信息結(jié)構(gòu)、信息含量以及信息資源的利用程度是重中之重,只有擁有合理的信息資源結(jié)構(gòu)、豐富的信息資源含量,才能夠不斷提高信息資源的利用率。
3.4 構(gòu)建評(píng)價(jià)指數(shù)標(biāo)準(zhǔn)表
本文依據(jù)層次結(jié)構(gòu)模型中設(shè)立的C層指標(biāo)及文獻(xiàn)信息服務(wù)機(jī)構(gòu)進(jìn)行信息資源評(píng)價(jià)工作的實(shí)踐設(shè)立了各指標(biāo)評(píng)價(jià)指數(shù)標(biāo)準(zhǔn)的最佳值,采用百分制構(gòu)建文獻(xiàn)信息資源評(píng)價(jià)指數(shù)標(biāo)準(zhǔn)表,如表3所示。
表3 文獻(xiàn)信息資源評(píng)價(jià)指數(shù)表
通過(guò)對(duì)河北建筑工程學(xué)院圖書(shū)館文獻(xiàn)信息資源的評(píng)價(jià),得出以下發(fā)現(xiàn)與建議:(1)建立的文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系與評(píng)價(jià)指數(shù)標(biāo)準(zhǔn)既有優(yōu)勢(shì),同時(shí)也存在著不足之處,特別是在確定各指標(biāo)的權(quán)重及分?jǐn)?shù)方面帶有強(qiáng)烈的主觀色彩。(2)評(píng)價(jià)指數(shù)中的標(biāo)準(zhǔn)分?jǐn)?shù)界限不夠清晰、明確,部分指標(biāo)的評(píng)價(jià)標(biāo)準(zhǔn)未實(shí)現(xiàn)量化,在具體評(píng)價(jià)時(shí)不好掌握其標(biāo)準(zhǔn)與尺度。(3)文獻(xiàn)信息資源評(píng)價(jià)工作需要?jiǎng)?chuàng)立一個(gè)可持續(xù)的科學(xué)模式,這種模式應(yīng)當(dāng)考慮不斷改進(jìn)的技術(shù)、度量、評(píng)價(jià)和利用等問(wèn)題。
5 結(jié) 語(yǔ)
本文所構(gòu)建的文獻(xiàn)信息資源評(píng)價(jià)指標(biāo)體系中的指標(biāo)內(nèi)涵與評(píng)價(jià)指數(shù)標(biāo)準(zhǔn)需要進(jìn)一步完善。目前的參考標(biāo)準(zhǔn)僅是我們自身的經(jīng)驗(yàn)和相關(guān)研究的歸納總結(jié),更多的是提供思路和方法。更加科學(xué)、完善、可行的參考標(biāo)準(zhǔn),是需要在特定的機(jī)構(gòu)和團(tuán)體的組織下,進(jìn)行試點(diǎn)評(píng)價(jià),根據(jù)試點(diǎn)評(píng)價(jià)的結(jié)果,集思廣益對(duì)評(píng)價(jià)指標(biāo)進(jìn)行修訂與完善。我國(guó)文獻(xiàn)信息服務(wù)機(jī)構(gòu)在開(kāi)展文獻(xiàn)信息資源評(píng)價(jià)活動(dòng)的過(guò)程中,要體現(xiàn)出傳統(tǒng)信息資源與數(shù)字信息資源并重的思想與原則,信息服務(wù)聯(lián)盟或合作體在信息資源評(píng)價(jià)工作中要充分發(fā)揮它的領(lǐng)導(dǎo)與協(xié)調(diào)作用。文獻(xiàn)信息服務(wù)機(jī)構(gòu)要根據(jù)自己的實(shí)際情況,如類(lèi)型、規(guī)模、人員等進(jìn)行信息資源評(píng)價(jià)工作,要具體問(wèn)題具體分析,可以對(duì)評(píng)價(jià)指標(biāo)進(jìn)行合理地調(diào)整。
參考文獻(xiàn)
[1]劉茲恒.信息媒體及其采集[M].北京:北京大學(xué)出版社,2008.
[2]馬謙杰.信息資源評(píng)價(jià)理論與方法[M].北京:經(jīng)濟(jì)科學(xué)出版社,2002.
[3]肖瓏,等.電子資源評(píng)價(jià)指標(biāo)體系的建立[J].大學(xué)圖書(shū)館學(xué)報(bào),2002,(3):35-42.
[4]陳水湘,王嬌.網(wǎng)絡(luò)參考信息源評(píng)價(jià)的指標(biāo)研究[J].咸寧學(xué)院學(xué)報(bào),2009,(4):164,168.
[5]趙元章.談?wù)剤D書(shū)館藏書(shū)的質(zhì)量評(píng)價(jià)問(wèn)題[J].情報(bào)雜志,2005,(2)125-126,129.
[6]楊忻.數(shù)字館藏評(píng)價(jià)指標(biāo)的獲取方法[J].圖書(shū)館,2008,(5):77-79.
[7]國(guó)際標(biāo)準(zhǔn)化組織.ISO11620:2008《Information and Documentation—library Performance Indicators》[S].
[8]Ying Zhang.Developing a holistic model for digital library evaluation[J].Journal of the American Society for Information Science Technology,2010,61(1):88-110.