均衡收益和風險的數字資源服務評價方法

張龍昌,劉冬升,楊艷紅,王曉明

(1.渤海大學 信息科學與技術學院,遼寧 錦州 121013;2.渤海大學 圖書館,遼寧 錦州 121013)

均衡收益和風險的數字資源服務評價方法

張龍昌1,劉冬升1,楊艷紅2,王曉明1

(1.渤海大學 信息科學與技術學院,遼寧 錦州 121013;2.渤海大學 圖書館,遼寧 錦州 121013)

為讀者提供期望的數字資源服務，基于讀者體驗對大量數字資源服務進行評價成為迫切需要解決的問題。現有基于評分的數字資源服務評價方法更多地考慮評分的收益，缺少對評分風險的研究。提出了一種均衡收益和風險的數字資源服務評價方法，并提出了常用的數字資源服務評價指標；采用5分制方法采集讀者對數字資源服務的體驗；用均值標準差刻畫評分；建立數字資源服務讀者的效用函數，計算效用矩陣；根據該問題特點，簡化TOPSIS方法對數字資源服務進行比較排序。實例演示了有權重和無權重條件下數字資源服務的評價過程，同時通過分析說明提出方法的合理性。該方法從一個新的視角解決數字資源服務評價問題，對數字資源服務的精確評價提供了一條新的解決思路。

數字資源服務；評價；收益和風險；讀者體驗；TOPSIS

0 引 言

信息技術的發展促使互聯網上出現大量的數字圖書館、學術數據庫、網絡文庫等數字資源服務。大多實體圖書館和檔案館已能夠有效提供數字化服務，如世界數字圖書館、中國國家數字圖書館等；也有從誕生就提供數字資源服務的數字圖書館，如超星數字圖書館。

學術數據庫是一種提供科技文獻數字資源的重要數字資源服務，如Science Citation Index、Engineering Index、EBSCO、知網、萬方、維普等。互聯網上還有一些提供文庫資源的服務，如百度文庫、新浪文庫、豆丁網、道客巴巴等。伴隨云計算的興起，互聯網上大數據的形成，數字資源服務將進一步增加，讀者將像選擇商品一樣從互聯網(或云計算平臺)上選擇服務質量高的數字資源服務。對同類型的數字資源服務進行有效評價，作為讀者選擇服務的依據，能有效改善大數據環境下由于信息過載、讀者無從下手等不良的用戶體驗。

評分方法被廣泛應用于客戶/用戶/讀者感知數字資源服務質量的評價中，通常采用5分制(即5-優、4-良、3-可、2-劣、1-差)；以往研究通常將所有客戶/用戶/讀者的評分求平均(體現評分的總體狀況，即收益)，然后采用多屬性決策方法對服務進行排序，沒有考慮評分序列的分布(體現評分的穩定狀況，即風險)對決策結果的影響。為解決以往評價方法只考慮收益不考慮風險造成評價結果偏差的問題，提出均值-標準差描述客戶/用戶/讀者的評分序列，在描述評分序列收益的同時，充分考慮評分序列的風險；基于均值-標準差的評分將數字資源服務的各屬性描述為均值-標準差，形成了面向均值-標準差的多屬性決策問題。然而針對該問題的研究存在不足，提出改進TOPSIS方法解決面向均值-標準差的多屬性決策問題，為客戶/用戶/讀者提供選擇服務依據。

1 相關工作

目前存在一些對數字圖書館綜合服務質量評價的方法。借鑒國際上已有的評價方法，從國內公共圖書館的實際情況出發，公共數字圖書館服務質量的評價需要兼顧讀者和數字圖書管理者，從讀者和數字圖書管理者角度提出的服務評價指標體系是有意義的嘗試[1]；還有一些從不同角度建立的數字資源服務評價指標體系促進了評價指標體系的發展[2-5]。建立全面、準確的評價指標體系是科學評價數字資源服務的基石，高效、準確的評價方法是不可缺少的工具。層次分析法被廣泛應用于社會生活中具有定性指標的多屬性決策中，也有研究者對其進行改進并應用到高校圖書館數字資源服務評價體系中[6]。為解決具有模糊性指標的數字資源服務評價，需要建立評價指標對評價等級的隸屬度函數，從而進行模糊評價，再利用BP神經網絡對數字資源服務進行評價也是不錯的選擇[7]。從讀者有效利用的網絡范圍內，通過網關統計的方法，對讀者的行為進行分析，雖然不能獲得精確的數字資源使用數據，但能獲得可觀的結果[8]。為研究數字圖書網站的接口可用性，從用戶應用的角度出發，研究者對網站的接口進行評估[9-11]。此外，還有一些研究成果豐富了數字資源服務評價方法，如基于結構方程的方法[12]、基于GAP理論模型的方法[13]。在對數字資源服務進行評價后，提出了一些改進數字資源服務的對策和建議[14-15]。

2 數字資源服務評價

2.1 評價指標及描述

數字資源服務評價過程，首先需要建立數字資源服務評價的指標體系，對于指標體系的研究成果已經較多，重點考慮與讀者感知相關的數字資源服務指標，體現服務質量指標的易用性、響應速度、可用性等，體現數字資源質量指標的覆蓋面、易讀性、參考價值、知識量等。為簡化對評價方法的描述，這里選取對讀者相對重要的指標(易用性、響應速度、易讀性、參考價值)作為指標體系，實際評價過程中可根據實際情況對指標體系進行重建，不影響評價方法的使用，讀者對數字資源服務指標的體驗采用5分制打分法。圖1是3個數字文庫易用性指標的10個用戶反饋分數分布情況，其中文庫1的分數為(4、4、4、5、4、4、4、5、4、4)，文庫2的分數為(3、5、3、5、5、5、3、5、3、5)，文庫3的分數為(1、3、2、2、3、3、2、3、2、3)。文庫1與文庫2的均值(效益)為4.2，文庫3的均值(效益)為2.4，顯然在效益相同的情況下，文庫1評分更穩定，是更好的選擇。因此采用均值描述評分的效益，用標準差描述評分的風險，更能精確描述指標的評分狀況。

圖1 三個數字文庫易用性指標評分

假設某請求數字書庫服務讀者的效益率服從或接近正太分布，設預期效益為E、效益標準差為δ，其效用函數為：

U=E-0.005Aδ2

(1)

其中，U為效用值；A為請求服務讀者個人的風險厭惡指數。

讀者對風險的厭惡程度有三種類型：風險喜好型、風險中性型和風險厭惡型。前兩種在服務評價時不需要考慮風險，但絕大多數讀者為風險厭惡型，因此規定一個風險厭惡系數A的范圍。參照美國投資理財行業規定，設定A在2～6之間，用來測度風險厭惡程度，對于不同讀者，A的測定可采用問卷調查法獲取。

2.2 簡化的TOPSIS

TOPSIS(Technique for Order Preference by Similarity to an Ideal Solution)[16]法是C.L.Hwang和K.Yoon于1981年提出的，是根據有限個評價對象與理想化目標的接近程度進行排序的方法，在現有的對象中進行相對優劣的評價。文中對其進行簡化改進，以適應面向均值-標準差的數字資源服務排序，首先將問題公式化。

設待評價數字資源服務集S={s1,s2,…,sm}，由n個評價指標{c1,c2,…,cn}構成評價指標體系，經過讀者打分后，用效用函數(式(1))計算效用值，構成數字資源服務評價矩陣U。

(2)

其中，uij表示服務si的cj指標的效用值。

設請求數字資源服務讀者對各指標權重為W=(w1,w2,…,wn)，wj(j=1,2,…,n)表示請求服務讀者對cj屬性的權重，由于讀者很難精確指定指標權重，這里同樣采用打分方式計算，方法如下：

(3)

其中，rj為請求服務讀者對指標j的打分(分數從1～5)。

基于數字資源服務評價矩陣和請求服務讀者的權重，將備選的數字資源服務進行排序，基于TOPSIS思想給出以下排序步驟。

步驟1：構建加權評價矩陣，經過加權后，在評價矩陣中體現請求服務讀者對各指標的重要程度；這里不需規格化，因為評價矩陣各指標都由相同的打分標準計算出效用，具有相同量綱，從而有效減少了計算工作量。

(4)

步驟2：計算正理想解和負理想解。

為確定備選服務集中服務的優劣，需要定義比較標準，使用加權矩陣的正理想解A+和負理想解A-作為比較標準。在評價矩陣指標體系中存在效益型指標和成本型指標，效益型指標值越大對評價結果越有利(如易用性、易讀性、參考價值)，成本型指標值越小對評價結果越有利(如響應速度)；由于評分5到1分別表示優良可劣差，對成本型指標(如響應速度)描述為響應速度越快越優，因此在計算時不需要對效益型指標和成本性指標加以處理。加權評價矩陣的正負理想解計算方法見式(5)。

(5)

正理想解是最好的數字資源服務，它的各個指標值都達到各備選方案中的最好值；負理想解是最差數字資源服務，它的各個指標值都達到各備選方案中的最壞值；一般情況下正、負理想解是不存在的。

步驟3：計算備選方案到正負理想解的距離。

(6)

步驟4：計算備選服務的最優度。

TOPSIS的基本思想是距離正理想解越近并且距離負理想解越遠的備選服務越優；反之距離負理想解越近并且距離正理想解越遠的備選服務越差。下面基于TOPSIS的基本思想給出備選服務的最優度計算公式：

(7)

其中，Ri∈[0,1]；當Ri=0時，di=A-，表示該服務為最劣服務；當Ri=1時，di=A+，表示該服務為最優服務。在實際的多目標決策中，A+和A-存在的可能性很小。

根據Ri的值按從小到大的順序對各服務進行排列。排序結果貼近度Ri值越大，該服務越優，Ri值最大的為最優服務。

3 實例驗證與分析

對互聯網上的5個數字書庫服務(定義為s1,s2,s3,s4,s5)的4個指標(易用性、響應速度、易讀性、參考價值)進行問卷調查，發出100份問卷，收回55份，取其中10份的評分數據為基礎做實例演示。表1是5個數字書庫服務的評分信息。

現有數字書庫服務請求讀者，經過問卷調查獲得其風險厭惡系數A=2，由式(1)計算數字書庫服務的效用信息(見表2)。

表1 數字書庫服務評分

表2 數字書庫服務的效用信息

該讀者給出的4個指標評分為：5、4、4、5，使用式(3)計算讀者權重為W=(0.28,0.22,0.22,0.28)；為更好地說明評價方法，再考慮各指標權重相同時的計算情況(這里不指定權重)。無權重評價信息見表2，有權重評價信息見表3。

表3 加權的數字書庫服務的效用信息

由式(5)獲得無權重正理想解A+={4.198 2,4.293 2,4.297 7,4.597 3}、負理想解A-={2.395 1,2.894 6,2.597 3,1.991 1}，有權重正理想解A+={1.175 5,0.944 5,0.945 5,1.287 2}和負理想解A-={0.670 6,0.525 0,0.571 4,0.557 5}；由式(6)計算的各數字書庫服務到正負理想解的距離見表4。

表4 數字書庫服務到正負理想解的距離

由式(7)計算5個數字書庫服務的最優度并排序，無權重排序結果為R1(1)>R2(0.632 9)>R4(0.410 7)>R5(0.249 6)>R3(0.188 7)，有權重排序結果為R1(1)>R2(0.659 1)>R4(0.456 3)>R5(0.244 3)>R3(0.197 8)。由計算結果得數字書庫服務1是該實例中服務請求讀者最優服務。

下面做一個直觀說明，將表1中的數字書庫評價信息轉換成均值方差，見表5。

表5 服務評分的均值方差表示

在表5中，服務1各指標在效益和風險方面都優于服務2，排序方法獲取服務1最為合理；服務2相對于服務4各指標的效益高，但風險大，由于假定效益率服從正太分布，所以風險在收益中占的比重相對較小，可以通過調整風險厭惡系數或效用函數常數實現；服務4除了易讀性指標，其他指標都明顯好于服務5；服務5相比服務3，服務5的易用性、參考價值好于服務3，而響應速度、易讀性劣于服務3，總體上服務5稍好于服務3。在指標權重相同情況下評價方法是合理的；在指標權重不同情況下，在計算效用完畢后對指標加權，體現側重程度，更符合不同服務請求讀者對指標的個性化需求，排序結果與無權重結果相同主要源于服務1各指標優并且各指標權重相差不大。

4 結束語

信息技術的發展催生了大量數字資源服務的出現，尤其是云計算技術的興起使得提供數字資源服務變得低成本、高效率，數字資源服務數量將進一步擴大。根據讀者需求，對數字資源服務進行自動評價成為迫切需要解決的問題。評分法被廣泛應用于數字資源服務的讀者體驗中，以往方法對讀者評分的考慮僅僅關心收益(即均值)，缺乏對風險(即評分的波動)的考慮，導致評估結果不穩定，同時考慮均值和標準差對數字資源服務評價結果的影響，提出了均衡收益和風險的數字資源服務評價方法。實例驗證結果證明，該方法能有效彌補數字資源服務評價中存在的不足。

但是，也存在若干問題需進一步研究：有效描述數字資源服務的完備的指標體系的調查與建立；可信的數字資源服務讀者體驗數據的獲得；激勵讀者提交數字資源服務體驗的方法；異構讀者體驗數據的融合等。

[1] 馬寧寧,李春明,周 晨.基于不同立場的公共數字圖書館服務評價研究[J].情報理論與實踐,2013,36(7):63-66.

[2] 肖劍平.基于數字資源成熟度的用戶服務績效評價研究[J].情報理論與實踐,2009,32(8):80-82.

[3] 龐弘燊,徐文賢.數字資源評價與優選指標體系研究[J].圖書情報工作,2009,53(17):27-30.

[4] 梁 茹,李建霞,劉 穎,等.高校圖書館數字資源綜合服務能力評價[J].大學圖書館學報,2015,33(2):38-46.

[5] 范小華,謝德體,龍立霞.數字資源評價指標體系研究[J].圖書情報工作,2008,52(10):74-77.

[6] 梁冬瑩,周慶梅,王克奇.基于層次分析法的數字資源服務績效評價體系構建[J].情報科學,2013,31(1):78-81.

[7] 周慶梅,王克奇.圖書館數字資源服務績效模糊神經網絡評價研究[J].情報科學,2015,33(2):41-45.

[8] 劉 慧.基于網絡行為的圖書館數字資源評價方法研究[J].現代情報,2015,35(2):62-66.

[9] Iqbal M,Ullah A.Usability evaluation of HEC national digital library website:a qualitative approach[J].Library Hi Tech News,2016,33(3):8-10.

[10] Ameen K,Erdelez S.Instructing usability evaluation in LIS curriculum:a case of the US[J].Pakistan Journal of Information Management & Libraries,2016,33(3):8-10.

[11] Sun Y T,Manabat A K M,Chan M L,et al.Accessibility evaluation:manual development and tool selection for evaluating accessibility of E-textbooks[M]//Advances in neuroergonomics and cognitive engineering.[s.l.]:Springer International Publishing,2017:327-337.

[12] 盧 揚,田紅梅,任延安.基于結構方程的高校圖書館數字資源評價實證研究[J].圖書情報工作,2015(S1):88-90.

[13] 余昭芬,黃德斌,湯 藝,等.GAP理論模型在數字資源績效評價中的應用[J].大學圖書館學報,2013,31(4):62-68.

[14] 趙俊顏.圖書館數字資源用戶滿意度的測評研究[J].情報理論與實踐,2012,35(3):91-94.

[15] 趙春輝.我國高校圖書館績效評價研究進展及問題分析[J].圖書館工作與研究,2015(2):16-20.

[16] Hwang C L,Yoon K.Multiple attribute decision making:methods and applications a state-of-the-art survey[M].[s.l.]:Springer Science & Business Media,2012.

An Evaluation Method of Digital Resources Services Balanced Benefits and Risks

ZHANG Long-chang1，LIU Dong-sheng1，YANG Yan-hong2，WANG Xiao-ming1

(1.College of Information Science and Technology,Bohai University,Jinzhou 121013,China;2.Library of Bohai University,Jinzhou 121013,China)

In order to provide the desired service for readers,evaluating digital resources services based on the experience of readers has become an urgent problem to be solved.The existing evaluation methods based on rating has considered more benefits of rating and no risk.An evaluation method of digital resources services balanced benefits and risks is presented.A few common attributes for digital resource services are defined.5-point method is used to collect the services experience of readers.The ratings are described by mean standard deviation and create a utility function for the read of digital resource service request to calculate rating matrix.According to the characteristics of the issue,a simplified method of TOPSIS is constructed to sort digital resource services.Examples demonstrate the digital resource services evaluation process under weighting and no weighting and analyze the approach is reasonable and effective.The method solves the issue of digital resource services evaluation from a novel perspective,and a novel solution is presented to evaluate accurately digital resource services.

digital resources services;evaluation;benefits and risks;experience of readers;TOPSIS

2016-06-16

2016-09-30 網絡出版時間：2017-06-05

教育部人文社會科學研究青年基金項目(15YJC870028)；遼寧省哲學社會科學規劃基金項目(L15BTQ002)；遼寧省自然科學基金(2015020009)；遼寧省科學技術研究資助項目(L2014451)

張龍昌(1977-)，男(滿族)，副教授，博士(博士后)，CCF會員(E200020123M),研究方向為服務計算、云計算、數字圖書館;劉冬升(1988-)，男，碩士，研究方向為服務計算、云計算、數字圖書館。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170605.1506.028.html

TP31

A

1673-629X(2017)08-0159-05

10.3969/j.issn.1673-629X.2017.08.034