學術資源發現系統的用戶體驗測試研究*

王海花 陸為國

1 背景

近幾年來，網絡學術資源發現與獲取系統（Resources Discovery and Delivery System，以下簡稱“發現系統”）被愈來愈多的圖書館及信息機構所采用。發現系統作為一種專業學術搜索服務，通過簽署協議，收集各類學術文獻信息，形成集中的元數據倉儲，并為讀者提供“一站式”學術搜索服務。全球較為知名發現系統有：ProQuest公司旗下Serials Solutions公司的Summon（簡稱Summon）、Exlibris公司的 Primo和Primo Central（簡稱 Primo）、EBSCO公司的 EBSCO Discovery Service（簡稱EDS）、OCLC的WorldCat Local（簡稱WCL）以及Innovative公司Encore Synergy，CALIS的“e讀”、超星公司的“超星中文發現”等。

如何從眾多的資源發現系統中選型和決策，業界同行對發現系統展開多方面的比較與研究。竇天芳等探討發現系統的邏輯結構、核心功能、體系架構[1]，秦鴻等對系統的元數據、架構與功能、檢索與界面、商務因素等進行了詳盡的比較[2]，山東大學圖書館從用戶功能性指標、網絡技術、教學科研支撐等方面進行評估[3]。上述研究強調了發現系統的差異，但卻忽視兩個方面的因素。一方面，發現系統的整體共性越來越多，日益趨向于“同質化”；另一方面，已有的發現系統研究多從圖書館自身想法出發，忽視了發現系統的用戶——讀者。發現系統用戶是廣大讀者，其年齡、學科背景、知識結構、所處環境等方面各不相同，因此用戶對發現系統的感知與認知也不盡相同。在發現系統“同質化”的趨勢背景下，發現系統的比較與選型應充分考慮“用戶體驗”這一因素，而不僅僅是專業館員的內部分析。與此同時，讀者用戶體驗參與，其多樣性恰好彌補了專業館員單一背景的不足。

基于此，筆者所在團隊在日趨“同質化”的發現系統產品的評估與選型過程中，引進用戶體驗概念，并開展“發現系統的用戶體驗測試”，以期測試結果為選購決策提供有力支持，并在今后的引進過程中提出相應的改進意見。

2 用戶體驗

用戶體驗（User Experience）根據國際標準化組織（International Organization for Standardization）ISO9241-210的定義為“用戶在使用或期望使用一個產品、系統、或者服務的感知和回應”。即用戶在使用一個產品（設備、系統或服務）之前、使用中、使用后的全部感受，包括情感、情緒、認知、生理和心理反應、行為等各個方面。

一般來說，用戶體驗測試主要是借助定性和定量的方法，對用戶使用產品時的個人生理、心理和行為等相關指標進行研究，揭示用戶與產品之間交互的有效性、效率或滿意度等。從被試選擇角度，用戶體驗可分為兩類：一類是用戶評價（User-based Evaluation），有時也稱用戶測試；另一類是專家評價（Expert-based Evaluation）。用戶測試即為用戶提供一系列操作場景和任務讓他們去完成，以發現產品（或業務）中的錯誤和缺失（經驗數據：7個用戶就可以找到80%以上的可用性問題）；專家評價由多個業內專家根據一些通用的可用性原則和自己的經驗來發現系統內潛在的可用性問題（經驗數據：5個專家能找到大約75%的可用性問題）[4]。

用戶體驗的測試與評價方法有情景調查、焦點小組、可用性度量、日志文件分析、問卷調查表等，以及基于用戶行為和生理度量的方法，如眼動追蹤評價、行為觀察、腦電信號[5]。其中用戶體驗問卷調查表是一種費用少、管理人員和用戶雙方都能接受的方法，即問卷調查表由一系列可用于評價用戶體驗的具體問題組成，這些問題經過標準化和系統化處理，評估人員據此分析，找出并明白產品（系統或服務）中的優質部分、缺陷部分，以及有待提高的部分等方面。針對信息系統用戶體驗度量常用的問卷調查表有：John Broke編制的系統可用性量表（SUS）[6]，Jim Lewis編制的任務后評分用的情景后問卷（ASQ），計算機系統可用性問卷（CSUQ）[7]和研究后系統可用性問卷（PSSUQ）[8]。其中PSSUQ針對當面進行測試而設計，CSUQ則是針對郵件或在線測試而設計，二者非常類似，用于分析系統有效性（System Usefulness）、信息質量（Information Quality）、界面質量（Interface Quality）和總體性滿意度（Overall Satisfaction）。

3 用戶體驗測試研究設計及數據處理

本研究采用用戶體驗+問卷調查方法，通過用戶實際體驗后填寫調查問卷。筆者團隊對收集到的數據利用SPSS 17.0版軟件進行統計分析，并對數據進行歸一化（Normalization）處理。

3.1 用戶研究

根據所在機構特性，確定和描述將要使用發現系統主要用戶的特征及行為特點。基于所在機構的性質與特點，發現系統的主要用戶是大學本科二、三、四年級學生、一、二年級碩士（或博士）研究生，年齡約為18至28歲之間。他（她）們年輕，有一定的專業知識基礎，熟練掌握計算機，了解并熟悉圖書館的功用及網絡服務，且有一定的學業和科研壓力，求知欲望強烈，需要通過檢索和閱讀擴展知識面，解決學習中遇到的問題。

發現系統的目標用戶未包括所屬機構的大學本科一年級新生和高年級研究生與教師。這是因為大學新生剛入校不久，未掌握基本的專業知識，有些甚至不了解圖書館的功用，不會使用OPAC或電子數據庫，而高年級研究生及教師專注研究，長期只關注本領域的3~5種專業學術期刊或3~5位專家，較少關注基礎性的學科知識檢索。

3.2 變量測量及問卷設計

發現系統用戶體驗測試是對不同廠商的發現系統進行比較。按照用戶體驗進程一般是從感知到認知，再到情感體驗[9]，測試重點是：（1）系統能力（System Capability），其可細化為響應速度、結果數量、元數據質量等；（2）信息質量（Information Quality），即檢索結果排序是否符合用戶的期望，用戶關注的主題和內容在首頁中的比例；（3）用戶滿意度（User Satisfaction），在使用過程中，用戶感知的系統靈活性、便利性和整體性能。

調查問卷分為4個部分。第一部分針對系統能力；第二部分針對用戶感知的信息質量；第三部分是用戶滿意度；第四部分需要用戶投票選擇偏好的發現系統，并簡單陳述理由。問卷中有4道題采用二分式度量，其余的測試采用5點式Likert量表形式。

3.3 測試過程

本次用戶體驗選用三家知名廠商的發現系統進行互聯網測試，分別以A系統、B系統、C系統代指；本次測試共有40名低年級研究生參加，分屬19個學院，其中理工科背景的學生20人，醫學專業學生4人，文科背景的學生16人。

參加被試人員各自準備6個檢索詞，分別輸入3個不同的發現系統，每完成1次檢索，即填寫表格測試選項。被試人員在完成“系統能力”和“信息質量”測試后，再完成第三部分和第四部分。整個過程完成約為60分鐘。

被試輸入的檢索詞共有240個，其中中文檢索詞140個（重復3個），英文檢索詞97個（重復2個），中英文混合的檢索詞3個。

4 數據分析

4.1 系統能力

發現系統能力實際是用戶在使用過程中度量系統的性能，其調查變量是發現系統的單次檢索過程和結果。本文用“檢索速度“”檢索結果數量“”數據重復性”“顯示的檢索結果數據完整性”等四個指標來衡量發現能力。通過測試，我們發現A系統的各項調查變量較其他系統低（參見圖1）；B系統的數據清洗工作方面做得比較好；C系統在“檢索速度”“檢索結果數量”“顯示的檢索結果數據完整性”等3方面占優，但數據清洗工作不如A系統和B系統。

圖1 發現系統用戶體驗測試中系統能力

4.2 信息質量

發現系統信息質量實質是度量系統的檢索結果能否符合用戶（即檢索者）的期望，幫助用戶“發現”所需文獻，而不是簡單的關鍵詞匹配結果。通過測試，我們發現A系統的各項調查變量較其他系統低（參見圖2）；B系統在“檢索者關注的主題在分面中呈現”方面占優，說明B系統在檢索主題提取與篩選方面工作做得比較好；C系統在“檢索結果頁面中相關經典文獻呈現”“檢索者關注的內容在檢索結果首頁呈現的比例”等方面占優，說明C系統檢索結果篩選和排序優于A系統和B系統，其“發現”效果更佳。信息質量調查變量的Cronbachα為0.65，屬于中上信度。

圖2 發現系統用戶體驗測試中信息質量

4.3 用戶滿意度

發現系統的用戶滿意度測試是度量用戶的情感接受。通過測試，B系統和C系統的用戶滿意度較A系統高（參見圖3）。其中B系統在“檢索結果分面靈活性”單項變量占優，說明B系統在檢索主題聚類與識別方面做得比較好；C系統在“全文獲取流程方便性”“發現系統整體性能”等方面領先，說明C系統在流程設計較好，較其他系統使用起來更為便利。需要指出的是，C系統檢索結果中，與用戶檢索詞有關的經典文獻在頁面中呈現的比例較高，這有助于用戶學習過程中閱讀學科經典文獻，也有助于所在機構推廣核心館藏。用戶滿意度調查變量的Cronbachα為0.708，信度較高。

圖3 發現系統用戶體驗測試中用戶滿意度

4.4 用戶偏好及理由

測試的第四部分是被試者根據自己的用戶體驗和偏好進行選擇。其中A系統得票4.5票，占比11.25%；B系統得票16.5票，占比41.25%；C系統得票19票，占比47.5%。另外，68.75%的文科背景被試人員選擇了C系統，50%理科背景被試人員選擇了B系統。

通過對用戶體驗和偏好選擇理由的分析發現，用戶比較看重的體驗在于以下幾個方面。（1）系統界面的友好度。頁面整潔、操作簡單、檢索結果頁面上顯示比較全面（如作者、出版年、期、卷、館藏位置等信息）的系統更令用戶偏愛。（2）系統的檢索速度。在信息化時代，用戶總是希望在最短的時間內獲得自己所需的信息，系統檢索速度的快慢是影響用戶偏好選擇的重要原因之一，這也是大部分用戶摒棄A系統的原因。（3）檢索結果的相關度排序。在用戶喜好理由中“檢索結果相對精確”“準確率高”“相關度高”等出現的頻率比較高。（4）文獻重復率。用戶更傾向于重復率低的系統。

5 結語

本文的用戶體驗測試結果表明，發現系統的用戶滿意度受系統的信息質量影響大，個別檢索結果元數據重復并沒有影響整體用戶滿意度；不同發現系統的元數據倉儲在超過一定數量后，系統間的差異減弱；不同學科背景的被試人員偏好稍有不同，盡管還沒有更多的數據來解釋，但是也說明不能忽視發現系統的研究者和評估者的學科背景、個性需求和體驗。本次用戶測試體驗證明將用戶體驗變成可以度量的行為和態度，在一定程度上能夠反映不同廠商發現系統的優勢與缺陷。

隨著技術發展與進步，現有不同廠商的發現系統正在趨向“同質化”，因此資源發現系統的選型成為一項挑戰性的工作。由于各個系統都有優缺點，圖書館不僅要考慮館內各系統與資源的整合需求，還要考慮系統性能、數據質量、檢索能力等綜合因素，更重要的是開展各種用戶體驗測試，調查用戶對資源發現系統的感知與功能期望，并將用戶普遍反饋的功能期望作為評價的重要指標[10]。

在信息服務中，好的產品在注重服務內容和質量的同時，更要注重情感的愉悅和滿足，確保產品工作起來順暢，用戶心情愉悅，不會感到無助和挫折。信息用戶已不再滿足于被動地接受信息服務機構的誘導和操縱，而是愿意主動地參與到信息服務之中。越來越的用戶希望能夠和信息服務機構一起，按照自身的需求獲取滿意的服務，通過創造性消費來體現他們獨特的個性，使他們獲取自我實現的新途徑，從而獲得更大的成就感和滿足感。因此，提供學術信息檢索“一站式”服務的發現系統也應滿足讀者的用戶體驗需求，不僅要在選型的初期進行用戶體驗測試，而且還要在確定選型以后的日常使用中也要邀請用戶積極參與進來進行系統的測試與評估，及時掌握用戶的使用狀況和使用反饋意見，通過與發現系統廠商積極溝通和協作，不斷完善和改進系統，使系統逐漸滿足用戶個性化需求。

[1] 竇天芳，姜愛蓉.資源發現系統功能分析及應用前景[J].圖書情報工作，2012（7）：38-43.

[2] 秦鴻，錢國富，鐘遠薪.三種發現服務系統的比較研究[J].大學圖書館學報，2012（5）：5-11，17.

[3]廖靜.山東大學圖書館資源發現系統評估工作的摸索與實踐[J].圖書情報工作，2013（9）：52-57.

[4] 李仲俠，么遙，王靈芝.移動終端的用戶體驗研究[J].信息通信技術，2012（4）：12-17.

[5]Tullis T，Albert B.用戶體驗度量[M].周榮剛，等，譯.北京：機械工業出版社，2009：45-55.

[6] Broke J.SUS：A quick and dirty usability Scale[EB/OL].[2015-04-15].http：//www.doc88.com/p-5748144246297.html.

[7] Lewis JR.IBM computer usability satisfaction questionnaire：Psychometric evaluation and instructions for use[J].International Journal of Human-Computer Interaction，1995，7（1）：57-78.

[8] Lewis JR.Psychometric evaluation of the post-study system usability questionnaire：The PSSUQ[C].Santa Monica：Proceedings of the Human Factors Society 36th Annual Meeting，1992：1259-1263.

[9] 李皓，姜錦虎.網站使用中用戶體驗過程模型及實證研究[J].信息系統學報，2011（9）：55-65.

[10] 朱前東.國外資源發現系統評價策略研究[J].圖書與情報，2014（4）：6-10.