生物醫學開放存取網站可用性評價的實證研究*

韓 璽

1 研究背景與目的

開放存取(Open Access，簡稱OA)運動推動了OA期刊和OA倉儲網站的建設，然而國內用戶對開放存取的利用比較少[1]，網站利用較少與其可用性有關。網站可用性是可用性在人機交互時以網絡瀏覽器為基本工具領域的應用[2]。可用性專家Nielsen認為網站可用性是終端用戶不需要任何專業培訓就能夠容易地訪問和利用網站[3]，并從可學習性、使用效率、可記憶性、可靠性和用戶滿意度等5個方面給出了網站可用性的含義[4]。目前在圖書館網站[5-7]、政府網站[8-9]、電子商務網站[10-11]、數字圖書館網站[12-14]等領域已有較多研究。本文以開放存取資源最多的生物醫學領域為例，選擇國內外代表性網站進行可用性評價實證研究，以期發現生物醫學開放存取網站的可用性問題，為提高同類網站可用性水平以及建設機構倉儲提供借鑒。

2 評價對象選擇

本文分別選取國外和國內生物醫學開放存取網站各一個為研究對象，進行對比分析。

國外網站選擇PubMed Central(簡稱PMC，http：//www.ncbi.nlm.nih.gov/pmc/)，該網站為生物醫學科研人員利用最多的外文OA數據庫，在生物醫學界有較大影響。PMC由美國國家生物技術信息中心(National Center for Biotechnology Information，NCBI)于2000年2月建立，保存生命科學期刊論文全文，免費供公眾使用。PMC全文在PubMed中都有相應的條目，在利用PubMed時，檢索結果都會有免費標記及鏈接。PMC目前已收錄期刊3449種，論文全文260萬篇。

國內網站選擇中華醫學雜志(英文版)(簡稱CMJ，http：//www.cmj.org/)，該期刊為國內生物醫學領域最為著名的期刊之一，創刊于1887年，目前已被國際上20余種著名數據庫收錄，包括SCI等國際著名檢索系統，該雜志2000年以來發表的所有論文，幾乎都能從網站免費下載。

3 測試基本情況

3.1 測試方法

參照國內外可用性評價研究成果[15-16]，本文主要利用問卷法進行可用性測試，獲取兩個網站的可用性情況并進行對比分析。

問卷包括兩輪，第一輪問卷主要涉及若干檢索問題，接受測試者分別利用PMC網站和CMJ網站進行解答，在這過程中用戶會對兩個網站的各方面有較充分的接觸和認識；第二輪測試是半結構化問卷，讀者根據第一輪問卷中兩個網站的利用感受，對相應的評價指標進行打分(9分制，5分為及格)，如表3所示(見103頁)，然后結合指標權重計算兩個網站可用性最后得分。評價指標從網站設計、資源建設和檢索功能三方面出發，綜合ISO和尼爾森提出的可用性評價標準，以有效(網站和資源提供的服務和功能是否能實現用戶利用的目標)、效率(用戶在整個利用過程中的容易程度和績效)、滿意度(用戶對利用網站的效果、效率等的綜合感知)和易學(網站是否比較容易把握和利用)為標準，并通過專家調查法和層次分析法確定每個指標的權重。

3.2 測試對象選擇

本次測試對象主要選擇在南方醫科大學圖書館查新較多的高級職稱青年教師、醫生和選用文獻傳遞較多的博碩士研究生以及大連醫科大學、廣東醫學院、南方醫科大學等院校開展醫學信息檢索教育的中高級職稱館員。這些人員，尤其是館員，在教學中對生物醫學開放存取資源的了解更多，評價時更為客觀；在人數選擇上，根據Nielsen和Landauer的觀點，可用性測試并不是代價昂貴的工程，一般來講，第一個測試參加者可以發現31%的問題，其后的測試者也會發現問題，但發現的問題有重疊，新發現的可用性問題會減少，越往后可發現的新可用性問題就越少，一般5個用戶可以發現80%的可用性問題，12-15名即可發現95%的可用性問題，其它問題可以通過更多測試手段和分階段測試逐漸挖掘[17]。上述觀點已經過實踐檢驗，許多專業人士在可用性測試時一般會選擇6-10名具有代表性的用戶，本測試選擇12名對象。12名測試對象基本情況：性別方面，男女各6名；身份方面，教師1名，臨床醫生2名，博士研究生2名，碩士研究生2名，圖書館員5名；年齡方面，25-35之間的9名，35-45之間的3名，見表1。

表1 測試對象基本情況

3.3 測試環境

測試環境選擇在南方醫科大學圖書館電子閱覽大廳。測試過程分為準備、介紹、測試和測試后訪談四部分。準備主要指測試前聯系測試對象，準備設備和問卷；介紹主要指向測試對象介紹可用性的基本知識和測試的各組成部分，提醒測試對象測試的目標是考察網站是否好用、易用、可用，存在哪些影響可用性的問題，而非考察他們的信息素養，測試問題本身并不需要有正確答案，關鍵是從測試過程中發現可用性對用戶利用行為產生的影響，為提高網站可用性提供參考[18]。對于不知道怎么回答或者不了解的信息，建議在問卷填寫過程中向調查員咨詢，盡可能使評分客觀，杜絕隨意性及偶然性。

測試分為兩輪，第一輪是網站使用的測試，針對評價指標共設計測試任務5個：分別利用兩個網站檢索2012年收錄的關于lung cancer的文獻；選擇其中一篇文獻看是否能全文下載；網站提供了幾種全文下載的格式？文章能導入到參考文獻管理軟件嗎？這篇文章能在PubMed、Google、Google Schoolar、Baidu中檢索到并全文下載嗎？第二輪是根據測試的感受和情況就每個指標打分。測試時注意觀察并記錄用戶的思維過程和行為，測試后的交流主要指用戶完成測試問卷后選擇3位測試對象進行訪談，訪談使用錄音筆記錄，主要和用戶交流使用情況及發現的問題，并提出相關意見和建議，訪談內容從頁面布局、資源、檢索、全文下載及其它四方面展開。

4 測試結果及分析

4.1 測試信度分析

信度測試衡量調查結果的可靠性、穩定性和一致性，通常利用內在一致性信度即Crobach’s Alpha(克朗巴哈)系數分析，一般認為Crobach’s Alpha的值在0.9以上，表示量表的信度很好；量表信度系數在0.8-0.9之間，表示量表的信度可以接受；量表信度系數在0.7-0.8之間，表示量表有些項目需要修訂；量表信度系數在0.7以下，表示量表有些項目需要拋棄。筆者對測試結果進行信度分析，如表2所示，兩個測試網站的信度系數均超過0.8，說明測試具有較好的內在一致性。

表2 生物醫學開放存取網站可用性實證評價信度分析表

4.2 PMC 和中華醫學雜志網站測試結果及分析

將用戶對兩個網站相關指標的打分與指標權重結合(表3的評價權重是前期通過專家調查法和層次分析法計算確定)，得到了兩網站在不同指標上的得分(表3實際得分列)以及兩個網站的最終得分7.287和5.9641，與滿分9分相比，得分率分別為80.97%和66.27%。

從表3可以看出PubMed Central網站可用性得分達到7.287，得分率超過80%，可用性較好；而中華醫學雜志(英文版)網站得分為5.9641，得分率為66.27%，可用性一般，存在一定可用性問題。兩網站可用性的差異具體分析如下：

(1)網頁設計。在網站設計方面(指標1-17)，兩個網站得分較為接近(分別為0.6721和0.6768分，滿分為0.99分，得分率在68%)，但是在具體指標上，中華醫學雜志網站在最新論文推薦以及論文推薦的滿意度方面比PMC網站得分高。而PMC網站則在網站頁面的簡潔方面比中華醫學雜志網站好，有測試對象提到中華醫學雜志網站的頁面布局較亂，廣告較多，不利于鎖定有價值的信息；此外PMC網站提供的幫助功能以及個性化服務功能細致方便、易學易懂，可用性得分比中華醫學雜志網站高，測試對象提到中華醫學雜志網站的幫助按鈕不明顯，有時候打開是亂碼，且幫助效果不好。

(2)資源建設。在資源建設方面(指標18-28)，PMC網站的可用性得分(4.3325分)比中華醫學雜志網站(3.3521分)高，差距較為明顯，主要體現在網站資源內容的質量和數量上，PMC網站站內文獻資源的數量和質量均大幅超過中華

醫學網站，因此后者可用性得分低于前者較多；對于網站的組織索引和可見度，PMC網站略優于中華醫學雜志網站，中華醫學雜志網站最新的資源在Google檢索不到；此外在網站提供的資源查找途徑、檢索字段，被Google、Google Schoolar、PubMed等索引方面，PMC得分為3.726(滿分為4.316)，得分率達到了86.3%，中華醫學雜志網站得分為3.0473，得分率為70.6%。

表3 PMC與中華醫學雜志網站可用性評價得分

(3)檢索功能。在檢索功能方面(指標29-45)，PMC網站在檢索限定、檢索錯誤提示、檢索結果的排序、檢索結果的分析以及檢索結果的題錄輸出方面均比中華醫學雜志網站得分高，PMC網站在檢索功能和檢索結果各項的累計得分為1.1018，得分率為68%(滿分為1.611)，而中華醫學雜志的得分僅為0.7016，得分率為43.5%，存在較為嚴重的可用性問題。兩個網站在二次檢索以及檢索結果的分析和篩選方面均比較簡單，不能滿足測試用戶的需要。而在全文下載方面兩個網站可用性評價得分較為接近，分別為1.1806和1.2336，得分率分別為85.2%和89%(滿分為1.386)。

4.3 測試發現的可用性問題

根據用戶在測試中和測試后的反饋，發現兩個網站存在一些可用性問題：

(1)PMC網站可用性問題。PMC網站的可用性比較高，用戶反饋中明確提到的問題較少，主要是網站沒有提供二次檢索功能，雖然網站具有高級檢索功能，但只有基本檢索，無法在此基礎上再次檢索，需要重新開始；在檢索結果篩選方面，有用戶提到BIOSIS Preview s數據庫可利用Refine功能對檢索結果的作者、期刊來源、年份、主題和學科等進行篩選，方便用戶查找需要的文獻，如果PMC具有這樣的功能則更加好用；對于檢索結果的排序，用戶認為雖然PMC已經提供了按出版日期和雜志名進行排序，但排序功能隱藏在Display Setting中，不太明顯，另外如果能夠提供按第一作者排序會更好。

(2)中華醫學雜志(英文版)網站可用性問題。中華醫學雜志網站的可用性得分較低，存在較多可用性問題。如網站頁面在簡潔美觀方面受到不少測試用戶的批評：頁面內容過于密集，欄目和廣告過多，影響用戶對重要核心信息的目光定位；幫助按鈕不夠明顯，幫助功能的實際效果不大，且有時點擊后會出現亂碼現象；網站不提供個性化的定制服務，不方便用戶及時獲取網站最新信息和跟蹤主題信息；由于只含有一種期刊，用戶很少知道該網站；沒有提供限定檢索，無法查找諸如綜述、隨機對照實驗、Meta分析等生物醫學專業文獻；沒有提供二次檢索功能，用戶無法進一步篩選文獻；與PMC網站一樣，中華醫學雜志網站同樣無法進行檢索結果的篩選和分析，檢索結果僅能按出版日期排序，在科研用戶最需要的參考文獻導入管理方面，網站不支持任何輸出格式的管理軟件。

5 提高網站可用性的建議

根據上述實證評價的結果和用戶意見，筆者提出以下8點建議，供生物醫學及其他開放存取網站、商業數據庫以及機構倉儲庫建設人員參考，以提高網站可用性水平。

5.1 加強數據規范性建設，提高索引能見度

很多時候用戶利用開放獲取網站資源是通過搜索引擎(如Google、GoogleSchoolar)和常用數據庫這些“源”進行檢索的，因此提高開放存取網站資源被其它“源”的索引程度對于提升網站可用性至關重要。而能夠被這些“源”索引，數據的規范性非常重要，因為搜索引擎和其它檢索工具等一般依靠“機器人”在獲取元數據后，會自動按照一定規則持續不斷抓取數據并編制索引。如果數據不規范，開放資源無法被搜索引擎等“源”所獲取，造成即使資源在網絡上存在，用戶卻依然檢索不到，影響資源的能見度和網站的可用性。因此開放存取網站、商業數據庫及機構倉儲庫在建設過程中一定要重視數據規范性，提高索引能見度。

5.2 提高元數據建設水平，重視資源的揭示方式

元數據的基本功能是對信息對象的內容和位置進行描述，從而為信息對象的存取和利用奠定基礎。標準規范的元數據建設能夠使資源得到更多揭示，使檢索有效程度得到極大提高，從而促進網絡信息資源的被發現，因此數據資源類網站應重視元數據建設，提高與其他網站資源的兼容性。這樣，不僅有利于數字資源的保存，也有利于開放存取資源與其他資源網站和系統的有效整合、集成。此外，開放存取資源網站也要重視數字資源元數據層面的揭示，提供多種檢索途徑滿足用戶檢索和利用需求，使用戶更方便地挖掘和獲取資源，提高網站的可用性。

5.3 注重檢索結果排序分析功能及題錄輸出功能

對科研人員而言，數據資源的檢索和獲取只是一個基本需求，在海量數據面前他們提出了更高要求。有用戶在調查中提到BIOSIS Previews數據庫提供多種條件的精煉功能(Refine)，對有效細分和篩選信息幫助很大，有利于從中發現隱藏的重要情報信息；對于檢索結果的排序，用戶也不滿足于系統提供的現有方式，從時間、作者、期刊、主題和被引等方面提出了更多需求，僅提供一種默認排序結果是不夠的；此外，當科研人員習慣了利用參考文獻管理工具輔助論文寫作時，就對檢索結果題錄的輸出功能非常重視，調查中5位科研用戶均提到了這些功能，有2位用戶對中華醫學雜志網站缺失該功能顯得失望。

5.4 提高全文獲取的方便性，減少文獻獲取障礙

開放存取網站建設是為了用戶便捷、快速獲取全文，雖然本文實證測試的兩個網站在全文下載格式、全文下載方便性以及全文下載按鈕明顯性方面均表現出較強的可用性，但是筆者在日常文獻傳遞實踐中發現不少網站由于全文下載按鈕不明顯及格式的問題使用戶不知何從下載全文，或者數據庫僅提供HTML格式的全文，不利于用戶使用。因此開放存取和機構倉儲網站要重視全文的格式、全文下載按鈕的方便與明顯程度，以提高可用性。

5.5 優化網站檢索功能，提高檢索方便性和專業性

檢索是資源類網站的基本功能，目前一般網站均提供作者、關鍵詞、標題、摘要、期刊來源、DOI等檢索途徑，部分網站還實現了基于全文的檢索，但是在檢索錯誤提示、二次檢索、限定檢索以及檢索幫助方面，很多網站都不夠重視，影響其可用性。如在本測試中有用戶提出PMC網站提供的檢索詞輸入錯誤提示功能非常有用，有利于檢索到想要的信息；此外檢索很多時候并不能一步到位，提供明顯的二次檢索功能對于修正檢索式，減少重復操作非常有用。

5.6 重視網站生物醫學專業檢索的可用性

檢索是資源發現的重要途徑，對生物醫學資源網站而言，由于文獻查找的專業性和針對性，用戶對檢索的要求更高，如利用Mesh主題詞和副主題詞組配檢索查找更全面、準確的文獻，利用限定查找某具體類型(如病例報告、臨床實驗、對照研究、隨機對照實驗、指南、Meta分析、多中心研究、綜述、系統評價)、研究對象(如人或者動物)、性別(男或女)、年齡段(嬰兒、幼兒、成年人、老年人等)、學科主題(如腫瘤、免疫、細胞生物等)的文獻資源。作為專門針對生物醫學的網站，資源的簡單搜集和整理對用戶而言作用并不大，如何從專業的角度揭示用戶需要的文獻，減少篩查時間，提高用戶滿意度則非常重要。

5.7 重視移動閱讀，提高網站移動環境下的可用性

隨著移動技術與互聯網的快速發展，移動服務已被越來越多用戶所使用。對于學術研究人員而言，隨時隨地通過移動終端獲取學術信息也成為可能。目前不少大型外文數據庫如EBSCO Host、SpringerLink、Wiley Inter science均提供了移動服務，移動學術信息查找與閱讀將在未來科研人員的文獻利用習慣中占據重要位置。調查中發現一名醫生注意到PMC網站提供的移動平臺，對此感興趣并表示回去后嘗試使用。因此生物醫學開放存取資源網站要把握移動閱讀的趨勢，不僅要支持PC終端的訪問，還要重視移動設備的訪問，提高生物醫學開放存取網站移動環境下的可用性。

5.8 促進網站界面簡潔美觀，增強界面可用性

雖然資源被索引及全文下載的功能對于開放存取網站可用性至關重要，但是網站界面也會影響用戶利用。在本研究中就發現有多位測試對象反映中華醫學雜志網站的界面信息過于密集，頁面設置比較亂，廣告多，信息太多，致使用戶目光不易定位到最重要信息上，整體界面不夠友好影響用戶對網站評價；而PMC網站的簡潔風格則普遍受贊，認為目標比較明顯，方便檢索和文獻下載。因此界面的簡潔美觀有利于增強可用性及用戶對網站印象，方便用戶快捷定位自己所需要的服務和資源。

[1] 肖冬梅. 開放存取運動緣何蓬勃興起[J]. 圖書情報工作，2006 （5）：128-131.

[2] Wikipedia.Web usability[EB/OL]. [2012-07-15].http：//en.wikipedia.org/wiki/Web_usability.

[3] Nielsen，Jakob.Usability 101：Introduction to Usability.Alertbox：Current Issues in Web Usability. Retrieved from [EB/OL]. [2012-07-15].http： //www.useit.com/alertbox/20030825.html.

[4] Jakob Nielsen. Web 可用性[M] . 北京：人民郵電出版社，2000.

[5] 雷剛. 論可用性評估在高校圖書館網站建設中的應用———以太原科技大學圖書館為例[J]. 山西科技，2010 （3）：118-120.

[6] 袁紅. 基于網絡內容分析的高校門戶網站可用性測評——以江蘇省為例[J]. 現代圖書情報技術，2010（10）：70-75.

[7] 華佳旭. 省級公共圖書館網站可用性研究———以廣西壯族自治區圖書館為例[J]. 新世紀圖書館，2011（7）：77-79.

[8] 雷銀枝. 政府網站可用性研究———以“首都之窗”門戶網站為例[J]. 情報理論與實踐，2011 （12）：112-116.

[9] 閆濤蔚，王麗榮. 我國電子政務網站移動服務可用性研究[J]. 圖書館學研究，2009 （4）：37-42.

[10] 賀桂和，向建軍. C2C電子商務網站的可用性及評估方法[J].湖南人文科技學院學報，2010（4）：70-73.

[11] 賀桂和，譚春輝，鄧艷華. C2C 電子商務網站可用性評價指標體系設計研究[J]. 荊楚理工學院學報，2010 （12）：60-64.

[12] 黃曉斌，邱明輝.日志分析法在數字圖書館可用性評價中的應用[J].情報理論與實踐，2011（3）：62-65.

[13] 馬翠嫦. 國外數字圖書館可用性評價研究綜述[J]. 現代圖書情報技術，2007 （2）：1-6.

[14] 黃曉斌. 數字圖書館可用性評價應關注的幾個問題[J]. 國家圖書館學刊，2010 （3）：39-43.

[15] 趙宇翔. 公共圖書館網站信息構建可用性評價研究[J]. 現代圖書情報技術，2007 （3）：60-64.

[16] Hasan L，Morris A，Probets S. A comparison of usability evaluation methods for evaluating e-commerce websites [J]. Behaviour and Information Technology，2012，31 （7）：707-737.

[17] Nielsen J，Landauer T K. A mathematical model of the finding of usability problems [C]//Proceedings of the INTERACT'93 and CHI'93 conference on Human factors in computing systems. ACM，1993：206-213.

[18] 趙宇翔，徐一新. 高校圖書館網站信息構建的可用性研究———以復旦大學圖書館網站為例[J].圖書館雜志，2009 （1）：48-56.