本體模式下Web可用性評(píng)估研究

何 偉，李 霜

(1.懷化學(xué)院 數(shù)學(xué)與應(yīng)用數(shù)學(xué)系，湖南 懷化 418008;2.懷化學(xué)院 音樂系，湖南 懷化 418008)

1 引言

Nielsen 認(rèn)為可用性并不是用戶界面的一個(gè)單維屬性，它具有多種成分，包括:可學(xué)習(xí)性、效率、可記憶性、低出錯(cuò)和滿意度[1].Nielsen 還認(rèn)為一個(gè)產(chǎn)品要有較高的可用性，該產(chǎn)品必須在每個(gè)構(gòu)成要素上都要滿足一個(gè)很好的水平[1].可用性是一個(gè)質(zhì)量指標(biāo)，它從用戶角度衡量產(chǎn)品是否有效、易學(xué)、高效、少錯(cuò)和令用戶滿意[2].Web可用性在服務(wù)于公眾的Web 應(yīng)用中十分重要，指導(dǎo)著Web的發(fā)展，是提升Web 應(yīng)用能力的手段之一.傳統(tǒng)對(duì)Web可用性評(píng)估的方法一般都采取人工方式進(jìn)行，通過邀請(qǐng)用戶模擬完成體驗(yàn)任務(wù)，由專家對(duì)用戶完成任務(wù)的操作過程進(jìn)行可用性評(píng)估.這類評(píng)估方法存在的缺陷，一方面可用性評(píng)估都是主觀進(jìn)行的，由專家打分方式完成，可信度完全取決于專家的經(jīng)驗(yàn);另一方面邀請(qǐng)的參與體驗(yàn)的用戶并不具備全體性，因此可用性評(píng)估結(jié)果依賴于參與用戶的典型性.

隨著語義技術(shù)以及本體研究的迅速發(fā)展，Web2.0的出現(xiàn)，Moraga[3]等人將本體作為Web 站點(diǎn)的語義基礎(chǔ)，提出了分層的Web 站點(diǎn)模型，用以指導(dǎo)Web 站點(diǎn)開發(fā)，提高Web的應(yīng)用能力和利用價(jià)值.因此，利用本體從語義角度對(duì)Web可用性進(jìn)行評(píng)估已不再成為困難.使用本體評(píng)估Web可用性一方面可以減少參與體驗(yàn)用戶以及專家的勞動(dòng)力，節(jié)約成本;另一方面可從Web 內(nèi)容出發(fā)，轉(zhuǎn)換視角對(duì)可用性進(jìn)行評(píng)估，彌補(bǔ)專家評(píng)估主觀判斷的不足，進(jìn)一步改善Web的使用情況.基于此考慮，本文提出了一個(gè)在本體模式下對(duì)Web可用性進(jìn)行評(píng)估的框架，該框架可從Web的物理和內(nèi)容兩個(gè)方面對(duì)其進(jìn)行評(píng)估，給出了針對(duì)可用性評(píng)估框架的Web 內(nèi)容可用性評(píng)估方法，結(jié)果證明本文方法對(duì)Web 內(nèi)容可用性評(píng)估有較好的效果.

2 相關(guān)研究工作

國外對(duì)可用性評(píng)估研究在初步階段大部分都是圍繞著可用性評(píng)估指標(biāo)構(gòu)建來進(jìn)行研究的.微軟可用性指南(Microsoft Usability Guide MUG)就是最典型的一個(gè)代表，它是一個(gè)至今為止用戶較為認(rèn)可的通用的可用性評(píng)估指標(biāo)體系.該評(píng)估指標(biāo)主要圍繞內(nèi)容、易使用性、促銷、定制服務(wù)、情感因素5個(gè)一級(jí)指標(biāo)，每個(gè)一級(jí)指標(biāo)被分解成若干二級(jí)指標(biāo)，共二十幾個(gè)二級(jí)指標(biāo)，形成一套完整的指標(biāo)體系，用于評(píng)估Web 網(wǎng)站的可用性;此外，影響較大的可用性評(píng)估指南準(zhǔn)則還包括:Nielsen (1996，1999)提出的用于指導(dǎo)網(wǎng)站設(shè)計(jì)的十大準(zhǔn)則[4，6];Spool 與Scanlon (1997)共同建議的為網(wǎng)站設(shè)計(jì)制定的可用性準(zhǔn)則[7];Lynch和Horton(1999)的網(wǎng)站風(fēng)格指引[8]，Rosenfeld 與Morville的網(wǎng)站信息架構(gòu)[5]，以及國際人因機(jī)構(gòu)(HFI)提出的可用性原則.在這些指標(biāo)研究的基礎(chǔ)上，國外學(xué)者紛紛提出或改進(jìn)了許多不同的準(zhǔn)則與指標(biāo).在這些不同類型的網(wǎng)站和不同Internet 發(fā)展階段中提出的評(píng)估準(zhǔn)則基礎(chǔ)上，衍生出了大量的可用性評(píng)估指標(biāo)，如Nielsen(1999)的用于對(duì)Web可用性進(jìn)行評(píng)估的24個(gè)指標(biāo)[6];Huang和Chao (2001)等人在總結(jié)了18個(gè)網(wǎng)站可用性問題指標(biāo)基礎(chǔ)上，對(duì)33個(gè)政府Web 網(wǎng)站進(jìn)行評(píng)估，提出了7條有建設(shè)性的改進(jìn)建議[9];Menno和Leo(2006)使用情景評(píng)估法對(duì)15個(gè)政府Web 網(wǎng)站進(jìn)行了可用性評(píng)估，結(jié)果顯示這些網(wǎng)站存在著人機(jī)交互界面以及網(wǎng)站導(dǎo)航的問題[10];Morrison 等人(1999)通過分級(jí)啟發(fā)式指標(biāo)方式評(píng)估了酒店網(wǎng)站的有效性[11];Leporini和Paterno (2003)在Web 有效性、效率以及滿意程度方面設(shè)計(jì)了用于改善Web可用性的16個(gè)評(píng)估指標(biāo)[12].

國內(nèi)對(duì)Web可用性評(píng)估的研究起步較晚，初始階段大部分借助國外的英文指標(biāo)翻譯成中文指標(biāo)來對(duì)Web可用性進(jìn)行評(píng)估.隨著可用性評(píng)估在國內(nèi)的興起，許多國內(nèi)學(xué)者紛紛探索符合中國國情的Web可用性評(píng)估方法.劉愛華(2008)通過對(duì)高校圖書館網(wǎng)站的可用性進(jìn)行分析后，從用戶角度入手給出了用于對(duì)高校圖書館網(wǎng)站進(jìn)行可用性評(píng)估的指標(biāo)體系，嘗試進(jìn)一步改善高校圖書館網(wǎng)站的設(shè)計(jì)、內(nèi)容和服務(wù)功能[13].鄢沛(2010)等人提出了基于UCD 理論和可用性工程原理的Web可用性設(shè)計(jì)方法，該方法可作為Web 設(shè)計(jì)人員設(shè)計(jì)和提高Web可用性的設(shè)計(jì)指南[14].蔡屏(2011)以信息構(gòu)建與可用性之間的關(guān)聯(lián)為理論基礎(chǔ)，采用可用性測試方法測評(píng)高校圖書館網(wǎng)站信息構(gòu)建的可用性，并總結(jié)了一些對(duì)我國采用可用性測試方法的高校圖書館具有參考價(jià)值的建議[15].劉業(yè)政(2013)等人根據(jù)掃描路徑理論，使用視線跟蹤法提出了新穎實(shí)用的基于圖上隨機(jī)游動(dòng)模型的Web頁面布局可用性評(píng)價(jià)方法，并以淘寶商城和阿里巴巴的商品展示頁面為例對(duì)其使用過程與效果進(jìn)行驗(yàn)證，說明模型的可行性與方法的有效性[16].白志斌(2013)等人設(shè)計(jì)了一個(gè)基于大量用戶行為數(shù)據(jù)的面向Web 系統(tǒng)的可用性自動(dòng)化評(píng)估系統(tǒng)，該系統(tǒng)通過自動(dòng)化匹配大量用戶行為數(shù)據(jù)發(fā)現(xiàn)不一致的任務(wù)進(jìn)而發(fā)現(xiàn)Web 系統(tǒng)可用性問題，為進(jìn)一步改進(jìn)Web 系統(tǒng)提供參考[17].

圖1 Web可用性評(píng)估框架

3 本體模式下Web可用性評(píng)估框架

引發(fā)Web可用性問題的原因主要有物理和內(nèi)容兩個(gè)方面.物理方面主要指鏈接、網(wǎng)站結(jié)構(gòu)、網(wǎng)頁布局等，在評(píng)估技術(shù)上主要通過對(duì)網(wǎng)站結(jié)構(gòu)的測試或?qū)Y(jié)構(gòu)的可視化表示、訪問日志的分析等方面來獲取相關(guān)信息加以評(píng)判;而內(nèi)容方面則指是在頁面內(nèi)容的含義傳達(dá)上，從語義角度對(duì)內(nèi)容的組織，表現(xiàn)在Web 主題和網(wǎng)頁內(nèi)容是否相符等.由于內(nèi)容表達(dá)了設(shè)計(jì)者的目的，在其可用性的評(píng)估上通常都由參與者實(shí)際操作，然后再加以主觀評(píng)價(jià)，具有較強(qiáng)的個(gè)人主觀意愿.因此，本文著重討論Web 內(nèi)容可用性評(píng)估，從本體數(shù)據(jù)挖掘角度出發(fā)，設(shè)計(jì)了一個(gè)本體模式下自動(dòng)或半自動(dòng)對(duì)Web可用性進(jìn)行評(píng)估的框架，如圖1所示.

該框架具體描述為:首先輸入Web URL 地址，頁面URL 地址寄存器記錄并保存網(wǎng)頁間鏈接關(guān)系;其次利用自然語言處理技術(shù)如分詞、詞性標(biāo)注等對(duì)獲取的當(dāng)前網(wǎng)頁進(jìn)行網(wǎng)頁預(yù)處理，抽取當(dāng)前網(wǎng)頁的主題概念，獲得Web 內(nèi)容語義信息;然后根據(jù)網(wǎng)頁間的鏈接關(guān)系以及抽取得到的頁面內(nèi)容語義關(guān)系，構(gòu)建網(wǎng)站的內(nèi)容本體，并將網(wǎng)站內(nèi)容本體與領(lǐng)域標(biāo)準(zhǔn)本體進(jìn)行對(duì)比計(jì)算分析，對(duì)網(wǎng)站內(nèi)容本體作出定量評(píng)估，從而達(dá)到對(duì)Web 內(nèi)容可用性評(píng)估的目的;因?yàn)槎康闹笜?biāo)體系不能完全的合理的評(píng)價(jià)一個(gè)Web 網(wǎng)站，需要借助相關(guān)人員收集網(wǎng)站的其它性能數(shù)據(jù)，依據(jù)主觀評(píng)估體系指標(biāo)作出定性評(píng)估，最后得出整個(gè)Web 網(wǎng)站的評(píng)估結(jié)果.

3.1 構(gòu)建網(wǎng)站內(nèi)容本體

Web 內(nèi)容可用性評(píng)估的基礎(chǔ)是理清Web 內(nèi)容間語義關(guān)系，建立以內(nèi)容語義關(guān)系為基礎(chǔ)的可用性評(píng)估模型.因此，需對(duì)待評(píng)估的Web 網(wǎng)站進(jìn)行預(yù)處理，對(duì)網(wǎng)頁進(jìn)行語義提取，構(gòu)建網(wǎng)站內(nèi)容本體，獲取用于代表網(wǎng)站內(nèi)容的信息，為進(jìn)行Web 內(nèi)容可用性評(píng)估提供基礎(chǔ)條件.

本文提出的網(wǎng)站內(nèi)容本體的構(gòu)建思路是:首先，從預(yù)處理的頁面中抽取描述頁面內(nèi)容的信息，存儲(chǔ)在文本文件中，用統(tǒng)計(jì)分詞方法對(duì)文本進(jìn)行處理并提取特征詞，再利用特征詞的共現(xiàn)完成特征詞拼接處理，并將這些特征詞作為本體概念的候選詞，用于描述各頁面的內(nèi)容;其次，利用基于字面相似的等級(jí)關(guān)系識(shí)別以及基于聚類的等級(jí)關(guān)系識(shí)別構(gòu)建頁面內(nèi)容概念樹;最后，使用概念歸一化對(duì)概念樹進(jìn)行修剪和轉(zhuǎn)換，構(gòu)建網(wǎng)站內(nèi)容本體.具體過程如下.

3.1.1 特征詞提取

將從頁面中抽取出的描述頁面內(nèi)容的文本進(jìn)行分詞、去除停用詞、詞性和位置標(biāo)注等處理，然后結(jié)合詞語在文本中的位置、詞長和詞性等因素，利用TF-IDF 計(jì)算詞語的特征權(quán)值，計(jì)算方法如公式 (1)所示，最后根據(jù)權(quán)值的大小，獲取描述文本主題的特征詞集合.

其中，α和β是兩個(gè)可調(diào)節(jié)參數(shù)，且α+β=1，α 0.5，β 0.5，Loci表示詞語wi位置的權(quán)重，Posi表示詞語wi的詞性權(quán)重，Leni表示詞語wi的詞長權(quán)重.

3.1.2 候選特征詞拼接

在分詞過程中，由于切分粒度較小，一些經(jīng)常出現(xiàn)的詞組短語常常被切分開.為了更好的發(fā)掘領(lǐng)域概念和知識(shí)，需要將經(jīng)常共同出現(xiàn)的詞語拼接在一起.本文根據(jù)候選特征詞在文本中出現(xiàn)的位置，計(jì)算特征詞間的共現(xiàn)度，計(jì)算方法如公式(2)所示，然后設(shè)定相應(yīng)的閾值來判斷特征詞是否需要拼接.

fx、fy分別是詞x、y 在文本中出現(xiàn)的頻率.fxy是詞xy 在文本中出現(xiàn)的頻率;fyx是詞yx 在文本中出現(xiàn)的頻率.

3.1.3 內(nèi)容概念樹的構(gòu)建

將拼接完成的特征詞集進(jìn)行同義詞合并，并識(shí)別特征詞間的等級(jí)關(guān)系，構(gòu)建內(nèi)容概念樹.本文主要利用基于字面相似的等級(jí)關(guān)系識(shí)別和基于詞聚類算法的等級(jí)關(guān)系識(shí)別相結(jié)合的方法來找出候選特征詞集的上位概念，并實(shí)現(xiàn)等級(jí)關(guān)系的構(gòu)建.其中，基于字面相似的等級(jí)關(guān)系識(shí)別是根據(jù)字面相似度的結(jié)果來進(jìn)行的，如果兩個(gè)詞包含相同的詞素，且該詞素位于詞語的后方，則包含字?jǐn)?shù)少的詞作為包含字?jǐn)?shù)多的詞的上位詞;而詞聚類的方法則是根據(jù)特征詞間的統(tǒng)計(jì)或語義關(guān)系，將不同的特征詞聚成一類，識(shí)別出被聚類的特征詞的上位概念.通過上下位概念生成特征詞間的等級(jí)語義關(guān)系.

具體構(gòu)建過程為:①首先使用基于字面相似的方法將特征詞集T 中的包含相同詞素(其中詞素的詞個(gè)數(shù)≥2)的特征詞進(jìn)行等級(jí)關(guān)系組合，生成等級(jí)概念樹CT，同時(shí)刪除T 中被組合的特征詞，并將概念樹CT放入特征詞集T;②重復(fù)進(jìn)行①操作，直至沒有字面相似的特征詞為止;③最后使用基于詞聚類的方法將特征詞集T 進(jìn)行詞聚類，直到生成一棵完整的概念樹為止，概念樹構(gòu)造過程完成.

3.1.4 內(nèi)容本體的生成

若本體不做推理運(yùn)算的話，則上述構(gòu)建的內(nèi)容概念樹在一定程度上類似于本體.而本文的本體只是作為一種展示網(wǎng)站內(nèi)容的手段，并用其來對(duì)Web 內(nèi)容的可用性進(jìn)行評(píng)估.因此將內(nèi)容概念樹進(jìn)行剪枝處理后，可作為本體使用.本文將使用概念歸一化對(duì)概念樹進(jìn)行修剪和轉(zhuǎn)換，生成內(nèi)容本體.

修剪轉(zhuǎn)換原則為:

原則1:若概念樹中某個(gè)結(jié)點(diǎn)只有一個(gè)特征詞組成，則由該詞表示結(jié)點(diǎn)概念，等同于本體概念;

原則2:若概念樹中某個(gè)結(jié)點(diǎn)由多個(gè)特征詞組成，且這些特征詞是同義詞，則選擇其中詞頻最高的一個(gè)詞作為結(jié)點(diǎn)概念，等同于本體概念，其余特征詞作為該本體概念的同義屬性;

原則3:若概念樹中兩個(gè)結(jié)點(diǎn)A，B 間有邊直接相連，則將該條邊轉(zhuǎn)換成本體的上下位關(guān)系，其中概念樹中的上層結(jié)點(diǎn)概念等同于本體的上位概念，下層結(jié)點(diǎn)概念等同于本體的下位概念.

3.2 內(nèi)容本體的評(píng)價(jià)指標(biāo)

本文采用將構(gòu)建的頁面內(nèi)容本體與已有的領(lǐng)域標(biāo)準(zhǔn)本體進(jìn)行對(duì)比計(jì)算在深度和廣度指標(biāo)下進(jìn)行Web 內(nèi)容可用性的評(píng)估.深度主要用于評(píng)估網(wǎng)站內(nèi)容的主題覆蓋度，廣度則實(shí)現(xiàn)網(wǎng)站內(nèi)容覆蓋度的評(píng)估.

3.2.1 深度

本文使用內(nèi)容本體的類目深度在領(lǐng)域標(biāo)準(zhǔn)本體類目深度中所占的比率來評(píng)估Web 內(nèi)容在主題層次上的可用性，反映網(wǎng)站覆蓋所屬領(lǐng)域的主題比率.計(jì)算方式如公式(3)所示.從深度上可分析和建議該網(wǎng)站可添加哪些主題，以完善網(wǎng)站的主題信息，更進(jìn)一步的滿足用戶的需求.

其中，CO表示內(nèi)容本體，SO表示領(lǐng)域標(biāo)準(zhǔn)本體，Topic(SO)代表SO的主題類目，| Topic(SO)|表示SO的類目數(shù).

3.2.2 廣度

廣度用來分析內(nèi)容本體所含的概念信息在領(lǐng)域標(biāo)準(zhǔn)本體中所占的比重，主要評(píng)估Web 內(nèi)容在內(nèi)容信息上的可用性.它反映網(wǎng)站內(nèi)容覆蓋所屬領(lǐng)域的比率.計(jì)算方式如公式(4)所示.從廣度上可分析網(wǎng)站內(nèi)容在所屬領(lǐng)域中是否缺失或者內(nèi)容表述錯(cuò)誤，以進(jìn)一步完善網(wǎng)站的內(nèi)容.

其中，CO表示內(nèi)容本體，SO表示領(lǐng)域標(biāo)準(zhǔn)本體，Concept(SO)代表SO的概念，| Concept(SO)|表示SO的概念數(shù).

4 實(shí)證分析

為了驗(yàn)證本文提出的本體模式下Web可用性評(píng)估框架對(duì)Web 內(nèi)容可用性的評(píng)估有效性，選取教育部網(wǎng)站——信息公開目錄下與教育相關(guān)的頁面進(jìn)行Web 內(nèi)容可用性評(píng)估.該欄目截止2015年3月31日，共有3 278個(gè)頁面，內(nèi)容涉及教育的各方面.使用《電子政務(wù)主題詞表》[18]中“教育”部分充當(dāng)領(lǐng)域標(biāo)準(zhǔn)本體，作為內(nèi)容本體的比較對(duì)象.

采用本文提出的網(wǎng)站內(nèi)容本體構(gòu)建方式，對(duì)3 278個(gè)頁面進(jìn)行處理，構(gòu)建了一個(gè)內(nèi)容本體，該本體包含4 000多個(gè)概念.使用深度和廣度對(duì)該內(nèi)容本體進(jìn)行評(píng)價(jià)，結(jié)果如表1所示.

表1 內(nèi)容本體與領(lǐng)域標(biāo)準(zhǔn)本體的對(duì)比

根據(jù)表1，從深度上分析，內(nèi)容本體的深度達(dá)到了0.896，由Web頁面內(nèi)容構(gòu)造的內(nèi)容本體包含26個(gè)類目，這些類目都存在于“教育”領(lǐng)域標(biāo)準(zhǔn)本體中.進(jìn)一步對(duì)比領(lǐng)域標(biāo)準(zhǔn)本體可知，內(nèi)容本體缺少了“婚前教育”、“職責(zé)教育”、“干部教育”等3個(gè)類目，這可能是由于教育部網(wǎng)站大部分關(guān)注的是比較常見的教育類型.“婚前教育”可能經(jīng)常出現(xiàn)在一些有關(guān)婚育的網(wǎng)站中，在教育部網(wǎng)站“教育”類別下基本上不怎么使用;而“職責(zé)教育”、“干部教育”更是兩個(gè)比較專的詞匯，使用范圍更窄.從廣度上分析，內(nèi)容本體中有5 118個(gè)概念存在于領(lǐng)域標(biāo)準(zhǔn)本體中，覆蓋度達(dá)到了91%，這說明教育部網(wǎng)站信息公開目錄下與教育相關(guān)的頁面涵蓋了大部分的教育內(nèi)容，在內(nèi)容可用性上是一個(gè)比較高的分值，其缺少的部分可能是由于少了“婚前教育”、“職責(zé)教育”、“干部教育”3個(gè)類別而造成的內(nèi)容損失.構(gòu)建的內(nèi)容本體中剩下的179個(gè)概念并不在標(biāo)準(zhǔn)本體中，但它們也是一些與教育相關(guān)的概念，因此，可作為標(biāo)準(zhǔn)本體的詞匯的補(bǔ)充.

5 小結(jié)

隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，個(gè)人設(shè)計(jì)和開發(fā)Web不再是令人生畏.面對(duì)每天成指數(shù)級(jí)增長的網(wǎng)頁，如何吸引用戶選擇瀏覽自己的網(wǎng)站，是Web 設(shè)計(jì)者面臨的一個(gè)問題.Web可用性能指導(dǎo)和幫助設(shè)計(jì)者改進(jìn)和完善Web 設(shè)計(jì).基于此，本文提出了一個(gè)本體模式下Web可用性評(píng)估框架，并在該框架下，設(shè)計(jì)了一種構(gòu)建Web 內(nèi)容本體的方法，將該內(nèi)容本體與領(lǐng)域標(biāo)準(zhǔn)本體進(jìn)行比較，從深度和廣度上對(duì)Web 內(nèi)容的可用性進(jìn)行評(píng)估，并進(jìn)行了實(shí)證分析.但對(duì)于網(wǎng)站的可用性進(jìn)行評(píng)估是一項(xiàng)復(fù)雜而龐大的工作，不能一蹴而就.對(duì)Web 物理可用性的評(píng)估，本文并沒有較深入的討論，這需要在以后的工作中繼續(xù)討論.

[1]Jakob Nielsen.Usability Engineering[M].Boston:Academic Press，1993.

[2]What is usability?[EB/OL].http://www.usabilityfirst.com/.

[3]MaAngeles Moraga，Coral Calero，Mario Piattini.Ontology Driven Definition of a Usability Model for Second Generation Portals[C].Proceedings of ICWE'06，2006(6):110-112.

[4]J.Nielsen，J.M.Faber.Improving System Usability Through Parallel Design[J].IEEE Computer.1996，29(2):29-35.

[5]L.Rosenfeld，P.Morville.Information Architecture for the World Wide Web[M].Sebastopol:O'Reilly ＆Associates，1998.

[6]J.Nielsen.User Interface Directions for the WEB[J].Communications of the ACM.1999 (1):65-72.

[7]Jared，M.Spool，Will Schroeder，Tara Scanlon，et.WEB Site Usability:A Designer's Guide[M].MA:User Interface Engineering，1997.

[8]Patrick J.Lynch and Sarah Horton.WEB Style Guide:Basic Design Principles for Creating WEB Sites[M].London:Yale University Press，1999.

[9]Chaomeng James Huang，Mei-Hui Chao.Managing WWW in Public Administration:Uses and Misuses[J].Government Information Quarterly，2001 (18):357-373.

[10]Menno de Jong，Leo Lentz，Scenario.Evaluation of Municipal WEB Sites:Development and Use of an Expert-focused Evaluation Tool[J].Government Information Quarterly，2006 (23):191-206.

[11]A.M.Morrison，S.TAYLOR，A.J.Morrison，A.D.Morrison.Marketing Small Hotels on the World Wide Web[J].Information Technology and Tourism，1999，2 (2):97-113.

[12]B.Leporini，F(xiàn).Paterno.Criteria for Usability of Accessible WEB Sites[C].7th ERCIM International Workshop on User Interfaces for All.Revised Papers.2003:43-55.

[13]劉愛華.高校圖書館網(wǎng)站可用性評(píng)價(jià)研究[J].圖書館學(xué)研究，2008 (2):36-44.

[14]鄢沛，郭皎，應(yīng)宏.Web可用性設(shè)計(jì)方法研究[J].重慶三峽學(xué)院學(xué)報(bào)，2010，26 (3):72-75.

[15]蔡屏.高校圖書館網(wǎng)站信息構(gòu)建的可用性評(píng)價(jià)研究——以開普敦大學(xué)圖書館為例[J].情報(bào)雜志，2011，30 (5):169-173.

[16]劉業(yè)政，葉俊杰，蔣瑋，徐俊芬.基于圖上隨機(jī)游動(dòng)的Web頁面布局可用性評(píng)價(jià)[J].管理科學(xué)學(xué)報(bào)，2013，16 (9):75-81.

[17]白志斌，楊達(dá)，李娟.Web 系統(tǒng)可用性自動(dòng)化評(píng)估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2013，34(10):3649-3653.

[18]《電子政務(wù)主題詞表》編制與應(yīng)用系統(tǒng)課題組.綜合電子政務(wù)主題詞(試用版).北京:科學(xué)技術(shù)文獻(xiàn)出版社，2005.