網絡教學平臺的可用性測試研究

李　青　劉　濤　徐　鵬

【摘要】可用性是關于軟件可使用程度和質量的衡量標準之一,可用性測試是測量軟件可用性的方法。該文介紹了可用性測試的相關概念,闡述可用性測試的流程,討論教學平臺可用性測試的特點和原則,并以實例說明可用性測試的方法和應用,希望通過該項研究和實驗為網絡教學平臺的設計和開發提供支持和解決方案。

【關鍵字】可用性;測試;教學系統;評價

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097(2009)07—0106—05

引言

網絡教育是一種利用網絡教學平臺,通過互聯網組織教學的一種成人非面授高等教育形式。隨著計算機技術和通信技術的發展,它逐漸變成一種主要的遠程教育手段,目前全國有68所大學的網絡教育學院提供網絡教育服務,在學學生共計數百萬人。網絡教學平臺在網絡教育中起著重要的作用,它是網絡教育的基礎技術平臺,其質量對教學效果和學生的學習興趣有較大的影響。各網絡教育辦學機構對教學平臺的建設也投入了大量的人力物力,如何提高遠程教學平臺的設計和開發質量,是我們急需研究的課題。筆者帶領的課題組在北郵網絡學院引入了軟件測試中的可用性測試方法來提高遠程教學平臺軟件的質量和易用性,以方便學員學習、提高學習動機和優化教學效果。下文我們將介紹可用性和可用性測試的相關概念,闡述可用性測試的流程,討論教學平臺可用性測試的特點和原則,并以實例說明網絡教學平臺可用性測試的方法、內容和結果。

一 可用性和可用性測試

可用性一詞來源于英文 “Usability”,該詞在中文中有可用性、使用性、易用度、易用性、好用性等多種翻譯[1]。可用性是一個由來已久的話題,早在1991年,國際標準組織ISO制定的《軟件工程產品質量文件》(ISO9126(1991):Software Engineering Product Quality)中就有關于可用性的文本。1998年出版的《可用性指南》(ISO9241-11(1998):Guidance on Usability)中更是作了精確的描述:“可用性是某個特定產品在特定使用環境下為特定用戶完成特定用途時所具有的有效性、效率和用戶主觀滿意度”。由上述定義我們可以認為:可用性是產品對最終用戶的可用程度,是指產品使用的容易程度,符合人們的需要,運行他們工作或娛樂,通過它實現用戶所期待的用途。可用性是軟件質量的重要組成部分,因此從軟件的設計階段開始的各個環節都必須注重可用性。基于可用性的設計思想,強調以使用者為中心,讓產品的設計能夠符合使用者的習慣與需求[2]。以網站的設計為例,網站的可用性是讓使用者在瀏覽的過程中不會產生壓力或感到挫折,并能讓使用者在使用網站功能時用最少的努力發揮最大的效能。

可用性測試是對產品的可用性進行評估的活動,是一個利用潛在用戶來評估產品達到某些可用性標準的程度的過程[3]。在可用性測試中,我們可以從測試參與者的表現收集定量數據,或者通過用戶訪談等手段獲得定性分析的素材。通過可用性測試,我們可以預測用戶滿意度,了解產品的外觀、行為和用戶交互方式,發現產品在可用性方面存在問題并確定解決方法,或是對相關產品進行競爭性評估等。例如:(1)測試參與者能成功完成任務嗎?如果不能,是什么原因?(2)在成功完成的任務中,每項任務能做的多快? 這項指標表明用戶使用產品的效率。(3)在成功完成的任務中,每項任務要多少頁(或者點擊多少次)才能完成?這項指標表明初學者使用產品的需要嘗試的次數。

二 可用性測試流程

一般來說可用性測試分為計劃、分析、測試、總結四個階段(見圖1)。

計劃階段。包括設計可用性測試的流程,撰寫測試項目計劃,組織項目團隊,召開項目開始會議,給項目組的人員安排任務等活動。除此以外,還需要為參與評估工作的人員介紹測試背景,提供關于目標、角色和評估過程的簡要介紹。

分析階段。包括分析現有產品,評價使用者,分析測試任務,分析典型用戶,編寫測試場景和測試任務,設定可度量的可用性目標等活動[4]。一般在測試中會設計有4-5個任務,任務的個數和難度要合理。如果起步的任務難度太高,會給被試帶來挫折感,任務過多也會影響被試的情緒。在本階段,還需要準備一些輔助材料,如設計評估前的用戶調查表、評估后的用戶問卷、免責聲明、保密協議和同意錄像的聲明等。

測試階段。包括招募被測試對象,設定測試進程,引導可用性測試等活動。首先根據測試的要求,招募被測試對象,安排測試時間和測試環境(場所、設備等)。一般來說,每個項目要選擇5-7個典型用戶,分析時對比測試的數據就能發現共性的問題[5]。然后,請用戶填寫調查表,以了解用戶背景。第三步是向用戶介紹測試的大概流程和注意事項,以及其應該了解的背景信息。第四步是讓被試執行測試,使用設備紀錄和觀察被試的活動,并引導用戶描述想法。第五步,測試結束后讓被試填寫調查問卷,進行測試后的訪談,了解更多信息。

總結階段。分析測試數據,準備測試報告,應用測試結果的工作。首先是對測試獲得的數據逐項進行數據分析,包括典型結果和定量數據,并對測試結果統計和解釋。第二要對測量結果進行因果分析,并排除干擾因素。在分析中要關注測試對象的表現和變化。第三,針對測試中發現的問題提出解決方案,按優先級排列的問題列表。第四,了解用戶的整體滿意度和用戶評論。最后,向委托方報告可用性測試的結果。此外,有時還要根據測試結果修訂測試的方案,供下次測試使用。

三 教學平臺可用性測試的要點和原則

網絡教學平臺是網絡遠程教育中教學得以發生的基礎技術平臺,它是教學內容的載體,是師生分離的情況下聯系教師和學生的橋梁,也是對學習活動進行學習情況跟蹤和教學管理的技術平臺。網絡教學平臺的可用性關系到整個教學過程的實施、評價和管理各個環節。教學平臺具有軟件產品的一般特點,又有其特殊需求,因此教學平臺的可用性測試要考慮下面的幾點:

1對于多媒體內容的要求。教學平臺有可能使用各種媒體承載教學內容。各種媒體對于軟件平臺的要求差異很大,例如能顯示文本內容的系統就不一定能播放影片。因此在可用性測試的設計上要考慮設計多媒體內容的播放的任務。

2對于異質網絡的要求。相對于企業內部網絡環境的單一性,學習者用于上網的環境千差萬別,有窄帶的,也有寬帶的,甚至還有無線上網的。在可用性指標設計上,教學平臺必須考慮到適應各種異質網絡環境的要求,能夠在惡劣的網絡環境下提供最基本的服務(至少能正常遞送主要教學內容)。

3對于易用性的要求。學習者的信息技術素養參差不齊,例如有的學習者能夠熟練操作電腦,但是有的學習者甚至幾乎不會使用電腦。因此在測試任務設計上要著重考慮平臺是否存在新手用戶的進入門檻,保證平臺的基本功能能不用專門學習或很快能學會。

考慮到教學平臺的教育特性,及其與一般軟件的差異,在對教學平臺進行可用性測試時,應該遵守以下原則:

1 學習者優先原則[6]。可用性評估的權威不應該是專業技術人員,而應該是產品的終端用戶,起決定作用是用戶對產品的滿意度。教學平臺的用戶主要是學習者、教師和教學管理人員,后兩者是為學習者服務的,因此學習者優先教學平臺可用性分析的第一原則。

2 代表性原則。系統應該適合絕大多數人使用,并讓絕大多數人都感到滿意。教學平臺的用戶在信息技術素養,客觀環境以及使用偏好方面的差異很大,因此可用性測試的被試者應能在類型和數量上代表最廣大的用戶。

3真實性原則。可用性測試不能光靠問卷調查經過簡單的統計分析就下結論,必須是在學習者的實際學習和操作環境下進行,在學習者完成操作以后,根據其完成任務的結果,進行客觀的分析和評估[7]。

四 可用性測試案例

本文以知新網(http://www.zhixin100.com)作為測試對象,分析可用性測試的流程方法和結果。知新網是基于開源學習管理系統Sakai開發的新一代網上課程管理系統,目前提供了課程大綱、課程空間、日程表、通知、資源、投遞箱、論壇和個人消息、答疑室、詞匯表、花名冊、作業、成績冊、站點統計等多種教學工具。這些工具均可通過瀏覽器使用。利用知新網,教師可以創建課程網站,發布通知與共享課程資源;學生也可以在該平臺上學習,提交作業,進行在線討論。

1 測試工具

本測試項目使用的是TechSmith公司出品的專業可用性測試軟件Morae,它能夠通過錄屏的方式和錄像的方式記錄用戶行為和用戶在網站或應用程序中的交互過程。該軟件具有以下功能:(1)按照時間同步記錄桌面操作、聲音、攝像頭和完整的事件信息等數據;(2)監控并標記關鍵時刻,跟蹤任務的開始和結束時間點;(3)幫助可用性分析人員快速并自動分析數據,計算可用性指標,并繪制成直觀的圖表。

2 對該網站的測試對象、測試方法、流程

課題組選擇了教育技術、管理學兩個專業共八名一年級研究生作為測試對象。根據用戶對于計算機操作技能,我們將被測者按熟練用戶和新手用戶分組。通過對新手用戶的測試和訪談,了解到新手用戶是否能很快入門使用該網站;通過熟練用戶的測試和訪談,發現網站是否有不容易被發現的缺點。課題組使用Morae記錄被測者對任務的完成情況給出評分和完成時間的統計信息,并根據任務內容和完成情況分析知新網的可用性水平。測試流程主要分為完成測試任務、問卷調查、用戶訪談三步:

完成測試任務:我們根據網站的功能結構設計一個覆蓋教學平臺主要功能的任務流程交給被測者完成。在選擇測試對象時確保被測者是第一次進行該項測試,防止產生“安慰劑效應”和“霍爾效應”[8]。測試員要監測被試完成任務的過程,在測試過程中不得向被試提供任何有助完成任務的幫助,以保證測試任務完成情況的真實有效。對于兩類不同類型的用戶我們設計了略有不同的兩組任務(見表1)。

問卷調查:我們設計了包括客觀選擇和主觀回答共16個題目,用于調查教學平臺使用者的使用體驗。在被測者完成測試任務之后,要求其填寫調查問卷(見表2)。

表2 用戶調查問卷(局部)

1您覺得網站的界面顏色是否舒適?( )

A.舒適 B.一般 C.不舒服 D.影響使用

2文字的大小和字體有沒有影響您的使用?( )

A.完全沒有影響 B.字體太小 C.顏色不舒服 D.一般

3根據提示可否迅速找到所需項目?( )

A.很快找到 B.需要仔細找到 C.不容易找到

4是否方便的知道當前所處網頁位置?( )

A.有明顯標題 B.需要仔細辨認標題 C.不容易知道

5各板塊名稱是否準確反映網頁內容?( )

A.準確反映 B.隱約反映 C.很不準確

6本網站反應速度如何?( )下載速度如何呢?( )

A.快速 B.普普通通 C.慢

7幫助文檔是否方便查詢?( )

A.是 B.否

8有無收到不禮貌的錯誤提示?( )

A.是 B.否

訪談:根據被試在測試中的反應和完成任務情況進行訪談,了解問卷不能直觀調查的可用性問題,獲得一些主觀的素材和改進的意見。例如,被試某個任務失敗的真實原因或是在某些猶豫的地方是如何思考的。

3 測試的結果和分析

測試完成后,我們根據Morae記錄的任務完成情況進行分析。主要參考數據為任務得分和任務完成時間,其中任務得分有三個等級:0(輕松完成),1(有困難的完成),2(不能完成)。根據對對新手用戶的任務完成情況(見圖2)和完成任務的時間(見圖3)分析,可以看出任務3、任務4和任務6完成的情況很差。經過分析,我們發現:任務3中,幫助圖標受到網站整體風格的限制,在顏色上和大小上都較為不明顯,不容易被發現,給用戶使用帶來不方便。任務4中,在發送郵件這一任務上沒有一個被測者完成,因為花名冊中的郵件鏈接直接使用Windows默認的OE軟件,而現在的用戶很少使用這個軟件發送郵件,很多系統中的OE軟件沒有預先配置,無法發送郵件。任務6中,所有被測均未完成刪除自己留言的任務。在單獨發帖時,帖子內容下有一系列的選項包括黏貼附件和修改刪除。當用戶發現已經發帖成功后無權限刪除或修改。

通過對熟練用戶進行分析(見圖4),我們發現熟練用戶的任務完成情況比新手用戶要好很多。基本操作都十分熟練。但是,熟練用戶也對任務4、任務5和任務6完成的情況不是很好,任務4和任務6失敗原因和新手用戶相同。任務5失敗的原因是任務中上傳的文件格式可以分為兩大類:txt類型和office類型。對于txt文檔,因為瀏覽器對于該類型的支持,當用戶點擊文件便可在新窗口中直接顯示文檔內容,但是網站并沒有考慮到對中文字符的支持,直接打開文檔后顯示亂碼。對于其他類型文件,直接點擊通常會調用下載軟件(如迅雷)下載文件。但這樣下載得到的文件并不是目標文件,只能通過鼠標右鍵菜單“另存為”或使用“拷貝”選項進行下載,這樣極不方便。

在可用性測試后,我們對被試進行了問卷調查。通過對調查問卷反饋結果的分析,我們獲得的用戶反饋有:

(1) 教學平臺上有少量文字都沒有漢化。某些常用操作選項使用英文,新手用戶有使用困難,部分幫助文檔是英文。

(2) 對于任務1來說,被試對界面顏色的反應不滿意。

(3) 大多數被試覺得網站的字體太小。

(4) 所有被試都不能迅速找到所需項目。

(5) 大多數被試都認為幫助功能無用,并且當前任務的幫助信息不容易查找。

(6) 有些被測者對網站的下載速度也不滿意。

(7) 論壇工具的界面設計不妥,容易誤操作,出現了回復話題A卻到話題B的情況。

(8) 討論區自己添加的話題不能刪除,而所有的被測者都覺得應該有這項功能。

根據熟練用戶調查問卷的反饋結果,我們得到的用戶反饋主要有:

(1) 有的被測者認為幫助不太方便查找,并且而也不愿意去查找;

(2) “投遞箱”工具上傳的文件直接打開會出現亂碼,并且不能用迅雷等下載軟件下載;

(3) 大多數被試覺得某些工具(如wiki,投票等)實用性不高。

4 測試結論

由于知新網基于Sakai平臺,因此它繼承了Sakai的基本特性,是一個設計先進、功能完善的教學平臺,比較適合應用在網絡教育中。通過前面的可用性測試,我們認為該平臺基本能滿足教學的需要。但是我們發現該網站還存在一些可用性上的問題,并針對每個問題提出了相應的建議(見表3)。

五 結論

可用性反映了產品的設計能夠符合使用者的習慣與需求的程度,可用性測試是對產品的可用性進行評估的活動。教學平臺系統的可用性測試,可以使我們獲得一手數據和改進方案,有利于我們調整業務流程,改進教學平臺設計,優化學習者的體驗,將妨害學習的因素盡量減小。通過對知新網的測試,我們了解了該教學平臺的優缺點,并以此次測試報告為依據,對教學平臺作了很多的修改和優化,使得平臺的可用性大大提高,達到了我們進行可用性測試的目的。

當然本次測試尚有很多不足的地方,例如由于條件的限制,被試對象的選擇缺乏廣度,存在代表性問題;在測試環境的設計上也沒有充分考慮到異質網絡環境。通過測試的結果反饋,我們修訂了測試方案。可用性測試是一個持續的過程,通過不斷的測試-改進-再測試獲得高可用性的教學平臺才是我們的最終目標。

參考文獻

[1] Wikipedia. Usability [EB/OL].

< http://en.wikipedia.org/wiki/Usability, 2008-12-25.>

[2] 劉靜.網絡可用性量化評估[J].通信世界, 2007,(44).

[3] 李瑞坤.基于可用性的課件設計[J].中國信息技術教育, 2008,(7).

[4] 林芳.數字圖書館門戶可用性評估指標體系[J].圖書情報工作, 2008,(04).

[5] 華迎.網站可用性測試設計[J].現代教育技術, 2008,(4).

[6] 方海光,張景中.教育軟件可用性評測研究[J].電化教育研究, 2008,(2).

[7] 劉愛華.高校圖書館網站可用性評價研究[J].圖書館學研究, 2008,(2).

[8] Jakob Nielsen. Usability 101: Introduction to Usability [EB/OL].