一種基于操作軌跡模型的移動(dòng)應(yīng)用易用性評(píng)估方法

成靜, 朱怡安, 張濤, 楊艷麗

(1.西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院, 陜西 西安　710072; 2.西北工業(yè)大學(xué) 軟件與微電子學(xué)院, 陜西 西安　710072)

?

一種基于操作軌跡模型的移動(dòng)應(yīng)用易用性評(píng)估方法

成靜1,2, 朱怡安1, 張濤2, 楊艷麗2

(1.西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院, 陜西 西安710072; 2.西北工業(yè)大學(xué) 軟件與微電子學(xué)院, 陜西 西安710072)

摘要：由于各種移動(dòng)智能設(shè)備特征各異、操作方式多樣、使用環(huán)境復(fù)雜、用戶類型眾多等諸多因素,使得移動(dòng)應(yīng)用的易用性評(píng)估問題非常突出。文章試圖探索基于用戶操作軌跡的移動(dòng)應(yīng)用易用性評(píng)估方法。該方法通過構(gòu)造用戶操作軌跡狀態(tài)機(jī)模型,比較分析用戶真實(shí)操作軌跡模型與預(yù)期的標(biāo)準(zhǔn)操作軌跡模型之間區(qū)別,評(píng)估和發(fā)現(xiàn)可能的易用性問題。

關(guān)鍵詞：移動(dòng)應(yīng)用測(cè)試;易用性;狀態(tài)機(jī)模型;易用性度量

隨著移動(dòng)應(yīng)用市場(chǎng)競(jìng)爭(zhēng)的日益激烈,對(duì)移動(dòng)應(yīng)用的質(zhì)量要求日益苛刻和嚴(yán)格[1]。易用性是評(píng)價(jià)移動(dòng)應(yīng)用交互體驗(yàn)的重要指標(biāo),有助于提升用戶滿意度,增加用戶黏度[2]。與傳統(tǒng)應(yīng)用軟件相比,由于存在交互操作模式較多、使用環(huán)境復(fù)雜、受屏幕大小限制、用戶數(shù)量眾多等特點(diǎn),移動(dòng)應(yīng)用易用性評(píng)估日趨重要和困難[3]。

當(dāng)前易用性評(píng)估方法研究仍主要集中在實(shí)驗(yàn)室評(píng)測(cè)[4]和現(xiàn)場(chǎng)評(píng)測(cè)方面[5]。但這兩類方法對(duì)移動(dòng)應(yīng)用易用性評(píng)測(cè)并不充分。首先,移動(dòng)設(shè)備種類繁多,處理能力不盡相同，且屏幕尺寸、觸屏靈敏度等都會(huì)影響移動(dòng)應(yīng)用易用性。其次,由于移動(dòng)應(yīng)用使用環(huán)境復(fù)雜多樣,并且可能持續(xù)變化。最后,移動(dòng)用戶類型眾多,用戶的知識(shí)背景、年齡、身體狀況等,也都可能影響移動(dòng)應(yīng)用易用性。受限于測(cè)試成本和時(shí)間,傳統(tǒng)實(shí)驗(yàn)室評(píng)測(cè)和現(xiàn)場(chǎng)評(píng)測(cè)方法均難以全面、準(zhǔn)確評(píng)估移動(dòng)應(yīng)用易用性。

基于操作軌跡的易用性評(píng)估方法,則通過自動(dòng)收集用戶操作軌跡日志,分析識(shí)別用戶使用障礙,研究評(píng)估移動(dòng)應(yīng)用易用性[6]。本文在用戶操作軌跡模型基礎(chǔ)上,定義了一組移動(dòng)應(yīng)用易用性評(píng)估指標(biāo),實(shí)現(xiàn)了真實(shí)用戶使用場(chǎng)景下的大規(guī)模、自動(dòng)化的移動(dòng)應(yīng)用易用性評(píng)估,使評(píng)估方法更為高效、客觀、準(zhǔn)確和低成本。

1移動(dòng)應(yīng)用操作軌跡模型

1.1Android操作軌跡日志

在Android的用戶接口系統(tǒng)中,“Activity”定義了用戶交互窗口,通常附有一個(gè)視圖(“View”),通過該視圖來響應(yīng)用戶操作事件消息。“Activity”也可以附有對(duì)話框“Dialog”或者菜單“Menu”,以接收用戶操作事件。在Android系統(tǒng)中,視圖、對(duì)話框、菜單等不同窗口容器允許接收和處理不同類型的消息,如表1所示。

表1　Android事件類型表

Android移動(dòng)智能設(shè)備有返回鍵、菜單鍵、Home鍵和搜索鍵等系統(tǒng)健,這些系統(tǒng)健對(duì)所有移動(dòng)應(yīng)用都適用。Android圖形接口系統(tǒng)只處理其注冊(cè)的事件消息,而忽略未注冊(cè)的事件消息。

1.2移動(dòng)應(yīng)用操作軌跡模型

移動(dòng)應(yīng)用操作軌跡模型是根據(jù)操作軌跡日志,對(duì)用戶的移動(dòng)應(yīng)用交互操作過程的描述。這里,移動(dòng)應(yīng)用操作軌跡模型定義為一個(gè)擴(kuò)展?fàn)顟B(tài)機(jī)O{S,E,T,I,F}。

S:操作狀態(tài)集。在移動(dòng)應(yīng)用中,將每個(gè)獨(dú)立用戶界面視圖定義為一個(gè)操作狀態(tài)。在Android中,“View”、“Dialog”、“Menu”均可定義為操作狀態(tài)。

E:操作事件集。在移動(dòng)應(yīng)用中,將用戶對(duì)移動(dòng)應(yīng)用的操作事件定義為其操作事件,如“點(diǎn)擊菜單”、“點(diǎn)擊按鈕”等。操作事件屬性包括:事件名稱、參數(shù)、操作對(duì)象、觸發(fā)時(shí)間等。

T:狀態(tài)轉(zhuǎn)換函數(shù)。狀態(tài)轉(zhuǎn)移函數(shù)用以描述移動(dòng)應(yīng)用從一個(gè)狀態(tài)(視圖),在操作事件觸發(fā)下,遷移到另一個(gè)狀態(tài)(視圖),即狀態(tài)轉(zhuǎn)換函數(shù)描述了狀態(tài)之間可能的轉(zhuǎn)換規(guī)則。

I:初始狀態(tài)。通常將移動(dòng)應(yīng)用啟動(dòng)后的第一個(gè)狀態(tài)稱為其初始狀態(tài)。

F:一組結(jié)束狀態(tài),表示移動(dòng)應(yīng)用退出或者任務(wù)完成時(shí)的狀態(tài)。

移動(dòng)應(yīng)用操作狀態(tài)機(jī)模型描述了移動(dòng)應(yīng)用所有可能的操作軌跡。為了分析移動(dòng)應(yīng)用易用性,針對(duì)某個(gè)任務(wù),在期望的理想情況下的用戶操作軌跡狀態(tài)機(jī),定義為基本操作狀態(tài)機(jī)。而根據(jù)測(cè)試用戶實(shí)際操作過程,生成的操作狀態(tài)機(jī)實(shí)例,定義為用戶操作狀態(tài)機(jī)。通過對(duì)比分析基本操作狀態(tài)機(jī)與用戶操作狀態(tài)機(jī)之間的差別,有助于評(píng)估移動(dòng)應(yīng)用易用性。例如,圖1描述了一個(gè)基本操作狀態(tài)機(jī),圖2是用戶操作狀態(tài)機(jī)。二者相比較,基本操作狀態(tài)機(jī)可通過較少的狀態(tài)和操作事件完成任務(wù),而用戶操作狀態(tài)機(jī)則增加了一個(gè)新的狀態(tài)S4和多個(gè)操作事件。

圖1　基本操作狀態(tài)機(jī)

圖2　用戶操作狀態(tài)機(jī)

2移動(dòng)應(yīng)用易用性評(píng)價(jià)模型

在進(jìn)行易用性分析時(shí),首先通過監(jiān)聽用戶操作日志,建立用戶實(shí)際操作軌跡狀態(tài)機(jī)模型,然后對(duì)比用戶實(shí)際操作狀態(tài)機(jī)與基本操作狀態(tài)機(jī)之間的差異,分析和評(píng)價(jià)移動(dòng)應(yīng)用的易用性。這里,基于操作效率、正確性、可學(xué)習(xí)性、可記憶性等,定義了如下一組易用性度量指標(biāo):

1) 返回率Rb:用戶退回之前狀態(tài)的概率。返回率描述了針對(duì)某個(gè)用戶任務(wù),當(dāng)用戶操作失誤時(shí),返回到前一狀態(tài)的頻率。即用戶返回操作數(shù)Cregressive-operation與基本操作數(shù)Cbase-operation之比。這里的返回率特指當(dāng)用戶點(diǎn)擊“返回鍵”而觸發(fā)的用戶操作狀態(tài)回退,即

(1)

2) 偏離率Rd:用戶在任務(wù)執(zhí)行的過程中,偏離預(yù)期操作序列的操作數(shù)與完成該任務(wù)的基本操作數(shù)的比率。其中偏離操作數(shù)可以由用戶操作數(shù)Cuser-operation與基本操作數(shù)Cbase-operation之差計(jì)算,即

(2)

3) 首次成功率Rf:是指用戶執(zhí)行任務(wù)時(shí),在各個(gè)狀態(tài)下,第一次操作成功的個(gè)數(shù)與基本操作數(shù)的比率,它可反映用戶是否能夠快速掌握移動(dòng)應(yīng)用的操作模式。

(3)

4) 學(xué)習(xí)次數(shù)Co:是指用戶從第一次執(zhí)行任務(wù)開始,平均執(zhí)行多少次任務(wù)后,能夠達(dá)到穩(wěn)定操作狀態(tài),即用戶操作狀態(tài)機(jī)接近或者與基本操作狀態(tài)機(jī)一致。

5) 熟練度Rp:在用戶穩(wěn)定操作狀態(tài)情況下,其任務(wù)平均完成時(shí)間Tuser與基本操作模型的任務(wù)預(yù)期完成時(shí)間Tbase之比,即

(4)

6) 記憶度Rr:是指用戶在長(zhǎng)時(shí)間不用的情況下,當(dāng)再次操作時(shí)平均完成時(shí)間Tuser-re與基本操作模型的任務(wù)預(yù)期完成時(shí)間Tbase之比,即

(5)

3實(shí)例研究

為了驗(yàn)證本文所提出方法的有效性,選擇開源的移動(dòng)應(yīng)用杏林書童作為實(shí)例研究對(duì)象。招募了20名本科生和研究生作為實(shí)驗(yàn)人員,其中10人來自計(jì)算機(jī)相關(guān)專業(yè),10人來自非計(jì)算機(jī)專業(yè),有10名男性,10名女性,年齡分布在19到27歲之間。所有測(cè)試人員均使用自己的Android智能手機(jī),安裝具有操作軌跡日志監(jiān)聽功能的杏林書童移動(dòng)應(yīng)用。

杏林書童是一款中醫(yī)方濟(jì)速查移動(dòng)應(yīng)用,我們?cè)O(shè)計(jì)了一個(gè)用戶操作任務(wù)。該任務(wù)在杏林書童的首頁(yè),選擇辯證類別“氣血雙補(bǔ)”,并在氣血雙補(bǔ)類別中選擇方劑“八珍湯”,然后修改“八珍湯”中人參的藥量為11克。該任務(wù)的具體操作步驟如表2所示,其對(duì)應(yīng)的基本操作狀態(tài)機(jī)如圖3所示。然后分別請(qǐng)20名學(xué)生獨(dú)立完成該操作任務(wù),生成每個(gè)用戶的操作狀態(tài)機(jī),圖4是其中某一個(gè)用戶的操作狀態(tài)機(jī)模型。對(duì)比分析發(fā)現(xiàn),該用戶在狀態(tài)S4時(shí),存在操作遲疑、誤操作多等易用性問題。

表2　杏林書童任務(wù)操作描述表

圖3　杏林書童基本操作狀態(tài)機(jī)

圖4　杏林書童用戶操作狀態(tài)機(jī)

通過分析20名學(xué)生的操作軌跡模型與基本操作軌跡模型之間的差異,應(yīng)用所提出的評(píng)價(jià)模型,評(píng)估結(jié)果如表3所示。根據(jù)表3,用戶操作返回率和偏離率較高,首次成功率較低,平均需要3.45次才能熟練操作。熟練操作后平均用戶操作時(shí)間接近標(biāo)準(zhǔn)操作時(shí)間,并且用戶記憶度較好。

表3　杏林書童易用性評(píng)價(jià)結(jié)果

4結(jié)論

本文提出的基于軌跡的移動(dòng)應(yīng)用易用性評(píng)測(cè)方法,能夠支持大規(guī)模、遠(yuǎn)程、低成本的易用性分析和評(píng)估,幫助發(fā)現(xiàn)移動(dòng)應(yīng)用易用性存在的缺陷和問題。下一步,將基于本文的模型與算法,研究和開發(fā)相關(guān)的工具軟件,開展大規(guī)模實(shí)驗(yàn),進(jìn)一步驗(yàn)證所提出方法的有效性。

參考文獻(xiàn)：

[1]Jerry Gao, Bai X, Tsai W T, et al. Mobile Application Testing: A Tutorial[J]. IEEE Trans on Computer, 2014, 47(2): 26-35

[2]Ahmed Seffah,Mohammad Donyaee, Rex B, et al. Usability Measurement and Metrics: A Consolidated Mode[J]. Software Quality Journal, 2006, 14: 159-178

[3]Gafni R. Usability Issues in Mobile-Wireless Information Systems[J]. Issues in Informing Science and Information Technology, 2009, 6: 755-769

[4]Hussain A, Kutar M. Usability Metric Framework for Mobile Phone Application[C]∥The 10th Annual Post Graduate Symposium on The Convergence of Telecommunications, Networking and Broadcasting, 2009: 456-462

[5]Coursaris C K, Kim D J. A Meta-Analytical Review of Empirical Mobile Usability Studies[J]. Journal of Usability Studies, 2011, 6(3): 117-171

[6]Ma Xiaoxiao, Yan Bo, Chen Guanling, et al. Design and Implementation of a Toolkit for Usability Testing of Mobile Apps[J]. Mobile Networks and Applications, 2013, 18: 81-97

Evaluating Usability of Mobile Applications Based on User Operation Track Model

Cheng Jing1,2, Zhu Yian1, Zhang Tao2, Yang Yanli2

1.School of Computer Science, Northwestern Polytechnical University, Xi′an 710072, China 2.School of Software and Microelectronics, Northwestern Polytechnical University, Xi′an 710072, China

Abstract:With the fast evolution in the development of applications for mobile smart devices, the study and adequacy of usability evaluation methodologies in this context is becoming an increasingly demand. Traditional laboratory based usability testing is often tedious, expensive, and does not reflect real use cases. In this paper, a novel remote usability evaluation approach has been proposed for mobile applications. This approach automatically collects user interface events as the user interacts with the applications, and then models user operation tracks using state machine. By analyzing and comparing real user operation state machines with expert operation state machine, we evaluate mobile applications with some proposed usability metrics, and find usability faults.

Keywords:mobile testing; mobile usability; usability testing; usability evaluation

收稿日期：2016-03-20

基金項(xiàng)目：陜西省工業(yè)科技攻關(guān)項(xiàng)目(2016GY-100)資助

作者簡(jiǎn)介：成靜(1982—)，女，西北工業(yè)大學(xué)博士研究生，主要從事軟件測(cè)試、軟件安全性研究。

中圖分類號(hào)：TP311.5

文獻(xiàn)標(biāo)志碼：A

文章編號(hào):1000-2758(2016)04-0720-04