BDS導航終端用戶主觀體驗量化評價方法

許　培，董晶晶

(北京衛星導航中心，北京　100094)

?

BDS導航終端用戶主觀體驗量化評價方法

許培，董晶晶

(北京衛星導航中心，北京100094)

摘要：本文針對BDS導航終端的用戶主觀體驗質量難以量化評價的問題，基于長期在BDS導航終端應用保障過程中積累的經驗，通過針對性的設計并實施用戶訪談、問卷調查等方式，獲得了部隊用戶對BDS導航終端使用感受的真實反饋。以層次分析法為主要基礎方法，提出了一種能夠將用戶的主觀使用感受進行量化評價的BDS導航終端用戶體驗評價指標體系。文中對該體系的指標項目與評判標準做出了詳細說明，并設計了一套與之配套的測試方法，實現了BDS用戶終端在用戶主觀感受方面的量化評價。

關鍵詞：北斗系統；導航終端；用戶體驗質量；評價指標體系；測試方法

0引言

北斗衛星導航系統(BeiDou navigation satellite system，BDS)已經廣泛應用于航空、航海、車輛、漁業、應急救援等眾多領域和行業，BDS導航終端的質量水平不僅關系著BDS應用的開展和產業的壯大，也與人民大眾生命安全和生活質量密切相關[1]。在BDS研制建設階段，對BDS用戶終端的質量需求，重點在其是否具備主要功能和滿足重要設計指標，而隨著BDS應用的快速發展，各界用戶對BDS終端的質量提出了更高的需求，對QoE更加關注。

用戶體驗質量(quality of experience，QoE)，指明確用戶在使用一個產品或服務的過程中所建立起來的純主觀的心理感受的綜合質量水平。

由于用戶體驗的主觀性，準確定義用戶體驗非常困難[2-3]。當然，用戶體驗概念本身雖然是主觀的、模糊的、綜合的，但從評估學角度來看，其體驗系統是具體、可分化的，由多個不同評價指標要素組成，因此將用戶體驗量化的基本思想是將一個復雜系統分化為多個指標來反映綜合情況[4]。但是對于具體評估方法，尤其是量化技術的研究仍處于摸索階段[5]，研究難度主要在于“體驗”這個概念本身作為個人心理感受的不穩定性、主觀性、差異性、復雜性，存在著較難實時獲取，以及準確度不高等問題[6]。

目前，對BDS終端的質量評定主要是通過試驗室測試，對具體功能與指標進行定量檢驗，從而確定終端的制造質量，但還沒有針對用戶使用質量的明確標準與檢驗方式。

本文的目的即是從用戶體驗的角度來反映BDS導航終端的使用質量，通過設計有效的評定和衡量方法發現導航終端存在的使用問題，并將QoE結果以量化的形式視覺化、直觀化，得到用戶對BDS導航終端的使用體驗的客觀評價，并督促研制、生產方提高終端的使用質量，提升BDS用戶滿意度。

出于業務關注方向，本文的研究對象限定于部隊用戶，評價主體以BDS手持雙模型用戶機為例。文章內容描述了如何設計一套BDS導航終端用戶使用感受評價指標體系，及如何實施實際測評驗證，從而獲得部隊用戶對BDS導航終端在實際使用環境下和實際使用過程中的整體可接受度與主觀滿意度的量化評價。

1評價指標體系的設計

經過對多種QoE評價方法[7]的分析比較，本文對BDS導航終端用戶使用感受評價指標體系的構建，主要采取層次分析法確定參與評價的指標及其權重。

1.1評價指標來源

用戶訪談由于其實用有效而成為實際研究調查中被廣泛運用的定性研究手段[8]。通過對一定數量的BDS終端用戶調查，了解其對于導航終端的功能認知、交互過程具體行為模式與交互體驗質量的影響因素、綜合主觀滿意度等方面的信息，從而指導后續量化評價方法的設計。

在2008年～2012年間，結合大量BDS導航終端在部隊的裝備配發和保障工作進行用戶訪談。訪談對象為具有代表性的部隊用戶。具體選擇標準[9]為：來自不同地域的基層部隊，年齡在18歲～30歲，擁有2 a以上BDS終端使用經驗，經常使用不同廠家的各型號BDS終端，同時會使用其他導航終端或智能手機。

訪談主要內容包括以下幾點：

①對BDS用戶終端的整體評價、態度、期望等；

②影響操作使用的原因、因素等；

③基本使用情況：使用頻率較高的功能、使用場景、時間段等；

④使用過程中的體驗影響因素，最關注應用的哪些方面；

⑤挑選其中最常用的功能，現場操作演示，并評價其優缺點；

⑥對于綜合滿意度較高的機型，會有哪些相應的心理感受、具體行為等。

對用戶訪談結果的數據分析表明，其選取的用戶具有典型代表性，總體上能夠反映部隊用戶對BDS終端的體驗情況，主要訪談結論包括：

①用戶主要使用的功能是定位、導航、報文短信等；

②希望BDS終端進行功能改進和質量提升；

③較為滿意的是開機鎖定信號快，架設簡便等；

④較不滿意的是使用環境差、輸入法落后、目標點查找不方便、按鍵不靈敏，屏幕觸控功能較差等。

1.2指標權重確定

為了量化區分影響用戶對BDS導航終端做出使用感受評價的因素的重要程度，在確定了評價指標之后，就需要對這些評價指標進行權值分配，也就是對每項評價指標在最終評價中的重要性進行劃分。

這項工作主要通過問卷調查來實現。問卷調查是一種數據收集手段，目的是搜集、累積某一目標族群對待事物的看法、觀點等事實現況[10]。調查問卷根據用戶訪談的結果設計題項，主要針對BDS終端用戶體驗的影響因素進行定量研究，從而明確體驗評估指標要素，并構建層次結構模型。

調查問卷共包括三部分，第一部分為接受調查的用戶基本資料，第二部分為用戶對各影響因素的反應及程度、第三部分為用戶主觀意見、建議及綜合滿意度。發放形式為各部隊抽樣發放。本次問卷調查共計發放350份，回收326份，其中有效問卷為324份，問卷有效回收率為92.3%。

在回收問卷的分析中，首先對有效問卷的數據進行可信度分析；在剔除明顯不可信數據后，再對問卷提及的各影響因素的反饋數量進行統計；之后結合第三部分的反饋意見進行相關性分析；最后結合終端研制、驗收等方面專家的意見，通過專家打分法最終確定各影響因素的權重[11]。

2評價指標體系的構成

2.1評價指標體系

通過以上方法，構建出一套BDS導航終端用戶體驗評價指標體系(由于各型號終端的軟硬件設計存在差異，不可一概而論，此處以BDS二號手持雙模型用戶機為例，詳見表1)，主要考察終端的外觀設計、軟件設計、主要功能實現和導航效果4大項內容，其下劃分二級指標，及更詳細的評價標準。

表1　BDS導航終端用戶體驗評價指標體系

最終評價得分的計算為

(1)

式(1)中，S為被測終端的最終得分；λi為一級指標的權重，i=1、2、3…m(m為一級指標的總個數)；λij為二級指標的權重，j=1、2、3…n(n為某一級指標中二級指標的總個數)；Sij為二級指標的得分。

2.2評價指標說明

操作指導材料易讀性：操作指導材料指終端的隨機說明材料，是指導用戶使用BDS導航終端的重要輔助手段，包括但不限于說明書、操作維護手冊等，評價標準為內容完整，語言簡潔易懂，語義正確無歧義，索引方便，用戶能快速準確的找到所需內容。

整機外觀設計：由于各型號終端的硬件結構不同，評價項目稍有區別，主要包括工藝水平、安全性、耐用性與操控性；評價標準基本與本例一致：主機及外接口平滑無毛刺，主機外殼及外接口耐磨損，無掉漆、磕角、斷裂等現象，電池蓋裝卸方便、安裝牢固；指示燈醒目；各組件有防水設計且防水有效；主機各接口與外接線的連接牢固、方便。

攜行具設計：手持型終端一般用于單兵背負，因此手持型終端的攜行具要求能方便裝卸、攜行具裝入主機后方便攜帶，攜行具對主機的保護效果明顯。

電池及充電器設計：專用鋰電池是用戶機主要易損易耗部件，雖然電池性能在試驗室指標測試中能夠得到充分體現，但其設計細節只有在用戶使用評價中才能得到反映。評價標準包括：充電方式多樣，座式充電器連線方便、牢固，充電器安裝電池方便、牢固，有防反插設計，插簧片不易發生虛接、短路。

可選配件設計：導航終端的可選配件很多，不同廠家針對不同機型、不同用戶需求可自行選擇、設計配件。在用戶使用過程中，配件應能夠對用戶體驗產生積極的影響。當然，如果配件的選擇沒有起到輔助用戶使用的作用，或設計不合理，在使用過程中令用戶不快，則會對用戶滿意度起到負面影響，甚至失去選配此配件的作用。鑒于目前主流配件比較集中，評價集中在手寫筆和外接天線兩種配件。手寫筆的評價標準是：形狀、長度、粗細設計合理，抓握舒適，放置位置合理，安裝牢固，取用方便，防掉落遺失設計合理，戴手套使用手寫筆方便；外接天線評價標準是：體積小、重量輕，接插主機方便，車外(室外)安裝方便、牢固，接插口接線穩固，線纜結實耐用，不易損壞。

界面風格、顯示要素可讀性：軟件界面評價標準在業界已有豐富研究，鑒于BDS導航終端的用戶群體與作戰訓練的使用環境場景，我們主要考察界面色調、圖案形狀、色差設計、圖案在無文字輔助情況下的易懂程度、界面功能區域劃分明顯、合理。

人機交互便捷性：主要分按鍵、觸摸屏、聲音、亮度及輸入法等幾個方面進行評價。主要評價標準為按鍵靈敏度適中，牢固不易脫落；觸摸屏靈敏度適中、觸點準確；音量可調節且調節范圍大；屏幕可調節到合適亮度、顯示清晰；輸入法切換方便，輸入方便、準確，手寫輸入反應速度適中、識別度良好。

警告、提示信息設計：用戶在使用時有可能實施誤操作，終端在發生異常時應及時以各種方式提醒用戶，評價標準為告警與提示信息顯示明顯、醒目，描述清晰，文字簡潔易懂，無歧義，處理建議準確可行。

狀態信息菜單與界面設計：評價標準為狀態信息項目豐富、內容準確、顯示方式直觀、易懂，新信息刷新迅速。

定位功能菜單與界面設計：評價標準為各類數據完整、正確、刷新迅速、界面可讀性強，關聯數據顯示區域設置合理、切換、調取方便。

通信功能菜單與界面設計：評價標準為內容書寫方便、顯示清晰，存儲、編輯與調用方便，存儲信息量大。

地圖界面設計：評價標準為地圖數據類型豐富，地圖打開、切換迅速，顯示清晰準確，放大、縮小、漫游流暢，圖上標注方便、準確，點位信息顯示明顯易讀。

導航設置：評價標準為導航設置項目豐富、設置方便，數據容量大。

導航線路規劃：評價標準為導航線路計算速度快、線路設計準確、符合設置要求、重新規劃路徑及時準確，模擬導航路線清晰、易觀看。

導航過程：評價標準為導航過程中圖形、文字顯示清晰易懂、語音告警與提示簡潔易懂、無歧義、準確及時。

軌跡顯示：評價標準為實際行進軌跡顯示清晰、刷新及時、與地圖數據吻合度高。

與現有BDS用戶終端在研制、生產中所需遵循的功能、性能指標不同，以上用戶體驗評價指標給出了影響用戶使用感受的主要因素。前者是用戶終端實現基本功能、達到應用目的的必要條件，首先為用戶解決終端“能用”的基本要求；后者則替用戶描述了終端如何才能“好用”的進一步要求。用戶體驗評價指標所涉及的內容雖然隱含在現有用戶終端的功能要求中，與各項技術指標不沖突、不重合，且本文討論的內容必須是在用戶終端已實現所有功能、性能指標要求的前提下開展，但這些具體的功能、性能指標并非本文研究內容，故對此不予討論。

3評價指標體系的實際應用與驗證

由于使用體驗是用戶的一種主觀反應，因此無論如何提高評價指標和測試方法的量化程度和精細度，都無法獲得一個絕對評價結論，而只能在控制條件下得到橫向或縱向比較的相對結論。也因此，本用戶體驗評價指標體系的實際應用只適合以比較測試的方式實現。通過多次試驗，設計了一套BDS導航終端用戶使用體驗橫向比測方案。

3.1測試人員選擇

在測試人員的選擇上，一般產品測評均以具備充分理論知識和科研經驗的專業技術人員擔任為佳，而本測試為充分體現普通用戶立場，卻特意避免專業人士或熟練測試人員。針對目標用戶群，從不同工作條件下、對設備具有不同使用需求的實際用戶群體中隨機抽取(隨機抽樣或典型抽樣)。即使不具備大范圍抽取測試人員的條件，至少也要在能夠代表用戶特征的小范圍內選取用戶個體(方便抽樣)，力求使被選取的測試員團隊具有代表性和普遍性。

3.2前期培訓

依此原則選出的測試員，很可能尚未接觸過BDS導航設備，甚至不熟悉導航產品，因此不會有固定的思維定勢和操作習慣，能夠真實反映普通用戶在使用中的感受，并能從其使用需求與環境角度出發，發現并反映被測設備在設計上的優缺點。但同時，由于缺乏測試經驗，在執行測試用例和評分、描述故障過程中容易發生偏離。為了規避這些負面因素，需要對選出的測試員進行必要的基本培訓。培訓僅限于使測試員建立對被測對象的產品功能、結構組成等基本認識，以及了解測試過程，掌握測試方法、評分標準與現場記錄方法等。

在測試員培訓階段，著重培養測試員建立公平一致的評價風格，即獨立個人對所有同型號被測設備的打分標準要保持前后一致；為此，還可以在測試開始前專門給測試員留出充分的試用比較時間，在測試順序上采取隨機排序的方式，盡量削弱測試順序和個人體力、注意力等身體條件波動對評價結果的影響。

3.3測試環節設計

為了避免測試陷入主觀評價標準難確立、實施難規范的誤區，需要對測試全程各個環節進行針對性的設計，從而盡量通過有限人員的主觀評價獲得被測設備的真實、客觀情況。

為確保測試記錄能夠真實反映測試過程，測試記錄表格應盡可能細化，以既有選項等方式固化測試結果，簡化評價方式。對出現的故障現象輔以文字備注描述；為避免缺乏信息量的文字備注，在培訓階段需著重規范測試員的記錄方式，如訓練其使用規定句式、學習各種要素信息的描述語言。

為避免測試員個體差異、主觀偏好和測試期間偶然因素對測試結果的影響，可組織多名測試員對同批設備同步輪流測試。通過這種輪流方式，每臺被測設備將在整體相同的條件下被反復測試，能有效剔除偶然因素對測試結果的影響。

測試人員在單次測試過程中，依次對被測用戶終端的各項測試內容進行單項打分。需要注意的是，實際測試打分表在二級指標下還以分項形式列出細節評價標準，由測試人員逐一打分，但其得分不再設三級權重，而是以平均分作為二級指標得分。原始分值按照本文式(1)所述算法進行計算，最終得分S即為該被測用戶終端本單次測試的成績，滿分為5分。

3.4測試用例選擇

本文的目的，僅針對用戶在使用終端后的主觀評價。受測試條件所限，在有限的空間、時間內，僅通過有限人次的簡單試用，初步得出同批被測終端之間的橫向比較。因此，在測試用例選擇上沒有必要追求功能覆蓋性，而是選取幾項主要功能，如真實導航、短信通信等，測試人員通過執行測試用例，即能對操作過程中感受到的便捷性、反應速度、界面要素可讀性等方面的表現進行橫向比較。

3.5評分規則

測試評分采用五分制，評分等級分為1、2、3、4、5五個等級，最小分值單位為1。

1分表示非常糟糕；2分表示比較糟糕；3分表示一般；4分表示比較好；5分表示非常好。

3.6測試數據綜合與匯總

在形成測試結論之前，可酌情考慮是否需要甄別測試員個體差異所帶來的影響。當測試員選擇采取隨機抽樣或典型抽樣方案時，則測試員團隊即可代表用戶全體，個體差異可忽略不計；而當采取方便抽樣時，比較保險的方法是事先對測試員進行風格偏好測試，事先剔除不負責任和表達混亂的個體；另一種簡單易行的方式則是在測試結束后對每個測試員的所有評價結果進行統計，以其整體測試數據的統計特性體現該測試員實施測試評價的風格，作為最終測試結果的打分背景參考。由于這兩種方法都會加重測試數據處理工作量和難度，建議僅在受條件所限而測試員數量很少的測試中使用。

4結束語

本文提出的BDS導航終端用戶體驗評價指標體系與測試方法是以一線用戶的使用感受為基礎，在設計中力求將用戶對終端的滿意程度關注點轉化為客觀的評價標準。這種方法已經多次在BDS系列導航終端的各類測試中得到應用，從實測結果看，能夠直觀反應被測設備的QoE，得到同型號導航終端橫向比較結果。同時量化的比測數據還能夠客觀反映設備人性化設計的優劣，有助于發現一些常規測試發現不了的潛在設備性能問題，當這些信息閉環反饋到終端研制、生產方時，能夠有效促進終端整體質量的提升。

參考文獻

[1]楊元喜.北斗衛星導航系統的發展、貢獻與挑戰[J].測繪學報，2010，39(1)：1-6.

[2]鄧勝利.國外用戶體驗研究進展[J].圖書情報工作，2008，52(3)：43-45.

[3]向劍勤.國內用戶體驗研究前沿與熱點的知識圖譜分析[J].信息資源管理學報，2013(4)：84-90.

[4]李程.如何量化用戶體驗[J].中國傳媒科技，2011(3)：88-89.

[5]尹志博，楊穎.用戶體驗的量化研究方法[C]//中國計算機學會多媒體技術專業委員會.第四屆和諧人機環境聯合學術會議論文集.武漢：中國計算機學會多媒體技術專業委員會，2008：299-305.

[6]周磊.用戶體驗和用戶心理模型[J].程序員，2009(6)：80-81.

[7]林闖，胡杰，孔祥震.用戶體驗質量(QoE)的模型與評價方法綜述[J].計算機學報，2012，35(1)：1-15.

[8]胡岷.用戶行為研究常用調查方法述略[J].成都理工大學學報(社會科學版)，2005，13(3)：54-57.

[9]王雪聰，唐曉青.質量管理中的顧客滿意度研究[J].計算機集成制造系統，2001，7(10)：61-64.

[10]戢鈞.信息用戶調查方法比較分析[J].圖書館論壇，2006，26(1)：64-65，100.

[11]賀桂和.電子商務網站可用性國內外研究現狀述評[J].商場現代化，2008(11)：148-149.

The Method of Quantitative Evaluation of BDS Navigation Terminal User’s Subjective Experience

XUPei，DONGJingjing

(Beijing Satellite Navigation Center，Beijing 100094，China)

Abstract：In order to resolve the difficulty of quantitative evaluation of the user’s subjective experience quality of BDS navigation terminal，this paper got the users’ feedback in army for the using feeling of BDS navigation terminal，through the methods such as design and implementation of the user interviews and questionnaire survey，which were based on the experience accumulated in the process of BDS navigation terminal application security.In a hierarchical analysis method as the basic method，the paper puts forward a user’s subjective experience of quantitative evaluation of the BDS navigation terminal user experience evaluation index system.The system index and evaluation criteria are made in detail in the paper，and it also designs a set of test methods matched with the system，So that to achieve the quantitative evaluation of the user’s subjective feeling of BDS navigation terminal.

Key words：BDS；navigation terminal；user’s subjective experience quality；evaluation index system；test methods

中圖分類號：P228

文獻標識碼：A

文章編號：2095-4999(2016)-01-0005-05

作者簡介：許培(1977—)，女，北京人，工程師，學士，現主要從事北斗衛星導航應用方面工作。

收稿日期：2015-06-15

引文格式：許培，董晶晶.BDS導航終端用戶主觀體驗量化評價方法[J].導航定位學報，2016，4(1)：5-9.(XU Pei，DONG Jingjing.The Method of Quantitative Evaluation of BDS Navigation Terminal User’s Subjective Experience[J].Journal of Navigation and Positioning，2016，4(1)：5-9.)DOI：10.16547/j.cnki.10-1096.20160102.