基于層次分析法和灰色關(guān)聯(lián)分析的產(chǎn)品界面視覺評價模型構(gòu)建方法

金 濤

(中國石油大學(華東) 機電工程學院, 山東 青島 266580)

基于層次分析法和灰色關(guān)聯(lián)分析的產(chǎn)品界面視覺評價模型構(gòu)建方法

金 濤

(中國石油大學(華東) 機電工程學院, 山東 青島 266580)

產(chǎn)品界面視覺化屬于認知心理學, 由于受評價者個人或其他不確定因素的影響, 通過主觀評測方法得到的數(shù)據(jù)缺少可靠性. 根據(jù)“客體理解層-特征感知層-度量層”的層次化建模思路, 利用改進德爾菲法構(gòu)建產(chǎn)品界面視覺評價指標體系, 運用層次分析法和灰色關(guān)聯(lián)分析確定指標的權(quán)重, 對指標及其權(quán)重進行可靠性檢驗, 并構(gòu)建可靠度系數(shù)以減少主觀因素對評價結(jié)果的影響, 最終構(gòu)建起用于減少主觀性影響的產(chǎn)品界面視覺績效綜合評價模型. 利用該模型可實現(xiàn)對產(chǎn)品界面高效評價, 并為產(chǎn)品界面評價質(zhì)量提供了基礎(chǔ)保證.

產(chǎn)品界面; 視覺元素; 層次分析法; 可靠性檢驗; 評價模型

產(chǎn)品界面視覺元素以真實情境為隱喻來表征信息. 把視覺元素解構(gòu)成特征并進行有效編碼, 采用自然、直觀、明確的視覺編碼, 可節(jié)省認知時間, 提高反應速度, 降低錯誤率[1].

產(chǎn)品界面視覺綜合評價是一個包括多種組合因素的復雜過程, 評價結(jié)果受評價者主、客觀多種要素的綜合影響[2]. 在評價過程中, 由于評判專家的專業(yè)知識、工作經(jīng)驗和認知水平等的不同, 對相同評價目標往往會得到不同的評價結(jié)果, 難以作出十分一致的評價[3], 所以對各位專家的主觀性評價, 特別是評判者做出的評價結(jié)果之間有很大差距時, 適當修正權(quán)重大小是很有必要的. 為克服利用單一指標對事物進行評測而導致“評價結(jié)果信度和效度低下”的現(xiàn)狀, 一般要處理和整合反映事物的多項指標的信息, 形成一個多層次、綜合性、能有效解釋問題的綜合指標[4]. 本文旨在建立可減少主觀因素的產(chǎn)品界面視覺元素的多層次評價模型(visual multi-level evaluation model, 簡稱VMEM).

1 初級指標的建立及可靠度驗證

改進傳統(tǒng)德爾菲法, 基于系統(tǒng)性、科學性和全面性原則構(gòu)建初級評價指標體系. 首先第1輪專家征求意見改為調(diào)查負責人團隊和少數(shù)權(quán)威專家進行主題商討[5], 輸出征求意見表, 再進行專家組成員的問題咨詢. 通常傳統(tǒng)德爾菲法為3～4輪, 優(yōu)化后的德爾菲法為2～3輪. 基于優(yōu)化德爾菲法構(gòu)建VMEM評價指標體系的主要流程如圖1所示.

圖1 VMEM評價指標體系的建立流程Fig.1 The establishment process of VMEM evaluation index system

1.1 初步篩選指標

基于國內(nèi)外視覺認知理論、可用性理論及ISO 9126、ISO 9241和ISO 13407定義的可用性維度文獻, 初步建立由整體風格、圖形、圖標、統(tǒng)一性等56個指標組成的產(chǎn)品界面視覺元素的評價指標體系.

1.2 第1輪專家咨詢

以初步評價指標體系作為咨詢表進行第1輪專家評判, 專家組成員根據(jù)經(jīng)驗采用五階李克特度量法評價各指標對界面視覺績效的重要級別, 1～5分別表示重要級別為“不大”“一般”“大”“很大”和“極大”[6]. 利用以下指標對第1輪專家咨詢結(jié)果進行統(tǒng)計分析, 部分結(jié)果如表1所示.

(1) 集中度Mi計算式為

(1)

式為:Ej為度量值;mij為給第i個評價指標打分為j的專家人數(shù);n為指標數(shù)量;d為專家總?cè)藬?shù).

(2) 離散度Ri計算式為

(2)

Ri表示第i個評價指標評分的分散程度, 其數(shù)值小意味專家組成員的意見較為一致.

(3) 協(xié)調(diào)度, 包括變異系數(shù)Vi與協(xié)調(diào)系數(shù)W兩個參考指標, 計算式為

(3)

(4)

式中:si為第i個指標評分和與全部指標評分之和的平均值之差;Tk為修正系數(shù),Tk∈[0.95, 1.05].Vi表示第i個指標評分的協(xié)調(diào)度, 其數(shù)值愈小說明專家意見愈一致;W表示專家組成員對整個評測指標體系評測結(jié)果的協(xié)調(diào)度, 其數(shù)值愈大說明專家意見愈一致.

表1 第1輪指標重要級別的專家打分的部分統(tǒng)計分析結(jié)果

1.3 第2輪專家咨詢

基于第1輪專家咨詢結(jié)果, 各專家重新評價各指標的重要級別, 并判斷在確定各指標重要程度時的信心指數(shù)(self-confidence index, SI), 1～5分別表示為“很低”“低”“一般”“高”“很高”, 當信心指數(shù)的均值不小于3時, 專家組評價結(jié)果才有意義. 第2輪專家指標打分的部分統(tǒng)計分析結(jié)果如表2所示.

表2 第2輪指標重要級別的專家打分的部分統(tǒng)計分析結(jié)果

1.4 初級指標的篩選及可靠度驗證

根據(jù)重要程度一致性和信心指數(shù)對指標進行篩選, 去除不符合條件的指標, 合并含義重復的指標, 由56個指標篩選出44個對界面視覺元素影響較大的評價指標.

根據(jù)穩(wěn)定性的定義[7], 兩輪專家組評價結(jié)果的均值之差D不大于1/3視為穩(wěn)定[5]. 第2輪中幾乎所有評價指標的離散度Ri和變異系數(shù)Vi小于第1輪, 說明第2輪專家評價結(jié)果的分散程度較小, 協(xié)調(diào)程度較高. 第2輪的信心指數(shù)均大于3, 意味專家對評價結(jié)果比較有信心. 兩輪咨詢結(jié)果的協(xié)調(diào)系數(shù)均有意義(p<0.01), 如表3所示.

表3 協(xié)調(diào)系數(shù)及其統(tǒng)計意義

1.5 VMEM指標體系的構(gòu)建

這里提出“客體理解層-特征感知層-度量層”的分層建模思路, 定義雙層指標體系結(jié)構(gòu)和評價度量層. 專家采用分群試驗把指標分為布局、菜單/導航結(jié)構(gòu)、文字、顏色、圖標/圖形5大類理解對象作為一級指標, 第2層感知元素作為二級指標, 度量層采用五階李克特度量法, 建立多層次評價指標體系, 如表4所示.

2 各級指標的可靠度檢驗

采用灰色關(guān)聯(lián)分析(GCA)對指標進行可靠度檢驗, 通過對比各專家的指標評分序列與理想的參考序列的相似程度, 分析各專家評價標準的一致或差異程度. 當專家利用同一個評價指標體系評價同一個評價對象時, 若評價結(jié)果差異程度越大, 即一致性越小, 其可靠度越低, 說明評價指標體系無法有效地反映出評價對象的本質(zhì); 反之, 指標可靠度越高[8]. 以一級指標示例說明.

表4 VMEM部分指標體系

2.1 可靠度驗證方法

定義: 評判專家集E={E|i∈M,M=(1, 2, …,m)},m為專家人數(shù); 評價指標集P={Pj|j∈N,N=(1, 2, …,n)},n為評價指標數(shù)量. 得到如式(5)所示的指標序列.

(5)

按照式(6)對原始數(shù)據(jù)進行標準化處理.

(6)

(7)

按照式(8)算出各評判者對各指標的評價序列與參考序列之間的關(guān)聯(lián)系數(shù), 數(shù)值大小反映出評判者的評價分值與理想?yún)⒖挤种抵g的相關(guān)度, 即專家判斷的可靠程度, 相關(guān)度愈大, 則離散度愈小, 專家的評價一致度愈高, 說明指標的可靠度就愈高.

(8)

εi表示各指標的可靠度(見式(9)), 則一級指標體系的總可靠度ε可定義為所有指標可靠度εi之和(見式(10)). 指標的可靠度愈高, 反映出基于該指標進行評價時的專家認識一致程度愈高; 指標體系的可靠度愈高, 說明指標體系就愈能有效地反映出評價目標的本質(zhì)[8].

(9)

(10)

2.2 一級指標權(quán)重建立過程

(11)

(2) 確定初始權(quán)重. 兩兩比較分析矩陣A可表示為特征根Ak及相對應的特征向量λk, 根據(jù)矩陣最大特征根所對應的特征向量求出指標權(quán)重, 如式(12)所示.

AkPk=λkPk

(12)

首先得出矩陣Ak的最大特征根相對應的特征向量Pkm, 標準化后最大特征根的特征向量為第k位評判者給各個指標的權(quán)重向量, 如式(13)所示. 此權(quán)重向量值是根據(jù)評判者的主觀打分計算出來的, 所以對矩陣Ak進行可靠度的檢驗, 若達不到可靠度要求, 說明權(quán)重向量無效, 就必須重新建立兩兩比較分析矩陣一直到達到可靠度要求.

(13)

(14)

2.3 Friedman可靠性檢驗

為確保數(shù)據(jù)分析結(jié)果的一致性和有效性, 必須對評判分析矩陣進行可靠性檢驗. 通過Friedman檢驗方法來分析各個專家的評價標準是否一致. 若通過Friedman方法分析出各一級評價指標的秩無顯著差異, 則表明專家的打分隨意, 評價的標準不一致; 假如各個專家的評分標準是統(tǒng)一的, 則對某個評價指標而言會得到相同的分數(shù), 這樣就必然會導致各評價指標得分的秩存在很大差異[9].

2.3.1 可靠性系數(shù)的創(chuàng)建

(1) 標準化處理. 為降低隨機因素的影響和解決數(shù)據(jù)量綱不同而帶來的可比性問題, 通過均值化方法對評價矩陣進行標準化處理, 如式(15)所示.

(15)

(16)

(17)

(3) 得到灰色關(guān)聯(lián)度. 依據(jù)層次分析法(analytic hierarchy process, AHP)理論, 每位專家對各個指標的重要性經(jīng)驗判斷值與參考值之間的灰色關(guān)聯(lián)系數(shù)[8]如式(18)所示, 建立的關(guān)聯(lián)系數(shù)矩陣如式(19)所示.

(18)

(19)

為更易于對比分析評價結(jié)果, 運用灰色關(guān)聯(lián)度來表征評分序列與如式(20)所示的參考序列間的關(guān)聯(lián)程度, 關(guān)聯(lián)程度越大說明專家判斷結(jié)果越接近參考均值, 判斷結(jié)果的離散程度也就越小[8].

(20)

(4) 確定可靠性系數(shù). 定義1: 評判者所給評價結(jié)果的關(guān)聯(lián)程度是評判者的可靠度, 可靠度反映出評判者在評價整個過程中產(chǎn)生作用的程度. 定義2: 可靠性系數(shù)是對評判者評價結(jié)果有效程度大小的定量描述, 定義為δ.

運用關(guān)聯(lián)度來反映評判者所給評價結(jié)果的可靠程度, 構(gòu)造評判者所給評價結(jié)果的可靠性系數(shù), 則第k位評判專家的可靠性系數(shù)可以表示為

(21)

可靠性系數(shù)的大小反映出專家在評價過程中發(fā)

生作用的大小和評價結(jié)果的一致程度, 是人認知心理評價的定量描述. 由m位專家的可靠性系數(shù)矩陣如式(22)所示.

(22)

2.3.2 一級指標綜合修正權(quán)重的建立

運用可靠性系數(shù)來修正AHP法算出的指標權(quán)重, 修正后的綜合權(quán)重系數(shù)記為W=B×A, 各評價指標的綜合權(quán)重向量表示成W=(W1,W2,…,Wn).

評判者做出不同的評價結(jié)果時, 可靠性系數(shù)修正的程度往往也是不同的, 這恰恰證明了可靠性系數(shù)是依靠評價結(jié)果自身來反映評判者的可靠度大小, 擁有很高的客觀性[8].

3 視覺元素多層次評價模型的建立

采用相同方法建立二級指標體系及權(quán)重, 可構(gòu)建如式(23)所示的VMEM.

(23)

式中:Sv為視覺元素的綜合績效;Xi為一級評價指標;xij為二級指標;Wi為一級指標的權(quán)重;wij為二級指標的權(quán)重.

評判者在使用VMEM進行評價時, 由于一級指標所含信息較多, 且含義過于籠統(tǒng)、抽象, 而二級指標的含義則比較明確, 易于評價, 但不同評判者由于內(nèi)在認知不同, 其評價標準可能會不同, 從而影響評價結(jié)果的準確性和可靠性. 因此, 為了讓評判者盡量采用統(tǒng)一的評價標準, 避免評判者對指標含義產(chǎn)生誤解, 針對各二級指標提出相應的評價度量語(如表5所示), 為界面視覺元素的評價質(zhì)量提供了基礎(chǔ)保證.

表5 部分VMEM的度量語

4 結(jié) 語

本文根據(jù)“客體理解層-特征感知層-度量層”的層次化建模思路, 并綜合運用改進德爾菲法、層次分析法、灰色關(guān)聯(lián)分析法、Friedman檢驗、主觀評價等方法, 對影響產(chǎn)品視覺評價模型結(jié)果的所有主觀評價信息, 通過相應的技術(shù)手段減小甚至消除其影響, 實現(xiàn)對評價指標的篩選和權(quán)重確定, 最終構(gòu)建了可減少主觀性影響的產(chǎn)品界面視覺績效綜合評價模型.

[1] 傅亞強. 基于多維顯示的監(jiān)控作業(yè)中工作記憶與情境意識的關(guān)系研究[D]. 杭州: 浙江大學心理與行為科學系, 2010.

[2] 王海燕, 卞婷, 薛澄岐. 新一代戰(zhàn)斗機顯控界面布局設(shè)計研究[J]. 電子機械工程, 2011, 27(4): 57-61.

[3] 吳燕, 余榮軍, 周曉林, 等. 火電廠主控室人機界面虛擬評價方法[J]. 心理學報, 2010, 42(3): 1-9.

[4] 杜元偉, 石方園, 楊娜. 基于證據(jù)理論/層次分析法的貝葉斯網(wǎng)絡(luò)建模方法[J]. 計算機應用, 2015, 35(1): 140-146.

[5] 李銀霞, 袁修干, 楊春信, 等. 殲擊機座艙工效學綜合評價指標體系的建立[J]. 航空學報, 2005, 26(2): 148-152.

[6] 郭贊, 郭定, 楊俊超, 等. 直升機座艙顯示界面人機工效指標體系評估研究[J]. 電光與控制, 2011, 18(5): 67-71.

[7] OSBORNE J, COLLINS S. What “ideas-about-science” should be taught in school science? A Delphi study of the expert community [J]. Journal of Research in Science Teaching, 2003, 40(7): 692-720

[8] 夏春艷. 核電廠主控室人機界面評價方法研究[D]. 哈爾濱: 哈爾濱工程大學機電學院, 2010.

[9] 薛薇. 基于SPSS的數(shù)據(jù)分析[M]. 北京: 中國人民大學出版社, 2006.

Construction of Comprehensive Evaluation Model of Visual Performance of Product Interface and Its Reliability Test

JINTao

(School of Mechanic & Electrical Engineering, China University of Petroleum (East China), Qingdao 266580, China)

Product visual interface belongs to congnitive psychology, due to individuals or other uncertain factors, the data obtained by subjective evaluation method lacks reliability. According to the object layer-feature perception layer-Metric layer of hierarchical modeling ideas, modified Delphi method is used to construct the index system of visual performance of product interface, and analytic hierarchy process and grey correlation analysis are used to determine the index weight , and reliability test is done on index and index weight. Besides, reliability coefficient is constructed to reduce the influence of subjective factors on the evaluation results. Finally visual multi-level evaluation model is established. The model can be used to evaluate the product interface more effectively, and it provides the basic guarantee for the quality of product interface evaluation.

product interface; visual elements; analytic hierarchy process; reliability test; evaluation model

1671-0444 (2016)04-0576-06

2016-04-08

國家自然科學基金資助項目(51405514); 中央高校基本科研業(yè)務(wù)費專項資金資助項目(15CX02032A)

金 濤 (1980—)，男，山東青島人，講師，博士，研究方向為界面可用性、產(chǎn)品設(shè)計、虛擬現(xiàn)實. E-mail：jzht126@163.com

TB 472; TB 18

A