移動終端用戶交互行為的情感預測方法研究

平正強， 呂 健， 潘偉杰， 劉征宏

(貴州大學現代制造技術教育部重點實驗室，貴州 貴陽 550025)

移動終端用戶交互行為的情感預測方法研究

平正強， 呂 健， 潘偉杰， 劉征宏

(貴州大學現代制造技術教育部重點實驗室，貴州 貴陽 550025)

交互設計中用戶的情感體驗關系到設計的成功與否，對用戶情感的研究一直是交互設計的研究熱點。人在與移動終端交互的過程中會產生情感，由于該情感具有主觀性，很難對其進行客觀衡量。為此提出一種利用眼動指標和PAD情感量表進行情感預測的方法，選擇中文版PAD情感量表作為情感測量的工具，通過偏最小二乘回歸分析建立眼動指標和PAD情感值的數學模型，進行實驗設計。實驗結果表明該數學模型能較為準確的進行情感預測。

眼動指標；情感預測；交互行為；偏最小二乘回歸

隨著經濟社會的發展，市場競爭越來越激烈，產品設計已由以市場為中心的設計轉變為以用戶為中心的設計[1]，以人為本、以用戶體驗為中心的設計已成為產品設計中最重要的法則[2]。用戶使用APP過程中的情感體驗是APP設計水平的重要反映，因此，如何準確衡量用戶的情感體驗是用戶體驗研究的重要內容。由于情感具有復雜性、多維度性、模糊性、主觀性等特性，設計者難以準確把握用戶的情感需求[3]。因此，要有效地完成產品情感設計及創造，必須在理論驅動、實驗和經驗結合為背景的前提下，以有效可靠的情感測量為基礎[4]。

從目前研究來看，用戶的情感測量和預測方法主要包括基于心理學的心理反應測量技術和基于心理學的生理反應測量技術?；谛睦韺W的心理反應測量技術主要包括言辭式自我報告法：語義差異法、語義法、口語分析法、語意比較法和非言辭式自我報告法：PANAS量尺法[5]、PAD情感測量法[6]、產品愉悅測量問卷、PreMo測量法[7]、Emocards(emotional cards)測量法[8]、SAM(self assessment manikin)自我評估模型等?；谛睦韺W的生理反應測量技術主要包括面部表情測量技術、聲音表現性測量技術、多維評估技術和眼動追蹤技術等[9]，這些技術都是以測量情感引發的各種生理指標為基礎的測量技術。眼動數據因為能客觀、真實地反映被試者的情感狀態而被用來測試用戶的情感水平。孫敏[10]運用眼動技術對被試者在觀看情感圖片時的過程進行觀察，通過對注視點數及注視持續時間的數據進行分析，證明了相對于消極情緒的圖片人們更關注于積極情緒的圖片；劉青等[11]以眼動數據為基礎探索人機界面的可用性，證明了眼動數據可以很好地為界面可用性研究提供參考；費廣洪等[12]利用眼動儀考察閱讀中的圖文信息對不同認知的大學生的影響，結果表明高相關插圖有助于提高場依存型讀者的閱讀成績，場依存型讀者在閱讀不同相關程度圖文時會主動調整加工對象。

從目前研究來看現有的情感測量方法中基于心理學的生理測量技術主要測量基本情感如喜怒哀樂等，對于復雜的多維度情感難以測量；基于心理學的心理測量技術多為定性測量，并且不利于不同文化間的交流，測試者難以表達出剎那間所發生的情感狀態。本文提出一種PAD情感模型和眼動指標相結合的方法進行情感測量，既可以定量測量用戶剎那間的情感又可以對情感進行多維度的測量。

1 PAD情感量表和偏最小二乘回歸方法

選擇中文版 PAD情感量表作為情感測量工具，該PAD量表具有較好的信度與結構效度。該量表由 12對表示不同情感狀態的形容詞對構成(圖1)，每4個形容詞對分別代表情感反應的3個維度之一：愉悅度P(pleasure)、喚醒度A(arousal)、支配度 D(dominance)，每個形容詞對代表的情感意義在其所屬維度上相反而在其他兩個維度上相同，每個形容詞對從左到右分值為“-4”分到“4”分，被試者根據自己的情感狀態進行打分，最后某個維度的分值為該維度下 4個項目的平均值。作為評測情感反應的3個維度，根據P，A，D 3個維度值的正負情況將整個情感空間劃分為 8個具有不同情感特點的區域，即情感的8個類別。其中，+ P + A + D代表高興的，- P - A - D 代表無聊的，+ P + A - D代表依賴的，- P - A + D代表蔑視的，+ P - A + D代表放松的，- P + A - D代表焦慮的，+ P - A - D代表溫順的，- P + A + D代表敵意的。

圖1 中文版PAD情感量表

本文選擇偏最小二乘回歸方法(partial least squares，PLS)作為眼動指標和PAD情感值的回歸建模方法，其由瑞典計量經濟學家 Wold等人于1983年首次提出[13]，相較于傳統的回歸分析該方法的優越之處在于可以同時完成多個自變量和多個因變量的回歸建模工作，尤其當兩組變量的數目很多，或樣本量較少且大多存在多重相關性時，偏最小二乘回歸建模方法的優點就顯得更加明顯了[14]。不僅如此該方法還集典型相關分析、主成分分析和線性回歸分析等方法的特點于一身，故采用該方法進行分析不僅可以得到相應更為精確可靠的數學模型，與此同時更能完成一些類似于主成分分析和典型相關分析的分析結果，因此偏最小二乘回歸分析方法應用性更高[15]。

2 眼動指標和情感值關系模型建立流程

眼動指標和PAD情感值數學模型建立流程主要由眼動指標篩選和數學模型建立兩部分組成。由于眼動指標包含眨眼時間、注視時間等幾十種指標，為了更好、更準確地進行情感預測，應該對眼動數據進行篩選，通過單因素方差分析，獲取可用于情感預測的眼動指標。獲取眼動指標后將PAD情感值作為因變量、眼動指標作為自變量，建立眼動指標的和情感值數學模型，為檢驗數學模型是否能良好的反映人的情感，再次進行實驗設計獲取用戶的PAD情感值，將獲取的PAD情感值與預測值進行比較，從而驗證模型的可靠性、準確性。該流程如圖2所示。

圖2 眼動指標和情感值數學模型建立流程圖

3 眼動指標和情感值多元回歸數學模型

將眼動指標作為自變量x，PAD情感值作為因變量y，設有q個因變量和p個自變量，為了研究因變量與自變量的統計關系，選擇n個樣本點，由此構成自變量與因變量的數據表為了數學推導方便起見,首先將數據做標準化處理。X經標準化處理后的數據矩陣記為Y經標準化處理后的數據矩陣記為

步驟1. 記t1是E0的第一個成分，t1=E0w1， w1是E0第一個軸，其是一個單位向量，即記u1是F0的第一個成分，u1=F0c1,c1是F0的第一個軸，并且如果t1、u1能分別很好地代表X和Y中的數據變異信息，根據主成分分析原理，應該有

另一方面，由于回歸建模的需要，又要求 t對u有最大的解釋能力，由典型相關分析的思路，t1與u1的相關系數應達到最大值，即

因此綜合起來，在偏最小二乘回歸中，要求t1與u1的協方差達到最大。正規的數學表述應該是求解下列優化問題，即

根據拉格朗日法求得第一個軸w1和c1后，即可得到成分：t1=E0w1，u1=F0c1。w1是對應于矩陣E0F0F0E0最大特征值的單位特征向量，c1是對應于矩陣 F0E0E0F0最大特征值的單位特征向量。然后分別求E0、F0對t1和u1的3個回歸方程，即

步驟2. 用殘缺矩陣E1和F1取代E0和F0，然后求第二個軸w2和c2以及第二個成分t2和u2。

還原成原始變量的偏最小二乘回歸方程，即眼動指標和PAD情感值數學關系模型為

E (yk)、 E (xi)分別為yk和xi的樣本均值；Syk,Svi分別為yk和xi樣本均方差。

4 實驗設計

4.1 實驗APP選取和交互任務設計

本實驗選取了目前市場上應用廣泛的 7個團購類APP作為實驗對象：“美團”、“大眾點評”、“百度糯米”、“窩窩”、“團800”、“點評團購”和“拉手團購”。為了將被試者在交互過程中產生的情緒波動達到最大化，本實驗選取可用性方面差異化最大的兩款APP。

選取在校大學生20名，年齡在18～24周歲，上網年齡均超過的3年。20名學生分別對7個APP進行簡單的日常使用操作，實驗者使用完后分別對7個APP的可用性滿意度打分。結果顯示用戶滿意度最高和最低的APP分別為“美團”和“百度糯米”(表1)。

表1 APP用戶滿意度表格

人與APP的交互過程中，因為產品的易用性和可用性等差別，會使人產生不同的情感，因此設定一定的交互任務就能檢測到用戶的情感波動。本實驗設定 2個交互任務分別為搜索任務和購買任務。具體如下：

(1) 搜索任務：用戶選擇團購里面的“電影”版塊，搜索出距離較近的電影院，查看促銷詳情和電影院硬件后選擇《奇幻森林》電影。

(2) 購買任務：用戶選擇自己滿意的時間和坐位。購買《奇幻森林》電影票一張，選擇支付寶作為支付方式進行購買。

4.2 實驗設備與材料

實驗設備包括：

(1) Tobii Glasses眼動儀；

(2) 一臺安裝眼動儀軟件Tobii studio的筆記本電腦；

(3) 安裝了“美團”、“百度糯米”的 iPhone 6S手機1部；

(4) 中文版PAD情緒體驗量表；

(5) 簽字筆若干支，用于測試者和研究人員使用。

4.3 實驗流程

20名學生首先熟悉實驗環境及要求，由主試向學生介紹實驗目的，并簡單介紹實驗設備及實驗過程當中的注意事項。幫助學生正確佩戴眼動儀,并且打開眼動儀進行調整，確保能夠正確采集到信息。實驗開始后每名學生按照設定的交互任務使用“美團”APP，完成任務后有10 min左右的時間填寫PAD情感量表和休息，休息結束后使用同樣的流程進行“百度糯米”APP的測試(圖3)。

圖3 眼動實驗

5 數據處理及模型建立

由實驗過程可知，實驗數據包括 2個部分，每個部分由20名學生的眼動數據和相對應的PAD情感量表組成。

5.1 基于單因素方差分析的眼動指標選取

通過實驗，可以獲得 20名學生分別使用“美團”和“百度糯米”完成設定的交互任務時的眼動數據，以及PAD量表數據。將PAD情感值分為8個空間區域，分別標注為1、2、3、4、5、6、7、8。整理20名同學所測的PAD情感空間如表2所示。

剔除異常的實驗數據，然后使用SPSS軟件以情感分類作為影響因素，對實驗數據進行方差齊性檢驗，將顯著性水平小于0.05的眼動指標剔除，顯著性水平大于 0.05的眼動指標說明具備方差性，可以進行下一步的單因素方差分析。 進行單因素方差分析(表3)，發現交互任務下平均掃視幅度、最大掃視幅度、眨眼率、注視率、瞳孔最大值、瞳孔平均值、掃視率、最大掃視時間和平均掃視速度等 9個眼動指標的顯著性水平均小于0.05，可用于情感的預測。

表2 交互任務情感分類表

表3 眼動數據單因素方差分析

5.2 情感模型建立

將眼動指標作為自變量，將情感值P、A、D 3個維度作為因變量，使用 PLS[16]建立眼動指標與用戶情感的模型，并將標準化的變量系數還原成原始數據的變量系數以及常數項，最終獲得還原后的回歸方程，即

其中，X1為眨眼率；X2為注視率；X3為掃視率；X4為最大掃視時間；X5為平均掃視幅度；X6為最大掃視幅度；X7為平均掃視速度；X8為瞳孔最大值；X9為瞳孔平均值。

6 模型檢驗

6.1 模型有效性檢驗

為了檢驗模型的有效性，另選20名同學進行上述相同的實驗2次，得到40組PAD數據和眼動數據，將實驗數據代入到還原后的關系模型，預測用戶情感值。采用SPSS軟件對預測值和實際值進行配對樣本t檢驗，結果顯示顯著水平分別為0.230和 0.456，均大于 0.05，即通過數學模型預測的PAD情感值和真實數據沒有明顯的差異，說明該回歸模型有效，可以有效地預測用戶在使用APP過程中的情感狀態。

6.2 模型適用性檢驗

20名同學用同樣的流程和方法以“窩窩團”APP為實驗對象，進行交互任務情感測量實驗，得到眼動數據和PAD情感值，將眼動數據分別代入相應模型中得到情感預測值，將預測值和實際值匯總，結果如圖4所示。

圖4 PAD預測值和實際值對比圖

從圖 4可以看出，通過數學模型預測的情感值和真實的情感值之間數據大小相差不大，曲線圖分布趨勢相同，正負值相同，說明該模型對交互任務下用戶的情感預測有較好的適用性。

7 結 束 語

本文為了解決用戶在使用APP過程產生的情感難以客觀預測的問題，提出通過眼動指標和PAD情感量表進行情感預測的方法，建立了移動終端界面交互過程中眼動指標和PAD情感值的數學模型。通過計算該實驗的函數映射關系，并對該映射關系進行了驗證，證明該數學模型能較為準確地預測交互過程中用戶的情感值，并且具有良好的適用性。

[1] Hsiao S, Chiu F, Lu S. Product-form design model based on genetic algorithms [J]. International Journal of Industrial Ergonomics, 2010, 40(3): 237-246.

[2] Aktar D E, Anagun A S, Koksal G. Determination of optimal product styles by ordinal logistic regression versus conjoint analysis for kitchen faucets [J]. International Journal of Industrial Ergonomics, 2009, 39(5): 866-875.

[3] Seva R R, Duh H B, Helander M G. The marketing implications of affective product design [J]. Applied Ergonomics, 2007, 38(6): 723-731.

[4] Khalid H M. Embracing diversity in user needs for affective design [J]. Applied Ergonomics, 2006, 37(4): 409-418.

[5] Cotig? M I. Development and validation of a Romanian version of the expanded version of Positive and Negative Affect Schedule (PANAS-X) [J]. Procedia - Social and Behavioral Sciences, 2012, (33): 248-252.

[6] 李曉明, 傅小蘭, 鄧國峰. 中文簡化版PAD情緒量表在京大學生中的初步試用[J]. 中國心理衛生雜志, 2008, 22(05): 327-329.

[7] Pentus K, Mehine T, Kuusik A. Considering emotions in product package design through combining conjoint analysis with psycho physiological measurements [J]. Procedia-Social and Behavioral Sciences, 2014, (148): 280-290.

[8] Kamp I. The influence of car-seat design on its character experience [J]. Applied Ergonomics, 2012, 43(2): 329-335.

[9] 林 麗, 陽明慶, 張 超, 等. 產品情感研究及情感測量的關鍵技術[J]. 圖學學報, 2013, 34(01): 122-127.

[10] 孫 敏. 基于眼動技術的情感測量方法研究[D]. 沈陽:東北大學, 2012.

[11] 劉 青, 薛澄岐, Hoehn F. 基于眼動跟蹤技術的界面可用性評估[J]. 東南大學學報(自然科學版), 2010, 40(02): 331-334.

[12] 費廣洪, 王細英, 龔桂紅. 圖文相關性對不同認知方式大學生閱讀影響的眼動研究[J]. 心理學報, 2013, 45(07): 783-789.

[13] 吳開亞, 王玲杰. 生態足跡及其影響因子的偏最小二乘回歸模型與應用[J]. 資源科學, 2006, (6): 182-188.

[14] 陸洪濤. 偏最小二乘回歸數學模型及其算法研究[D].北京: 華北電力大學, 2014.

[15] 羅 批, 郭繼昌, 李 鏘, 等. 基于偏最小二乘回歸建模的探討[J]. 天津大學學報, 2002, 35(6): 783-786.

[16] 許鳳華. 偏最小二乘回歸分析中若干問題的研究[D].青島: 山東科技大學, 2006.

Research on Emotional Forecast Method of the Mobile Terminal User Interaction Behavior

Ping Zhengqiang, Lü Jian, Pan Weijie, Liu Zhenghong
(Key Laboratory of Advanced Manufacturing Technology, Ministry of Education, Guizhou University, Guiyang Guizhou 550025, China)

User’s emotional experience in the design of interaction is related to the success of the design, the study of user’s emotion has been the research focus in the interaction design. People with mobile terminals produces emotion in the process of interactive behavior. Because of the emotion of subjectivity, it is difficult to measure objectively. This paper proposes a method predicting the emotion with eyes’ movement indices, choosing Chinese PAD emotional scales as the tool of emotional measurement, by partial least squares regression analysis to establish the eyes’ movement indices and PAD the emotional value of multivariate linear regression model, then carry on the experiment design, whether the the mapping function relation can accurately predict the emotion, the experimental results proved that the relational expression can accurately forecast emotion.

eye movement index; emotional forecast; interactive behavior; partial least squares

TB 472

10.11996/JG.j.2095-302X.2016060765

A

2095-302X(2016)06-0765-06

2016-05-09；定稿日期：2016-06-27

國家科技支撐計劃項目(2014BAH05F01，2014BAH05F02，2014BAH05F03)；貴州省科技計劃項目(黔科合J字 [2013]2108，Z字[2013]4005)；黔發改投資項目([2012]2747，[2012]2484)

平正強(1990?)，男，河南駐馬店人，碩士研究生。主要研究方向為交互與體驗設計、產品創意設計、產品智能設計。E-mail：1075836105@qq.com

呂 健(1983?)，男，河北承德人，博士研究生。主要研究方向為先進制造模式及制造信息系統、數字化設計與制造、工業設計。E-mail：305515940@qq.com