基于卷積神經網絡的用戶感知評估建模

顏 波， 張 磊， 褚學寧

(上海交通大學 機械與動力工程學院， 上海 200240)

用戶感知是用戶在使用產品過程中產生的特有體驗，對產品設計改進有著重要的指導作用[1].目前設計師主要通過調查問卷[2]和在線評論挖掘[3]的方式收集用戶感知信息，來建立用戶感知評估模型.Bordagaray等[4]使用Probit回歸對公共交通的服務質量建模，探索影響公共交通用戶感知質量的重要因素.Chen等[5]利用Logistic回歸分析了國際快遞服務要素與用戶感知之間的關系，為國際快遞服務的設計提供了新的思路.倪敏娜等[6]利用BP(Back Propagation)神經網絡定量地研究了感性意象與產品造型設計之間的關系，從而更全面準確地評價產品造型設計.Zhou等[7]從在線產品評論中提取產品屬性，利用支持向量機建立情感預測模型，進一步識別出用戶需求.

上述方法存在以下主要問題：第一，問卷調查或在線評論分析方法獲取的用戶感知信息具有滯后性；第二，問卷設計可能受到設計師主觀偏見的影響.近年來，物聯網技術的發展極大地促進了智能設備的普及，越來越多的產品在使用過程中的數據可以被監控和采集，通過使用數據來建立用戶感知評估模型，不僅可以及時獲取用戶在使用產品過程中感知的變化，還可以分析出影響用戶感知的產品具體性能參數，為產品設計改進提供決策支持.

為此，本文將產品使用數據引入到用戶感知評估模型中，提出了一種基于卷積神經網絡(Convolutional Neural Network，CNN)[8]的用戶感知評估建模方法.該方法利用滑動窗口技術將時間序列形式的使用數據轉換為一系列數據單元，并在此基礎上建立適用于用戶感知評估模型的CNN結構，模型輸入為產品使用數據，輸出為用戶感知評估結果，通過K-折交叉驗證分析確定模型的最優超參數并改善模型的過擬合問題.模型訓練完成后，通過使用數據即可預測用戶在使用產品過程中感知評估的變化.以智能手機用戶的感知評估建模為例，證明了該方法能夠自動從使用數據中提取出有效特征，用于用戶感知評估預測，減少了建模過程對用戶和設計師的依賴，能夠準確及時地評估產品表現.

1 卷積神經網絡的結構和特點

卷積神經網絡作為深度學習的代表模型，起源于計算機視覺和圖像分類領域，能夠有效地實現圖片特征的自動提取和分類，而傳統的機器學習算法依賴人工提取和選擇特征，研究人員須具備相關領域的專業知識才能取得令人滿意的結果.CNN主要包括3個處理單元，卷積層、池化層和全連接層，如圖1所示.通過卷積層和池化層交替級聯，CNN可以根據具體任務直接提取出原始數據的深層特征表示.

圖1 典型的卷積神經網絡結構圖Fig.1 A typical architecture for convolution neural network

(1)

式中：Ra表示神經元a對應的局部感受野，即卷積核在輸入數據上選定的特定區域；xi表示輸入數據的具體取值；f(·)為激活函數.

在池化層中，特征圖的數目不變但是分辨率降低，池化操作不僅減少了特征的維數，同時也增加了網絡對輸入數據存在的失真、扭曲、縮放和平移等問題的魯棒性.池化核遍歷卷積層特征圖的不同區域，根據池化函數從窗口區域中選擇一個值來表示該窗口的特征，然后將多個窗口的特征組合得到降維后池化層的特征圖.池化后的特征圖

pm=f(βmpool(cm)+bm),

(2)

式中：βm為權重系數；pool(·)為池化函數，常見的池化函數有平均池化、最大池化和隨機池化等.

池化層的特征圖作為全連接層或者下一個卷積層的輸入.最后，全連接層一般通過SoftMax回歸得到分類結果.典型的CNN是一個由卷積層、池化層、全連接層和SoftMax回歸層組成的前饋神經網絡，網絡誤差通過BP算法[9]反向傳播，根據梯度下降算法不斷調節網絡連接權重實現誤差最小化，從而使卷積層和池化層可以學習到輸入數據的最優特征表示.

2 基于CNN的用戶感知評估建模

2.1 建模過程

利用有監督的機器學習方法構建用戶感知評估模型，模型輸入為產品使用數據，輸出為用戶感知評估結果，以此建立產品性能參數與用戶感知之間的映射關系.該模型的構建主要分為兩個階段：一為模型訓練階段，輸入為產品使用數據，輸出為基于問卷評估的用戶感知，用于確定模型參數；二為模型預測階段，此時模型參數已經確定，只需輸入產品使用數據，即可根據模型推斷出用戶的感知評估結果.在第1節中展示的CNN結構適用于靜態圖像識別和分類，但使用數據是時間序列數據，同時在進行用戶感知預測時可能存在多種信號源數據，因此本文基于滑動窗口技術提出了一種適用于用戶感知評估模型的CNN結構.

c=(l-ws)ms+1

(3)

yi=mode({yi1,yi2, …,yiws}),

(4)

i=1,2,…,c

式中：

表示向下取整；mode(·)函數表示求解給定數據集的眾數.

將經過滑動窗口處理后的數據輸入特征提取層，特征提取通過卷積層和池化層交替級聯實現，卷積和池化操作在數據單元上進行，最后將從多種信號源學習到的特征組合起來作為全連接層的輸入，經過SoftMax回歸后得到用戶感知評估的預測結果，整個計算過程如圖2所示.對用戶的不同感知評估建模時，比如舒適性、可用性和易用性感知等，CNN的基本結構，包括卷積層、池化層和全連接層基本都是相同的，并且不需要針對每個具體任務人工提取數據特征，使用數據采集和用戶感知評估預測都可以自動實現，從而減少了建模過程中對用戶和設計師的依賴，因此所提出的方法相比于傳統的用戶感知建模方法更有優勢.

圖2 基于CNN的用戶感知評估建模過程Fig.2 The procedure of user experience evaluation modeling based on CNN

2.2 用戶感知評估CNN模型的訓練過程

在機器學習領域，超參數是指在模型開始訓練之前就需要給定取值的參數，而不是通過訓練得到取值的參數，通常情況下需要根據具體任務對超參數取值進行優化，選擇一組最優超參數取值以提高模型性能，因此超參數取值優化問題也是機器學習領域的一個熱門研究課題[10].CNN模型中的超參數包括卷積層和池化層的數量、卷積核和池化核的數量及大小、全連接層中隱含層的層數和神經元個數、優化算法中學習率的大小等.本文通過K-折交叉驗證分析確定最優超參數取值并改善模型的過擬合問題，計算流程如圖3所示.輸入數據首先被隨機分成3個數據集，訓練集、驗證集和測試集.然后把訓練集和驗證集合并為一個數據集進行K-折交叉驗證分析，K-折交叉驗證分析將數據分為K個子樣本，每次取1個樣本作為驗證集，余下的K-1個樣本作為訓練集，訓練完成后測試模型在驗證集上的性能，重復K次，取K次性能指標的平均值作為該超參數取值下模型的性能，據此測試超參數取不同值時模型的性能，最終確定最優超參數取值并得到最佳模型.K-折交叉驗證分析時，模型從未使用與測試集相關的任何信息，因此最終模型在測試集的表現更能反映其真實性能，同時，最終選擇的是在驗證集而不是在訓練集上具有最佳性能的模型，模型的過擬合問題也可以得到改善.

圖3 CNN模型的訓練和超參數選擇過程Fig.3 The procedure of CNN model training and hyper parameter selecting

在利用CNN進行特征學習時，不同數量的特征學習層可以學習到輸入數據不同層次的特征，但是隨著特征學習層數的增加，計算難度和成本也在增加，同時當使用基于梯度下降和鏈式求導法則的算法訓練多層神經網絡時很可能發生梯度消失問題.為了解決這一問題，本文使用修正線性單元(Rectified Linear Unit，ReLU)作為激活函數，相比于傳統的Sigmoid 和 Tanh函數，ReLU函數具有梯度不飽和計算速度快等優點，不僅改善了梯度消失問題也極大地加快了模型的收斂速度.ReLU函數的表達式為

(5)

式中：xin表示激活函數的輸入.

卷積層和池化層交替級聯進行特征提取，將提取到的特征組合起來輸入全連接層和SoftMax回歸層，最后得到模型的輸出.根據模型輸出與期望輸出計算總的誤差，其中損失函數選擇交叉熵損失函數，即

模型誤差通過BP算法反向傳播，然后使用梯度下降算法訓練網絡從而實現誤差最小化.隨機梯度下降算法[11]是常用的梯度下降算法，但其存在學習率設置困難和容易陷入局部最優解等缺點，因此本文采用梯度下降優化算法來訓練網絡權重，常見的梯度下降優化算法有NAG算法(Nesterov Accelerated Gradient)[12]、Adam算法(Adaptive Moment Estimation)[13]、AdaGrad算法(Adaptive Subgradient Descent)[14]等，它們不僅能夠訓練復雜網絡，并且在速度和精度上也具有優異表現.

2.3 用戶感知評估CNN模型的性能評價

用戶感知評估CNN模型是一個多分類模型，為了定量地評價模型的性能，利用訓練好的模型在測試集上進行實驗，得到實驗結果的混淆矩陣，如表1所示.混淆矩陣顯示了正確分類和錯誤分類的樣本數，利用混淆矩陣可以進一步計算出模型的準確率、召回率和精確率等.

表1 模型性能評價的混淆矩陣Tab.1 The confusion matrix for performance evaluation

對于給定的測試數據集，準確率A表示分類器正確分類的樣本數與總樣本數之比，召回率R表示正確預測到的正例數與實際正例總數之比，精確率P表示正確預測到的正例數與預測正例總數之比.A,P,R越接近于1表示模型的性能越好，計算公式如下：

(7)

(8)

(9)

3 案例研究

智能手機發展迅速，作為最具代表性的人機交互式產品，不僅更加重視用戶的使用體驗和感知，而且具有用戶覆蓋面廣、更新換代速度快、使用數據易于收集等特點.根據技術接受模型(Technology Acceptance Model，TAM)[15]以及工程師和設計師的經驗，用戶在使用手機的過程中會產生諸如設計和品牌吸引力、對流暢性的感知、對續航的感知、對功能的感知等多種感知，其中手機流暢性是影響用戶體驗的重要因素，因此本文以手機流暢性感知評估建模為例來證明所提出方法的有效性.

3.1 實驗方案和數據采集

本文基于Android平臺開發了一款數據采集軟件YouData，采集用戶在使用手機過程中產生的數據.YouData軟件完全在Eclipse平臺下開發，Eclipse是一個開源的基于Java語言的可擴展集成開發環境，除了對Android系統SDK(Software Development Kit)完美支持外，還提供了強大的個人版本管理機制，是從事手機軟件開發程序員的首選開發工具.YouData監聽手機使用數據并定期將其記錄到日志文件中，日志文件將被保存到手機內部存儲中.為了避免干擾用戶正常使用，YouData主要在后臺運行，并配置一個簡單的用戶界面，如圖4所示.

圖4 數據采集軟件YouData界面Fig.4 The interface of data acquisition application YouData

在這項研究中，每位用戶使用手機來完成指定的日常任務，采集的數據主要包括CPU(Central Processing Unit)使用率、RAM(Random Access Memory)占用率、ROM(Read Only Memory)占用率、網絡傳輸速率、電池溫度和日耗電量等，采集頻率為0.5 Hz.同時，每位用戶在數據采集結束后都會被要求在手機上填寫一份關于流暢性感知評估的調查問卷，調查問卷使用問卷星平臺完成，問卷選項采用Likert 5級量表的形式，選項1至5分別代表了“非常不流暢”至“非常流暢”.研究主要在校園內進行，同時也在微信、QQ等社交網絡上發布公告以招募更多的志愿者，最后共有182名用戶參加了這項研究，其中168名用戶的數據可以用于分析.

3.2 基于CNN的用戶感知評估模型

針對流暢性這一用戶感知，首先從手機工程設計的角度確定了影響手機流暢性的5個主要功能模塊：CPU、RAM、GPU、網絡功能模塊和操作系統.為了排除不同手機配置對實驗結果的影響，文章選用同款手機進行實驗，保證了設計參數的一致性，因此影響用戶感知的主要因素為每個功能模塊的性能參數，性能參數會隨著用戶使用手機執行的任務或者所處的環境不同而改變.本文選取的性能參數包括CPU使用率、RAM占有率、內存速度、網絡傳輸速率和電池溫度等，獲取相應的使用數據和用戶感知數據后，利用等寬分箱技術將使用數據離散化為5個區間，然后進行Gamma等級相關分析[16]，計算Gamma等級相關系數G和顯著性檢驗統計量Z，G越接近于1表示變量間的相關性越強，Z越大變量間的相關性越顯著，結果如表2所示，最后確定CPU使用率、RAM占用率和網絡傳輸速率與用戶流暢性感知顯著相關，因此本文利用這3種使用數據來預測用戶對流暢性的感知評估.

表2 Gamma等級相關分析結果Tab.2 The results of Gamma rank correlation analysis

注：Z>Z0.05/2=1.96時，表示影響因素與用戶流暢性感知評估顯著相關.

首先，利用噪聲濾波器和Z-Score方法對使用數據進行預處理.然后，以大小為90個數據點的固定窗口從原始數據中滑動取樣，窗口每次移動45個數據點，每個窗口關于用戶感知評估的標簽由窗口內出現次數最多的類別標簽決定.最后，隨機選擇70%的樣本作為訓練集，15%的樣本作為驗證集，15%的樣本作為測試集，按照圖3所示的過程利用Python3.6語言編寫程序進行訓練和測試.

根據第2節的內容建立1維3通道的CNN模型，使用K-折交叉驗證分析確定模型的最優超參數，其中K取5.最終確定卷積層和池化層的數目都是2層，第1卷積層的卷積核大小為10，即每個卷積核覆蓋10個數據點，卷積核個數為60，第2卷積層的卷積核大小為6，卷積核個數為10，卷積核的移動步幅均為1，即每次移動1個數據點.本文采用最大池化操作，2個池化層的池化核大小均為20，池化核的移動步幅均為2.全連接層中隱含層神經元個數為10.SoftMax回歸層輸出神經元的個數設置為5.使用AdaGrad算法作為優化算法，學習率設置為0.001，迭代次數設置為 2 000.

3.3 實驗結果分析

本文將實驗結果和人工神經網絡(Artificial Neural Network，ANN)模型的結果進行比較以進一步說明所提出方法的優越性.ANN是基于特征的機器學習算法的代表模型，ANN模型需要先從每個窗口中提取數據特征，根據文獻[17]提取時間序列數據的常用數據特征，如表3所示，這些特征可能并不能完全表征用戶對流暢性的感知評估，為了提高模型的性能需要在實踐中不斷設計出新的特征.將這些特征輸入ANN模型，模型中隱含層神經元數量根據試湊法[18]和K-折交叉驗證分析確定為10個，因此ANN的結構為18×10×5，即輸入層為18個神經元，隱含層為10個神經元，輸出層為5個神經元，激活函數設置為Sigmoid函數，損失函數設置為交叉熵損失函數，使用AdaGrad算法訓練模型，學習率設置為0.001，迭代次數設置為 3 000.

模型訓練過程中準確率的變化曲線如圖5所示.從圖中可以看出，在相同迭代次數下，CNN模型在訓練集和測試集中的準確率都高于ANN模型，由此說明，CNN能自動從原始數據中提取出數據的高層次特征，而ANN則依賴人工設計特征，雖然隨著更多的特征加入到ANN中，模型的準確率可能會有所提高，但這需要具有相關領域的專業知識才能完成，并且可能會花費大量的時間成本和計算成本，這也是文章所提出的基于CNN的方法相比于傳統機器學習算法的優點.同時，CNN模型在迭代訓練了 2 000 次之后趨于收斂，而ANN模型則在 3 000 次之后才趨于收斂，CNN模型的收斂速度更快并且訓練時間更短.為了改善模型的過擬合問題，本文選擇在迭代過程中在驗證集上具有最佳性能的模型作為最終模型，測試2個模型在測試集上的表現.

表3 從原始數據中提取的特征及其含義Tab.3 The features and meanings extracted from raw data

圖5 模型訓練過程中準確率的變化曲線Fig.5 The accuracy curves during the model training procedure

對比2個模型在測試集上的性能，分類結果的混淆矩陣分別如表4和表5所示.從表中可以看出，CNN模型的準確率達到了83.41%，并且明顯優于ANN模型的75.61%.進一步分析模型對各個流暢性評分估計的精確率和召回率，除極少數指標外CNN模型的結果都優于ANN模型.但是，從表中也可以看出，CNN和ANN模型在估計“不流暢”和“一般”評分時召回率和精確率都不高，將部分用戶真實感受為“不流暢”的評分估計成了“一般”. 此類情況的出現是由于用戶感知評估存在一定的主觀性，不同用戶對手機“不流暢”和“一般”的評價標準可能不一致，即使手機處于相同的運行狀態，用戶也有可能會給出不一樣的評分.為了解決這一問題，一方面可以在獲得模型結果后再次與用戶溝通交流，根據用戶反饋修正模型，這樣有利于從一定程度上消除用戶評價標準不一致的問題；另一方面，未來也可以基于模型預測結果和用戶實際評分進行用戶偏好相關方面的探索.

表4 CNN模型分類結果的混淆矩陣Tab.4 The confusion matrix for CNN model

表5 ANN模型分類結果的混淆矩陣Tab.5 The confusion matrix for ANN model

以上結果表明，利用本文所提出的方法可以自動提取出使用數據的深層特征表示，用于用戶感知評估預測，減少了用戶感知評估建模過程中對用戶和設計師的依賴.由于越來越多的產品在使用過程中的數據可以被監控和采集，利用該模型不僅可以及時獲取用戶在使用產品過程中的感知變化，還可以分析出影響用戶感知的主要產品性能參數，為產品設計改進提供決策支持.

3.4 討論

本文以“手機流暢性”這一感知為例對所述感知建模方法進行了案例應用和驗證，該方法同樣適用于用戶其他感知的建模.以“手機續航能力”這一感知為例，影響用戶對手機續航感知的主要功能模塊有電池、屏幕和處理器等，相應的性能參數包括電池容量、電池最大可充放電次數、電池充電速度、屏幕最高分辨率和屏幕最大亮度等，因此可采集性能參數對應的使用數據，包括電池剩余電量、電池充電次數、電池充電時間、屏幕分辨率和屏幕亮度等，對手機續航這一感知進行分析和建模.綜上，對于用戶的不同感知，首先可通過分析影響用戶感知的主要功能模塊確定相關的性能參數，采集這些性能參數對應的使用數據，然后利用相關性分析確定與用戶感知顯著相關的性能參數，最后利用這些性能參數對應的使用數據來構建用戶感知模型，實現用戶感知的建模和推斷.

4 結語

針對目前用戶感知建模方法存在的滯后性較大，而且問卷設計可能受到設計師主觀偏見影響的問題，本文引入產品使用數據來建立用戶感知評估模型，提出了一種基于卷積神經網絡的用戶感知評估建模方法，實現了數據特征的自動提取和用戶感知的準確建模，最后通過一個智能手機用戶感知建模的案例證明了所提出方法的有效性.主要創新點如下：

(1) 利用產品使用數據來建立用戶感知評估模型，不僅可以及時準確預測用戶在使用產品過程中感知的變化，而且可以分析出影響用戶感知的主要產品性能參數，為產品設計改進提供決策支持；

(2) 基于滑動窗口技術和CNN建立用戶感知評估模型，模型可以自動提取出使用數據的深層特征表示，用于用戶感知評估預測，解決了傳統機器學習算法依賴人工提取和選擇特征的問題，模型具有非常高的效率和準確率.

本文僅探討了用戶單一感知評估建模的方法，如何考慮多種感知之間相互影響、建立多感知評估模型，是下一步的研究方向.