基于眼腦數據和問卷分析的泳裝圖像情感因子空間構建

高 君，王偉珍,2

(1.大連工業大學 服裝學院，遼寧 大連 116034； 2.大連工業大學 服裝人因與智能設計研究中心，遼寧 大連 116034)

人工智能服裝的設計涉及對服裝圖像的識別、分類標注等。關于服裝圖像的情感標注，多為專業設計人員對現有服裝圖像進行主觀情感標注，再進行后續的分類、檢索、匹配等方面的研究。

人的情感具有復雜性、模糊性和不確定性的特點。目前用于情感的研究方法有眼動追蹤、腦電信號分析、PAD三維模型、面部表情分析等，其中眼動追蹤[1]和腦電信號分析對受試者思維過程和大腦狀態的變化具有較強的表征能力。Yanulevskaya等[2]通過眼動追蹤實驗確定了人的情感與各種當下狀態之間的聯系。Colombo等[3]以5個室內空間圖像為測試樣本，探索環境表現如何影響人的愉悅感。Khushaba等[4]從消費者神經科學的角度出發，根據眼部運動和腦電圖實驗，評估了人的不同偏好是如何刺激大腦的。基于人眼、腦的情感識別[5-6]和情緒分類方面[7-8]的研究取得了較多進展，可見情感計算領域已經成功地與眼、腦電信號的變化聯系起來[5]。

本文提出一種泳裝圖像的情感分類量化方法，以泳裝圖像為載體，通過眼動實驗、腦電信號分析實驗收集客觀生理數據；通過問卷調查的方法收集主觀數據，主觀數據結合客觀驗證，以期建立更為準確的泳裝圖像情感因子空間，為后續的圖像情感標注識別、人工智能服裝設計打下基礎。

1 實驗設計

1.1 設備及受試者

實驗設備：Tobii Glasses型眼動儀(北京津發科技股份有限公司)；BitBrain型半干電極16通道腦電系統(北京津發科技股份有限公司)。

受試者：樣本圖片均為女性泳裝，消費者和穿著者絕大部分為女性，因此選擇的受試者以女性為主，共選擇30名18～25歲健康男女(無色盲、色弱等其他影響實驗的生理疾病)，其中男性8人，女性22人，編號為A1～A30。

1.2 前期準備

形容詞對的選取：從泳裝比賽、相關雜志、書籍和大眾對泳裝的常見描述中，采集了60個常用于評價泳裝的形容詞。

形容詞對的篩選：邀請10位服裝領域的專家對采集的60個形容詞進行評審篩選，并將篩選到的形容詞進行匹配。最終選定8對用來評定泳裝圖像情感的詞匯對：素雅的—花哨的、性感的—保守的、時尚的—傳統的、活潑的—呆板的、柔美的—陽剛的、簡潔的—繁復的、獨特的—大眾的、年輕的—成熟的。

樣本圖片的選取：考慮到泳裝的特殊性以及為避免其他因素的干擾，實驗選擇的泳裝圖片均為無人體穿著的立體效果圖。從網絡遴選下載500張無背景及人物的泳裝圖片，依據淘寶銷量、流行趨勢、款式、顏色，從中篩選得到20幅樣本圖片，如圖1所示，樣本編號為1～20。

圖1 樣本圖片Fig.1 Sample picture

問卷編寫：要求受試者對每張樣本圖片進行感性評分，問卷評分采用7點李克特式量表。以“素雅的—花哨的”舉例，1分表示“非常素雅”，7分表示“非常花哨”，由1分到7分，素雅到花哨的程度依次增加。另外，受試者還需對20個樣本進行喜愛度評分，1分表示最不喜歡，7分表示最喜歡。

1.3 實驗流程

向受試者介紹實驗過程及注意事項，協助受試者佩戴好腦電帽和眼動儀并連接到計算機上進行校準，同時確保受試環境安靜舒適。

正式實驗時，首先電腦屏幕呈白色，且正中間會出現出一個紅色“十”字，時間為2 s，此時受試者的注意力集中在此區域；當白色屏幕消失時，會呈現出第1個泳裝圖像，時間為8 s；接著呈現第1個形容詞，請受試者判斷該詞是否與樣本圖片相符，“是”對應點擊鼠標左鍵，“否”則點擊鼠標右鍵；點擊之后會出現下一個形容詞，直至所有形容詞被選擇完畢。之后電腦顯示2 s的白屏，以消除之前的視覺殘余，幫助受試者平復情緒狀態；當白色屏幕再次消失時，呈現出新的樣本，依次直至實驗結束。整個實驗流程較長，為避免受試者出現疲勞狀況，中間設置2次休息時間。在眼腦實驗結束后，受試者將在電腦上填寫關于樣本圖片的感性評價量表，以記錄受試者的情感反應。實驗流程如圖2所示。

圖2 實驗流程Fig.2 Experimental process

2 數據處理與分析

2.1 眼動指標選取

興趣區總注視時長和興趣區注視點個數在喜愛度研究實驗中使用頻率較高[9-12]，本文眼動實驗也選擇這2個指標來分析受試者對泳裝圖像樣本的喜愛程度。

興趣區總注視時長：受試者在特定區域的注視時間的總和。該指標數值越大，則表明受試者對此區域更感興趣或是偏好程度更高。

興趣區注視點個數：受試者在特定區域內的注視點數的累計。該指標數值越高，則表示受試者對此區域更感興趣或是偏好程度更高。

2.2 腦電指標的選取

在大腦皮層各區域中，額葉區主導認知信息的采集[13]，且人類的左腦和右腦在情感處理方面分工不同，一般而言，消極情感的處理主要在右腦完成，而積極情感的處理主要集中在左腦。因此提取左額葉電極F3與右額葉電極F4為主要獲取認知信息的途徑。有研究表明腦電各通道信號中的α波和情感處理有關[14]，因此在腦電指標的選擇上，選擇額區α波不對稱指數，其指右腦額葉區α波功率和左腦額葉區α波功率的差，即額區α波不對稱指數=F4電極α功率-F3電極α功率。該指數越大，說明對應詞匯越能引起受試者的積極情感，相反地，該指數越小，則對應詞匯越能引起受試者的消極情感。

2.3 實驗數據處理

眼動數據處理：眼動追蹤數據使用Tobii Studio分析軟件處理，繪制各樣本的興趣區，并提取受試者在興趣區內的注視點個數及注視時長，用Excel軟件進行均值處理。

腦電數據處理：首先對數據進行預處理，將腦電信號內存在的干擾信號如皮電、心電等利用濾波以及獨立成分分析的方法去除；接著對腦電信號進行分段處理，將形容詞顯示時所在時間段的腦電信號提取出來；最后計算功率譜密度，通過傅里葉變換的方式，實現腦電信號到α頻段的映射，計算α頻段功率譜。腦電功率譜由密度積分式計算得到[15]：

(1)

主觀問卷數據處理：利用Excel統計受試者對每個樣本的喜愛度評分，并取均值，得到每個樣本的喜愛度評分。

2.4 結果與分析

2.4.1 眼動數據

對眼動儀收集到的注視點個數和注視時長進行處理，圖3表示的是受試者對20個樣本的注視點個數以及注視總時長，可以看出，受試者對樣本2、4、9、12、13、18、20的注視點個數和注視總時長均較高，即受試者在觀察以上樣本時的注視次數較高、注視時長較長，興趣較高，較為喜歡；而在觀察樣本1、5、8、14、15、19時，注視點個數和注視總時長均較低，注視頻率較低，興趣不高，偏向于不喜歡。

圖3 注視點個數和注視總時長Fig.3 Number of fixations and total fixation duration

受試者對樣本喜愛度的主觀評分結果見圖4。可以看出，受試者對樣本4、9、10、12、13、18、20的喜愛度更高；對樣本1、5、8、14、15、19的喜愛度偏低。

圖4 樣本喜愛度Fig.4 Sample liking

綜合眼動實驗結果和主觀問卷結果，表明受試者對樣本4、9、10、12、13、18、20的較為喜愛；對樣本1、5、8、14、15、19較不喜歡。生理實驗的數據和主觀喜愛度數據完全相符。

2.4.2 腦電數據

腦電頻譜計算的依據來源于受試者在判斷詞匯是否與樣本圖片相符時，所產生的腦電信號。F3、F4電極的額區α波不對稱指數如表1所示。由實驗結果可以看出，以“素雅的—花哨的”為例，受試者在對該組形容詞進行匹配判斷時，“素雅的(0.033)”相對于“花哨的(-0.011)”更能引發較大的額區α波不對稱指數，結合2.2中的介紹，即說明受試者在判斷“花哨的”是否符合樣本時更能產生消極情緒，而在判斷“素雅的”是否與樣本一致時更能產生積極情緒。因此“素雅的”“性感的”“時尚的”“活潑的”“柔美的”“簡潔的”“獨特的”“年輕的”形容詞比對應詞匯更能誘發較大的額區α波不對稱指數。說明受試者在判斷以上形容詞是否符合樣本時更能產生積極情緒。

表1 額區α波不對稱指數Tab.1 Frontal region α wave asymmetry index

由喜愛度評分和主觀感性評價問卷對比可知，喜愛度較高的樣本，如樣本4、18對應的詞匯評分也更偏向于能引發積極情緒的一側詞匯(如年輕的、獨特的、簡潔的等)；受試者喜愛度較低的樣本，如樣本19對應的詞匯評分則偏向于更能引發消極情緒詞匯的一側(如成熟的、大眾的、繁復的等)，如圖5問卷形容詞得分舉例所示，其他未在圖中示出的17個樣本也基本符合這一情況。

圖5 問卷形容詞得分舉例Fig.5 Example of adjective score in questionnaire

綜上，眼動指標和腦電信號的額區α波不對稱指數綜合證明了主觀問卷數據的可靠性。這為后面對問卷數據進行因子分析奠定了基礎。

近年來，國內視頻監控市場每年都在以超過20%的速度增長，隨著平安城市等大型聯網監控項目的普遍建設，高清IP監控產品得到廣泛應用，系統點位容量和行業需求不斷激增，越來越多的用戶認識到安防監控平臺軟件是整個系統綜合實力的重要表現。

3 泳裝圖像情感因子空間的建立

由問卷調查數據可以建立初步的八維泳裝圖像情感語義空間，此空間內的樣本圖像的情感語義可通過8個形容詞對的值定量表示。由于大眾對形容詞理解的不一致性和對情感評價的主觀性，最初選擇的8個形容詞對在對樣本圖像進行情感描述時可能存在一定的相關性，所以，需要對原始數據進行因子分析和降維處理，以消除冗余并建立最終的情感因子空間。

3.1 相關性分析

利用SPSS軟件對主觀問卷獲得的泳裝圖像8對情感詞數值的相關性進行分析，結果見表2，相關系數基本在0.5以上，表明這8對情感詞之間有較強的相關性，適合做因子分析。

對表2中的數據進行效度查驗，可得KMO數值是0.766(>0.7)，Bartlett球度檢驗數值是167.349(當自由度是28時)，二者說明了原數據矩陣之間含有相關因子，可以進一步做因子分析。

表2 8對情感詞對Pearson相關性分析結果Tab.2 Pearson correlation analysis results of 8 pairs of emotional words

3.2 因子分析

利用SPSS軟件對原始數據做降維處理。碎石圖中特征根從第4個因子開始越變越小，在詮釋初始變量信息方面的貢獻較小，再結合特征根選取原則，最終選擇前3個因子做后續分析。

因子解釋變量總方差的結果見表3。表3示出的3個因子能夠詮釋泳裝圖像情感初始變量總方差的92.325%，在降維過程中僅損失了不到8%的數據，占總數據比例較小，符合預期效果，說明原始數據可以用來做因子分析。

表3 因子解釋變量總方差的結果Tab.3 Results of total variance of factor explanatory variables

泳裝圖像情感語義描述詞數值的計算公式能夠從因子載荷矩陣函數模型中得出。經正交旋轉得到的因子載荷矩陣具有揭示因子和變量間相關程度的特性。某一因子與變量之間相關程度更高，那么對應數據的絕對值也更大；相反地，若二者之間相關程度較低，則對應數據的絕對值也越低。經正交旋轉的因子載荷矩陣見表4。因子分析中各個因子彼此之間在互相獨立的同時，還與各對情感詞有一定的關聯。表4示出，各對情感詞都與3個因子的成分特征向量對應，所以將其當作3個因子之間的線性組合，經旋轉后共同構成因子成分系數函數。

表4 因子載荷矩陣Tab.4 Factor load matrix

E1=0.945f1-0.056f2+0.078f3

(2)

E2=0.203f1+0.922f2+0.152f3

(3)

E3=0.111f1+0.962f2+0.108f3

(4)

E4=0.914f1+0.104f2-0.189f3

(5)

E5=0.774f1+0.494f2-0.150f3

(6)

E6=0.159f1+0.466f2+0.823f3

(7)

E7=-0.247f1-0.047f2+0.922f3

(8)

E8=0.829f1+0.455f2+0.006f3

(9)

式中：f1代表因子1，f2代表因子2，f3代表因子3。

3.3 泳裝圖像情感因子空間的建立

采用因子分析中的回歸法得到表5中因子得分系數。

表5 因子得分系數矩陣Tab.5 Factor score coefficient matrix

根據表5得出的因子得分函數如式(10)～(12)所示：

f1=-0.196E1+0.261E2+0.282E3+0.174E4-

0.166E5-0.117E6+0.533E7+0.002E8

(10)

f2=0.437E1-0.036E2+0.031E3+0.027E4-

0.110E5+0.431E6-0.253E7+0.207E8

(11)

f3=-0.031E1+0.048E2-0.088E3+0.168E4+

0.899E5-0.190E6-0.247E7+0.132E8

(12)

從因子得分函數得出：第1個因子主要與“性感的—保守的”“時尚的—傳統的”“獨特的—大眾的”相關，第2個因子主要與“素雅的—花哨的”“簡潔的—繁復的”相關，第3個因子主要與“柔美的—陽剛的”相關。同時從主成分分析可以看出，3個因子共解釋原有8對情感語義信息的92.325%，說明這3個因子能夠用來進行泳裝圖像情感語義分析。

在眼腦實驗和問卷調查之后，對問卷數據進行分析得到8對形容詞的主觀評估值，并建立了泳裝圖像的初步的八維情感語義空間。通過因子分析，由因子得分系數矩陣計算得出3個因子的數值，即將初始八維的情感語義空間變換為新的三維情感語義空間，即情感因子空間,具體見式(10)～(12)。轉換之后，一是減少了情感語義的維度，二是三維因子空間中每個因子都是獨立的、與其他因子無關的，各個泳裝圖像對應的每個語義分量彼此是正交獨立的，這使得進一步計算空間中樣本點的距離更加合適、緊湊，即降低了計算機提取服裝圖像信息特征的難度，也有利于對泳裝圖像進行情感識別、分類、檢索等后續工作。

4 結束語

本文以泳裝圖像為研究對象，圍繞泳裝圖像情感因子空間的建立展開了研究。通過對眼腦實驗數據和調查問卷數據的分析建立了泳裝圖像的三維情感因子空間，其結果表明，因子空間中3個因子可以解釋泳裝圖像初始情感信息的92.325%，解釋效果較好。該因子空間是實現計算機對泳裝圖像情感識別及量化評價的重要前提指標，可以為人工智能服裝設計提供更為客觀準確的泳裝圖像情感標注。同時該方法也可以應用于其他種類的服裝情感因子空間的建立。

人工智能設計過程中對服裝情感標注的屬性數量會遠超8對詞匯，本文實驗僅針對其基本原理展開。后續將繼續研究情感因子空間中3個因子的特征提取，為泳裝圖像情感標注奠定基礎。