基于眼動信號追蹤技術的產品情感設計系統應用實踐

謝 黎 尹 玲

（東莞理工學院，廣東 東莞 523808）

0 引言

該文以生理信號研究理論為基礎，并基于人體眼動信號識別開展了對產品情感設計系統的研究與實踐。在該領域的研究中，可以通過非生理信號（視覺信號、語音信號）及生理信號等手段對人的情緒進行感知[1]。通過使用現代檢測設備采集到的生理信號數據（例如眼動儀）來搭建數據分析及應用平臺，并將該類系統應用于銷售場景，用來監測消費者在產品選購時他們喜好的變化情況。利用情感泛化特征分析系統，將數據與產品設計需求結合，建立基于人體生理信號反饋的產品情感設計系統，從而為產品開發及銷售提供有價值的評估與判斷。

1 眼動生理信號與情感關聯性的理論研究

1.1 理論研究

該研究以非侵入式身體生理信號檢測技術為依托，對具體的產品情感設計系統進行研究。目前國內外多以非侵入式生理信號檢測技術為研究方向，它的研究內容涉及很多領域，例如情感智能與普適計算、虛擬現實、情感化設計、用戶體驗、交互設計、情感機器人、在線教育、情境學習、多媒體檢測、游戲設計、駕駛員情感分析以及康復醫療等。以眼動為代表的基于生理信號的產品設計研究和評估，是從認知科學、計算機科學以及人工智能的角度去理解的。人體自主神經的活動，例如隨著1種情感的變化幾種生理特征也會發生變化，而有一些自主神經，在一般情況不會受到人的思想的主觀控制。因此，對該生理信號進行情感分析是具有比較明顯的客觀性和準確性。相對來說，眼動這類生理信號對面部表情和姿態的識別具有更明顯的客觀性與準確性，通過這類客觀反映來評估人們的情感、狀態，其結果更準確。目前，該定量分析方式的技術還不成熟，大部分都采用定性分析的方法。在定量分析的基礎上，結合更多的數據研究和有效評估，對產品的設計進行一些相對客觀和理性的情感化判斷。將情感反饋與用戶體驗結合，從而更好地促進產品開發，還有待于進一步研究。浙江大學研究E-Teatrix中虛擬人物及情感系統的構造，根據該研究可知，情感計算中的生理信號是識別人情緒的1種非常有用的數據特征[2]。情感指標是相對廣泛的，基于眼動生理信號帶來的情感指標特征可以在產品開發評估環節中應用，也是該文的研究重點。

1.2 國內外的情感設計研究重點

獲得情感數據以及情感測量的手段是研究中的首要難點，P.J.Lang指出有3種資料可以作為情緒的指標，分別是行為、自我報告以及生理反應。基于行為的情感認知，隨著傳感器等硬件技術的發展，越來越多的研究借助語音、面部表情以及身體姿勢等多媒體數據來完成對情感的獲取和分析。在實驗室測量的過程中，除了借助行為來描述情感以外，還可以通過以下2種途徑描述情感：1） 實驗受測者的自我報告。用各種量表來評估受試者的情緒反應。2） 生理信號。眼動研究就是其中之一。早在19世紀，就有科學家運用對人的眼球運動分析來解析人的心理活動，眼動儀的問世為心理學家提供了強大的工具，利用眼動技術研究人在各種不同條件下的視覺信息加工機制，分析其與心理活動的關系，為心理學研究提供了更多寶貴的數據。心理學研究中常用的參數主要包括眼動時間、注視點軌跡圖、眼跳方向的平均速度、時間、距離、眨眼和瞳孔大小（面積或直徑描述，單位象）。通過眼動監測技術記錄眼動的軌跡，提取對應的視覺信息，并對其進行研究，從而探究個體的情感變化。

將由人的情感變化所引發的生理及行為特征信息建立在各類傳感器上，并搭建情感模型，從而創建個人情感計算系統。在主流研究中，對常態人群的認知過程和生理過程進行了水平比對，認知過程、生理變化以及情緒是緊密聯系在一起的，究竟哪個更能體現情緒的波動，一直存在爭論[3]。現有的研究工作主要圍繞情感單模態理論與相關技術的可實現性而開展。哈爾濱工業大學的多功能情感機研究，主要包括表情識別、姿態情感識別等。清華大學進行了基于人工情感的機器人控制體系結構及腦機接口研究。北京交通大學和北京工業大學對多功能感知機和情感計算進行了融合研究。中科院軟件所主要研究智能個體界面。中科院自動化研究所則研究了基于生物特征的身份驗證。中科院心理學所、生物所則注重對情緒心理學與生理學關系的研究。中國科技大學開展了基于內容的交互式情感圖像檢索的研究。浙江大學、江蘇大學建立了自己的情感數據庫，可以從生物信息中提取特征來對情感識別進行研究。中科院計算所開展了對帶有表情和動作的虛擬人的研究。北京科技大學、東南大學和南京航空航天大學主要研究語音情感識別以及語音情感計算。重慶大學致力于智能軟件方面的研究。

2 眼部生理信號的數據處理方法

結合情感化產品設計中關于眼部生理信號提取的理論素材，對其進行分析和處理，并結合不同視角、場景和空間等尋找創新性的設計切入點，為后續系統開發做進一步的積累。可以通過測量該生理信號的變化識別出該信號中的情緒模式，通過對應的情感計算情緒模型來對相應的產品進行設計[4]。結合眼動信號驅動的產品情感設計系統的開發，通過眼動提供的幾類指標體系搭建產品設計的框架模型，從而設計有針對性的用戶使用產品，并提供使用場景的參照。

2.1 應用背景

2.1.1 眼動信息反饋的有效性

眼動檢測是非侵入式生理監測中相對較為客觀的1種手段。眼睛是心靈的窗戶，眼睛有非常多細小而敏感的生理結構，而眼睛的瞳孔具有非常明顯的意識，即感覺性的反應。瞳孔的大小、變化以及反應，都會受到交感神經與副交感神經的支配。

2.1.2 以眼動儀技術為載體，基于生理信號識別的產品情感設計系統

以眼動信號為基礎的研究，作為符合一定設計原則的產品情感設計系統，其提供的眼動信息是反饋內心真實情感的生理性外化渠道。可以通過眼睛捕捉到人們真實的情感，這就是人們常說的心靈的窗戶，由此得出新的產品設計方法。

2.2 技術背景

2.2.1 瞳孔角膜反射技術 （PCCR）

該技術的基本理念是使用1種光源對眼睛進行照射，使其產生明顯的反射，并使用1種攝像機采集帶有這些反射效果的眼睛的圖像；再使用該圖像來識別光源在角膜（閃爍）和瞳孔上的反射 。這樣就能夠通過角膜與瞳孔之間的反射角度來計算出眼動的向量，然后結合該向量的方向與其他反射的幾何特征計算視線的方向。

2.2.2 生理指標測量

生理指標測量是指通過多種傳感器測得人類身體對某事物的感知或思維想象的反應。該方式能夠直接獲得來自中樞神經系統（例如大腦）或與周圍神經系統（例如眼球的瞳孔、皮膚的汗腺）相關的數據。通常引入生理指標的目的是為了衡量能夠更直接地反映出與情緒相關的身體反應。應用另一種常見生理指標的目的是為了確定執行某項任務時的腦力負荷，該方式是設計該項目產品及其衍生產品的出發點。

3 基于眼動信號的產品情感設計系統設定

3.1 穿戴式用戶信號儀的產品系統框架及工作邏輯

為了讓收集到的數據更接近真實環境下人體的真實數據，產品的設計規劃基于非侵入式身體生理信號檢測技術而展開。產品系統由穿戴式眼動儀（用戶端）、其他人體生物信息檢測設備、數據中轉站以及后臺系統組成，系統流程演示圖如圖1所示。

3.1.1 穿戴式眼動儀（用戶端）

穿戴式眼動儀的主要功能是收集眼動數據、面部表情圖像數據以及使用者視野環境圖像數據。其主要功能硬件模塊有嵌入式微型眼動捕捉傳感器、面部表情捕捉傳感器、嵌入式微型攝像頭以及數據傳輸器等。功能硬件模塊的工作邏輯是由嵌入式微型眼動捕捉傳感器、面部表情捕捉傳感器以及嵌入式微型攝像頭分別收集對應的眼動數據、面部表情圖像數據和使用者視野環境圖像數據，再通過數據傳輸器傳輸給數據中轉站（注：嵌入式微型眼動捕捉傳感器收集眼動數據應用的是瞳孔角膜反射技術）。

3.1.2 其他人體生物信息檢測設備

其他人體生物信息檢測設備是指在該產品系統的基礎上，衍生出來的收集皮膚電、動作檢測、呼吸以及心率等人體生物信息數據的硬件產品，該產品的形式可以是智能手環等非侵入式的硬件產品，產品的工作邏輯是通過數據傳輸器將感應器收集的數據傳輸給數據中轉站。

3.1.3 數據中轉站

數據中轉站是指專門接收該系統檢測設備（包括但不限于穿戴式眼動儀）輸出數據的終端設備，該設備在接受數據的同時，還可以對數據進行初步的處理、存儲，并上傳到系統云端。

圖1 基于眼動信號的產品情感設計系統流程演示圖

3.1.4 后臺系統

后臺系統指對數據進行分析的系統，分析者通過后臺系統下載云端數據，設定對比算法，對其進行對比分析，從而形成可視化的分析結果。

可以針對不同的實驗目的和實驗目標設定對比算法，結合相應的圖像數據，設定不同的算法模型，當嵌入式微型攝像頭識別到使用者視野環境中出現該圖像數據時，將抓取各類人體生理指標，通過算法模型對其進行計算和對比分析。

其具體的對比分析方法包括但不限于嵌入式微型眼動捕捉傳感器收集的眼動數據，該數據包括眼動時間、注視點軌跡圖、眼跳方向的平均速度、時間、距離、眨眼和瞳孔大小（面積或直徑描述，單位象）；將該眼動數據與使用者視野環境圖像數據進行對比，可以知道用戶對視野環境中的目標實驗物體的關注度和其他感受。同理，將面部表情圖像數據、其他人體生物信息檢測設備測量的人體生理指標與使用者視野環境圖像數據進行對比，可以知道用戶對視野環境中的目標實驗物體的其他感受。

3.2 該系統在現實中的應用

該系統的類似系統常在觀測特殊人群中應用，用來幫助理解、認知以及預防特殊人群的行為及治療，有學者通過研究情緒-心智對比提出了心智理論（ToM）模型，該模型是可以幫助自閉癥患者度過日常生活的系統模型[5]。快消產品的更新迭代速度快，每次產品更新的庫存投資高，通常只能通過銷售數據和用戶訪談等方法獲取更新效果的數據，數據的獲取周期長且不具有時效性。品牌方營銷人員可以通過該系統在各線下門店賣場分別投放一定數量的穿戴式眼動儀、其他人體生物信息檢測設備以及1個數據中轉站，引導消費者取戴眼動儀后再進行購物活動，結賬后再歸還眼動儀。通過數據中轉站將消費者在購物過程中產生的眼動數據和人體生理指標數據上傳云端，由營銷人員（分析者）通過后臺系統設定新品數據（實驗目標），進行對比分析，得出消費者對新品的用戶情緒數據。穿戴式用戶信號儀如圖2、圖3所示。

圖2 穿戴式用戶信號儀結構圖

4 結語

該系統基于對眼動信息的有效采集，收集到賣場目標區域用戶群體的生理數據，為研究產品迭代及優化提供研究了數據基礎。不同的用戶群體可以有相應需求的情緒數據，當該數據達到一定的數量時，就可以對消費者行為的大數據進行分析，從而為產品的更新迭代、庫存的高效周轉以及產品的優化決策提供充分有效的信息數據。

圖3 穿戴式用戶信號儀三視圖