多模態融合下寵—主情感交流產品交互設計研究

摘要：針對寵-主交流產品情緒識別方式缺失或單一，寵-主情緒狀態難以及時掌握把控，進而造成寵-主情感交流障礙的問題，提出多模態計算框架下的寵-主情感交流產品雙向交互設計原則，實現對寵-主情緒精準識別，交互反饋，以促進寵-主情感交流。在現有人類情緒識別的音頻分析與計算機視覺跨模態融合基礎上，針對貓咪意象需求的模糊性與主人情感需求的多樣性，聯結寵-主情感與其對應需求，提出多模態視域下寵物情緒識別新方法和寵-主情感交流產品雙向交互設計模型。面向寵-主情感交流的多模態情感交互模型，通過情緒識別、需求確定、交互反饋，可以提升寵物產品智能化，準確把握寵-主情緒，促進寵-主溝通的良性循環。

關鍵詞：寵-主情感；情感交互；多模態情感識別；模態融合；用戶需求；交互設計

中圖分類號：TB472 文獻標識碼：A文章編號：1003-0069（2024）17-0054-05

Abstract：To address the problem of missing or single way of emotion recognition in pet and pet owner communication products，which makes it difficult to grasp and control the emotional state of pet and pet owner in time and thus causes obstacles to the emotional communication of pet and pet owner，we propose a bidirectional interaction design method for pet and pet owner emotional communication products under a multimodal computing framework to achieve accurate recognition of pet’s and pet owner’s emotion and interactive feedback to facilitate the emotional communication. Based on the existing cross-modal fusion of audio analysis and computer vision for human emotion recognition，we propose a new method for pet emotion recognition and a two-way interaction design model for pet and pet owner emotion communication products in a multimodal perspective，in response to the ambiguity of cat imagery needs and the diversity of owner emotion needs，and linking pet and pet owner emotions with their corresponding needs. The multimodal emotional interaction model for pets’ and pet owners’ emotional communication can promote a virtuous cycle of pet owner communication through emotion recognition，demand determination，and interaction feedback. Therefore，building a multimodal interaction design model for pets’ and pet owners’ emotional communication products，can enhance the intelligence of pet products，accurately grasp pets’ and pet owners’ emotions，and eliminate communication barriers between them.

Keywords：Emotional communication between pet and owner；Emotional interaction；Multimodal emotion recognition；Multimodal fusion；User requirements；Interaction design

引言

隨著中國寵物[1]市場經濟呈爆炸式擴張，寵物主情感交流需求意識的覺醒，對寵-主情感交流產品的交互方式提出了新的發展需求?，F有寵-主情感交流方式同質化嚴重[2]、智能化程度不高、模式單一，造成寵-主間情感交流準確性和及時性不足。模態融合是人工智能發展的重要趨勢[3]，融合寵-主身體姿態、動作行為、語言聲音3種單模態，構建基于多模態融合模式下的寵-主情感需求分析反饋交互模型，能精準分析寵-主情感并進行有效情感交互反饋，為寵-主良性溝通提供可能，對促進寵-主情感交流具有重要的現實意義。

一、多模態情感交互與寵物產品交互設計現狀

（一）多模態情感交互：在自然語言處理領域，將利用兩個及以上模態信息通過神經網絡模型預測情感信息，并運用兩個及以上模態信息進行交互反饋的過程，稱為多模態情感交互[4][5]。深度學習和傳統特征提取算法的進步為利用多種模態進行情感分析提供了條件。模態信息一般包括視覺、聽覺、觸覺3種。通過語音（文本、語速、語音頻率）、圖像（面部表情、行為動作）、生理信號（皮膚電流、皮溫等）等模態信息輸入判斷用戶情感；通過視覺、聽覺和觸覺進行交互反饋。

多模態情感交互是智能人機交互必不可少的一部分，其優點是直觀和具有沉浸感，能夠引發情感互動，可應用于輔助學習、情感社交等領域[6][7][8]。其中聽覺反饋能實現對話中的實時反饋，使用場景約束性小、高效便捷；視覺反饋通過帶有特定情感特質的圖像進行可視化表達；觸覺反饋能利用交互界面、產品的材質等來反饋重要的狀態信息或交互行為。此外，對情感交互要求較高的輔助學習、情感社交必須使用多模態反饋，即將視覺反饋、聽覺反饋和觸覺反饋等反饋形式結合起來，混合輸出表達。

（二）寵物智能產品交互設計現狀：寵物智能用品囿于人工智能技術和運用方法的局限，現有寵物產品智能交互，仍集中在基于單一傳感器的被動式交互和強迫式主動交互模式，且無法精準識別寵物與寵物主情緒，交互主體大多只關注寵物本身，其交互輸出的有效性還有待加強，見表1。以上現狀已不能滿足寵物主日益增長的情感需求和對寵物產品的自然交互要求。寵物產品亟待朝著情感化和智能化的方向轉型發展[9]。

分析發現，集寵-物-人三者交互于一體的產品更容易受到寵物和消費者的喜愛，這樣的產品能使寵物和主人共同參與，其中交互模態越多的越受歡迎。因為現有寵物產品在情感分析時，由于寵物單一表現形式可能映射多種情緒狀態（如瞳孔呈擴散放大狀可能是處于恐懼，也可能是憤怒），因而需綜合多方要素精準識別。此外，通過智能產品硬件多種模態（即材質、外觀、色 彩、語音、圖像等）特征輸出，聯結寵物與主人的情緒狀態，以促進交互行為。如可通過情感交互中使用帶有特定情感特質的圖像、能調節寵-主情緒的圖像、與寵-主情緒狀態相匹配的可視化表達、提示或引導寵-主緩解情緒壓力的界面等來進行情感的視覺反饋。

二、基于情感雙向交流的寵-主產品多維度功能設計

通過對寵物和寵物主人在各類情緒狀態下的需求進行深入分析，推導出促進寵-主雙向情感交流的智能產品多維度功能設計。

（一）寵物情緒及其情感需求分析：寵物情緒可理解為寵物對特定事件的短期強烈情感反應。動物行為學和心理學理論認為影響寵物情緒的因素主要有動物本身、社會環境及人類自身3個方面。以貓咪為例，在中國知網和Web of Science等專業網站上搜索大量文獻后[10]，分析可得出以下結論：（1）貓咪情緒量表可分為5種類別：恐懼、憤怒、快樂、滿足、興趣。（2）寵物行為映射著寵物情緒狀態，而寵物情緒又可以預測寵物未來行為。（3）寵物情緒狀態可以被外界干預或轉化，多表現為通過游戲來釋放它們的活力和捕獵欲望，由此建立更深厚的感情。具體情感傾向及對應需求見表2。

（二）寵物主情感及需求分析：人的情感由幾種基礎情緒構成，進而派生出包括焦慮、厭惡、嫉妒等更復雜的情感。其中福克斯（FOX）教授提出，情緒起源于兩種廣泛的行動傾向，即趨近或退避，文章通過分析寵物主的主動、被動的表達方式來分析其需求。

為提升寵物主人的飼養體驗，深入了解寵物主人飼養貓咪原因、現狀、問題、期望等內容，在多個貓咪論壇內發放問卷，調研結果見圖1。結果顯示，68.18 %寵物主為女性、年齡段集中于18-40歲；81.82 %寵物主出于喜愛飼養寵物，40.91 %孤獨而飼養寵物；59.09 %寵物主都將寵物看作自己的家人，32.08 %寵物主將寵物看作精神慰藉；68.18 %大部分寵物主不知道該如何正確回應寵物、與寵物進行良性互動；在趨近情緒下，寵物主傾向于以玩耍為主；在退避情緒下，寵物主傾向于陪伴功能；額外期望有喂食、交流、清潔等功能，見表3。因此與寵物的跨物種交流，在一定程度上給寵物主帶來了困擾，需要通過智能產品幫助寵物主辨識寵物情緒，并在寵物主處于消極情緒時，處理引導寵物的情緒與行為。

（三）寵-主情感雙向交流產品多維度功能設計：通過對寵物和寵物主的情感維度及需求進行研究與分析，得出了在寵物和寵物主溝通過程中，存在三大痛點：跨物種溝通不暢、積極信號反饋不足、交流互動渠道少。

（1）跨物種溝通不暢：由于寵物和人類的語言表達和行為方式存在差異，兩者間信息傳達并不能如人與人之間自如，很容易產生誤解，甚至矛盾。（2）積極信號反饋不足：由于不了解寵物的表達方式或由于錯誤理解傳達的信息，無法做出積極正反饋。（3）交流互動渠道少：寵-主之間交流途徑少，且需要雙方在適宜情境下才愿意進行互動。

針對以上痛點，分析歸納了寵-主情感交流產品功能設計維度，見表4，從寵-主-環境三個維度進行設計，引導寵物情緒、滿足寵物主需求、協調寵-主間作用關系，確定智能產品的主要功能為情緒識別、交流、玩耍，輔助功能為喂食、陪伴等。

三、基于多模態的寵-主情感識別模型構建

寵-主情感識別是實現智能產品輔助寵-主雙向情感交流的基礎，大量國內外文獻顯示在寵物情緒與其具體表現形式的對應關系上表述不完整且沒有統一對應關系，有關寵物的多模態情感數據庫尚不完備或因商業性較強尚未公開，文章基于現有研究成果提出基于多模態的寵物情感識別新模型。

即從貓咪5種情緒類別出發，搜集大量貓咪情緒狀態圖，提取歸納出3種表現維度（姿態、行為、聲音）的6個方向（眼睛、耳朵、尾巴、身體、行為、語音）的42種具體表現形式進行梳理見表5。形態涵蓋4個方面，即眼睛、耳朵、尾巴、身體；行為包括11種形式；聲音包括5種形式。其中動作和形態的動靜態捕捉分析可以利用計算機圖像處理技術實現，聲音的音頻分析可以借助軟件Praat得以實現。

基于寵物的情緒特征提取，將貓咪的42種特征與5種情緒狀態鏈接，繪制寵物多模態維度情緒映射關系圖，見圖2，為寵物智能產品的機器學習與寵物情緒的識別作鋪墊，并在后續寵物智能產品處理應對主人與寵物情緒時提供決策先導以促進寵-主情感交流。此外，希望能對后續貓咪多模態情感數據庫的建立提供參考。

通過對寵物情感識別的可行性分析，可構建出基于多模態的寵物情感識別模型，其步驟包括多模態情感特征提取、多模態信息融合和情感分類表達，見圖3。

多模態特征提?。褐悄墚a品通過麥克風、攝像頭、傳感器主動采集并實時更新寵物聲音、形態、行為的信息，然后利用計算機視覺和音頻分析技術對攝像頭采集的圖像、視頻和麥克風采集的聲音進行特征提取。

EW8k7XHrhe/8d6Mpq/4pKwk8Ywlo+ALQ0YOTj9VGKAU=

多模態信息融合：對不同模態間的差異性信息進行有效利用，分為數據層次融合、特征層次融合、決策層次融合。數據層次融合是簡單地對收集數據進行求同，情感識別失誤率較高；特征級融合是基于深度學習后提取的特征進行融合，快速靈活；決策層融合是對不同模態信息進行情感分類，最后選取占比最大的情感類別。針對貓咪情感的模糊性，選取借鑒了集特征融合和決策融合的非對齊多模態語言序列的多模態變壓器識別方法，即通過深度學習網絡對提取得到的貓咪特征兩兩融合，并在此基礎上，將融合特征放入不同的分類器進行整合，以提高貓咪情感識別的準確率。

情感分類表達：融合后的多模態特征，經過目標情感分類層后，輸出概率最大的情感類別，并根據預先給予的情感-需求對應關系，對不同情緒狀態下的貓咪做出差異化互動反饋。

現有人類情緒測量方法主要是基于深度學習對面部、文本、語音的特征級融合或決策型融合分析，形成了一定體量的數據集，如IEMOCAP、CMU-MOSEI、eNTERFACE05等。其情感識別方法與模型已經較為成熟，在此不贅述。

四、基于多模態的寵-主情感交流產品雙向交互設計應用

（一）基于多模態的寵-主情感交流產品雙向交互設計模型構建

多模態寵-主情感交流立足于寵物、寵物主、智能產品共同實現的“寵物-智能產品-寵物主”雙向溝通反饋[11]、良性互動循環的溝通模式。創新寵-主情感交流智能產品雙向交互流程，見圖4，旨在通過智能產品扮演傳聲筒與調解人的角色，提升寵-主良好溝通體驗。模型可以通過人工智能劃分識別對象，分別判斷寵物和寵物主人的情緒狀態，并將寵物的情緒狀態通過語音或色彩顯示等可視化手段傳達給寵物主人。

1.當寵物主人情緒處于退避狀態時，產品將自主決策反饋，自行與寵物進行喂食或玩耍等互動，并實時監測寵物情緒狀態，直至寵物情緒積極平穩。

2.當寵物主人情緒處于趨近狀態時，產品會通過圖像或語音等多種方式指導主人與寵物正確互動，并實時更新雙方的情緒狀態，再次做出自主反饋或繼續指導主人與寵物進行互動的決策，直至寵-主雙方情感積極向好。

基于寵-主情感交流雙向交互流程，從產品的感知層、技術層、應用層進行分析[12]，分別對應滿足寵-主情感提取、情感識別、決策反饋需求的設備引入層、核心引擎層、交互反饋層，構建寵-主情感交流智能產品雙向交互模型，見圖5。

1.設備引入層：該層滿足產品功能得到實現的要求，通過攝像頭、麥克風、傳感器等多模態信號采集設備，采集追蹤寵物的身體、語音、行為特征信息以及寵物主的表情、語音、語言文本特征信息，并實時更新相關特征信息。

2.核心引擎層：該層滿足產品情感識別功能的技術支持，包括產品功能的技術實現和多模態情感識別架構技術的搭建等。為交互反饋層的指令生成提供具體的技術支持，主要包括將設備引入層采集的寵-主特征信息進行處理、信號原語分析、信號融合處理、情感意圖提取。

3.交互反饋層：該層主要負責對寵-主進行交互反饋的情感促進作用以及寵-主多模態情感數據庫的運用，將核心引擎層提取識別的情感意圖對應相關指令要求，進入不同的產品交互行為模式，包括匹配指令、生成指令、操作指令等。如核心引擎層提取識別了寵物的憤怒情緒，產品就會匹配轉移注意力指令，通過玩?；蛭故车确绞绞箤櫸锏那榫w由憤怒轉向平穩愉快。

（二）基于多模態的寵-主情感交流產品雙向交互設計原則

1.舒適化的多感官體驗：融合聽、視、觸的多模態感官融合體驗，通過產品的硬件要素，如麥克風播放貓語人語、顯示屏呈現視頻圖像、產品外觀展示色彩燈光、產品輕重緩急的運動模式、產品材質工藝等進行雙向反饋[13]，從感官的具體維度構建和提升寵-主的情感交流體驗，增強寵物和寵物主之間的鏈接互動感。

比如選取在寵物貓色域范圍內并符合寵物主心理認知的藍色和白色。從視覺辨識度來說，藍色較為平靜，且會給寵-主在一定程度上帶來親近感，白色因其給感官體驗帶來的較強的刺激作用，可以吸引寵物主使用時的注意力，能為情感體驗帶來積極成分。

2.科學化的交互操作引導：在流程和層次設計上要保證功能操作的布局合理性和邏輯一致性，保證功能信息架構的一致性，確?；硬僮髂Ｊ侥軌蛞龑櫸镏魅说恼_行為。尊重寵物主人對產品使用的傳統認知和行為模式，避免違背寵物主人操作意愿的互動操作模式，保證溝通功能信息的表現形式對寵物主人的認知具有吸引力。

比如基于寵物主人的理解和行為模式，降低寵物主人在使用過程中的認知負荷，提高界面操作的交互效率，提高寵物主人在使用過程中的滿意度。

3.多元化的互動形式：多元化的互動形式應用范圍不僅僅局限于寵物-智能產品-寵物主人三者之間，甚至可以應用于智能產品-寵物、智能產品-寵物主人的溝通場景之中。其多元化的互動包括但不局限于安慰、玩耍、交流等模式。即通過將多元化互動模式下的多元化互動手段應用于多元化的互動場景之中，增加智能產品的靈活性，增添雙方的愉悅感和認同感。

比如對于寵物不良行為屢教不改的情況，如隨地小便，則可以引入溝通獎懲機制，借助懲罰機制警示寵物，對寵物的不良行為進行規范化科學引導。

4.常態化的機器學習：在寵-主智能情感交流系統設計中，基于寵-主情感的應對設計策略尤為重要。要改變傳統寵-主溝通系統中的信息傳達不準確、行為反饋不科學、溝通效率低等情況，需要不斷訓練智能產品做正確決策的能力。在產品研發初期，輸入寵-主情感需求對應關系及反饋指令后，仍需不斷訓練產品正確高效處理寵-主情緒數據的能力，獲得寵-主情緒狀態規律、交互反饋指南，逐步提升智能產品做正確決策的概率，提高產品自主反饋與指導反饋的正確率。

（三）多模態融合下的寵-主情感交流產品雙向交互設計的應用價值

1.實現以寵-主為中心的個性化交流傳達：打破傳統寵物產品設計的單一以寵物或寵物主為設計對象，真正從促進寵-主雙方情感交流的角度，將雙方均置于產品的交互場景之中，將以用戶為中心轉化為以寵—主的需求為本，凸顯對寵物和寵物主的重視。同時，先進的技術也支持著寵-主智能情感交流智能產品朝著個性化的態勢發展，由于寵物和寵物主人個體性格表現多樣性，由此派生出的寵-主溝通組合也多種多樣，如何在寵-主溝通的大規律下，對特殊問題尋求特殊應對方法，多模態寵-主情感交流雙向交互能基于機器學習大數據處理為其提供了行之有效的解決方案。

2.構建寵-主共同參與的良好溝通體驗：經濟快速發展，寵-主情感交流意識需求覺醒。基于智能溝通與技術運用，提供更精準、更科學、更高效的服務，激發維持寵—主的積極心態，建構寵—主共同參與的良好溝通情景，能更好地為寵—主提供情感交流服務，增加寵物與寵物主人的互信黏合度。通過雙向智能語音設計，實現基于人工智能的寵-主雙向溝通功能；通過多模態寵-主情感識別模型，達成對寵-主情緒數據監測改變傳統溝通過程中寵物和寵物主人對彼此的“不知所云”“不知所措”，促進寵-主間的相互理解，降低寵-主間的溝通成本，實現寵-主情感交流的高效化、科學化體驗。

3.順應人工智能轉型發展的時代需求：寵-主情感交流雙向交互模型的構建，對信息數據互通、寵-主溝通，滿足人性化功能需求等技術要求更高。寵-主對于情感溝通服務的質量、流程、產品體驗和情感咨詢等方面的訴求也在不斷提高，這就要求承載著情緒價值的寵-主情感交流產品和服務必定要接入人工智能終端，引入人工智能自然交互模式。這不僅僅順應了人工智能時代的發展大潮，也為人工智能在寵物領域的深入提供理論支持。

結語

在消費升級和情感匱乏的時代背景下，通過寵物來療愈心靈的方式被更多人采用。但囿于跨物種溝通的局限性，結果可能適得其反，為人類和寵物帶來了許多煩惱。作為寵物產品設計師，只有深入了解分析研究寵-主的情感需求，結合智能交互技術，才能設計出真正能夠促進寵-主情感交互的產品。

本文提出多模態融合趨勢下寵-主情感交流智能產品雙向交互新模式，制訂寵-主情感交流智能產品雙向交互新流程，構建基于多模態的寵-主情感交流智能產品雙向交互設計新模型，為寵-主情感交流產品的設計提供了理論指導和技術支撐。通過智能產品的介入，為寵-主真實互動過程中的情緒檢測、情感促進提供新思路與新方法，使得寵物主能夠了解寵物真實意圖、需求動向并滿足其需求；寵物能夠通過正向反饋或正確引導減少不良行為；寵-主也能在此基礎上增加快樂感、滿足感、信任感。

參考文獻

[1]林夢嫚，楊玉香，孟利民. 基于文獻計量的我國寵物相關領域研究發展態勢分析[J]. 中國農業大學學報，2022，27（10）：120-133.

[2]張曉鋒，孫薇.基于用戶體驗的寵物貓用具設計——以貓砂盆為例[J].設計，2022，35（09）：130-133.

[3]顧小清，李世瑾，李睿. 人工智能創新應用的國際視野——美國NSF人工智能研究所的前瞻進展與未來教育展望[J]. 中國遠程教育，2021，（12）：1-9+76.

[4]程大雷，張代瑋，陳雅茜. 多模態情感識別綜述[J]. 西南民族大學學報（自然科學版），2022，48（04）：440-447.

[5]胡新榮，陳志恒，劉軍平等. 基于多模態表示學習的情感分析框架[J]. 計算機科學，2022，49（S2）：631-636.

[6]馬曉娜，張雨欣，于茜. 基于多模態信息交互的智能家居設計研究[J]. 包裝工程，2022，43（16）：59-67+115.

[7]胡鴻，周洲鋒，金玉鑫.多模態交互視角下的學齡兒童教具設計研究[J].設計，2021，34（11）：88-91.

[8]王曉慧，王佳雨，趙凱等. 航空航天虛擬裝配培訓情境下的情感交互設計[J]. 包裝工程，2022，43（02）：10-16.

[9]歐陽子薇，高娃.基于情感化設計的智能機器寵物設計研究[J].設計，2021，34（17）：145-148.

[10]Briefer，E.F，Sypherd，C.C.R，Linhart，P. et al. Classification of pig calls produced from birth to slaughter according to their emotional valence and context of production[J]. Scientific Reports，2022，12（3409）.

[11]薛澄岐，王琳琳. 智能人機系統的人機融合交互研究綜述[J]. 包裝工程，2021，42（20）：112-124+14.

[12]牛紅偉，郝佳，曹貝寧等. 面向產品概念設計的多模態智能交互框架及實現[J].計算機集成制造系統，2022，28（08）：2508-2521.

[13]羅保權，邢亞龍.多模態理論在數據可視化交互裝置設計中的應用研究[J].設計，2022，35（01）：48-51.