AIGC 背景下智慧廚電多模態集成交互設計策略

摘要：本文旨在探索AIGC（人工智能生成內容）技術場景化應用下智慧廚電多模態集成交互設計策略。以人工智能生成內容技術的場景化應用和模態研究為基礎，挖掘廚電多模態集成交互設計機會點，從多模態交互通道分析、多模態融合、多模態交互設計方法等角度對智能化廚電的交互模態與模態集成方式進行了探討。構建了AIGC場景化應用下智慧廚電的交互模態設計原則與策略。基于AI技術的未來智能廚電的轉型升級要求廚電設計需要改變傳統相對較為單一的人機感官通道交互方式，注重生態性、情感化、通用性設計理念的應用，以多模態信息交互和人工智能生成內容構建智慧廚房生態系統，為用戶搭建更加多元化和有趣的烹飪體驗。

關鍵詞：AIGC；跨模態融合；多模態交互；智慧廚房；廚電設計

中圖分類號：TB47 文獻標識碼：A

文章編號：1003-0069（2024）20-0126-04

引言

隨著ChatGPT 引爆互聯網，人工智能繪畫即AI 繪畫也憑借豐富的創意與新奇的效果引起了許多人的關注。AIGC 的出現使得人機交互中多模態內容的數量級和豐富度都大幅度增長，具備智能化、靈活性等特點。AIGC 技術的突破性發展為我們帶來了“萬物智能”的生態藍圖。

生活品質的提高、用戶需求的增長、技術的進步都推動著廚電行業的轉型升級與更新換代，而目前智慧廚電的發展還處于由導入期向成長期的過渡階段，廚電行業內的企業普遍對智能化抱有較高的熱情，卻存在很多消費者圍觀、不買單的問題，廚電行業需要尋求新的突破點以及前沿的理論來指導其發展與創新。同時無法跨品牌、跨生態互聯互通一直都是家居不夠智能的主要問題，其關鍵在于如何打破品牌、生態、行業壁壘，打造互聯互通的智能互聯生態。在全屋智能互聯的情境下基于AIGC 技術的設備互聯與控制為家居家電人機交互的智能化提供了更多可能性，打造全方位高效、高端、高品位的智慧烹飪與生活場景。

一、AIGC研究

（一）AIGC 的概念與特征

2022 年9 月，中國信通院和京東探索研究院共同發布了《人工智能生成內容（AIGC）白皮書》，AIGC 的定義為“既是從內容生產者視角進行分類的一類內容，又是一種內容生產方式，還是用于內容自動化生成的一類技術集合”[1]。

由AI 輔助轉變為AI 為主、數據龐大、模態融合是AIGC 的典型特征，AIGC 是基于海量的互聯網大數據融合，通過特征提取、對比以及匹配進行的生成與學習。具備創造力與交互感知力是AIGC 區別于其他技術更進步的上升形態特征。

（二）AIGC 的意義與價值

AI 技術具備的數字孿生、情感識別、深度學習等能力使得其可以靈活應用在不同的行業場景，AIGC 可以為智能家居、智慧交通、智慧醫療、智慧教育、智能零售、虛擬社交等行業領域賦能[2]。AIGC 技術在營銷類應用場景包括非結構化寫作、數字形象、數字主播、虛擬化購物體驗、3D 貨品等；在文字創作領域可以自動生成詩歌；在博物館導覽、GLAM 場景下打造無邊界的沉浸式交互引導與展示；在娛樂行業可以打造虛擬偶像，創造IP 營造粉絲經濟。伴隨著AIGC不同的場景化應用，使得基于ChatGPT“一句話生成”的場景得以實現。

AIGC 技術沉浸式多維化的特點對內容豐富度以及用戶多元化需求較高的應用場景具有不可忽視的發展前景和經濟價值。AIGC 依托的跨模態融合技術將進一步強調人機協同，更加重視“以人為本”的交互。AIGC 可以超越現實的制約達到人類本身所不能達到的高度，其是一種生產方式和技術的革命，是數據與智能化為主流時代的一種革命性的創新。

（三）AIGC 技術在智慧廚電類產品的應用

廚電行業智能化轉型升級推動著行業內部的龍頭企業紛紛付諸行動跟進智能化AI 技術的腳步，并樹立了愿景與期待。從智能管家、AI 虛擬人、交互界面、手機App 到家電家居軟件應用平臺等領域AIGC 技術在廚電領域開始嶄露頭角并且為行業賦能。2022 年，老板電器推出了“ROKi”先生AI 烹飪助理的概念，如圖1；2023 年11月份，方太推出全球首個高端全場景廚電AI 虛擬人“方拾壹”，其可以作為用戶的廚電數智化管家和烹飪專家以及品牌宣傳大使。同時在家居家電類行業，海爾推出“海爾智家”平臺實現全屋無感服務；尚品宅配著重研究多模態AIGC 技術，打造3D 設計平臺、“AI 設計助手”，提供Mass 服務；三維家公司推出了“AIGC+ 場景營銷+ 柔性智造”為底層基礎的應用平臺和“3D 秀”智能導購工具。

二、智慧廚電多模態集成交互設計發展現狀與機遇

（一）智慧廚電多模態集成交互設計發展現狀

廚電設計的發展呈現中西融合的現狀，油煙機、燃氣灶、烤箱等在設計上逐漸契合中式飲食與家居。嵌入式、一體化是廚電設計的主要發展趨勢，全屋智能也為廚電的智能化設計賦予了動力與愿景，在功能設計發展達到一定高度時，技術上的翻新需要更加多元和豐富的人機交互行為來拓展廚電場景的發展空間與上限。

現有廚房空間按照類型會有區域的明顯區分，設備與設備之間互聯功能相對獨立，可以分為儲存類、烹飪類、清潔類，在不同模塊下提供解決方案。套系廚電、集成烹飪中心都是智慧廚電多模態集成的體現，例如，老板電器roki 數字廚電i1 系列可以提供烹飪全鏈路解決方案，通過灶蒸烤自動化烹飪、油煙自動感應、Roki 智能助理的語音命令操控與協作、AI 智能烹飪曲線等，為用戶規劃設計高效、智能的烹飪流程。

廚電的多模態集成主要體現在信息視覺通道、聽覺通道與語音通道。手勢交互通道主要體現在油煙機的手勢揮動控制方面。不少高端系列廚電都具備互聯功能，例如，在技術上較為成熟的集成灶的設計就具備了煙灶聯動、Wi-Fi 互聯等功能。但迄今智慧廚電的智能互聯功能大部分還只是停留于App 控制設備互聯階段，即通過設定既定的程序完成交互操作。這種互聯更多側重于設備與App 或者設備與云端的互聯，不是設備間的互聯。其中主流廚電品類的交互設計中涉及的用戶行為主要包含點觸、滑動等行為方式，以煙機和灶臺為例，如表1。

（二）AIGC 背景下智慧廚電多模態集成交互的發展機遇

通過云端大數據實現信息的收集、處理與整合、預測用戶行為可以擺脫機械地處理用戶的指令，真正做到智能化家居系統[3]。AIGC背景下智慧廚電的多模態集成交互的發展機遇包含以下幾個趨勢：

1. 個性化定制服務。AIGC 技術可以通過算法學習和信息捕捉，了解用戶的使用習慣與偏好，實現智慧廚電的智能控制，增加個性化定制服務，更加多元化地滿足用戶的需求。

2. 主動式服務、關懷式交互。AIGC 技術有望打破設備只能夠按照程序設定進行操作與交互的現狀。依托于AIGC 技術強大的反饋、聯想、學習等能力，可以發展到觀察人的生活方式和行為方式與習慣，完成智能化的關懷與主動式的服務。智慧廚電的人機交互也將由“命令式交互”轉變為“服務型、關懷式交互”，設備將更加具備溫度和人情味。

3. 由單一的界面延伸到2D、3D 維度。三維立體設計與動效設計將會更多地應用于產品界面，以AIGC 技術為用戶打造更加多維化與沉浸式的交互與引導。以2D 智能廚房的設計理念為例。其貫徹整體廚房設計理念，將不同的家電功能集于一體，觸摸屏可以隨著用戶的情緒進行顏色調節，廚房的交互體驗由單一的界面延伸到2D 維度，如圖2[4]。

三、多模態交互設計方法

人的意圖表達本身是復雜的，從多模態維度思考交互設計的方式更符合人日常的本源認知和行為習慣，多模態交互設計的核心是使計算機具有感知與思維能力，使得人－機交互方式類似于人－人交互[5]。人在交互過程中所有涉及的信息與數據都屬于多模態信息。多模態交互分為輸入與輸出兩個層級，其中多模態交互輸入主要是通過語音、手勢、注視、觸摸屏等輸入通道，結合行為（表情、眼動、姿態）和生理信號等意圖信息通道完成多模態信息輸入；同時通過觸覺、聽覺、嗅覺、平衡感和溫度等建立多模態交互反饋[6]。

（一）交互模態

交互模態的分類主要從用戶輸入與輸出多模態信息的交互通道以及交互過程中涉及的人體感官通道進行劃分，主要可以分為以下幾類：

1. 視覺模態：信息視覺通道在交互通道中占據主要的位置，包含靜態視覺信息和動態視覺信息。靜態視覺信息的傳達的方式較為單一，而動態的視覺交互則具備趣味性、操作性、引導性。

2. 聲音模態：聽覺交互通道可以分為接收聲音信息通道與輸入信息通道兩個模塊。聲音模態的要素主要包含輸出環節音色、語速和話術等[7]。

3. 姿勢模態：主要包含手勢交互和體感交互。手勢交互中多點觸控交互是伴隨著觸控屏幕的普及帶來的交互行為，在日常生活中較為常見。體感交互是用戶主要通過肢體語言來傳達交互與交流意圖，包含用戶的肢體動作以及肢體之間的位置關系[8]。主要應用領域有汽車領域、博物館虛擬體驗、展示設計、VR 游戲虛擬體驗。

4. 面部表情模態：臉部表情作為一種行為語義，其中蘊含豐富的意義與情感，例如，通過識別人的臉部表情，而生成與之對應的表情包，就是一種有趣的情感交互體驗。

5. 觸覺模態：利用觸覺反饋來增強和豐富用戶的交互體驗，材質、溫度等都是影響觸覺交互體驗的因素，利用觸覺提示可以提供給用戶額外的信息。

6. 情感模態：人的情感模態的作用因素是復雜而又多樣的，充分利用情感交互通道可以豐富用戶的情感體驗，由基礎感知轉換為用戶的深度情感共鳴可以使得用戶對產品的了解更加深入與沉浸，讓用戶不僅接納，而且喜愛產品的設計。

（二）多模態交互設計方法

多模態交互設計方法是指在用戶與系統之間使用多個感官通道（如視覺、聽覺、觸覺等）進行交互的設計方法。朱自瑛[9] 根據現有生物耦合仿生理論中各耦元之間聯合的方式歸納了多模態設計流程方法為：明確目標、分析模態（歸納整理模態）；模態設計、細化模態變量；建立模態關聯邏輯；建立模態模型、測試驗證。徐威等[10]按照體驗的層級總結了交互體驗的3 個階段，即基礎感知階段、行為交互階段、思維聯通階段，提供了多模態交互體驗的層級。

多模態交互設計的方法與步驟主要體現在多模態交互通道的選擇以及多模態整合。多模態的融合是基于算法模型對于不同模態進行的特征提取與特征融合，同時也是將單模態由點到面的有機融合。多模態交互設計的方法可以歸納為模態解析、模態設計、模態融合。首先，在設計目標建立的初期，需要解析用戶的行為流程，從而歸納人機交互中涉及的信息傳達通道和感官通道；在此基礎上進行模態設計，最后進行模態的有機融合，如圖3。

四、AIGC背景下智慧廚電多模態集成交互設計策略

（一）智慧廚電多模態集成設計策略

基于AIGC 場景化應用為智慧廚電賦能的背景下，多模態交互設計理論方法的應用需要深度剖析智慧廚電人機交互過程中的模態要素、廚房空間場景；同時考慮模態定位與選擇、模態集成與融合方式、設備互聯方式、設備集成控制方式等要素。

1.“AI 學習式交互”下廚電監控與互聯模態設計

智能化系統的主動交互性是智能家居的主要發展方向之一，家居智能系統是服務體系的整合[11]。設備的控制呈現交互集成化趨勢源于智能家居生態的形成，例如，通過智能音箱、手機應用程序等進行控制。人與設備的語音交流模擬人與人的交流，使得廚電更加具備擬人化的屬性。除語音交流之外，廚電系統可以通過觀察用戶行為、捕捉用戶生理數據與信息等自主改變設備的狀態自動化系統包括傳感器反饋，傳感器可以用于監測設備狀態，反饋信息到控制系統，從而實現實時的自適應控制。例如，智能家居系統可以根據時間、溫度或用戶行為自動調整燈光、溫度等。智慧廚電的交互生態可以依托于設備或者系統也就是“集成化控制器”，主動獲取用戶信息模態和判斷周圍的環境模態，為用戶制訂專屬于自己的菜譜和飲食習慣，如圖4。

廚房生活場景要求廚電設備運行狀態幾乎在同一時間內運行，烹飪多道菜品時容易出現手忙腳亂的現象。多設備同時運行下設備的互聯互動設計可以使用戶與設備交互過程中模態信息輸入與輸出的渠道更為集中。同時保持不同設備之間數據信息互聯互通，共享菜譜、在所操作設備上管理與操控其他設備、減少用戶移動的次數。通過運用機器學習和深度學習技術，學習和理解用戶的需求，根據用戶的行為習慣進行智能控制，締造互相聯動、運行高效流暢的烹飪使用體驗。

2.“AI 感應式交互”下廚電捕捉與識別模態設計

通過AI 識別技術可以實現高端廚房場景，例如蒸烤一體機可以識別食材的種類、熟度等，且通過智能算法自動設定菜譜與烹飪時間。燃氣灶可以通過識別鍋溫等要素自動控制火力的大小。基于AIGC 技術下的觸控交互可以完全擺脫物理按鍵，用戶可以通過作畫、描繪等自然有趣的交互方式與設備交互，基于人體手勢與姿勢的復雜性與多樣性，為多模態交互的設計方式提供了更多的空間。

利用人的手勢與身體姿勢作為交互輸入通道，需要通過多點捕捉以及目標跟蹤技術獲得用戶在物理空間手勢或姿勢的位置與信息。例如基于多個攝像頭捕捉人臉朝向，驅動云臺與人臉方向保持一致，實現了設備運作方向自動適應人臉朝向的人機交互方式[12]。通過設備捕捉用戶手勢或者姿勢的信息可以實現廚電互聯的主動性，通過靠近開機、轉頭感應等方式為用戶帶來智能化的體驗，超越現有的點觸、滑動等交互行為，在廚電開關、火力大小等通過手勢識別、姿勢識別來控制交互的行為，創造可以即時響應用戶行為的廚電，其更貼合用戶的自然行為，可減少復雜的交互流程學習成本與負擔。

3.“AI 仿生式交互”下廚電觸感與體感模態設計

AIGC 技術可以打造沉浸式和真實感的交互體驗，沉浸理論描述人們從事某項活動時全身心投入從而可以達到忘我境界的良好的心理體驗，讓用戶在虛擬的環境體會實際操作的情境，在其感官通道上給予與實體交互相同的體驗與反饋，通過多模態同步混合現實世界與虛擬世界，統一虛擬世界與現實世界的感受，打造“虛實共生”的場景與體驗[13]。

在廚電設計中通過在烹飪過程中增加虛擬食譜演示、AR 導航指引等交互方式設計，有助于用戶專注于交互過程中的體驗與感受，通過觸感或者體感增加交互的真實感和沉浸感。身體感知是體感交互設計的基礎[14]。通過感知震動、溫度、燈光等因素可以增加與廚電產品的交互感，增加做飯過程中的趣味性與娛樂性，塑造高端體感型體驗式廚房。

4.“AI 互動式交互”下廚電場景與情感模態設計

家居空間需要考慮交互涉及的用戶個數以及社會關系、用戶情感等維度，需要綜合考慮多場景應用下的多設備、多模態下用戶行為交互方式。由于廚房空間本身的多樣性，開放式廚房、中式廚房等空間設計以及用戶動線具有明顯的區分，多用戶參與場景下的交互模態需要考慮廚房的空間與場景設計，空間互動包含人機互動、設備與設備之間的互動，是擴展到3D 維度的交互。在廚房空間互動設計需要綜合考慮和分析用戶的整體使用流程與行為動線等，同時需要考慮空間交互過程中物理空間中的位置、動作、手勢等的感知和響應來實現互動，主要通過虛擬現實（VR）、增強現實（AR）、手勢控制等技術來實現完成。同時多用戶之間可以共享食材信息、烹飪計劃和食譜等信息。在廚房中添加娛樂設備，如電視、音響等，以提供多媒體娛樂，使廚房成為家庭聚會的場所。

（二）模態融合設計原則

1. 保證模態融合連貫性

連貫性可以確保智慧廚房中的各個設備能夠無縫連接和協同工作。不同廚電設備之間的系統集成互相協同工作，可以提高其整體智能化水平。在交互模態設計過程中需要為用戶提供平滑的模態切換體驗，避免突兀的過渡，提供過渡動畫、語音提示等使得用戶從一個模態無縫切換到另一個模態時，不會導致混淆或不適感，保證交互過程中行為前后的連貫性，符合正常的交互行為順序。

2. 保證模態之間的一致性

一致性不僅包含不同設備之間的信息數據的連通性，還包括在不同的設備上交互行為的一致性，比如視覺界面模態上的信息應與語音模態提示一致。在系列廚電產品中如果運用燈光作為警告提示的視覺模態、運用音樂作為按鈕反饋的聽覺模態，那么其他系列產品應該保持與其一致，從而可以打造整體性的廚房生態。在模態設計上保持一致性可以建立交互行為的秩序感與統一性，減少用戶的學習成本，同時也可以此建立廚電品牌或者不同系列的產品特色與用戶歸屬感。

3. 注重模態之間的互補性

“ 模態互補性” 指的是在交互設計中， 不同的交互模態（Modalities）之間的互相補充和協同關系。模態互補有利于無障礙及適老化設計通過感官通道代償彌補其他感官通道的缺陷，或者通過增加某一感官通道來彌補用戶在交互上的缺陷與不足，為通用設計提供更多的思路與方法。模態互補性的目標是通過合理分配的方式整合不同的交互模態，提高用戶體驗的綜合性和全面性。通過提供多種模態，可以更好地滿足具有不同能力和需求的用戶，使產品更加包容和易于被用戶理解，發揮每個模態的優勢，使交互更加自然和高效。

結語

全屋智能理念是家居設計的主要發展趨勢，作為家居領域的重要模塊，廚房的智慧生態設計的發展目前仍處于初步階段，具有廣泛的進步空間與前景。AIGC（內容自動生成）作為AI 智能的核心技術之一為未來智慧廚電多模態集成的融合與創新提供了新的發展的思路與空間。智慧廚電多模態集成的交互模態設計需要綜合分析交互過程中的行為要素以及感官模態之間的融合方式，保證廚房生態設計的一致性、主動給予用戶情感的體驗與溫度、遵循模態互補性等交互設計原則，發揮廚房生態系統交互的主動性，打造情感化、高效率、智能化的廚電生態和智能廚房生活空間。

參考文獻

[1]李白楊，白云，詹希旎等.人工智能生成內容（AIGC）的技術特征與形態演進[J].圖書情報知識，2023，40（01）：66-74.

[2]詹希旎，李白楊，孫建軍.數智融合環境下AIGC的場景化應用與發展機遇[J].圖書情報知識，2023，40（01）：75-85+55.

[3]顧天威，王瑋，陳雪.物聯網背景下的智能家居產品發展趨勢探究[J].家具與室內裝飾，2021（02）：27-29.

[4]方方，黃黎清，黃達樂.廚房家電的情趣化設計研究[J].機械設計，2013，30（10）：115-117.

[5]周小舟，宗承龍，郭一冰等.多模態交互中的目標選擇技術[J].包裝工程，2022，43（04）：36-44.

[6]譚征宇，戴寧一，張瑞佛等.智能網聯汽車人機交互研究現狀及展望[J].計算機集成制造系統，2020，26（10）：2615-2632.

[7]孫妍彥，李士巖，陳憲濤.情感化語音交互設計——百度AI用戶體驗部門人機交互研究地圖與設計案例[J].裝飾，2019（11）：22-27.

[8]吳偉和，萬巧慧.體感語境下的交互行為設計[J].裝飾，2013（06）：104-105.

[9]朱自瑛.基于耦合仿生的多模態交互設計方法研究[J].包裝工程，2020，41（12）：99-105.

[10]徐威，徐夢陶.多模態交互在數字體驗設計中的策略探究[J].藝術與設計（理論），2021，2（04）：72-74.

[11]孟祥陽，劉洪澍.家居模塊化設計基礎研究[J].家具與室內裝飾，2020（02）：26-27.

[12]袁慶曙，王若楠，潘志庚等.空間增強現實中的人機交互技術綜述[J].計算機輔助設計與圖形學學報，2021，33（03）：321-332.

[13]陶建華，巫英才，喻純等.多模態人機交互綜述[J].中國圖象圖形學報，2022，27（06）：1956-1987.

[14]孔翠婷，潘滬生，張烈.具身認知視角下的博物館體感交互設計研究[J].裝飾，2020（03）：90-93.