基于AR場景下的智能冰箱飲食管理系統設計

摘要：隨著物聯網技術的發展，智能家居改變著人們的生活，智能冰箱的設計也層出不窮。增強現實技術通過將虛擬元素融入現實場景中的方式，改變著我們與世界進行交互的方式。為了提升人們在烹飪過程中的體驗感，本文從智能冰箱系統及烹飪場景出發，融入增強現實技術，通過問卷調查、用戶訪談，用戶旅程圖等研究方法確定用戶需求，在以智能冰箱為主要載體的廚房飲食場景下探索AR融入的方法，設計了一套智能冰箱飲食管理AR系統，并對其交互方式進行了新的探索。

關鍵詞：增強現實；智能冰箱系統；烹飪場景；人機交互；用戶體驗

中圖分類號：TU855 文獻標識碼：A文章編號：1003-0069（2025）01-0145-05

Abstract：With the development of Internet of Things technology，smart homes are changing people’s lives，and the design of smart refrigerators is also emerging. Augmented reality is changing the way we interact with the world by incorporating virtual elements into real-world scenarios. In order to improve people’s experience in the cooking process，this paper starts from the smart refrigerator system and cooking scene，integrates augmented reality technology，determines their needs through questionnaires，user interviews，user journey maps and other research methods，explores the method of AR integration in the diet scene with smart refrigerator as the main carrier，designs a set of AR system for smart refrigerator diet management，and explores its interaction mode.

Keywords：Augmented reality；Smart refrigerator system；Cooking scenes；Interactive；User experience

引言

隨著中國經濟的不斷發展，智能、健康的家居生活成為越來越多人的追求。互聯網技術推動了智能家居在家庭生活中的應用，使家居環境更加智能化、便捷化。飲食作為家庭生活中的重要場景，也逐漸成了智能家居的重要載體。隨著增強現實技術的發展，AR技術與智能家居的結合，將為用戶帶來更智能，更便捷的生活方式。

一、研究背景概述

（一）AR產業的發展

增強現實技術（Augmented Reality，AR），可以將虛擬數字元素融合在現實的物理環境中[1]。使用AR設備，可以使虛擬物體與真實場景相結合，呈現在用戶面前，增強用戶的沉浸感。隨著增強現實（AR）技術趨于成熟，其產業應用速度也將加快，在“十四五”規劃下，2026年虛擬現實在經濟社會重要行業領域將實現規模化應用。AR將成為與網絡或移動設備一樣重要的技術轉變，改變我們看待世界和與周圍世界互動的方式。

（二）智能家居產業的發展

物聯網指物物相連的互聯網[2]。智能家居是物聯網產業的重要組成。以家庭生活環境作為場景，融入物聯網等先進的技術，使生活變得更加便捷和智能化[3]。

2023年的政府工作報告中指出，應“培育壯大新型消費，實施數字消費、綠色消費、健康消費促進政策，積極培育智能家居、文娛旅游、體育賽事、國貨‘潮品’等新的消費增長點[4]”。可見發展智能家居產業依然處于一個重要位置。目前，從智能空調、智能電視機、智能冰箱等智能家電到煙霧報警器、門窗感應器、水浸傳感器等智能傳感，越來越多的設備可感知可控制[5]。隨著經濟水平的提高，人們對于生活質量也有了更高追求，人們的健康觀念發生改變，跟健康相關的家電品類都有比較好的增長。

在我們的居家環境中，廚房空間因其多品類設備以及高使用率在整個家庭環境設計中占據重要地位[6]。廚房的作業流程大致可以分為，儲藏，備菜，烹飪，用餐幾部分。冰箱作為食物存儲、保鮮，食材管理的重要場所，是飲食場景的開始，也是廚房中的重要家電。AR技術作為一種新技術，其通過在現實世界里疊加虛擬信息的方式，使受眾獲取信息過程中的感官體驗發生質的飛躍[7]。本篇將以智能冰箱為烹飪場景下的主要載體，以食品儲藏場景為基礎，延伸至備菜、烹飪場景下，探討AR與飲食場景融合的可能性。

二、研究現狀

（一）智能冰箱飲食系統

隨著智能產品的發展，僅僅能制冷的冰箱已經無法滿足消費者，市場上也出現了應用各種黑科技的智能冰箱。當前市場智能冰箱產品的交互方式多為通過搭載智能冰箱自帶的屏幕交互系統，配合手機App進行交互。例如海信的智能AI交互冰箱，通過冰箱大屏幕和手機App錄入的方式來錄入冰箱內食材。其為用戶減少了記憶負擔，滿足了大多數用戶的需求。但需要不斷手動查看，編輯，修改，操作流程有些復雜。智能冰箱并沒有提供太多“智能”的幫助。例如在查詢食材時，需要用戶配合App頁面或者冰箱屏幕操作來自主找尋食材位置，并不能直觀顯示。

（二）AR產品

與傳統的數字平臺交互界面不同的是，AR產品更注重用戶在三維真實環境中的交互。在信息顯示上，市場上的主流AR產品主要有兩種信息顯示方式，一種為Hololens與Nreal所應用的，將手機端的各類App界面通過系統直接擺放在三維空間內。另一種則是通過將顯示信息與真實物體結合，通過直接標注或疊加真實物體的方式來傳遞信息。相比于第一種顯示信息的方式，第二種更好地將信息顯示與三維空間進行融合，使得顯示更直觀。但需要考慮如何更好地將信息與真實界面結合，使其符合用戶瀏覽信息習慣和認知習慣。兩種顯示方式對比，如圖1。

在交互方式上，當前的AR產品多以手勢交互為主，配合語音交互，眼動識別，體感識別等多維度的交互方式，但有些手勢交互方式較為復雜，以Hololens為例，用戶執行點擊關閉按鈕的操作時，會同時出現多種交互顯示配合完成這一操作，如：當手指移動到按鈕附近，會出現亮色的發光效果和預計手指落點的白色圓圈，對點擊時圓圈會讀取進度條，完成關閉操作后會發出音效提示，從而結束整個操作的交互。在界面信息和按鈕較多的場景下，雖然可以實現繁復的精準觸控，但是較為耗時且復雜，長時間使用容易造成用戶疲勞。當前AR交互顯示示例，如圖2。

三、用戶需求研究

（一）目標用戶確定

通過問卷調研的方式，初步確定飲食場景下AR智能產品的主要受眾，問卷設計分為3類問題：基礎信息類、冰箱使用和日常飲食情況統計、對于AR產品和智能家居的了解接受程度。通過互聯網發放問卷，共回收200份問卷，其中共199份有效問卷。經信效度檢驗得到問卷結果置信，而后將基礎身份信息結果（工作、學歷、婚姻等）進行聚類，大致可分為3類用戶群體：1）26-40歲，工作在一線城市的未婚職場人士；2）18-25歲，大學生群體；3）40歲以上，二三線城市穩定的已婚人士。聚類結果，如表1。

而后將3類人群與使用冰箱的不同原因交叉卡方檢驗，發現3類人群內除卻做飯備菜之外，在使用冰箱的動機上略有差異，年輕化的人群會存放水果零食化妝品等，年長的人群則會存放剩飯剩菜。而通過將3類人群與AR產品、智能家居、智能冰箱的了解程度進行對應分析得到：年輕人、學歷更高的人、處于一線城市的人大多使用或經常使用AR產品，較為年長的二三線城市用戶缺少對AR產品的了解，且工作時間更長的人在日常生活中更頻繁地使用智能家居。對應分析結果如圖所示，點的距離越近代表此類人群特征與AR產品和智能家居相關性越強。不同人群特征維度與AR產品、智能家居的對應分析結果，如圖3。

由此確定智能AR飲食管理系統的主要目標用戶為年齡在26-40歲，工作在一線城市、工作較忙的未婚職場人士，其在生活中使用過智能家居或智能冰箱，對AR產品有一定了解，根據問卷中使用冰箱的痛點初步了解，此類人群做飯頻率一周4—6次左右，很少有時間整理冰箱，收納混亂，不了解食材存放時間和類別，不熟悉食材烹飪方式等。

（二）用戶需求分析

針對目標用戶群體進行半結構化的訪談，挖掘用戶使用冰箱以及在廚房烹飪中的問題。整理用戶需求如，經常忘記提前解凍肉類，沒有及時清理變質的食材，冰箱的存儲空間總是不足，邊做飯邊看菜譜很麻煩且經常忘記操作步驟，在意飲食營養搭配的健康，但對于相關知識了解不多。同時他們希望未來的食材管理和飲食管理，能夠更加智能化地感知自己的需求。根據問卷及訪談結果，繪制用戶畫像，如圖4。

選擇用戶常見的應用場景“終于放假回家，心血來潮，要嘗試一個新的菜式”制作用戶旅程圖，來幫助我們發現用戶在使用場景下的問題痛點，尋找產品機會點，如圖5。

（三）需求總結

通過定量與定性用戶調研方式，能夠發現用戶對智能冰箱和廚房烹飪中的痛點主要分布在冰箱食材管理、菜譜推薦與烹飪流程3類場景下。冰箱食材管理方面主要有找不到想要的食材，無法獲取想做菜譜的食材，不知道食材的處理方法、用法用量及保存條件，食材異味串味、變質。菜譜推薦方面有不知道菜譜內各類食材營養成分，家里食材無法滿足菜譜上的搭配需求。烹飪流程方面有忘記解凍肉類，一邊查看菜譜一邊做飯很麻煩，菜譜難以記憶，烹飪過程中誤操作，烹飪方式復雜時忘記下一步操作。可見用戶痛點需求主要集中在食材尋找、操作復雜、難以記憶復雜信息、多設備協同操作復雜等方面。后續將以用戶需求和機會點為出發點，梳理AR場景下智能冰箱飲食系統設計策略以及發散設計產品功能。

四、AR場景下智能冰箱飲食系統設計策略

（一）智能記憶與主動響應減少用戶操作和記憶成本

智能冰箱應在智能家居的系統內，盡可能滿足能夠主動感知人的行為變化，滿足多樣化的交互設計需求[8]。當前智能冰箱雖然承擔了食材的識別記錄和菜譜推薦功能，但多為用戶主動手動操作，冰箱并沒有提供“智能”的幫助。智能的飲食系統應當具備一定主動性，例如，能夠捕捉用戶錄入的食材信息，識別食材種類、新鮮度、制作方法等，同時從動作、情緒、語音等多模態記錄用戶的飲食偏好和行為習慣并記憶存儲。而當系統再次捕捉到用戶意圖和行為時，能夠根據記憶信息及時作出響應行為。例如，當用戶經常根據菜譜制作某一道菜，且在制作過程中下達了“不加糖”的指令，那么當用戶再次購入菜譜中食材時，系統應識別用戶當前烹飪步驟，在烹飪過程中給予烹飪提示，并主動刪除“加糖”步驟。在AR技術的加入后，系統對于操作步驟、菜品位置、烹飪提示的顯示也可以根據不同的場景將顯示信息與真實物體相結合，提供便捷、恰當、高效的顯示體驗。同時其在傳統界面信息的表達上可增加動態顯示、高亮發光、聲音提示等效果，能引起用戶的注意，直觀有效地傳達信息，減少用戶的操作和記憶成本，使用戶的使用過程簡單且愉悅[9]。AR系統智能響應策略，如圖6。

（二）多模態協同交互增加用戶與環境互動沉浸感

家居環境作為一個有溫度的舒適場所，智能的家居產品系統不應只追求智能化的顯示和平面化的交互，而是應當在現有的物理設備上通過新技術賦能，使智能設備與物理場景交互達到平衡。在環境中，人與外界自然的交互方式需要多模態多感官。因此，智能廚房飲食產品系統也應當使用多模態的交互方式，為用戶營造在物理環境基礎上更具互動感和沉浸感的交互體驗。產品系統應當根據當前用戶的所處情景、用戶不同模態的行為如眼動、情緒、手勢、表情、肢體語言等多個模態判斷用戶意圖，并使用包含界面、光效、語音、觸感等多個模態的系統輸出配合給予用戶恰當反饋。在AR技術的賦能下，能夠使用戶達到基于真實物理場景，但更順暢增強的交互體驗，使用戶不脫離生活場景，提高用戶與周圍環境的互動表現，實現用戶獲得在現實場景下更沉浸的體驗，來讓用戶達到心流體驗的感受。多模態協同交互策略，如圖7。

（三）個性化的交互方式賦能產品情感價值

對于年輕化的群體，智能家居不僅作為一個效率工具，也將為其提供更多的情緒價值和情感體驗。AR產品的交互摒棄傳統按鍵，多以手勢交互為主，少數配合語音交互，眼動識別，體感識別等多維度的交互方式。但手勢交互多比較復雜，具有一定的學習成本，在廚房飲食條件下，用戶通常會進行，拿取、擺放、扔垃圾、翻炒、切菜、翻菜譜等常用手勢，飲食系統的交互手勢應在保證易學性與易用性的基礎上，選擇貼合烹飪場景用戶心理模型的手勢交互方式，減少用戶的學習成本。同時，每個用戶在家居場景下的交互習慣會略有不同，可考慮開放手勢自定義，讓用戶定義自己的手勢含義，為用戶打造更具趣味和溫度的廚房體驗，賦予用戶更生動的體驗。對于年輕化的群體，也可以考慮產品的游戲化設計，對烹飪環節進行改造，達成不同的烹飪任務、食材管理成就等激勵用戶參與，為產品賦予更多的情感價值。產品情感價值策略，如圖8。

五、智能飲食管理系統設計

（一）產品定位

產品定位為基于AR場景下的智能飲食管理系統，將運用增強現實技術，結合智能家居環境，來解決用戶在冰箱食材管理與使用菜譜做飯過程中可能遇到的問題，來幫助用戶提高烹飪效率和生活滿意度。

參照用戶的痛點及需求，在“冰箱內食材管理”“冰箱空間管理”“菜譜使用”“消息提醒”“其他”5個方面分別進行了功能發散。通過kano分析得到產品的魅力屬性功能有能夠針對特殊飲食習慣進行建議，根據冰箱內食材、營養、時令、喜好推薦菜譜，并能夠從現有食材找尋推薦菜譜中可替代食材，在烹飪時可以提示步驟操作。結合卡諾分析得出的結果，根據用戶的行為動線“查看信息——打開冰箱——查看并選擇菜譜——開始烹飪”，得出信息架構，包含“查看”“菜譜”“烹飪”“我的”4個功能模塊。

（二）產品功能

通過“用戶從超市回家，存放買到的食材，尋找想要的菜譜，準備所需食材并做飯”的流程串聯產品功能，并從4個任務情景介紹功能。

1.“食材”功能模塊：分物品列表和實景縮略兩個區域展示冰箱內物品的存放位置，列表區域主要展示物品的名稱、保質期等信息，結構式主要方便用戶定位要尋找的物品在冰箱中的實際位置。“食材”功能界面效果圖，如圖9。

冰箱在放入物品時可以自動識別物品信息，并為用戶建議最恰當的儲存位置以及儲存條件，為用戶提供便利。在用戶尋找食材的過程中，語音或輸入想尋找的食材，系統則會使用AR的方法在三維空間中高亮顯示物品位置，方便尋找，如圖10。

2.“菜譜”功能模塊：用戶可以通過以下3種方式選擇自己想做的菜譜：外部導入菜單，通過手機與冰箱終端的互聯，用戶可以將外部查詢到的菜譜“咻”的一下導入進冰箱AR系統。一鍵導入效果圖，如圖11。

瀏覽熱門推薦菜譜，系統可以根據時下熱門和實際已有食材進行菜譜的推薦。系統也可以智能檢測箱內的剩余食材和保質期，并根據冰箱內現有食材進行菜譜的推薦，如若用戶選擇的某種菜譜的某種食材缺失，系統將提示用戶，并根據冰箱內現有食材為用戶提供替換方案，提高食材的利用率。

3.“烹飪”功能模塊：可根據選定的菜譜選擇視頻與圖文兩種查看的模式，系統為用戶提供分步驟的教程跟隨，方便用戶在進行烹飪操作的過程中直接查看教程，用戶也可以根據自身需求，將界面隨意排布到合適位置，并進行縮放操作。視頻可以根據用戶當前操作情況自動調整應當播放的模塊，當用戶左右滑動時也可以調節視頻進度。在烹飪的過程中，為了方便用戶操作提供計時功能，同時用戶可以通過簡單的手勢交互進行拍照和攝像來記錄烹飪過程。用戶可通過框選+捏合的方式，模擬照相機的快門裝置的手勢進行拍照記錄，貼合用戶的心理模型，提升用戶體驗。視頻教程及拍照效果圖，如圖12。

4.“我的”功能模塊：系統可根據家庭成員的信息如喜好，特殊飲食需求和習慣做出智能的飲食管理和推薦。用戶可進行冰箱內溫度以及其他功能的設置調節，同時，可以在此模塊下控制冰箱的提醒如清潔提醒、食物變質提醒等。

（三）創新點

我們對于在AR系統中進行操作任務的部分手勢，運用層次分析法來選取創新的手勢交互方式。在進行手勢選取時，首先要避免跟全局或者其他模塊手勢沖突。其次是不能和用戶日常生活和行為習慣有所沖突。不同場景下，需要考慮手勢的容錯率和精準性。好的手勢交互需要遵循符合用戶本身的行為習慣的習慣性原則、手勢引導用戶快速掌握的引導性原則，以及合理性原則。

基于以上資料，我們運用了層次分析法來選擇交互手勢。選取目標層、準則層、指標層與方案層，然后分別對每層根據上一層做層次分析法，用成對比較法和1-9尺度構造判斷矩陣，將準則層各因素兩兩比較按照1-9尺度進行定量描述。4個層次的指標，如圖13。

以烹飪模塊下的拍照任務手勢為例：手勢設計分以下4種，分別是抓取手勢進行拍照，即用雙手拽出一個取景框；輕捏手勢進行拍照，即用雙手輕捏代表按下快門，再拉出整個取景框；劃取景框對角線進行拍照以及按下照相機快門的手勢進行拍照。特色交互手勢示例圖，如圖14。

對準則層和指標層的權重分別計算可以得到，在準則層，安全性和自然性對AR烹飪場景下交互手勢的選擇影響最大，舒適性對于交互手勢的選擇影響最小。其中安全性中的在烹飪場景下、不會引發危險與不會因為與真實場景動作矛盾而影響真實的烹飪過程；自然性中的手勢操作符合使用場景、存在隱喻、符合用戶日常手勢交流習慣對方案決策的影響較大。

而方案層的計算結果顯示，方案四在安全性與自然性上的權重較高，將方案按權重大小排序：方案四總權重為0.527>方案一（0.199）>方案二（0.168）>方案三（0.106），最終方案四對于目標層的影響因子總權重最高，因此選擇方案四作為拍照記錄的交互手勢。影響因素權重表，如表2。

通過層次分析法的實驗設計，可以得到，在烹飪場景下的AR交互手勢設計中，應當保證不會影響烹飪過程，造成安全隱患等危險，且手勢設計應當貼近自然，符合用戶的日常手勢交流習慣，貼近用戶的心理模型，以降低用戶的學習記憶成本。這樣的交互手勢設計可以在保證安全的情況下，盡量讓用戶的手勢操作流暢、合理、自然，以提高用戶對于系統的滿意度。

因此，我們在后續的手勢設計中，將用戶的日常行為習慣納入完善交互設計的考慮因素，將手勢與用戶的心理模型充分結合，應用于計時設置、頁面清理等多處AR交互場合，旨在給用戶帶來最佳的增強現實交互體驗。交互手勢示例表，如表3。

結論

在萬物互聯的時代，智能家居已成為必然的趨勢，將虛擬現實，增強現實技術融入進智能家居的場景中，將會為智能家居帶來新的變化和發展。廚房場景與飲食息息相關，是家居生活的重要部分，新技術與智能家居的結合也將為智能廚房場景帶來新的想象空間。以用戶需求為中心的智能家居設計也將為人們帶來更便捷、智能、美好的居家生活。

參考文獻

[1]王賀楷，易東平，吳玉冰.AR智能場景應用的中醫藥文創設計[J].科技風，2024（06）：83-85.

[2]和鑫，田路，羅毅等.基于物聯網技術的智能家居系統模型設計[J].物聯網技術，2019，9（09）：63-67.

[3]柴欣欣，商亞東，秦曉坤.基于物聯網的智能家居系統設計與實現[J].物聯網技術，2024，14（02）：66-68.

[4]李強. 政府工作報告[N]. 人民日報，2024-03-13（001）.

[5]翟振宏，徐鑫，陳彥冰.基于智能家居理念下的建筑室內設計探究與應用[J].設計，2023，36（22）：94-96.

[6]張文濤，馬曉然，田云龍等.VR/AR與智能家居深度融合的場景構建研究[J].家電科技，2023（S1）：409-412.

[7]李康躍，果鳳春.AR賦能：智能傳播時代的場景建構[J].新聞世界，2021（01）：38-42.

[8]龍淼.智慧家庭場景體驗主動交互策略研究[J].設計，2023，36（09）：134-137.

[9]柳雨欣，郁舒蘭.智能廚房的食材管理系統設計研究[J].設計，2021，34（03）：141-143.