基于溫度檢測數據集的用戶烹飪行為建模

傅曉云,陸 雋,李 瑋,盧純福,李 愚

(浙江工業大學 設計與建筑學院,浙江 杭州 310023)

烹飪被認為是中國社會和家庭中最常見的活動之一[1]。典型的中式烹飪大量依賴油的使用,所產生的烹飪油煙(Cooking oil fumes,COF)會危害人體健康[2-4]。同時,烹飪油煙污染一直是城市大氣內源污染的重要組成,也是室內空氣污染物的主要來源[5]。COF中的有害物質主要包括顆粒物(Particulate matter,PM)、多環芳烴(Polycyclic aromatic hydrocarbons,PAH)、揮發性有機化合物(Volatile organic compounds,VOCs)和碳基化合物(Carbonyl compounds)[6-7]。中式烹飪中通常會有“熱油”的過程,過度加熱食用油會導致PM濃度大幅度上升,增加罹患肺癌的風險[8]。與西式或日式烹飪相比,中式烹飪中PAH的總排放量最高[9],而PAH對人類具有遺傳毒性和致癌性[10]。中國政府在2019年制定了《健康中國行動(2019—2030)》,將飲食健康列入健康中國國家戰略的主要內容,并開始關注烹飪造成的空氣污染問題。各個領域的專家學者已經充分分析了影響烹飪油煙的各個因素,包括燃料、食用油、食品成分、烹飪時間、烹飪溫度、烹飪方式和通風因素等[11-12]。厲曙光等[13]對比了高溫(230 ℃以上)和低溫(100～140 ℃)時烹飪油煙的組成成分,并建議烹飪時將油溫保持在低溫(100～140 ℃)范圍內,以減少VOCs及PM的生成。吳鑫等[12]建議優先使用花生油代替橄欖油,以減少菜肴中的顆粒物。然而,典型的中式烹飪極為復雜,對油、食物、溫度和烹飪方式等要素的組合和使用千變萬化,很難通過單一控制某一變量來實現飲食健康和味道可口的雙贏。

當前,廚電行業都在探索和研發智能烹飪輔助系統,而其關鍵技術之一就是對烹飪行為的分析和識別。特別是在復雜的中式烹飪行為中,只有準確判斷用戶當前正在進行的烹飪操作,才能及時、準確地預測不當操作(如過高的油溫、長時間干燒等)并予以干預,減少烹飪油煙對個人健康和公共環境帶來的危害。同時,針對廣大年輕群體習慣“外賣文化”,缺乏烹飪經驗的現象,智能烹飪輔助系統也能幫助提升家庭烹飪的成功率,在實現健康烹飪的同時潛移默化地提升民眾的身體素質。

1 相關研究

用戶行為建模可以對用戶的行為偏好或目的進行一定程度的分析與預測,在生理及心理上輔助用戶優化其行為過程[14]。常見的行為建模方法有3種,分別是基于圖像、內容特征和行為特征的建模。基于圖像的行為建模方法需根據對應領域選擇相應的圖像類型及技術算法,其應用廣泛且類型多樣,然而圖像數據的采集過程復雜,需考慮采集工具及周邊環境等相關影響[15];基于內容特征的建模方法多應用于社交網絡領域,一般是對文本內容信息進行研究,數據采集處理的準確性較高,然而也存在效率低、復雜度高的問題[16];基于行為特征的建模方法則是通過采集與用戶行為相聯系的數據,進而對用戶行為進行建模,其建模方法也會根據應用場景及數據類型選取相配合的算法[17]。根據用戶烹飪場景的特征以及數據采集的可行性,本研究采用基于行為特征的用戶行為建模方法。

1.1 基于用戶行為特征數據的行為建模研究

基于用戶行為的特征數據種類多樣,大致可分為直接數據和間接數據兩種:直接數據為直接反映用戶行為的特征數據,多為生理相關的檢測數據;間接數據則為受用戶行為間接影響的第三方數據。

基于直接數據的行為建模多是通過檢測由用戶行為引發的生理特征變化,判斷或預測用戶行為的發生。喬建剛等[18]利用傅里葉變換的方法轉化采集到的心率隨機信號,以研究并構建駕駛員的疲勞預測模型;李祥春等[19]通過采集皮溫、皮電、呼吸和脈搏等生理指標,研究人在冒險行為發生時的生理參數變化;祝榮欣等[20]通過采集心電及頸部、腰部的表面肌電數據,建立聯合收割機駕駛人的疲勞狀態識別模型;季璐等[21]利用眼動儀檢測注視時間、注視點數、掃視時間和掃描路徑等眼動數據,總結用戶瀏覽信息時的行為特征。這種方式需考慮不同用戶群體的特征,以及外界多種環境變量對生理數據采集可能造成的干擾,需通過大量實驗數據驗證其可行性。

基于間接數據的行為建模則通過檢測與用戶行為存在間接聯系的第三方數據來研究用戶行為。賈碩等[22]曾提出商用車輛異常駕駛行為檢測算法,通過采集商用車輛行駛過程中的相關數據有效識別商用車輛異常駕駛行為;許洪軍等[23]曾提出一種云用戶的異常檢測方法,通過卷積神經網絡對檢測到的鼠標操作行為軌跡數據進行特征學習及分類,對云用戶進行異常行為檢測;王毅等[24]提出通過采集用戶的用電數據來分析用戶用電行為,進而分析用戶的用電模式。其中檢測的第三方數據便是聯系用戶行為特征的一種客觀記錄。

上述兩種方法在實際應用中均會面臨數據采集困難及對算力要求高的問題,數據根據相應的采集對象有相應的采集工具、環境要求;而與采集數據相適應的算法、模型,例如神經網絡[25]、LSTM和支持向量機多分類算法等都對算力及成本有一定的要求,其中一些算法的應用條件也較為苛刻,難以在大眾領域普及。

1.2 用戶烹飪行為建模的特征數據選擇

用戶烹飪行為的復雜程度較高,因此在采集肌電、心率或其他生理特征等直接數據時會面臨采集標準高、環境影響因素多以及個體差異巨大等問題,且在未來的研發中很難控制成本,難以達到產業化的期望。因此,筆者選擇采集簡單、度量標準單一的間接數據作為用戶行為建模的采集對象。而單一數據對算力要求低,易于控制成本,更適合民用發展。在烹飪過程中可選擇的間接數據主要有圖像識別和鍋內溫度等,其中鍋溫數值的采集較為方便,環境干擾因素較少,測出值也較為準確,且鍋溫會隨用戶烹飪行為的變化而產生一系列的變化,具有一定的代表性。因此,筆者提出基于鍋溫檢測數據集的用戶烹飪行為建模方法,該方法分為3個階段實施:1) 提取各個烹飪子行為對應的鍋溫變化數據,在烹飪過程中采集鍋內溫度變化數據,依據專家對用戶烹飪過程的行為分段,將各個子行為對應的鍋內溫度變化數據隔離;2) 對隔離后的數據進行對比分析,此部分主要有兩個目的,其一是分析各行為對應的鍋內溫度數據變化是否具有規律性,其二是明確適用于各行為對應鍋內溫度數據的相關參數計算;3) 從各行為時間段內對應的鍋溫數據中明確特征參數,并以此建模。期望通過用戶烹飪行為模型的建立,為用戶烹飪輔助設計研究提供一定的理論指導。

2 用戶烹飪行為建模

依照上述建模方法,在實驗中記錄被測對象烹飪過程中的全部行為,并采集對應的鍋溫數值,分析比較不同行為時間段內鍋溫的數值變化與被測對象的烹飪行為是否存在聯系,探尋不同行為時間段內的鍋溫數據是否存在關鍵性規律或特征,以建立用戶烹飪行為模型。在回測實驗中,通過建立的模型還原用戶行為,對模型的科學合理性進行驗證。考慮到“炒”為烹飪中最基本、最常用的技法,且“炒”的行為又相對復雜,因此筆者對用戶的炒菜行為進行建模,過程如下:首先用紅外測溫探頭采集被測者炒菜過程中對應的溫度變化數據;然后通過專家評價法對炒菜過程進行分段;最后整理歸納各炒菜行為段內溫度數據中的特征參數并建模。

2.1 烹飪建模實驗準備及方法

為確保實驗結果的普適性,召集5名年齡在30歲以上且具有5年以上做菜經歷的被測對象,其中男性2名、女性3名。實驗選擇的菜肴為香菇青菜與宮保雞丁,這兩道菜廣為人知,大眾對其食材、做法和口味的認知相近。使用蘇泊爾品牌燃氣灶、沂蒙鐵匠品牌無耳炒鍋及GY-906-DCI型號測溫探頭模塊與MLX90614-DCI型號芯片組成的紅外溫度傳感器。具體實驗流程包括以下4個部分:1) 被測對象依次在同一室內場所燒制2道固定菜肴,由攝像頭全程拍攝,同時距離鍋底50 cm的紅外測溫傳感器以每秒采樣2次的頻率實時采集鍋溫數據,實驗示意圖見圖1;2) 根據專家評價法結合實驗視頻資料對烹飪過程進行行為分段;3) 根據行為段截取相應鍋溫數據,并繪制各子行為對應的鍋溫數據曲線圖,通過計算相似度進行對比分析;4) 歸納分析各子行為對應的鍋溫數據記錄,明確各個行為時間段內溫度數據的特征參數。

圖1 實驗示意圖Fig.1 Schematic diagram of the experiment

2.2 烹飪行為建模實驗過程

烹飪實驗在同一室內場所進行,5名被測對象依次炒制了香菇青菜與宮保雞丁兩道菜肴,實驗過程如圖2所示。實驗中測溫探頭采集的溫度變化數據如表1所示。為使烹飪過程中的溫度變化情況更加直觀,繪制了兩道菜的溫度數據曲線圖,結果如圖3,4所示。

圖2 實驗過程Fig.2 Experimental process

表1 測溫數據記錄表(部分)Table 1 Temperature testing data record table (partial)

圖3 香菇青菜烹飪溫度數據Fig.3 Cooking temperature data of cooking shiitake mushrooms and bok choy

圖4 宮保雞丁烹飪溫度數據Fig.4 Cooking temperature data of cooking Kung Pao chicken

由于不同被測對象的烹飪步驟及同一步驟的用時存在差異,圖3,4烹飪溫度曲線不夠直觀。因此,通過專家評價法對烹飪過程進行行為分段,進一步分析烹飪行為。選擇具有飯店或餐館工作經驗的3名專家對實驗影像進行觀察,并對被測對象的烹飪子行為進行分段。經過比對分析發現:3名專家對烹飪行為的時間分段基本吻合,誤差不超過1 s。行為時間分段圖如圖5,6所示,可見在烹飪過程中各子行為過程是清晰可分解的。在炒菜過程中,子行為可歸納為熱鍋、熱油、放菜、翻炒、放調料和加水6類。各行為段溫度曲線如圖7所示。

圖5 行為時間分段圖(香菇青菜)Fig.5 Behavior time segmentation diagram (cooking shiitake mushrooms and bok choy)

圖6 行為時間分段圖(宮保雞丁)Fig.6 Behavior time segmentation diagram (cooking Kung Pao chicken)

圖7 各行為段溫度數據Fig.7 Temperature data of each behavior segment

2.3 烹飪子行為的特征參數

2.3.1 溫度數據曲線相似度計算

尋找同一烹飪子行為中鍋溫數據變化的關鍵參數,其前提是不同被測對象的各個子行為段溫度變化曲線存在相似性。引入余弦相似度[26]對5位被測對象各行為段的溫度曲線進行相似度計算,其計算式為

(1)

式中:Ai,Bi分別為相比較的兩個向量。通過計算能得出-1～1的相似性范圍:-1表示兩個向量完全相反;1表示兩者完全相同;0表示兩者互相獨立;之間的值則表示兩者的相似性。

曲線相似度計算結果如表2所示。由表2可知:每個行為段內的數據曲線的平均相似度均在0.60以上,其中翻炒行為段較易受用戶動作影響,但也具有0.58的平均相似度,證明同一行為段內的溫度數據曲線具有一定相似性,有規律可循。因此可以通過鍋溫數據變化的關鍵參數區分各個烹飪子行為。

表2 各行為段內溫度數據曲線的相似度計算結果Table 2 Curve similarity calculation of each behavior segment

2.3.2 各烹飪子行為特征參數分析

通過對以上數據的分析整理,對各子行為對應溫度數據進行相關參數的計算分析,探尋不同烹飪子行為對應溫度的變化規律,歸納整理各子行為特征參數及預警指標。因一定時間內的溫度數據與體壓分布數據性質較為類似,故參考體壓分布的相關參數指標[27]對本實驗中采集到的溫度數據進行計算。

1) 峰值溫度Cmax為該行為時間段內所有溫度值的最大值,即

Cmax=max(C1,C2,…,Cn)

(2)

式中n為溫度采集的次數。峰值溫度代表了一個時間段內測點接觸到的最高溫度,在烹飪過程中被測對象的烹飪行為、時間及火候等都會對峰值溫度產生影響。

2) 最低溫度Cmin為該行為時間段內所有溫度值的最小值,即

Cmin=min(C1,C2,…,Cn)

(3)

式中n為溫度采集的次數。最低溫度代表了一個時間段內測點接觸到的最低溫度,在烹飪過程中被測對象的烹飪行為、手法動作都會對測點檢測到的溫度產生影響。

3) 平均溫度Cv為該行為時間段內所有溫度值的算術平均值,即

(4)

式中:n為溫度采集的次數;Ci為每次采集的溫度值。平均溫度代表了一個時間段內測點檢測到的所有溫度值的整體集中趨勢,反映了該時間段內的整體溫度水平。

4) 對根據相應的行為時間段內溫度數值制成的曲線圖進行趨勢線繪制,并計算溫度趨勢線斜率K。曲線圖中以時間及溫度為軸,其斜率為

(5)

溫度趨勢線斜率代表這個時間段內測點檢測到的溫度的變化趨勢,Kj>0則該時間段內溫度呈上升趨勢,Kj<0則該時間段內溫度呈下降趨勢,Kj的值也代表了溫度變化的速度,受被測對象的行為動作影響。

5) 溫度頻率f為該行為時間段內單位時間內溫度上下變化的次數,即

MC=median(C1,C2,…,Cn)

(6)

MA=median(|A1-MC|,|A2-MC|,…,|Am-MC|)

(7)

(8)

式中:MC為該時間段內溫度數據的中值;Am為該時間段內數據曲線的每個波峰和波谷的值;MA則為以MC為平衡位置的所有波峰和波谷的振幅中值。溫度頻率代表該時間段內溫度上下波動的頻率,本研究中f代表振幅在中值MA以上的溫度波動變化頻率,與被測對象的行為動作緊密相關。

6) 溫度梯度是該行為時間段內隨時間變化的溫度變化率,即

(9)

其中最大溫度梯度與平均溫度梯度也被認為是重要指標之一。最大溫度梯度Gmax為

Gmax=max(|G1|,|G2|,…,|Gi|)

(10)

最大溫度梯度代表該時間段內溫度變化最快的時間點的變化速度,同樣會受被測對象的行為動作影響。平均溫度梯度Gv為

(11)

式中N為溫度梯度數據的個數。平均溫度梯度是所有時間點溫度梯度的算術平均值,代表這個時間段內溫度變化率的平均水平。

5位被測對象各子行為溫度數據的相關參數計算結果如表3～8所示。

表3 溫度數據相關參數計算(熱鍋)Table 3 Calculation of temperature data-related parameters (heat the pot)

表4 溫度數據相關參數計算(熱油)Table 4 Calculation of relevant parameters of temperature data (heat the oil)

表5 溫度數據相關參數計算(放菜)Table 5 Calculation of relevant parameters of temperature data (add ingredients)

表6 溫度數據相關參數計算(翻炒)Table 6 Calculation of relevant parameters of temperature data (stir-fry)

表7 溫度數據相關參數計算(放調料)Table 7 Calculation of relevant parameters of temperature data (add seasoning)

表8 溫度數據相關參數計算(加水)Table 8 Calculation of relevant parameters of temperature data (add water)

2.3.3 各烹飪行為段特征參數分析

如要選取特征參數來分離某一行為,則該子行為的數據在某參數下與其他子行為相比具有特異性。對各子行為數據的相關參數計算結果中值進行箱圖繪制,繪制結果如圖8所示。由圖8可知:參數Cmin的熱鍋及熱油行為段的數據存在明顯特異性。

圖8 各行為段參數中值箱圖Fig.8 Box plot of median values of parameters for each behavior segment

進一步對各子行為相關參數數據組的中值進行特異性分析,采用標準分數進行計算,標準分數計算式為

(12)

式中:AM為該參數所有子行為數據中值的平均值;

Mi為需要計算標準分數的目標數據;σ為該參數所有子行為數據中值的標準差;Zi為目標數據Mi與AM距離,數值的絕對值越大則代表其特異性越大,更適合作為特征參數。各行為段相關參數標準分數計算結果如表9所示。

表9 各行為段相關參數標準分數計算結果Table 9 Calculation results of standard scores of parameters related to each behavior segment

選取標準參數絕對值>1的參數為特征參數,各子行為對應的特征參數列舉如表10所示,特征參數根據標準分數絕對值從大到小排列。因各子行為最大溫度梯度Gmax的數值范圍普遍較廣,其中值的標準分數不具有代表性,故不考慮其為特征參數。

表10 各行為段特征參數Table 10 Characteristic parameters of each behavior segment

熱油與熱鍋行為段內的溫度數據變化走向較為類似,均呈穩步上升趨勢,然而兩者的關鍵參數數值存在一定差異。熱鍋階段的最低溫度Cmin主要為27.89～66.19 ℃,熱油階段則為80.01～138.97 ℃。此外,熱鍋階段的趨勢線斜率K基本為2.01～2.57,平均溫度梯度Gv基本為3.64～6.98 ℃/s;熱油階段的平均溫度Cv主要為157.29～187.39 ℃,峰值溫度Cmax基本超過180.00 ℃。

放菜行為段內的溫度數據主要呈下降趨勢。趨勢線斜率K大部分為-8.99～0,其平均溫度梯度Gv的數值范圍跨度較大,大部分數據為-22.08～0 ℃/s。

翻炒行為段內的溫度數據則存在劇烈波動,然而整體趨勢穩定。溫度頻率f主要為0.09～0.40 s-1,溫度變化趨勢線斜率K為-2.15～1.43。

放調料和加水行為段的各相關參數都較為相似。放調料階段峰值溫度Cmax參數主要為83.57～154.77 ℃,而加水階段主要為62.45～146.45 ℃。放調料階段平均溫度Cv參數主要為74.13～85.32 ℃,而加水階段主要為61.44～94.89 ℃。目前,尚無明確的關鍵參數可用來區分放調料和加水兩個行為段。

3 回測實驗及結果分析

3.1 系統回測實驗

在以上數據分析計算的基礎上,筆者設計了一款輔助烹飪原型系統進行回測實驗,以驗證烹飪行為模型的科學合理性。原型系統具有溫度檢測功能,能對鍋內溫度進行采樣。同時,軟件代碼中結合了筆者建立的烹飪行為模型,能自主計算特征參數,從而判斷并劃分烹飪階段。

選擇3名被測對象進行回測實驗,被測對象分別炒制香菇青菜和宮保雞丁。原型系統同樣以每秒2次的頻率對鍋內溫度進行采樣。同樣通過專家評價法對3名被測對象的烹飪行為進行行為段劃分,對比系統根據溫度采樣數據自主判斷并劃分的分段結果基本一致,結果如圖9,10所示。

圖9 專家與系統對行為段劃分對比(香菇青菜)Fig.9 Comparison between experts and systems about behavior time segmentation diagram (cooking shiitake mushrooms and bok choy)

圖10 專家與系統對行為段劃分對比(宮保雞丁)Fig.10 Comparison between experts and systems about behavior time segmentation diagram (cooking Kung Pao chicken)

原型系統在后臺自動分析計算每個子行為對應的溫度數據特征參數。整理系統輸出的計算結果,并與先前實驗中得出的特征參數范圍進行對比,繪制數值分布圖,結果如圖11所示。排除個別案例產生的特異值,整理可知:熱鍋階段的最低溫度Cmin主要為40.69～66.23 ℃,趨勢線斜率K主要為2.10～2.95,其平均溫度梯度Gv基本為3.90～5.94 ℃/s。熱油階段的Cmin基本為72.25～167.57 ℃,平均溫度Cv大部分都為168.25～208.10 ℃,峰值溫度Cmax基本超過180.00 ℃。放菜階段的趨勢線斜率K基本為-2.00～-0.11,存在一例數值較小為-8.74,其平均溫度梯度Gv大部分為-7.78～-0.15 ℃/s。翻炒階段的溫度頻率f主要為0.13～0.30 s-1,趨勢線斜率K也主要為-0.06～0.78。放調料及加水階段的峰值溫度Cmax主要為85.45～134.29 ℃,平均溫度Cv為64.69～108.57 ℃。上述結果表明:回測實驗中各子行為溫度數據的特征參數基本落在筆者建立的用戶烹飪行為模型內。

圖11 回測實驗數據結果Fig.11 Results of retesting experimental data

3.2 智能烹飪輔助系統的設計建議

回測實驗驗證了通過溫度變化曲線和特征參數還原用戶烹飪行為的方法是科學合理的。在此基礎上可以進一步設計開發具有智能烹飪輔助功能的灶具。以炒菜這一烹飪行為為例,假設用戶在烹飪前將玉米油設置為烹飪油,則系統會自動根據玉米油的煙點(230 ℃以上)設置煙點閾值。烹飪開始后,系統以一定的頻率對鍋內溫度進行采樣,并分析計算溫度變化的趨勢線斜率,結合最低溫度、平均溫度和峰值溫度等特征參數,可以較為準確地識別出用戶正在進行的具體烹調階段,一旦在對應階段出現不符合特征參數的現象,如鍋內溫度的峰值數據在熱鍋階段超過了185 ℃,在熱油、放菜和翻炒階段超過了230 ℃,在放調料或加水階段超過了150 ℃,就可對用戶進行預警,提示溫度過高并自動調整灶具火力。通過這樣的輔助形式,可以有針對性地識別不同烹飪階段的不當操作并及時干預,減少烹飪過程中有害物質的產生,進而達到健康烹飪和健康飲食的目的。

4 結 論

基于烹飪過程中的鍋內溫度變化進行用戶烹飪行為建模,通過對烹飪溫度數據的采集,結合對實驗中炒菜這一烹飪行為的劃分及各子行為對應溫度數據的參數計算分析,得到各行為段的特征參數,可見烹飪過程中的各子行為溫度變化具有潛在規律。樣機回測實驗也驗證了該用戶烹飪行為模型的科學合理性。建立的烹飪行為模型可以在用戶烹飪時實時監測烹飪過程,識別當前進行的烹飪行為,并及時提供風險預警,是未來設計智能烹飪輔助系統的基礎。此外,本研究也證實了可以通過識別單一變化的數據來識別特征參數,并可以作為復雜行為中子行為的識別依據。