基于機器視覺的餐盤食品全自動保鮮封裝冷藏系統

朱潤青，王嘉晟，柯海森，李孝祿，李運堂

基于機器視覺的餐盤食品全自動保鮮封裝冷藏系統

朱潤青，王嘉晟，柯海森，李孝祿，李運堂

（中國計量大學 機電工程學院，杭州 310018）

解決食品包裝環節存在的耗時費力、一致性差、食物污染、封裝效率低等問題。研究的餐盤食品全自動保鮮封裝冷藏系統由拉膜續膜、離合式斷膜、自適應滾輪封膜、送料運輸、冷藏取料等機構組成。利用機器視覺技術，完成自動設定相關運行參數，從而自動完成封裝的工藝流程，實現以機代人目標。經過多樣本反復實驗，圖像識別速度達到0.1 s以內，可以支持多種類、多尺寸餐盤的封裝，滿足設計需求。本研究達到了節約人力、提高生產效率、提高智能化水平的目的，對餐飲企業及家庭擺脫手工封膜具有重要的指導意義。

包裝系統；機器視覺；霍夫曼梯度法；自動化；機電一體化

包裝是日常餐飲消費流程中的重要環節。隨著外賣餐飲等行業規模快速發展，對食物保鮮的需求越發旺盛。人們對健康飲食的需求提高了對食品保鮮的要求，從原先的吃的飽向吃的好轉變[1-3]。常用的手工包裝方式是將卷裝保鮮膜展開，被包裝物料放入薄膜正中間，然后撕斷薄膜，最后將薄膜沿盤沿抹平，實現封裝過程。手工封膜的缺點是采用人力，導致勞動強度大；封裝過程中餐盤內食物易被人手觸碰，以及空氣污染物都會對食物安全產生影響[4-6]。

現有行業內包裝機器占地面積大，封裝尺寸單一，且多為流水線生產[7-8]。這類設備并不適用于中小規模餐飲企業對小批量、多品種餐盤自適應的實際使用需求[9]。文中設計一套封裝保鮮系統，使得封裝過程擺脫人工操作，實現了多尺寸餐盤的自適應控制，避免食物污染，封裝效果一致性高，對餐飲行業的發展具有重要意義。

1 總體結構及工作原理

1.1 工藝流程

本研究基于機器視覺的餐盤食品全自動保鮮封裝冷藏系統是集拉膜、封膜、固膜、物料識別、智能控制等生產流程于一體的全自動打包設備，具有高效、一致性好等特點，其工藝流程圖見圖1。

圖1 餐盤食品全自動保鮮封裝冷藏系統工藝流程

1.2 總體架構設計

餐盤食品全自動保鮮封裝冷藏系統由6個功能模塊構成。其中餐盤識別定位模塊、拉膜續膜模塊、離合式斷膜模塊、自適應滾輪封膜模塊為設備的核心模塊，對最終成品的密封效果與效率產生關鍵影響。設備整體設計見圖2。

1.自適應滾輪封膜模塊；2.冷藏取料模塊； 3.餐盤識別定位模塊；4.拉膜續膜模塊； 5.離合式斷膜模塊；6.送料傳輸模塊。

1.3 工作原理

準備過程：打開放料口蓋板，放入所需包裝餐盤，隨后封閉放料口端蓋；CMOS圖像傳感器捕捉餐盤圖像，并以此計算出物料尺寸與其相對于托盤中心的位差。

封裝過程：承載有餐盤的托盤被運輸機構頂升至指定高度，拉膜續膜裝置將卷緊狀態的薄膜拉展直至完全覆蓋于餐盤的上方；離合式斷膜機構啟動，將薄膜從指定位置切割，使所需薄膜分離并覆蓋于餐盤表面；運輸機構繼續頂升托盤至下一工序位置，自適應滾輪封膜模塊中的夾緊電機根據準備過程中獲取的餐盤位置與尺寸控制電機轉角，保證夾緊壓力處于適宜區間，此時滾輪電機啟動，從而帶動餐盤轉動，實現餐盤邊緣的薄膜與餐盤無死角緊密貼合，保證封裝效果；同時，離合式斷膜機構與拉膜續膜機構進行復位工作，準備進入下一輪工作狀態。

運輸及冷藏過程：托盤被運輸至底層，推板推動餐盤運送至冷藏取料模塊處；冷藏取料機構送料密封蓋由直流電機推開，物料借由此通道送入后，密封蓋隨即復位，若需取出餐盤，電動推桿將會帶動其至取料處。

2 關鍵模塊的設計

2.1 機器視覺模塊的設計

機器視覺模塊主要由基于ESP–32S處理器的副控制板與CMOS傳感器所構成。副控制板主要由ESP–32s核心、電源降壓模組、點光源組件、74LS138編碼器等組成，其結構圖見圖3。

圖3 機器視覺模塊結構圖

CMOS傳感器采用DVP接口與控制板相連，輸出1 600×1 200像素圖像。控制板內置520 KB SRAM，外置4M PSRAM，可處理JPEG格式的圖像數據，其利用Wi–Fi協議無線傳輸至運算單元，運算單元對圖像以（800,600）為中心截取800×800像素區域進行機器視覺分析，控制板接收識別結果。數據處理后通過互傳接口傳輸至系統主控制器（PLC）。CMOS傳感器放置位置見圖4，捕捉圖像的中心與被拍攝的托盤中心處于同一垂直直線位置，以實現餐盤相對于托盤平面中心的位差的計算。考慮到機構尺寸與傳感器選型，設備選用LM80–3535型號高亮度LED點光源，功率為1 W，與CMOS感光元件處于同一水平面。

圖4 CMOS傳感器定位示意圖

2.2 拉膜續膜模塊的設計

該模塊在整體設備中實現自動拉取、重復供應薄膜的功能。如圖5所示，主要由固定薄膜機構、移動拉膜機構等組件構成。運行流程為：拉膜機構上電后夾緊薄膜，1號組固定薄膜機構失電松開薄膜，同步帶絲桿傳動機構帶動拉膜機構移動，使薄膜展開至一定長度；1號組與2號組固定薄膜機構同時得電夾緊，使薄膜切割處的兩側薄膜被固定，此時離合式切膜機構啟動切斷薄膜；2號組固定薄膜機構失電后松開，使被切割后的薄膜分離并覆蓋在餐盤表面。至此，拉膜續膜模塊完成預定動作。

1.保鮮膜替換快拆機構；2.1號組固定薄膜機構； 3.2號固定薄膜機構；4.同步帶絲桿傳動機構；5.拉膜機構。

移動拉膜機構總體設計圖見圖6，此構件設計目的在于將薄膜夾緊，并將薄膜從卷狀拉展至平面狀態，此過程存在阻力大、受力面積小的問題。經過研究實驗，夾緊力由電磁推桿與電磁鐵協同工作提供，驅動力采用絲桿傳動提供。在拉膜壓板與支架兩側均貼有軟膠以增強摩擦力。通過電磁推桿推動拉膜壓板至電磁鐵磁性區，再使電磁鐵得電從而使壓板與電磁鐵吸合，實現夾緊過程。此設計實現了機構的夾緊力因下壓力的增大而增強，并降低了設備對薄膜厚度的限制。

1.拉膜電磁推桿支架；2.拉膜壓板；3.方形電磁鐵； 4.標準型直線軸承；5.絲桿螺母；6.鐵片； 7.推桿壓板連接件；8.電磁推桿。

2.3 離合式斷膜模塊設計

現有工業設備常采用下行式推刀方式或者熱切刀等方案，但會導致機構體積大，且存在刀片較長或采用高溫熱源等危險因素，并不適合家庭環境或者餐飲企業使用[10-11]，因此，文中創新性地設計出一種小型化、安全性與穩定性兼顧的離合式滑刀機構，其具體結構見圖7。

此機構主要原理為推刀電磁推桿成對得電以抬升滑軌，使滑刀與滑刀固定蓋相互嵌合。電機帶動皮帶上的滑刀固定蓋，使滑刀在滑軌進行直線往復運動以切斷在滑軌上方1 mm高度的薄膜，實現切膜動作的目的，保證斷膜過程的穩定。利用此機構，刀長得以減少至10 mm，且隱藏在固定蓋下，提高安全性。

1.推刀電磁推桿；2.同步帶傳動組； 3.滑刀固定蓋；4.滑刀滑軌。

2.4 滾輪封膜模塊設計

為實現被包裝餐盤四周與薄膜的緊密貼合，創新性地采用了轉盤及其配套的連桿機構。這解決了壓緊不完全、膜的柔性偏移問題。滾輪封膜模塊的總體設計圖見圖8。

1.雙軸同步聯動機構；2.轉盤；3.移動夾板； 4.連桿結構；5.自適應滾輪結構；6.步進電機。

電機帶動2套同步帶組使得轉盤同向同轉速運動。當轉盤順時針轉動時，移動夾板張開；當轉盤逆時針轉動時，移動夾板向中間位置靠攏，確保機構在對被包裝餐盤進行夾緊操作時，被包裝餐盤的夾緊位置處于中心位置。機構剖面見圖9。

在夾緊夾板移動至規定的夾緊位置時，與被封裝餐盤直接接觸的是夾板下側設有的滾輪組。利用分散布置的滾輪實現了餐盤位置的固定，使其在后續滾動封膜過程中不會因為餐盤旋轉導致重心偏移，影響被夾緊餐盤封裝效果或者使其從托盤上掉落。滾輪設有較強靜摩擦力的膠套，以帶動被夾緊餐盤轉動。其中一個滾輪上裝有傳動機構從而使其利用直流電機進行轉動，見圖10。另2個滾輪作為從動輪起限制作用。為解決夾緊過程中PLC和步進驅動器導致的電機轉動誤差，由傳動機構中彈簧進行補償，既能實現足夠的夾緊力使得餐盤被滾輪帶動，又減小了夾緊力過大導致餐盤產生的形變。

圖9 滾輪封膜機構運動極限位置剖面示意圖

1.主動齒輪；2.從動齒輪；3.接觸面帶有摩擦力復合材料的滾輪；4.平面滑塊；5.導軌； 6.直流電機；7.移動平臺；8.彈簧；9.底座。

3 控制系統設計

基于機器視覺的餐盤食品全自動保鮮封裝冷藏系統的控制系統主要由PLC（主控制器）、基于ESP–32S的控制板（副控制器）構成。其中傳感器采用光電門傳感器、限位開關、溫濕度傳感器與CMOS圖像傳感器，驅動件有電動推桿、電磁鐵、電磁推桿、直流電機、制冷件等。控制系統總體設計見圖11。所有驅動元件盒除圖像傳感器之外的傳感器均由PLC控制，圖像傳感器單獨由副控制器接收并處理數據。

餐盤相對于托盤中心的位移、餐盤尺寸都會影響系統所設定的控制參數。當工序開始后，將依據檢測的數據值通過相關的條件判斷，控制操作流程。控制系統的主要流程見圖12。

圖11 控制系統框圖

圖12 系統運行控制流程

4 機器視覺算法設計

4.1 圖像邊緣檢測

根據設備運行實際需求，餐盤所處的位置及其大小需要被精確檢測，即需要捕捉餐盤的邊緣來實現對圖像數據的初步處理。邊緣檢測是實現對單一物體進行形態學分析的首要前提[12-14]，其本質在于識別圖像在某一維度上強度出現劇烈變化時的位置。現有的邊緣識別研究方法主要有Sobel算法、Laplacian算法、Canny算法等3種檢測方式[15-16]。根據實際數據分析，被檢測物料的邊緣以尖頂變化過程為主，加之其作為設備運行中無法并行處理的作業，其識別速度對設備的運行效率產生較大影響，因此結合各算法運算時間考慮，采用Canny算法以實現圖像邊緣的提取。

基于上述分析，邊緣檢測算法流程如下：對導入的圖像進行濾波，現有常見濾波方法共有4種，為能夠有效抑制服從正態分布的噪聲，從而強調圖像中餐品的特征，且根據表1中常見濾波算法對同一樣本的測試結果可得，該項目選用高斯濾波法。

表1 常見濾波算法效果及耗時情況

其二維圖像的表達式為：

式中：、分別為計算點到其周圍像素的距離；為標準差。

再計算圖像梯度幅度和方向。對經過高斯平滑后的圖像進行卷積計算，得出方向與方向d,d的值：

由此可以計算出圖像某個特定點的梯度強度及梯度方向：

利用梯度強度及梯度方向可對圖像進行非極大值抑制。將圖像中的每個像素點與沿梯度方向相鄰的2個像素進行比較，若此像素點是3點中強度最大值的點，則不發生變動；反之則會被抑制。利用此種方法可以得到相較于Sobel算法更為精確的邊緣軌跡。

雙閾值判斷及關聯性分析。在輸入源文件的同時，輸入一個與之相匹配的閾值上下限，只有在其中的圖像點強度被劃歸為邊緣候選項，高于閾值上限的點將直接作為邊緣，其余將被作為噪點處理，并判斷在候選區內的非主要邊緣與處在置信區的主要邊緣進行關聯性分析。若次要邊緣與主要邊緣產生了聯系，則提高其強度，使其處于置信區變為主要邊緣；若其與主要邊緣出現斷開或連接程度過小，則降低其強度使其進入噪點區被丟棄。

經過此算法處理的圖片見圖13。所需識別的餐盤邊緣清晰可見，對后續的餐盤識別任務起預處理的作用。

圖13 Canny算法運行結果

4.2 餐盤邊緣提取算法

將圖片經過上述預處理后可以得出所有主邊緣的集合，但主邊緣仍然存在干擾因素。例如圖片中所需要提取的餐盤的邊緣的內外常會因為其中所放置的食物、餐盤上的花紋、餐盤的陰影帶來干擾信號。為了實現良好的剔除效果，需要研究適合于圓形邊緣的提取算法。在研究過程中，對最小外接圓算法與霍夫曼梯度圓算法進行了實驗分析，結果見圖1。由此可知，最小外接圓算法會因為邊框外陰影的干擾，導致定位、半徑計算的誤差，因此本研究采用霍夫曼梯度圓算法實現邊界提取。

圖14 最小外接圓算法及霍夫曼梯度圓算法結果對比圖

霍夫曼圓的原理是在霍夫曼線變化原理的基礎上演化而來，其主要計算過程如下。

根據笛卡爾坐標系下圓的參數方程：

4.3 餐盤承載狀態分析算法

通過上述的餐盤邊緣提取及分析算法，可以獲得滿足設備運行精度要求的容器位置與半徑參數，但是在實際運行過程中，時常會出現承載物品部分或全部超出容器承載邊界的情況，易導致包裝質量出現下降甚至無法包裝的情況發生，因此，本項目針對餐盤承載情況設計了識別算法，其主要計算過程如下所述。

1）對捕捉的原始圖像進行背景剔除，獲取僅包含餐盤食品的圖像區域。

2）對此區域進行形態學處理。保證餐盤上承載餐品的體積不受到損失，采用開運算進行處理。開運算首先通過腐蝕操作，再進行膨脹操作。由此可以消除毛刺并防止對圖像尺寸產生影響。然后進行二值化操作，從而較為準確地獲取到餐品所占體積。

3）對圖像進行最小外接圓分析，并將獲得到的外接圓直徑分別與餐盤尺寸、設備允許封裝面積進行比較，若其超出允許值，設備將會報錯，從而提示使用者檢查被封裝物情況。運算流程及結果見圖16。

另外，經過多種背景及承載物的對比實驗表明，即使餐盤食品與背景顏色接近時，該算法仍然能將餐盤食品從背景中識別出來，識別效果見圖17，表明文中算法可靠性良好。

圖15 霍夫曼梯度圓算法圓心識別示意圖

圖16 餐盤承載狀態分析示意圖

圖17 餐盤食品與背景顏色接近一致時識別效果

5 實驗分析

為實現所述的機械工作原理、機器視覺算法的可行性及設計目標，搭建實驗樣機，見圖18。

圖18 設備總體實物圖

設備按照文中第3節所述工藝流程運行，其主要分為識別、拉膜、切膜、封膜操作，各階段耗時見圖19，耗時以各部分運行最長時間計算。使用者僅需放入或去除餐品，無須人工干預設備運行。

以市面上常見的大中小3種型號的塑料盒或瓷質餐盤（碗）作為實驗對象，薄膜為PE材質、厚度0.01 mm的食品用保鮮膜（GB 10457—2008）。為測試機械構件及機器視覺的魯棒性，每次實驗均會更換容器內承載的食物形態及體積。每個容器類型的樣本共計150個（大尺寸、中尺寸、小尺寸容器各設為50個），測試設備的圖像識別結果及封裝速度，具體結果見表2。

從實驗結果可以得出如下結論：使用文中所述設備及其圖像處理方法可以有效提高包裝效率，能夠有效實現對多種包裝盒的保鮮封裝作業。圖像處理方面，除少部分因食物裝入過滿導致邊緣不清外，其余情況均可反饋正確結果。設備的包裝機構對餐盤等硬質容器表現良好，保鮮薄膜覆蓋完整，邊緣貼合緊實，但是在對易于產生形變的薄壁塑料材質容器且承載物不足容器體積30%的情況下，設備運行中的夾緊動作仍可能導致塑料盒發生輕微不可逆的形變，導致包裝質量稍有下降。

圖19 設備運行時序圖

表2 實驗測試結果

6 結語

為實現消費鏈末端包裝的自動化，文中設計了一種基于機器視覺的全自動保鮮封裝冷藏系統，主要用于常用容器的保鮮膜封裝工序。通過圖像邊緣檢測與霍夫梯度圓算法，提升容器的識別精度。實驗結果表明：采用文中所述的圖像識別算法與機械設計可以大幅度提高封裝質量與效率。系統運行穩定，能夠滿足使用需要。所述的圖像識別算法及機構設計為餐企封裝餐品提供有益參考，對餐品自動化封裝技術具有一定的參考與指導意義。

[1] 林振強. 自動化包裝技術新發展[J]. 物流技術與應用, 2020, 25(6): 66-69.

LIN Zhen-qiang. New Development of Automatic Packing Technology[J]. Logistics & Material Handling, 2020, 25(6): 66-69.

[2] SABRINA C, AMMAR A A, CARL S, et al. Untangling the Underlying Drivers of the Use of Single-use Food Packaging[J]. Ecological Economics, 2021, 185: 107063.

[3] TONY R W, EAMONN M, SYLVAIN C, et al. Single-Use Plastic Packaging in the Canadian Food Industry: Consumer Behavior and Perceptions[J]. Humanities and Social Sciences Communications, 2021, 8(1): 1-11.

[4] LUCA B, CHIARA M, DIEGO T, et al. Deep Learning-based Production Forecasting in Manufacturing: A Packaging Equipment Case Study[C]// Procedia Manufacturing, 2019, 38: 248-255.

[5] EMAMHADI M A, SARAFRAZ M, AKBARI M, et al. Nanomaterials for Food Packaging Applications: A Systematic Review[J]. Food and Chemical Toxicology, 2020, 146: 111825.

[6] 費葉琦, 劉雨浩, 馬竹樵, 等. 食品包裝機械發展研究[J]. 南方農機, 2020, 51(19): 62-64.

FEI Ye-qi, LIU Yu-hao, MA Zhu-qiao, et al. Research on the Development of Food Packaging Machinery[J]. China Southern Agricultural Machinery, 2020, 51(19): 62-64.

[7] DELIA R T, GUILHERME J A, MATEUS T, et al. Trends and Challenges of Starch-Based Foams for Use as Food Packaging and Food Container[J]. Trends in Food Science & Technology, 2022, 119: 257-271.

[8] RAJAN S, GARGI G. Emerging Trends in Food Packaging[J]. Nutrition & Food Science, 2018, 48(5): 764-779.

[9] 袁飛, 高雪. 食品自動包裝機的設計與開發[J]. 食品工業, 2020, 41(5): 220-223.

YUAN Fei, GAO Xue. Design and Development of Automatic Food Packaging Machine[J]. The Food Industry, 2020, 41(5): 220-223.

[10] 梅文娟, 鄭兆啟, 李占勇, 等. 生鮮食品包裝機的研究[J]. 包裝與食品機械, 2021, 39(1): 82-88.

MEI Wen-juan, ZHENG Zhao-qi, LI Zhan-yong, et al. Study on Packaging Machine for Fresh Food[J]. Packaging and Food Machinery, 2021, 39(1): 82-88.

[11] 張肖敏, 鄭德聰, 王大勇. 鋪膜機自動拉膜與切膜裝置設計[J]. 現代農業科技, 2016(3): 211-212.

ZHANG Xiao-min, ZHENG De-cong, WANG Da-yong. Design of Automatic Pulling Film and Film Cutting Device for Film Laying Machine[J]. Modern Agricultural Science and Technology, 2016(3): 211-212.

[12] 遲慧智, 田宇. 圖像邊緣檢測算法的分析與研究[J]. 電子產品可靠性與環境試驗, 2021, 39(4): 92-97.

CHI Hui-zhi, TIAN Yu. Analysis and Research of Image Edge Detection Algorithms[J]. Electronic Product Reliability and Environmental Testing, 2021, 39(4): 92-97.

[13] 孟慶宇, 蔣甜燕, 孔偉, 等. 淺談機器視覺檢測在預包裝食品加工過程中的應用[J]. 化工管理, 2019(32): 50-52.

MENG Qing-yu, JIANG Tian-yan, KONG Wei, et al. The Application of Machine Visual Detection in the Processing of Prepackaged Foods[J]. Chemical Enterprise Management, 2019(32): 50-52.

[14] 李瑩, 欒秋平. 基于機器視覺的食品包裝檢測系統設計[J]. 包裝工程, 2020(9): 210-214.

LI Ying, LUAN Qiu-ping. Design of Food Packaging Detection System Based on Machine Vision[J]. Packaging Engineering, 2020, 41(9): 210-214.

[15] GUO Yong, YIN Jun, WANG Yu, et al. Research and Implementation of an OpenMV-based Target Edge Detection and Tracking System[J]. Journal of Physics: Conference Series, 2022, 2173(1): 012083.

[16] CUI Ji-chao, TIAN Kun. Edge Detection Algorithm Optimization and Simulation Based on Machine Learning Method and Image Depth Information[J]. IEEE Sensors Journal, 2020, 20(20): 11770-11777.

Automatic Fresh-keeping Packaging Refrigeration System for Plate Food Based on Machine Vision

ZHU Run-qing, WANG Jia-sheng, KE Hai-sen,LI Xiao-lu, LI Yun-tang

(School of Mechanical and Electrical Engineering, China Jiliang University, Hangzhou 310018, China)

The work aims to solve the time-consuming, laborious problem, poor consistency, food pollution, low packaging efficiency and other problems in food packaging. The full-automatic fresh-keeping, packaging and refrigeration system of plate food studied in this work comprised film pulling and film renewal, clutch film breaking, adaptive roller film sealing, feeding and transportation, refrigeration reclaiming, etc. The machine vision technology was used to automatically set relevant operation parameters of the machine, so as to complete the automatic packaging of the machine and realize the goal of replacing laborers with machines. After repeated experiments with multiple samples, the image recognition speed was less than 0.1 s. The machine supported the packaging of multiple kinds and sizes of plates to meet the design requirements. This study has achieved the purpose of saving the workforce, improving production efficiency, and improving the level of intelligence. It has important guiding significance for catering enterprises and families to eliminate manual film sealing.

packaging system; machine vision; Hoffman gradient circle algorithm; automation; mechatronics

TB486+.3

A

1001-3563(2023)01-0123-10

10.19554/j.cnki.1001-3563.2023.01.014

2022?02?14

浙江省重點研發計劃項目（2019C01128）

朱潤青（2000—），男，本科，助理工程師，主要研究方向為機電一體化、機器視覺。

責任編輯：曾鈺嬋