基于機器視覺的食品外包裝缺陷檢測算法研究進展

戈明輝張 俊陸慧娟

(1. 中國計量大學信息工程學院,浙江 杭州 310018;2. 浙江省農業科學院食品科學研究所,浙江 杭州 310022)

近年來,食品包裝行業的銷售規模已經達到了6 000億元,占據了全部包裝市場的60%以上[1]。然而,在食品的生產和運輸過程中,其外包裝很容易受到各種因素的影響,導致出現各種缺陷,如劃痕、變形、破裂、封口氣泡、壓接不牢、噴碼錯誤等。這些缺陷可能會導致封口不嚴、微生物污染等食品安全問題,因此在出廠前進行檢測是確保產品品質的重要環節。

目前大部分企業對包裝的檢測仍采用人工目測,靈活度較高,但效率低、穩定性差、管理成本也高,難以滿足現代企業的自動化生產需求,機器視覺技術的引入可實現產品檢測的自動化。傳統的視覺算法對差異明顯的目標或產品尺寸等精度要求較高的產品有較好的檢測能力和效率,但是對于背景復雜或無規則缺陷檢測精度較低,且傳統算法需要人工對缺陷特征進行總結歸納,對算法設計人員要求較高。隨著人工智能的發展,深度學習相關技術可實現特征的自動提取,復雜背景或特征不明顯的物體識別也表現出較好的效果,在機器視覺食品外包裝缺陷檢測方面有較好的應用前景。

文章對機器視覺技術在食品外包裝缺陷檢測中的應用研究進展進行介紹和分析,并對機器視覺技術在食品包裝行業中的應用趨勢進行展望,以期為機器視覺相關技術在食品外包裝缺陷檢測領域的應用提供參考。

1 食品外包裝常見缺陷

食品包裝缺陷可能導致產品質量下降、引發衛生安全問題。罐裝食品的缺陷包括罐體凹陷、罐蓋變形、破損、腐蝕和密封不良等,可能是由罐體和罐蓋質量問題及運輸和存儲時的受損或溫度變化等原因導致的。瓶裝食品的缺陷包括瓶蓋變形、破損、密封不良和瓶體破裂等,可能是由運輸和存儲時受機械力、溫度等因素影響導致的。袋裝食品的缺陷包括袋子破損、密封不良、異味和異物等,可能是因袋子材質不佳或制造過程中存在瑕疵,運輸和存儲時受損,封口機器的操作不當或封口時間不足等原因導致的。真空包裝食品的缺陷包括真空度不足、包裝膜破裂等,可能是由真空包裝膜質量不佳或貯運時受損等原因導致的。

食品包裝缺陷的產生可能涉及到包裝材料、貯運過程、封口操作、包裝設計、使用環境和人為因素等。例如,包裝設計不合理可能導致包裝形態不穩定、結構不牢固等問題;使用環境中的振動、沖擊等因素也可能導致包裝受損;人為因素如包裝操作不當、貯運方式不當等也可能導致食品包裝缺陷的出現。食品包裝缺陷的產生原因是多方面的,因此,需要對每個環節進行細致的分析和控制,以確保食品包裝的質量和安全性。

2 傳統視覺檢測在食品外包裝檢測中的應用

在食品外包裝缺陷檢測技術中,傳統的視覺檢測方法包括人工視覺檢測和基于數字圖像處理的方法,以及基于傳統機器學習的檢測方法。

2.1 人工視覺檢測

人工視覺檢測是一種傳統的食品外包裝缺陷檢測方法,其基本思路是由人工進行視覺檢查,通過目視觀察食品外包裝表面缺陷來判斷是否存在缺陷。人工視覺檢測的優點是靈活性高,可以適應不同類型的食品和缺陷;缺點是效率低、人工成本高等。近年來,一些研究人員[2]通過引入計算機輔助人工視覺檢測技術,提高了檢測效率和準確率。也有研究[3]表明,使用機器視覺檢測技術后再由人工進行目檢可以提高檢測系統的準確性。在機器視覺檢測后,人類視覺檢測仍然在大多數情況下作為最終檢測步驟執行[4]。康耐視公司[5]研究稱機器視覺在定量測量結構化場景方面表現出色,因為它具有速度、準確性和可重復性。但是,人類視覺擅長區分物體微妙缺陷和表面的細節變化,故人類視覺在許多情況下成為定性解釋復雜、非結構化場景的最佳選擇。所以在某些特殊領域,將機器視覺與人工檢測相結合可以利用兩者的優勢來提高檢測準確性。

2.2 基于數字圖像處理的檢測方法

隨著計算機技術的發展,機器視覺在食品包裝檢測方面正逐漸替代人工。機器視覺是一種模擬人類視覺感知系統的技術,其工作流程圖如圖1所示,先通過相機獲取目標的圖像,再利用視覺相關處理軟件對圖像進行處理,獲取所需要的有用信息[6],最后完成目標物體的識別、測量、檢測等具體任務[7]。

圖1 機器視覺技術工作流程圖

傳統機器視覺中數字圖像處理算法的運用,往往決定了視覺檢測系統的檢測效果,所以選擇合適的圖像處理算法來針對不同包裝檢測任務是十分重要的[8]。基于數字圖像處理的檢測方法是另一種傳統的機器視覺食品外包裝缺陷檢測方法,其基本思路是對食品外包裝圖像進行數字圖像處理,提取缺陷信息,并通過一定的算法對缺陷進行識別和分類[9],常用的圖像處理方法有二值化處理、邊緣檢測、模板匹配等[10]。

但北辰教堂的發展，見證了黨和政府對宗教信仰自由政策始終如一的堅守，也見證了昆明市民族團結、宗教和諧的良好局面。

2.2.1 二值化處理 二值化處理也稱為閾值分割,是較為常見的圖像分割處理方式,可將圖像特征部分和背景部分分開,再通過圖像的灰度值區分。圖像的二值化處理使圖像中數據量大為減少,可凸顯出目標輪廓[11-12]。針對軟包裝袋材質柔軟,不易固定,生產和使用過程中易起皺變形等問題,李丹等[13]采用了一種基于自適應閾值分割算法,該算法在冰棍包裝袋缺陷檢測試驗中取得了較高的檢測準確率和較低的誤檢率,其優點是簡單易實現,適用于各種類型的包裝袋,但是對于不同類型的包裝袋,需要重新訓練分類器,因此有一定的局限性。鄭葉欣等[14]提出了基于相位變換(phase only based transition,POBT)的玻璃瓶紋理區域缺陷檢測算法,使用了一種基于瓶身規則紋路分割的二值化方法,采用概率修正自適應閾值分割方法對相變后去除紋理留下缺陷的圖像進行分割,將瓶身規則紋路分割出來后對分割后的圖像進行二值化處理,結果表明,單個瓶子的檢測時間可以控制在20 ms以內,誤檢率3%,檢測精度有較大提高,實現了高速、高精度的瓶子缺陷檢測,該方法的優點是適用于各種類型的瓶子,且不需要重新訓練分類器,但缺點是對厚度不均或微小氣泡缺陷等特征不是很明顯的玻璃瓶,該算法的檢測效果不好。在檢測包裝罐內壁缺陷方面,王宣銀等[15]使用了二值化技術來分割圖像獲取焊縫的邊緣區域,通過膨脹、腐蝕和凸殼等操作獲取目標區域圖像,再利用多個合格模板圖像和被測圖像堆疊在一起來解決焊縫區域不一致的問題,該方法誤檢率在2%以下且可靠性較強,主要應用于解決內壁照明困難所導致的缺陷誤檢率高問題,但是在實際應用中要考慮應用成本,需要衡量資源和時間的限制。賈真真等[16]在解決食品包裝機生產過程中包裝質量出現內襯紙漏檢等問題時,采用的數字圖像處理方法是OTSU算法,灰度圖像經二值化后再進行膨脹、腐蝕等形態學處理,在獲取二值化處理得到的目標區域圖像后進行差分處理,消除可變背景中陰影,通過搜索模型位置和檢測目標區域的面積和斑點等進行缺陷判別,該模型檢測能力強,各類型缺陷內襯紙的檢測準確率均高達95%以上,滿足生產線需求,但是這種傳統的圖像處理算法通常在新的缺陷種類檢測并不能達到很好的效果,所以如何提升算法模型的泛化性能還需進一步研究。

這些方法中,OTSU算法作為一種簡單有效的圖像二值化算法,在食品包裝缺陷檢測中得到了廣泛的應用。同時,通過結合形態學處理,可以有效地去除噪聲,提高缺陷檢測的準確性和魯棒性。然而,OTSU算法在處理一些復雜的圖像時可能會出現分割不準確的情況,需要結合其他算法來提高分割的準確性。另外,由于食品包裝的外觀形態多樣,對于不同形狀、不同顏色的包裝,可能需要針對性地選擇不同的二值化方法和形態學處理方式,從而提高檢測的效率和準確性。

2.2.2 邊緣檢測算法 邊緣檢測算法旨在通過提取圖像中的交界線條來強調圖像中的重要結構特征,并且過濾掉無關信息,以減少數據量,主要有Sobel算法、Laplacian算法、Canny算法3種邊緣檢測方式。其中,Canny邊緣檢測算法[17]是一種具有高精度和準確定位優勢的經典算法。通過使用Canny邊緣檢測算法,可以獲得圖像中交界線的清晰輪廓,有助于進一步分析和處理圖像信息。張飛等[18]在解決紙盒表面和內部缺陷的識別、定位、檢測困難等問題,使用了Canny算法來檢測紙盒的邊緣,并通過霍夫(Hough)變換檢測出直線,從而得到紙盒的尺寸和位置。該系統具有適用性強、識別定位精度高等特點,但需要一定硬件設備和軟件支持,應用成本較高。同樣,在使用Canny算子進行邊緣檢測的研究中,有學者通過彩色圖像加權濾波方法[19]對鋁塑膜包裝圖像進行預處理,再采用基于視覺顯著性分析[20]的目標分割方法從背景圖像中進行分割,用連通域標記方法對Canny算子檢測到的包裝邊緣進行處理,最后利用支持向量機檢測是否漏裝、殘缺、劃痕等缺陷[21]。

上述研究人員都成功地應用了Canny邊緣檢測算法來檢測包裝邊緣,實現了包裝的尺寸和位置測量以及缺陷檢測。Canny邊緣檢測算法能夠在噪聲和保留邊緣之間取得最佳平衡,但圖像噪聲較多時容易出現邊緣斷裂和不連續的問題,因此在實際應用中需要考慮如何提高算法的魯棒性和準確性。此外,對于食品包裝缺陷檢測,還需要進一步探索如何結合其他的特征提取和分類方法,以提高檢測的準確性和效率。

2.2.3 模板匹配 模板匹配(template matching)是數字圖像處理中最具代表性的方法之一[22],是計算和找出目標圖像與模板之間的相同數量的特征,測量圖像的相似度,以確定檢測到的區域是否與設置的模板相同。通常要事先建立好標準模板庫,它從待識別圖像中提取若干特征向量與模板對應的特征向量進行比較[23],計算圖像與模板特征向量之間的距離,用最小距離法判定所屬類別[24]。與此相似的,Xie等[25]提出了一種快速檢測PET瓶內包裝質量的方法,該方法利用歸一化互相關模板匹配(normalized cross-correlation,NCC)算法匹配感興趣區域(region of interest,ROI)來檢測瓶蓋,最后通過提取ROI的邊緣來檢測高覆蓋和歪覆蓋,以實現PET瓶蓋的缺陷檢測。盡管該方法檢測速度快且缺陷檢測率高,但是仍然存在一些問題,例如瓶子的抖動會影響誤判率。同樣,在解決瓶子相關缺陷問題中,肖飛蛟[26]提出了一種用于在啤酒包裝生產線上檢測瓶口缺陷檢測算法,并設計了一個高速檢測系統,解決了無法檢測瓶口缺陷的問題。該檢測系統使用了模板匹配法的圖像識別算法,并在生產線測試中表現出95%以上的準確性,完全符合生產需求,該系統旨在通過最小化成本并消除影響穩定性的因素,解決生產中的技術難題,以提高空瓶檢測系統的檢測率,為啤酒生產線的穩定性和設備利用率提供基礎。另外,Shen等[27]提出了一種低成本的基于模板邊緣圖像比較的劃痕檢測方法,用于解決罐蓋的缺陷檢測問題,該方法利用模板匹配算法實現對瓶蓋表面劃痕的檢測并能夠自適應地調整模板的大小,以適應不同尺寸的瓶蓋檢測。經驗證,該方法的檢測效果良好,誤檢率低于1.5%,但對于不同類型的劃痕需要使用不同的模板進行檢測。同樣,在解決罐蓋的缺陷檢測問題中,Feng等[28]在設計了一種基于機器視覺的雙通道檢測系統,該系統采用二值化技術和模板匹配相結合的算法實現了對罐蓋缺陷的檢測。該方法在罐蓋表面缺陷檢測方面表現較好,具有98.7%的檢測準確率和每分鐘1 200次的檢測速度,然而該檢測算法對于缺陷形態、大小的變化較為敏感,對于不同場景需要針對性地設計模板。

這些研究都采用了與模板匹配相關算法來解決包裝缺陷檢測問題,各自提出了不同的方案并取得了一定的效果。然而,這些方法在實踐中都存在一些局限性,例如,對于復雜缺陷的檢測效果有待進一步提高,同時針對不同類型的缺陷需要使用不同的模板等,增加了算法的復雜性。因此,未來的改進方向可以考慮采用深度學習技術、多種算法相結合等方式來提高檢測的準確性和魯棒性。這些方法的引入將能夠更好地應對不同類型的缺陷,并提升整體檢測系統的性能和可靠性。

綜上所述,數字圖像處理檢測方法可以分為以下幾個步驟:

(1) 圖像預處理:對食品外包裝圖像進行去噪、濾波、二值化等預處理操作,便于后續算法的處理和分析。

(3) 分類器設計:根據特征提取結果,設計分類器對不同類型的缺陷進行分類識別。

基于數字圖像處理的檢測方法優點是算法簡單易懂,可以解決一些簡單的缺陷檢測問題;缺點是受噪聲和光照等因素的影響較大,對于復雜的缺陷檢測問題效果不太理想。總的來說,傳統的食品外包裝缺陷檢測方法存在效率低、準確率不高、受噪聲和光照等因素的影響較大等問題,為此,越來越多的研究機構開始嘗試引入機器學習和深度學習等新技術來完成食品包裝的缺陷檢測任務。

2.3 基于傳統機器學習的檢測方法

近年來,針對食品包裝行業的缺陷檢測問題,許多學者已經采用了傳統機器學習算法進行研究。這些算法包括決策樹(decision tree)、隨機森林(random forest)、支持向量機(support vector machine,SVM)。決策樹易于理解和解釋,但容易出現過擬合;隨機森林可以有效地減少過擬合,但訓練時間較長;SVM可以很好地處理高維數據,但對數據的縮放比較敏感。

研究[29-30]表明,選擇合適的算法可以有效地檢測出食品包裝中的各種缺陷,如破損、污漬和變形等。為了進一步提高檢測的準確率,有研究者[31-32]將傳統機器學習與深度學習算法相結合,取得了良好的效果。此外,對于圖像特征的提取和選擇也成為了研究的重點。在這方面,常見的特征包括顏色、紋理和形狀等,通過合理的選擇和特征提取,可以更準確地描述和區分不同的缺陷類型,從而提高缺陷檢測的效果。因此,算法選擇和圖像特征的處理是食品包裝缺陷檢測研究中的關鍵問題。在相關研究中,曾秀云[33]通過采用改進SVM分類器,實現了對包裝中不同類型缺陷的檢測,為后續的研究奠定了基礎。此外,周光祥等[34]使用機器學習基函數對包裝封口處紋理圖像進行相關處理,取得了較好的檢測效果。孫娜等[35]致力于解決卷煙生產過程中條煙包裝外觀缺陷的問題,提出了一種基于支持向量機(SVM)的條煙包裝缺陷圖像檢測方法,該方法能夠高效地識別出96.1%的條煙包裝缺陷,且具有通用性和實時性,能夠滿足條煙異常情況檢測的要求。

這些研究提供了可行的方案和技術支持,對提高食品包裝生產的質量和效率具有重要意義,但是這些方法的性能仍存在著一定的限制。例如,算法的精度可能受到噪聲、光照等環境因素的影響,還需要在實際生產過程中進行進一步的驗證;圖像特征的提取和分類是關鍵步驟,需要進一步設計適當的特征提取算法。在以后的工作中可以將傳統機器學習算法與深度學習算法進一步結合,提高檢測的準確率和穩定性。同時,應該探索更加精細化的特征提取和選擇方法,如使用卷積神經網絡等深度學習算法。此外,還應該考慮如何將檢測結果實時反饋給生產線,實現自動化生產。

3 深度學習在食品外包裝缺陷檢測中應用

傳統機器視覺算法通常需要多種算法進行組合使用才能實現檢測模型的最優化。在實際應用中對圖像識別算法的設計人員要求很高,尤其是在復雜背景條件下,傳統機器視覺算法難以滿足生產流水線的檢測準確率要求。相比之下,深度學習是一種以人工神經網絡為架構,對資料進行表征學習的方法[36],有著出色的可移植性,強大的學習能力以及高適應性等優點[37],近年來,深度學習算法在食品外包裝領域逐漸應用,并在解決綠色生產、科學包裝、高效檢測過程中的質量控制、優化資源配置等諸多問題中提供更有效的解決方式。深度學習作為目前計算機視覺分類、目標檢測,語義分割等領域的主流研究方法,表現出強大的競爭力和潛力。

3.1 分類識別

圖片分類是將圖像按不同類別進行劃分的過程,包括二分類和多分類方法。在二分類中,每張輸入圖像都有一個與之對應的標簽,通常是有某物和無某物。然而,這種圖片分類方法的缺點是無法對圖像中的特定信息進行詳細解釋。

在相關二分類研究中,針對工業生產中的各種包裝缺陷問題,郭克友等[38]利用BP神經網絡實現了對啤酒瓶口是否破損的二分類檢測。通過計算啤酒瓶口周長、面積、圓度、相對中心距4個特征參數構成特征向量組,并利用BP神經網絡模型進行訓練,最終實現了啤酒瓶口破損的判斷,誤檢率僅為1.04%。另外,陳衛國等[39]使用改進的卷積神經網絡和TRIZ創新理論中的物—場模型工具進行盒裝蛋黃酥缺陷進行分類。通過數據增強的方法擴展訓練數據集,并使用1 845張蛋黃酥圖片進行訓練,經過28次迭代,改進的VGGNet成功收斂。最終測試結果顯示,615張測試樣本的分類率都達到100%的正確率,實現了高精度的目的,而網絡生成的模型大小為64 MB,是未改進前網絡生成模型的1/8,達到了實時分揀的要求,適用于快速生產的工業環境中。在多分類任務中,陳雪純等[40]提出了一種基于遷移學習的改進Mobilenet-V2輕量化網絡的包裝缺陷快速檢測方法,利用糖果產線包裝質檢環節存在的4種表面缺陷,并對其進行測試。測試結果表明,該方法具有檢測速度快、缺陷正確檢測率高等優點,同時具有一定的泛化性,可以應用于其他類似食品包裝缺陷檢測,與傳統基于顯式特征提取的缺陷檢測方法相比,該方法通用性更強,能夠應對復雜背景下的缺陷檢測問題。但是在實際應用中可能會存在一些問題,如大量高質量標準數據的需求和模型解釋性的局限性。Sa等[41]提出一種基于ResNet的快速、準確、有效、智能化的包裝檢測系統,該系統結合了深度學習框架和高可移植性,可以廣泛應用于生產過程,但是該方法由于采用雙面拍攝的方式,只適用于雙面包裝,未來需要改進機械結構并采用多攝像頭裝置,以擴展應用范圍。

這些深度學習分類識別方法的應用可以有效減少工廠中包裝缺陷檢測的人工和管理成本,同時提高檢測準確率和效率,對于保證產品質量具有重要意義。

3.2 目標檢測

目標檢測不僅可以進行目標分類識別,還可以根據標簽信息檢測感興趣的區域,因此在食品包裝檢測領域可以幫助檢測人員快速定位各種缺陷。然而,當數據背景復雜、缺陷種類繁多、存在多個感興趣區域時,檢測難度大大增加。

針對傳統的人工特征提取食品等外包裝缺陷檢測方法過于復雜,通用性差,要求專業知識水平高的問題。李建明等[42]提出了一種結合Inception-V3圖像分類算法和YOLO-V3目標檢測算法的缺陷檢測方法。在樣本數據較少的情況下,該方法的識別精度可達99.49%,比單獨使用Inception-V3算法提高了1.79%,將這兩種算法結合,可以有效解決復雜背景下的檢測問題,并提高缺陷檢測的準確性。另外,彭建忠[43]針對背景復雜的噴碼字符難以分割和檢測的問題,提出了一種BBE目標檢測的方法,利用BuNet和BwNet構建了輕量化檢測方法,試驗結果表明,該方法具有較高的檢測精度(0.998 5)和速度(5萬瓶/h),實現了復雜背景下噴碼字符的缺陷檢測。同樣,在輕量化檢測模型的研究中,朱為[44]提出了一種用于噴碼質量檢測的輕量級特征提取網絡CodeNet,結合經典SSD算法檢測模型實現了對噴碼質量的檢測,測試準確率達到99.4%,每張數據的處理時間約為36 ms。與ShuffleNet、MobileNet等主流網絡相比,CodeNet具有更高的準確率和速度。瑕疵檢測是質檢環節重要一環,段祿成等[45]基于改進YOLOv3目標檢測算法將其應用于酒瓶蓋瑕疵檢測中。該方法在YOLOv3主干Backbone網絡的殘差模塊中引入SE-Net,應用注意力機制加強對特征的提取。同時,在Neck特征金字塔網絡中引入自適應特征融合網絡(adaptive feature fusion,ASFF),以融合不同尺度的特征信息,提高模型的預測能力。改進后的YOLOv3-ASFL在自制酒瓶蓋瑕疵數據集上取得了92.33%平均準確率(mean average precision,mAP),且單張圖像檢測時間僅為85 ms,相較于原始YOLOv3在相同數據集上的mAP提升了6.59%。同樣在SE-Net與YOLO模型融合的工作中,吳昊然等[46]則是將YOLOv5中的DarkNet-53主干網絡與SE-Net進行了融合,用于檢測薯片包裝中的缺陷,結果表明,該模型在薯片包裝缺陷檢測方面表現出色,mAP達到94.8%,比單獨使用YOLOv5算法提高了7.9%,并且識別速度也得到了顯著提升。另外,Adem等[47]通過一個使用獨立深度學習方法進行決策的系統對無菌包裝密封進行泄漏測試,使用改進后的Faster R-CNN進行訓練和測試,正確分類率為99.25%。雖然該研究結果在分類的準確率上令人滿意,但考慮到液體食品對人類健康的重要影響,進一步的研究支持是必要的。在最新的YOLO算法的應用中,Vu等[48]則提出了一種基于YOLO算法的實時包裝缺陷檢測系統,用于幫助自動分類產品質量,并且該系統可以集成到工廠和生產線中,有助于優化效率并節省運營成本。

深度學習目標檢測技術在食品包裝缺陷檢測中的應用研究進展顯示,該技術已經能夠在實際生產環境中實現高效準確的食品包裝缺陷檢測,從而顯著提升生產效率和產品質量。研究人員通過不斷改進算法和優化模型取得了重要進展,包括基于卷積神經網絡的缺陷檢測算法、基于多任務學習的缺陷檢測方法以及自適應數據增強等方法。然而,深度學習目標檢測技術在食品包裝缺陷檢測領域的未來發展還將面臨一系列挑戰,其中包括如何克服數據稀缺性問題以及進一步提高模型的檢測準確性和泛化性等。同時,該技術也將不斷發展,從而在更廣泛的應用場景中展現更好的性能和更高的價值。

3.3 語義分割技術

語義分割技術利用深度神經網絡實現像素級別的圖像分割任務。其目標是將圖像中的每個像素分配到其相應的語義類別中,以實現對圖像更加精細和準確的理解。相對于傳統的圖像分類和目標檢測技術,深度學習語義分割技術可以提供更加精細的圖像分割結果,并適應更加復雜多樣的圖像場景。在訓練過程中,深度學習模型會從大規模的標注數據中學習到不同語義類別的特征表達和判別規則。在測試階段,模型將對新的圖像進行像素級別的分類,以獲得每個像素的語義標簽。目前常用的深度學習語義分割技術包括全卷積神經網絡(fully convolutional network,FCN)[49]、U-Net[50]、Mask R-CNN等。這些技術在自動駕駛、醫學圖像分析、農業和工業檢測等領域都得到了廣泛的應用。

在食品包裝缺陷檢測領域,研究人員已開始應用深度學習語義分割技術實現食品包裝缺陷的自動化檢測。食品包裝上的標簽文本往往包含著重要信息,田萱等[51]提出了一種基于語義分割的距離場模型(DFM),用于檢測食品包裝上的食品標簽。通過改進模型的結構和損失函數,最終實現了較好的檢測效果,在食品包裝圖像數據集上表現優于其他自然場景文本檢測模型。暴泰焚等[52]用紙質包裝產品表面缺陷圖像數據測試了3種語義分割算法:Deep Lab V3+、U-net和改進的U-net。在迭代相同的次數情況下對比了缺陷檢測結果和驗證集圖像的分割預測效果。試驗表明,改進的U-net算法檢測紙質包裝產品表面的深度劃痕缺陷性能提高了,相比之下,Deep Lab V3+算法表現最好,可以更好地檢測出紙質包裝產品表面的破損缺陷。然而,3種算法在檢測小范圍且不明顯的淺劃痕方面表現不佳。

綜上所述,深度學習語義分割技術在食品包裝缺陷檢測方面已經取得了一定的研究進展。然而,在該領域仍存在一些挑戰和需要解決的問題。例如,數據集的質量和規模對模型性能的影響,模型的可解釋性和遷移性等問題。為了克服這些問題,未來的研究需要進一步改進相關算法,針對不同的缺陷類型,研究人員需要選擇合適的深度學習語義分割模型,并對模型進行調優和設計,例如將深度學習語義分割技術與傳統圖像處理算法進行融合,以提高模型的檢測準確率和魯棒性;在破損缺陷檢測方面,可以選擇具有較好邊緣檢測能力的U-Net模型;在色斑缺陷檢測方面,可以選擇具有強大特征提取能力的Mask R-CNN模型。同時,建立更加全面和豐富的數據集也是推動深度學習語義分割技術在食品包裝缺陷檢測方面應用的關鍵。此外,隨著技術的不斷發展和應用場景的變化,深度學習語義分割技術將會不斷地得到完善和提升,為食品包裝缺陷檢測帶來更加廣闊的應用前景。

4 總結與展望

文章總結了機器視覺技術在食品外包裝缺陷檢測中的研究,首先,介紹了傳統視覺檢測在食品外包裝檢測中的應用,然后重點討論了當前的研究熱點——深度學習算法。同時,對研究者提出的算法進行歸納總結,并分析了算法在相關應用場景適用性。食品外包裝的質量直接關系到產品的競爭力,因此,外包裝的檢測是企業生產過程中品質控制的重要環節。傳統機器視覺算法以高速、高精度、易集成和開發應用等特點,在裝配定位、產品有無識別、尺寸檢測等方面有一定的優勢,但還是存在很多的實際問題。例如,缺陷檢測與識別算法開發效率低且難度大,這間接地限制了機器視覺技術在工業領域的廣泛應用;對于高復雜度任務的應用也面臨較大的困難,因為對外包裝進行缺陷檢測時,往往需要多個視覺系統共同工作,而目前這些系統的協作性較差,無法實現很好的融合;深度學習相關應用推廣較慢,雖然深度學習技術對于復雜背景條件下的缺陷檢測有較好的效果,但是在工業應用場景中,視覺處理任務對算法精度、速度以及穩定性要求較高。現有深度學習算法通常具有較多的參數和較大的模型框架,在效率方面難以達到理想效果,所以還有許多問題需要做進一步探討。

(1) 在生產過程中往往為追求效率,需要有較快的在線檢測速度,而深度學習模型的推理速度和檢測精度往往不相關。在生產中一般要求不漏檢任何一個有缺陷的產品,但是容許無缺陷產品有一定比例被誤檢,因此模型可以在精度和速度中尋找最佳平衡。

(2) 食品包裝在生產過程中形成的缺陷特點在于:缺陷種類多、背景復雜、缺陷占比較小。所以模型如何在眾多干擾因素中準確提取到需要的缺陷特征,也需要做進一步研究。

(3) 在樣本收集中,通常正樣本很多,缺陷樣本數量較少,且人工標注成本較高,可以靈活采用監督、半監督、無監督等深度學習方式,使用不同數量級的樣本實現更好的檢測效果。

(4) 在實際的生產過程中,受工作環境,生產工藝等外在因素影響,視覺成像時往往難以獲得高質量的圖像,有很多外包裝特征采用不同光譜可以得到更多的信息,將多種信息結合可以更準確地檢測食品包裝各種缺陷問題,因此,如何構建穩定且通用性較強的成像環境來突出圖像中目標缺陷特征,也是一個很好的探討方向。

(5) 隨著機器視覺相關技術發展,未來在移動端的應用有著很大潛力,目前機器視覺在移動端未能被廣泛應用的原因就是,算法模型過大,檢測速度慢,在移動端缺陷檢測實現成本過高。所以未來的工作重心還可以聚焦在如何減小缺陷檢測算法模型的大小,減少算法的參數并且提升檢測速度,以實現針對移動端的食品外包裝的缺陷檢測等。