機器視覺技術在水產食品感官檢測方面的應用研究進展

賈志鑫，傅玲琳，楊信廷，史 策，王海燕，周瑾茹，王彥波,*

（1.浙江工商大學食品與生物工程學院，浙江食品質量安全工程研究院，浙江 杭州 310018 ；2.北京農業信息技術研究中心，北京 100097 ）

水產食品的感官品質可以從色澤、形狀等方面體現，這些質量屬性直接影響產品被消費者接受的程度，從而直接或間接影響大多數消費者的購買意愿。因此如何通過新的技術快速檢測水產食品感官品質對于提高其經濟價值具有重要的現實意義。機器視覺技術能夠較好地滿足這類需求，該技術旨在綜合多項感官品質指標（如色澤、形狀、尺寸等）對水產食品進行綜合感官評定，相比于傳統的通過專業人員視覺質量檢測，具有成本低、耗時短和易于量化等優點[1]，得到了廣泛的應用并取得了顯著成果。鑒于此，本文綜合分析機器視覺技術在魚類、蝦類、牡蠣和扇貝等水產食品感官檢測方面的研究現狀，探討目前存在的問題并探究未來的研究方向，旨在實現水產食品感官品質的快速評價，保障消費者的食用安全和健康。

1 機器視覺技術系統

機器視覺技術是計算機學科的一個重要分支，自起步發展至今已經有50多年的歷史，其功能以及應用范圍隨著工業自動化的發展逐漸完善和推廣；20世紀50年代二維（two dimensional，2D）圖像的統計模式識別已被開始研究；60年代研究人員開始進行三維（three dimensional，3D）機器視覺的研究；70年代中期，麻省理工學院人工智能實驗室正式開設“機器視覺”的課程；80年代初，開始了全球性的研究熱潮，機器視覺獲得了快速發展，新概念、新理論不斷涌現，時至今日，機器視覺技術始終保持著蓬勃發展的活躍狀態。

圖1 機器視覺系統Fig. 1 Machine vision system

機器視覺是一種用于識別物體，從數字圖像中提取和分析量化信息的技術。典型的機器視覺系統通常由圖像采集、圖像處理和計算機統計分析程序3 個部分組成（圖1），其中圖像采集系統的基本元素包括：攝像機、照明設備、圖像采集卡和計算機[2]。系統在對圖像進行分析和特征提取時，為了達到不同的要求和結果，需使用各種方法進行統計分析，最后通過控制模塊處理對象輸出結果[3]。因此，機器視覺是一項綜合技術，需要機械、控制、計算機和圖像處理等多項技術的協調應用。

機器視覺系統的照明區域至關重要。光源必須具有穩定的能量分布，其強度必須均勻且可控。視覺系統受光照水平和光照質量的影響，通過適當地調整光照，可以從根本上改變物體在視覺上呈現的外觀，使目標特征轉變清晰或模糊[4]。光照會影響圖像質量和系統的整體效率和準確性，Gunasekaran[5]、Andreadis[6]等指出，精密的光照儀器可以通過增強圖像對比度來幫助系統進行圖像分析。良好的光照可以減少反射、陰影和一些噪聲，從而縮短處理時間。在設計用于食品工業的照明系統時，需要考慮照明的各個方面，包括位置、燈的類型和顏色質量。特別是對于一般的濕材料，如水生食物，可以使用偏振光將反射引起的問題最小化[7]。使用紅外、近紅外、紫外光和X射線源使僅靠可見光無法實現的質量檢測成為可能[8]。使用特定波長或波長范圍也已成功地應用于許多食物[9]。隨著數碼相機的發展，相機和圖像采集系統通常合并到一個設備。相機結合圖像采集系統設備通過電纜或無線方式與計算機連接。相機中可以有3 個光檢測傳感器，分別用于處理紅、綠、藍這3 種原色，或者一個傳感器可以選擇性地用于處理這3 種原色。圖像采集系統可以控制相機的設置、圖像采集的定時、光源，并可以對圖像進行分析，對提取所需的特征進行決策，這些可能包括非接觸式傳感[4]、測量對象形狀和尺寸、檢測產品缺陷[10]、提供過程控制反饋以提醒生產線操作員過程中的系統故障[11]以及提供產品質量統計[12]。

機器視覺技術旨在通過電子感知和評估圖像來模擬人類視覺的功能。這些系統通過捕獲物體圖像、處理圖像以測量所需參數，將這些參數與預定義的檢測標準進行比較，然后幫助對物體或制造過程做出決策或采取某種類型的糾正措施。研究表明，機器視覺技術的優勢之一為該過程是非破壞性的。圖像處理和圖像分析是機器視覺的核心，需要可用于分類和測量的算法和方法[13]。機器視覺處理樣品后可生成客觀且精確的描述性數據，且操作快速，減少了大量勞動人員的密集型工作，使整個過程自動化，同時結果一致性高、效率高、成本低。研究發現，機器視覺技術具有非破壞性、最少侵損性以及永久記錄特征值的簡便性[14]。對于水產食品來說，機器視覺技術同樣是一種很好的感官檢測替代方案，可以大大提高生產效率和自動化程度。

2 機器視覺技術的應用

2.1 魚類

從商業要求出發，魚類的分選、分級、分類和品質評估是魚類養殖、加工及其制品銷售過程中重要過程[15]。一些研究人員也研究了不同魚類長度和質量的關系[16]，其中對魚類比較明確的檢測要求包括精確的質量級別分類和對魚類及其制品最少程度的損耗[17]。機器視覺技術可以在最小程度損耗的前提下實現魚類樣品的分類、分級和品質評估。

表1 機器視覺技術在魚類品質檢測中的應用Table 1 Application of machine vision technique in fi sh quality detection

水產食品在腐敗期間隨著肌紅蛋白和一些其他物質含量的變化，其不同部位也會發生不同程度的顏色變化；而顏色是水產品重要的視覺質量標準，它包含了與人類視覺相對應的基本信息[23]，與消費者感知密切相關。消費者通常傾向于將顏色與新鮮、高品質和更好的味道聯系起來。顏色可以通過人本體主觀觀察到，然而，這很難轉化為可復制的數值[24]。顏色也可以通過儀器來確定，例如色度計和機器視覺系統。如表1所示，水產品方面，機器視覺主要用于魚蝦的顏色分析，以及被特殊處理魚的顏色變化。基于這種原理加上機器視覺技術無損快速檢測的優點，Shi Ce等[19]開發了一種機器視覺系統，用于羅非魚4 ℃貯存期間基于瞳孔和鰓顏色變化對揮發性鹽基氮（total volatile basic nitrogen，TVB-N）含量、TBA值和菌落總數（total viable count，TVC）進行建模和預測。該研究通過對瞳孔和鰓顏色的圖像進行預處理，之后通過圖像分析算法自動執行顏色參數轉換，將獲取圖像的RGB值采用León[25]、Rotaru[26]等的方法分別轉換成L*、a*、b*值和HIS值，并進一步計算出色差值?E，將TBA值等腐敗指標分別與3 套色澤指標建立多元回歸數學模型，多元回歸模型均顯示出優異的預測結果，同時TVB-N含量、TVC和TBA值的預測值與實驗值決定系數R2介于0.989～0.999之間，相關性好。所以，基于瞳孔顏色參數的機器視覺系統可以作為一種精確、實時、在線的方法，用于間接預測冷藏期間魚的新鮮度。此外，Costa等[27]還開發了一種先進的魚類新鮮度顏色評定方法，通過采用形態疊加法進行圖像分析，獲得了最重要的新鮮度判別區域，結果還量化了鮮魚和非鮮魚的顯著比色差異。Dowlati等[22]利用機器視覺研究了養殖和野生金邊鯛魚在冰藏過程中眼睛和鰓的顏色變化，采用一種數字彩色成像系統，可以精確測量眼睛和鰓的L*、a*、b*值并記錄其視覺成像特征，并采用簡單回歸法和人工神經網絡（artificial neural networkgenetic algorithm system，ANNAS）法對眼部和腮顏色參數進行關聯，發現利用鰓顏色的變化評價魚的新鮮度比利用眼睛顏色變化評價魚的新鮮度精確；然而為了拍照，鰓蓋必須被移除，這具有破壞性和耗時性，因此又提出了一種綠色、低成本、簡便快捷的魚眼顏色參數在線檢測方法。2D成像在一定程度上可以獲取檢測所需要的信息，但也存在片面、整體聯系不強等局限性；3D成像技術可更好地彌補2D成像技術的不足，并可以獲得全方位的魚體圖像，進而對其進行整體分析。Sture等[18]開發了一套完整機器視覺系統，將獲取的圖像信息建立并整合成3D成像，與單側3D和2D方法相比，這種方法具有多種優異的特性，主要是能夠整合3D圖像各部位顏色信息以及進行準確可靠的3D幾何描述；對不同質量等級的大西洋鮭魚進行測試，然后將獲得的數據應用到機器視覺和分類設備中，可根據外觀捕獲足夠的信息準確區分大西洋鮭魚的品質等級。

除根據顏色變化測定魚類品質外，研究人員還建立了魚骨面積與魚肉、魚片質量的聯系。Rerkratn等[21]提出一種使用紫外線燈的機器視覺系統來計算魚骨的面積和魚片、魚肉質量，將魚樣本圖像分割為魚片、魚肉和魚骨3 個部分，隨后用于計算魚骨面積，最后通過魚骨面積的百分比評估魚片樣本的質量，其中應用到K均值聚類和閾值算法評估魚片質量；因此該方法通過紫外燈照射后獲取圖像即可快速無損測定樣品質量，但該方法對測定較難獲得圖片信息的活體魚類具有局限性。Zheng Hongyuan等[20]提出了一種新的方法來克服對于原位測量很難準確快速檢測魚體的問題，該方法基于2D Ostu、幀差異和背景減法，成功將圖像中的像素分為前景、重影、前景光圈等幾個部分；將該方法用于日本青鳉魚的基于機器視覺的監測系統中，結果在實時魚類監測視頻中可以有效檢測到整條魚體圖像。

2.2 蝦類

蝦類同樣是消費者喜愛的水產食品，因營養成分含量高、較易腐爛，人工測量可能會導致細菌和化學污染等問題[28]。因此，蝦的感官品質評估引起了廣泛關注，結合機器視覺技術系統，完全可以實現自動快速檢測。

捕撈過程會對蝦造成一定程度的破損，而有些破損蝦的成像面積參數或者輪廓參數達到了完整蝦的標準，進而對蝦的進一步分級、品質測定等造成一定的影響。因此，實現對蝦的無損快速分級具有重要意義（表2）。Zhang Dong等[29]提出了一種基于進化構建（evolution constructed，ECO）特征的方法，該方法將灰度值直接輸入到基于ECO的質量評分算法中，其中28 個圖像變換應用Gabor、中值模糊、自適應閾值等作為ECO，可以自動將破損的蝦從完整蝦群體中分離出來，準確率為95.1%；因此這種方法能夠實現對完整蝦和破損蝦快速、準確、無損的分離和鑒定。Osterloff等[30]采用計算機視覺技術對蝦進行即時無損自動檢測，該技術采用時序顏色特征對比方法對半透明蝦進行檢測，利用時間顏色對比功能，可以區分完整蝦和破損蝦，并引入偽色視覺化方法，即蝦的實時豐度圖，提出不同時間段的豐度圖，以展示該方法的應用價值。除在蝦的完整度方面進行區分外，相關研究人員還建立了蝦骨架線預測實際長度模型、投影面積估值質量的模型。Luo Yan等[31]利用基于圖像分析的設備提取蝦的主骨架線用來直接表示蝦的長度參數，該方法選取10 個不同品種共40 個蝦樣本的400 張圖像，采用Ostu算法進行區分，基于經典的骨架細化方法，提出一種在不影響主干長度的前提下有效去除主干分支的算法；結果表明，骨骼長度與實際長度相當吻合，最大R2為0.946，最小R2為0.747。Poonnoy等[32]利用非線性回歸模型研究了壽司蝦在其投影區域的質量估計，該方法聯合視覺儀器和人工智能軟件對圖像進行處理，并計算出代表投影區域的像素個數，然后采用4 種數學模型進行權值估計，t檢驗結果顯示，其中3 個質量預測模型的相對誤差均無顯著差異，在150 個壽司蝦中最低平均絕對誤差為0.20 g，均方根誤差為0.25%，平均相對誤差0.73%；結果證明該機器視覺系統在壽司蝦質量自動測定中的應用可行性，從而為工業上迅速區分蝦的質量等級提供了可靠的技術支持。Hosseinpour等[33]研究了蝦干燥過程中水分含量和蝦顏色的變化，通過分數轉換模型成功地提取不同含水率下蝦的L*、a*、b*值參數，最后，采用二次回歸模型建立對蝦干燥過程中水分含量與顏色參數之間的關系。

表2 機器視覺技術在蝦類中品質檢測的應用Table 2 Application of machine vision technique in shrimp quality detection

2.3 其他

市場上牡蠣、扇貝一般批量銷售，所以牡蠣、扇貝的準確分級對其定價有重要意義。由于牡蠣形狀不規則，在加工銷售過程中根據其直徑和質量分為小、中、大3 個等級[34]。牡蠣的分級、分類和計數可以通過機器視覺來完成。對于扇貝來說，分級同樣是一個必不可少的過程，常見的方法如篩選和機械分級，都有可能對扇貝造成損害。因此，機器視覺技術也適用于扇貝的無損操作。市場上牡蠣和扇貝的大小決定其經濟價值，因此準確測定兩者的體積、質量等信息對其準確分級具有重要意義（表3）。Lee等[35]提出了一種結合激光三角剖分的算法，該方法用2D成像測量面積，進而轉用3D表面重建進行體積測量，與Mathiassen等[36]實驗中使用的三角測量技術不同，Lee等利用安裝在牡蠣肉上方的多線激光可呈現出不同顏色的原理來檢測，當攝像機垂直向下時，與待測樣品垂直，相機只需要檢測激光的顏色，然后采用兩參數線性模型，將測量面積與體積聯系起來，建立體積計算方程；然后通過測量牡蠣肉沿平行線上點的高度，建立一個更準確的體積預估模型，將初始體積預估模型的相對誤差降低了40%以上。Xiong Guangming等[37]提出一種提取牡蠣的外形輪廓新方法，用轉角相互關聯（turn angles cross-correlation，TAC）對牡蠣殼形狀進行分類的算法對樣品（規則、不規則、品質優良的牡蠣各73、107、119 個）進行分級，準確率分別達100%、94.3%、91.96%。隨后，將優質的牡蠣進一步進行小、中、大的級別分類[38]，該方法實現了整個牡蠣分級分類過程的快速無損操作，具有較高的應用價值。

扇貝的識別、分級主要根據其輪廓大小和對耳蝸的準確定位進行操作（表3）。Lin Aiguang等[39]開發了一種新的對扇貝殼進行識別的方法，該方法通過改進的隨機霍夫變換法實現扇貝的輪廓提取和邊緣檢測，并通過分析扇貝邊緣和中心相對位置確定耳廓方位，研究表明，該方法能快速、準確地完成耳蝸定位工作。郭常有等[40]嘗試通過測量扇貝的大小和位置來實現扇貝的自動分類，采用改進的OPTA算法和跟蹤算法提取扇貝圖像的邊界，以扇貝圖像邊界的最大距離以及中心點得到位置坐標；由于相機的操作與扇貝之間無觸碰，避免了扇貝在檢測過程中的振動、碰撞和損壞。王帥[41]研究了基于模糊識別理論的扇貝識別和分級方法，該方法采取Mamdani模糊推理模型選取了目標扇貝圖像中提取的平均半徑、圓相似度、像素點數量3 個特征作為模糊變量，建立模糊分類器進行識別和分級；實驗證明該算法不但可以有效區分扇貝與干擾物，并且能夠有效地對扇貝進行分級。

表3 機器視覺技術在牡蠣和扇貝中品質檢測的應用Table 3 Application of machine vision technique in quality detection of oyster and scallop

3 結 語

本文總結了機器視覺的發展及其相關技術在水產品視覺質量檢測中的應用。經過多年的發展，隨著相機、照明系統、燈箱設計以及圖像分析方法的進步，機器視覺技術得到了不斷的改進。用于尺寸測量的參數范圍從單純的長度發展到面積、周長、寬度和高度，目的是為了對不同物種分類和分級。在色彩測量方面，機器視覺系統從分類和分級到新鮮度評估、肌肉顏色分析、皮膚顏色評估和顏色變化測定都得到了廣泛的應用；但還存在一些問題急需解決，例如，在機器視覺設備方面，現有的機器視覺設備存在難以自定義并保持一致的照明，以及校準要求難以達標等問題；在數字圖形圖像處理技術方面，如何在有重疊物體的復雜情況下將目標物體從背景中分離，如何在保證精度的前提下提高圖像的處理速度等，是目前面臨的科學難題[42]。

機器視覺技術發展至今，相關軟件和硬件產品都已成為該系統的重要組成部分，這對系統的集成性提出了更高的要求。工業上要求能夠將測試系統和控制系統一體化自動化達到協同工作的目的，而非獨立的感官檢測應用。機器視覺系統易于向多傳感器信息融合技術拓展，解決單一視覺系統的局限性。多傳感器信息融合是利用計算機技術將來自多傳感器的信息和數據進行分析和綜合的信息處理過程，實際上是對人腦處理復雜問題的一種功能模擬。在未來，機器視覺將有可能通過電子鼻、電子舌和人工智能神經網絡系統的結合，在水產品加工生產線上通過測量尺寸、顏色、質地和氣味來完成質量檢測。食品工業是使用機器視覺技術的前十大行業之一[43]，在現代自動化生產過程中，可以將機器視覺系統廣泛地用于食品品質檢測及相關領域，因為該系統能做到比手動方式更快、更便宜和更一致的操作。在世界范圍內已有大量食品工業中使用機器視覺的例子[44]。

隨著研究的深入，更多新的算法被開發出來以滿足機器視覺技術現實應用的需求。目前機器視覺技術系統在水產食品的質量評價中應用效果顯著，隨著更多研究的數據和方法的積累，預計該技術將會更廣泛地被應用。結合深度學習，機器視覺未來將向智能化方向發展，在可變條件下提供強大的特征匹配和驗證。因此，需要改進攝像機和照度設置，以提供更清晰的圖像，例如，控制光照條件以達到預期效果。為了提供更快的圖像處理和更真實的圖像分析，還需要簡單高效的算法，可以測量多個參數，形成更全面的分析，模擬人眼的功能，從這個角度看，使機器視覺系統更像人類視覺系統是該技術的未來發展方向。機器視覺技術可能將在水產養殖中得到開發和商業應用，漁業鏈溯源[45]將在機器視覺的幫助下得以實現。當機器視覺技術發展到一定程度時，可以開發出具有視覺質量檢測功能等具有實際應用意義的手機軟件，運用智能手機的相機即可達到機器視覺系統從圖像采集到數據處理的所有功能。一般消費者通過手機拍照可以看到目標產品的詳細和最新信息，包括品種、大小、質量、顏色和新鮮度，從而為消費者在市場上做出更科學的水產品選擇提供了一種快捷方便的方式，這也將推動控制設計和工業物聯網的進一步發展，旨在切實保障水產食品的品質，提高其經濟價值，最終使消費者受益。