基于圖像多指標融合的柑橘分級方法與裝備設計

楊 濤，馬京晶

（1.成都農業科技職業學院機電信息學院，成都 611130；2.四川財經職業學院信息學院，成都 610101）

機器視覺技術因其低成本與高效率的特點在現代農業生產中有著較廣泛的應用［6］。機器視覺技術在芒果［7］、桃［8］、葡萄［9］、獼猴桃［10］、蘋果［11］等水果品質無損檢測中有一定的應用。本研究以川渝地區主產水果柑橘為對象，運用機器視覺技術探討柑橘自動分級方法并設計了柑橘全自動分級裝備，以期降低水果分級成本，進而促進水果生產全程機械化發展。

1 柑橘分級策略與技術路線

根據柑橘分級國家標準《GB/T 12947—2008 鮮柑橘》與行業標準《NY/T 1190—2006 柑橘等級規格》，柑橘分級主要依據果實的外觀、大小與內在品質。水果品質無損檢測主要包括外觀（形狀、顏色、大小、組織缺陷、病蟲害等）與內在（成熟度、可溶性糖、糖酸比、農藥殘留等）品質，水果品質無損檢測技術主要有高光譜成像［12］（Hyperspectral image，HSI）、近紅外光譜［13］（Near infrared spectrum，NIRS）、機器視覺［6］（Machine vision，MV）、拉曼光譜［14］（Raman spectra）和深度學習［15］等高新信息技術。其中，機器視覺技術成本最低，較適合川渝地區小規模農戶使用。因此，本研究以柑橘圖像為研究對象，研究了其分級方法，柑橘自動分級技術路線見圖1。

2 柑橘圖像采集與預處理

為保證采集到的圖像包含全部的柑橘表面缺陷信息，圖像采集裝置（圖2）連續采集6 張柑橘圖像，再對圖像進行編組，以確保連續6 張圖像來自同一個柑橘。進一步采用圖像裁剪、去噪和Otsu 閾值分割等圖像處理技術對采集到的柑橘圖像進行預處理，以消除圖像背景對后續圖像分析的影響。預處理后圖像見圖3，本研究中未特別說明的情況下提取的特征值均是以采集到的6 張圖像的特征值平均值來表征。

圖2 柑橘圖像采集裝置

圖3 同一個水果采集到的6 張預處理后圖像

3 柑橘圖像特征提取與分級標準

3.1 果形與果重的判定

3.1.1 幾何形狀 柑橘形狀與大小是重要的品質分級指標，反映了柑橘的幾何特征。通常使用似圓度（Ro）、矩形度（Re）、最小外接矩形長寬比（Ra）、最小外接圓面積與目標區域面積比（Rc）描述目標區域的幾何形狀特征［16］。定義二值圖像似圓度為目標區域面積（A）的4π 倍與其周長（L）的平方之比；矩形度則為目標區域的面積與其最小外接矩形圍成區域的面積之比，反映了目標區域最小外接矩形充滿程度；長寬比則為目標區域最小外接矩形長寬比，反映了該區域是細而長還是短而粗，而且還不受區域方向與采集圖像焦距的影響，也是較重要的幾何特征；同時，目標區域面積與其最小外接圓面積之比更能反映球形水果與圓形的相似度，也是較重要的幾何參數［16］。由此，即可得到描述目標對象幾何形狀的關鍵技術指標，具體計算式如下。

式中，L為二值圖像目標區域周長，即邊緣像素個數；A為二值圖像目標區域的面積，即區域像素個數；l、w分別為最小外接矩形的長邊、短邊的像素個數；r為最小外接圓的半徑。

顯然，矩形的矩形度為1，圓的矩形度為π/4，正三角形的矩形度為0.5，而其他不規則形狀的矩形度在0～1。而且球形的長寬比、面積比均趨近于1，橢球形的長寬比、面積比較大，分別計算各樣本的幾何特征參數即可判斷其形狀。將樣本圖像轉換為二值圖像后分別計算其幾何特征，并將其最小外接矩形、最小外接圓和最大內切圓繪制成圖（圖4）。

語文教師要應用合適的方法提高學生的寫作興趣，讓學生自己感覺到寫作是一個有趣且有意義的事情，引導他們學會用自己的語言去描繪生活、表達感情、書寫認知。生活和學習中，學生遇到的每一件事，都可以激起他們的寫作興趣，引起他們的寫作欲望，進而達到寫作目的。

選取100 個柑橘果實獲得600 張樣本圖像，計算其幾何特征值，每個果實取6 張圖像結果值的平均值繪制成折線圖（圖5）。由圖5可知，樣本圖像的矩形度（Re）穩定在π/4 處，說明樣本幾何形狀為類圓形。而且大部分樣本的長寬比（Ra）、面積比（Rc）趨近于1，即球形柑橘的Re→π/4、Ra→1、Rc→1，進一步說明樣本圖像為正圓形，其余的離散點說明其幾何形狀為橢圓形。可憑借樣本的Ra、Rc篩選出橢球狀、球狀以及其他形狀的柑橘。由此，即可實現柑橘幾何形狀的判定。

圖5 樣本幾何特征值

3.1.2 單果重 柑橘的單果重或果實橫徑（赤道直徑）同樣是分級的重要指標。一般采用果實二值圖像或輪廓的最小外接矩形長短軸來描述果實的橫徑，進而依據果實橫徑或投影面積建立預測模型以預估果實的質量［17］。考慮到柑橘形狀以球形或橢球形為主，采用果實二值圖像最小外接圓與最大內切圓直徑的平均值來表征其大小，再以此為基礎預測果實的體積，進而構建了柑橘果實質量預測模型，以搭建柑橘果實樣本圖像與其真實質量之間的函數關系，具體計算式如下。

式中，λ為修正系數，經試驗取λ=1.85；ρ為目標對象密度，取ρ=1.36 g/cm3；rˉ為樣本二值圖像最小外接圓與最大內切圓半徑的平均值。

選取大、中、小共100 個柑橘為試驗樣本，編號后逐一稱得其實際質量（m），再借助柑橘果實質量預測模型得到預估質量（me）。對比實際質量與預測質量（圖6）發現，該柑橘果實質量預測模型能夠適應大、中、小類果實，尤其對球形水果適應性較好，預估質量誤差范圍在±5 g 之內，滿足柑橘按大小分類的要求。

圖6 樣本實際質量與預估質量對比

3.2 色澤與成熟度

大部分柑橘在成熟過程中果皮顏色會由綠色逐漸轉變為橙黃色再到成熟期的橙紅色，該過程稱為轉色現象。圖像顏色信息對圖像本身的方向、尺寸和視角的依賴性較小，具有較強的魯棒性。可據此現象建立果實成熟度預測模型以判別果實成熟與否。傳統描述圖像顏色信息的方法主要有顏色矩、顏色直方圖、顏色相關圖、顏色集與顏色聚合向量等，其中，顏色矩能較好地反映顏色分布情況，是最常見的描述顏色信息的特征值，其計算式如下［18］。

式中，μi、σi、ζi分別為樣本圖像的一階矩、二階矩、三階矩，Pij為彩色圖像第j個像素的第i個顏色分量，N為圖像中的像素個數。

計算樣本圖像的顏色矩信息得到圖7。在RGB顏色模式下，各顏色分量矩特征值均有較明顯的分界線，但還不足以區分出樣本的成熟度。為此，根據柑橘顏色越鮮艷、成熟度越高的特點，進一步建立了計算特定顏色的占比而描述樣本成熟度的數學模型，將樣本圖像中各顏色分量的像素點中大于試驗樣本平均值的像素點設置為0。即將樣本圖像中的深色部分用黑色背景覆蓋或替換，得到樣本圖像中的淺色部分，具體計算式如下。

式中，δr、δg、δb分別為樣本圖像各顏色分量分割閾值，分別取其試驗樣本的平均值。

隨機抽取的樣本試驗效果見圖8，樣本圖像中深色部分均與背景融合，只顯現出淺色部分。樣本圖像深色部分的面積與整個樣本圖像面積的比值即可描述樣本的成熟度（ε），具體計算式如下。

圖8 樣本圖像中的淺色區域

式中，A0為樣本淺色區域二值圖像面積；A為樣本二值圖像總面積。

柑橘成熟度還反映出樣本的甜度，柑橘越成熟則表現出較高的甜度，反之則表現出低甜度或高酸度。經試驗，選擇100 個柑橘樣本計算其成熟度，結果見圖9。當ε＜10%時，說明樣本為未成熟或果皮表面存在較大瑕疵（如病斑等）；當10%≤ε＜35%時，說明樣本成熟度小于其平均值，表現出低甜度；當35%≤ε＜50%時，說明樣本成熟度較為正常，表現出中等甜度；當50%≤ε＜80%時，說明樣本成熟度較高，全部大于樣本的平均值，表現出高甜度；當ε≥80%時，說明樣本顏色過深，果皮可能產生了病變，存在較大的褐色病斑。由此，構建了由樣本顏色判斷樣本甜度的數學模型，且據此能夠區分出樣本中有較大表面缺陷的水果。

圖9 樣本成熟度

3.3 缺陷類型及識別方法

柑橘果皮常見缺陷表現為機械損傷、病斑、腐爛日灼和裂果等，這些缺陷通常表現出較大的顏色差異，是柑橘品質分級的重要指標［19］。RGB 顏色模式下，圖像容易受到亮度的影響，Otsu 分割難以得到較好的缺陷圖像。Lab 顏色模型由1 個亮度通道和2個顏色通道構成，能夠較好地消除亮度的影響。為得到較好的缺陷分割效果，將樣本圖像轉換到Lab顏色模式再運用K-means 聚類算法分割出缺陷區域。K-means 聚類算法是尋找K個聚類中心，將所有的數據分配到距離最近的聚類中心，使每個點與其相應的聚類中心距離的平方和最小，具體計算式如下［20］。

K-means 聚類分割算法流程見圖10，該算法需要人為設定聚類個數和隨機選擇初始聚類中心。試驗結果見圖11，可知，當K=3 時，柑橘樣本圖像缺陷分割效果較好，能夠滿足后續的圖像處理要求，且穩定性較好。

圖10 K-means 聚類分割算法流程

圖11 K=3 時柑橘樣本圖像缺陷分割效果

K-means 聚類分割算法在分割柑橘表面缺陷有一定優勢，但也存在將正常果圖像錯誤地分割出缺陷區域。進一步分析聚類分割結果發現，當K=3 時，聚類圖像中面積（像素個數）占比最大的區域為水果圖像中的正常區域，最小的區域則為黑色背景，而缺陷區域則始終位于較大的區域。由此，剔除聚類圖像中面積占比最大與最小的區域，即可得到圖像中可能存在的缺陷區域。計算出該區域在該水果圖像投影面積的占比（ξ），再據此進一步通過設置閾值（T）的方法判斷該區域是否為圖像缺陷，具體計算式如下。

式中，De為樣本中缺陷區域的圖像面積。

若ξ≥T，則說明該區域為非缺陷區域，可能在顏色上有一定的差異；若ξ＜T，則判定該區域為缺陷區域。試驗發現，水果綠色果梗以及果皮存在較小而不影響銷售的缺陷也會被篩選出來。為此，增加一個閾值（T0），剔除果梗圖像對判別結果的影響。即T0＜ξ＜T時，判定該區域為柑橘表面缺陷。

隨機選取一定數量帶缺陷的柑橘，將其混合在沒有缺陷的柑橘中完成編號后逐一采集圖像計算其缺陷占比，結果見圖12。經試驗，取T=20%缺陷識別效果較好，T0=2%能夠較好地篩選出果梗區域。

圖12 樣本缺陷占比

3.4 柑橘圖像自動分級標準與判別模型

柑橘品種較多，不同品種的分級標準存在差異。為了提高系統的適應性，要求系統預設多種分級標準并能根據果農實際需要實時動態調整。由此，結合果農實際需要，依據柑橘果實大小、形狀、成熟度（甜度）以及外觀品質將柑橘分為多個等級。為便于柑橘自動分級系統自動化處理，結合對樣本圖像的幾何形狀、單果重、顏色矩、成熟度、外觀缺陷等信息的分析，篩選出最能表征柑橘品質的參數構成柑橘特征向量（X）。由此，建立了樣本圖像自動分級標準（表1）。柑橘特征向量如下。

設f（x）為柑橘圖像等級判定函數，根據f（x）返回值判定柑橘等級，見式（9），柑橘等級判別過程見圖13。首先，令f（x）初始值為0，再判定X中的缺陷面積占比（ξ）是否符合缺陷果等級要求。即T0＜ξ＜T時，f（x）=－1，判定該柑橘為缺陷果；接著，將X逐一與柑橘相應等級Class_j比對。若Xi∈Class_1，f（x）=1，則判定該柑橘為一等果；依次類推，f（x）=2、f（x）=3 時，則判定柑橘分別為二等果、三等果。但是，若比對結果不屬于任何一個等級，則判定該柑橘為等外果。此時，令f（x）=－1，即將等外果歸為缺陷果。由此，即可完成基于柑橘圖像多指標融合的全自動分類。

圖13 柑橘等級判別過程

式中，Class_j為相應等級的柑橘圖像技術指標，j=1，2，3。

4 柑橘自動分級系統與裝備設計

4.1 分級系統實現

為便于觀察柑橘檢測過程，開發了UI 交互界面（圖14），以便及時了解系統狀態與發現異常分級情況。采用Microsoft Visual Studio 與MATLAB 混合編程，將MATLAB 中的圖像處理函數封裝成“.dll”文件再調用。系統標題欄顯示各類圖像操作命令；左側區域顯示圖像處理過程，以便用戶觀察系統運行狀態；右側區域為必要的參數設置與分級結果顯示區。此外，為便于用戶操作，特意設置了一鍵啟動與停止按鈕，簡化了系統操作流程。為了提高系統的適應性，以滿足不同類別與批次的柑橘分類要求，將系統分級判別關鍵指標設置為動態調整模式，用戶在正式分級前可選擇一批柑橘進行試分級以獲取自動分級關鍵技術指標，進而提高系統的適應能力。

圖14 柑橘自動分級系統界面

為進一步驗證系統的分級效果，選擇樂山沃柑為試驗對象，在當地經驗豐富的果農指導下人工分選出各類等級水果200 個，編號后逐一放進圖像采集系統中采集圖像，對其預處理后系統自動分級，最后用人工校核系統分類正確的個數（只統計該類別中分類正確的個數）計算出系統識別率（表2）。由表2 可知，系統對柑橘分級效果較好，對顏色差異較大的果皮缺陷識別效果較好（如病斑、機械損傷等），而對色澤差異較小的腐爛果識別效果稍差，但基本不影響系統的使用，系統綜合識別率大于90.0%。

表2 柑橘分級系統識別率

4.2 柑橘自動分級裝備設計

柑橘全自動分級裝備由上料架、圖像采集系統、水果傳送系統、分級執行機構與控制系統組成，見圖15。將待分級柑橘倒入上料架中會自動被分為2行，再通過傳送帶逐一將柑橘送到圖像采集裝置內，采集原始圖像并自動傳輸給分級系統完成柑橘分級，將分級結果以電信號的形式傳遞給控制系統，以控制執行機構將該柑橘引入相應等級的筐中，完成柑橘的自動分級。

圖15 柑橘全自動分級裝備

柑橘全自動分級裝備基本解決了人工分級效率低、成本高的問題，有效降低了果農的生產成本，進而增加了果農的經濟收入。同時，也為低成本、高效率、好體驗的水果全自動分級裝備研制提供了參考。

5 結論

水果分級銷售是提升果農經濟收入的重要手段，為滿足果農低成本、高效率、好體驗的全自動水果分級需要，基于圖像多指標融合的方法設計了柑橘自動分級系統。①提出了多視角圖像采集方案，避免了因未采集到水果表面缺陷而導致的分類，并且在一定程度上能夠提高系統識別率；②基于目標圖像最小外接圓與最大內切圓構建了球類水果質量預測模型，提出了基于深色區域占比的成熟度預測模型；③基于K-means 聚類算法設計了柑橘表面缺陷識別模型，為研制全自動水果分級裝備奠定了理論基礎，該系統擴展性較強，可通過調整相應參數實現色選、水果分類識別等，同時也為系統的迭代升級做好了鋪墊；④適應性強，除對柑橘有較好的識別效果外，微調相應參數即可使系統滿足硬質球類水果（獼猴桃、蘋果、梨、桃等）的分級要求，對提高果農經濟收入、促進水果產業全程機械化有一定的意義。