基于圖像處理的番茄表面高光去除方法

阮子行，黃 勇，王 夢，史 強，張金玲

（1.新疆工程學院機電工程學院 烏魯木齊 830023；2.新疆農業大學機電工程學院 烏魯木齊 830052）

新疆一直被稱為水果之鄉，種植的番茄等水果具有獨特的天然優勢：晝夜溫差大并且晝長夜短，雨水較少，十分有利于番茄生長與抵抗病蟲害。獨特的環境氣候為大規模番茄種植、加工創造了有利的條件，番茄加工產業也是新疆獨特的“風景”[1]。由于現代機械自動化設備的快速發展，圖像處理技術早已應用在水果種植、采摘、加工等一系列過程中。將圖像處理技術應用在水果質量分揀過程中[2-4]，代替傳統的人工方式，可以更好地解放生產力，降低生產成本，并且避免人工長時間工作導致分揀質量不一致而影響產品質量的情況。圖像采集過程中，圖像質量與環境有著密切的關系，特別是環境光照成為影響機器視覺應用成功的關鍵因素之一。

在生活中，由于環境光照不均勻，會使得番茄表面出現塊狀高光亮斑，高光會一定程度地掩蓋物體本身的顏色、紋理等視覺特征，可能會導致算法將高光的區域誤判成缺陷或其他特征，降低圖像識別、目標檢測以及場景判斷的精確度和魯棒性，給后期處理帶來無法忽視的阻礙。鄭利華等[5]在HSV空間修正高光區域，通過多項式修正V 值，直方圖修正H 值，低于閾值的S 分量在動態范圍內壓縮，從而實現高光區域的消除，這是一種比較簡單常用的修正方式，效果也十分明顯。Yang 等[6]通過采集多視角的圖像，利用多張圖像合成的方式去除引起高光的鏡面反射分量。Feng 等[7]提出了一種基于固有分解和二色反射模型將不飽和像素與色散聯系起來的無監督k-means 聚類方法來恢復不飽和高光。同時，設計了一種自適應方向方法以及高斯概率分布模型來恢復飽和高光。王祎璠等[8]通過顯著性模型，檢測物體上的高光區域，利用改進算法將高光圖像的鄰域和邊緣像素信息，對檢測出的高光區域進行修復。

筆者提出一種結合圖像分割、圖像濾波和圖像融合的高光去除方法。設計思路為首先分析高光特性，選擇合適的顏色空間提取番茄表面高光區域，其次使用圖像均值濾波的方式處理高光區域，最后將處理后的高光區域和原圖像中非高光區域進行圖像融合，研究結果可為番茄的檢測、識別相關算法提供一定的技術支持。

1 材料與方法

1.1 高光提取

1.1.1 高光性質 根據雙色反射模型[9]，反射分為兩類，一類是為漫反射，如圖1 中左圖所示，當光線照射到不平整的物體表面時，光線會向著各個方向發射，光線均勻分散，不會出現局部光線過于強烈。另一類則是鏡面反射，如圖1 中右圖所示，當光線照射到平整的表面時，光線朝著一個方向傳播，就會一定程度導致光線過于強烈，出現高強度白色亮斑，稱之為高光。

圖1 漫反射（左）和鏡面反射（右）

1.1.2 試驗環境 筆者試驗所用的所有番茄樣本均采集于新疆烏魯木齊番茄市場，品種為里格爾87-5 和石番15 號，采用一加8 手機完全隨機采集3張番茄圖片并進行3 次重復試驗求平均值。試驗時間為2021 年7－9 月，試驗地點為新疆工程學院實驗室。所用試驗環境如下：電腦操作系統為64位Win10 家庭版，圖像處理軟件平臺采用Matlab2020a，圖像分析軟件采用Image-Pro Plus6.0，采用三星16 G 內存、三星512 G 固態硬盤。

1.1.3 顏色空間選擇 顏色空間的選擇對精準分割出番茄表面的高光區域至關重要。圖2 中番茄表面出現的白色斑點則為高光亮斑。

圖2 番茄高光圖片展示

根據統計發現白色亮斑處亮度值高或飽和度低。選擇在RGB、HSV、HSI、YIQ 等常見顏色空間進行特征獲取，在RGB、HSV、HSI、YIQ 的顏色空間中，RGB 空間中圖像亮度信息是由R、G、B 值三者共同決定的，光線亮度變化對R、G、B 3 個值影響是顯著的[5]，無法將亮度信息從RGB 模型中單獨分離出來，所以在RGB 模型空間中完成高光去除，其算法的魯棒性也較差。

在HSV 空間、HSI 空間、YIQ 空間中，亮度參數獨立于顏色特征，在HSV 空間、HSI 空間中，顏色主要由色調參數H 決定，YIQ 空間中顏色由I（色彩從橙色到青色）、Q（色彩從紫色到黃綠色）參數共同決定。HSV 空間的飽和度S 和明度V，HSI 空間的飽和度S 和亮度I，以及YIQ 空間的亮度Y 分量都將決定亮度特征[10-11]。故將以上3 個空間作為高亮區提取的待選空間。在圖2 中截取局部高光區域，分析番茄表面高光與非高光區域的參數區別，選擇與高光更相近的青番茄果實區域為背景，更便于發現高光區域與背景的特征參數區別。

根據Image-pro plus 6.0 軟件獲得高亮區與背景在各個空間參數。由圖3 可以看出，在HSI 空間的飽和度S 和亮度I，HSV 空間的飽和度S 和明度V 以及YIQ 空間的Y 值在高光區與非高光區均有明顯的幅度變化，說明通過這些變量分割高光區與非高光區存在可行性。

圖3 番茄高光區各空間分量值分布

根據軟件統計可以得到圖2 中番茄的高亮區數據范圍，得到相對應的閾值，在HSV 空間中的V值分布在200～255，S 值分布在0～165，HSI 空間I值分布在165～255，S 值分布在0～165，YIQ 空間中的Y 值分布在195～255，通過3 個空間相關分量的閾值范圍將高光區分割出來。

使用分割函數將區域分割出，函數模型定義為：

式中T為各空間最優閾值。

在這3 個不同的空間中進行試驗，試驗結果見圖4。通過3 個空間中的分量的閾值范圍，將高光區分割出來，圖像高光區被分割出后，高光區以亮度值0 賦予，此刻高光區域顯示為黑色，非高光區保持番茄原來的樣貌。如圖4 所示，高光區是一個非規則的區域。通過YIQ 空間中的Y 分量分割，很多高光區并未分割出來，而青果上出現部分過度分割的現象，整體效果不如HSV 空間和HSI 空間的雙閾值分割的效果。HSV 空間和HSI 空間進行分割的效果對比中，HSV 空間將更多的細微的高光區域分割出來，視覺效果相對更好。

圖4 番茄高光區對應HSV、HSI 和YIQ 空間處理效果

分別統計YIQ、HSI 和HSV 3 個空間分割出的高光區像素數目與手工標記出的像素數目并進行對比，取圖2（像素數4000×3008）得到對應統計數據（表1）。

表1 不同空間效果對比

通過MATLAB 計算出不同空間分割方法的像素數占比，由表1 可見，相對YIQ 空間和HSI 空間，在HSV 空間的錯檢率分別下降0.13%和0.01%，漏檢率也分別下降0.25% 和0.11%，高光像素的錯檢率和漏檢率都相對較低，說明選擇在HSV 空間分離高光分量的精確度更高。

1.2 高光去除

番茄外形主要為類似橢圓的形狀，凸起的弧面使得表面高光區域主要分布在相對靠近形狀的中心位置，且呈現狹長的形狀分布。由于一般圖像都具有局部連續性，這些都為均值濾波實現高光消除提供了前提。

如果把一個二維的數字圖像當作一個二維函數f（x，y），函數中x值和y值便是每個像素所在的空間位置坐標，故稱為空間域。在此空間實行的濾波稱之為空間域濾波。濾波的過程就是模板中心點在圖像f（x，y）中依次移動，當模板中心點與圖像f（x，y）的像素點（x，y）重合時，濾波器在此處進行數學邏輯計算[12]，計算邏輯是根據模板中的內容，通過事先給定的函數關系R進行計算[13]，當模板采用3×3 的模板W時公式如下：

根據高光區的像素值由臨近非高光區像素值代替，實現高光消除為思路，為此采用均值模板進行掩膜濾波。均值模板要求參與決定新像素g（x，y）的所有領域的像素值的權重均為1，則在領域中每個像素的貢獻值都相同，即要保證整個模板系數相同并且系數和為1，故在計算后需要除以參與計算的像素數目[14]，使得新圖像的灰度值與原來圖像保持一致，這里采用一個（2K+1）×（2K+1）的正方形模板SE，模板公式如下：

其中，2K+1 表示濾波核的大小，K為正整數。

設定模板SE大小時，模板過小，會出現高光像素周圍不存在非高光像素的情況，則無法進行有效的全部消除高光；模板過大就會造成不必要的像素模糊。為了避免出現以上2 種情況，保證圖片的整體質量，需要使得模板SE掩蓋在高光區時，模板僅存在較少的像素在非高光區，進行高光消除的同時圖像的模糊程度得到控制。

通過圖5 可見，均值模板濾波后的圖像與原圖像進行對比可以發現高光區域已經被周圍非高光區填補，但是整個圖片高頻細節也隨之消失，使得整幅圖模糊不清。

圖5 均值濾波效果

1.3 融合算法

平均模板濾波也是一種減少和抑制噪聲的數字圖像處理手段，整幅圖進行濾波后會造成非高光區域的高頻率細節信息特征丟失，使得整體模糊不清。所以將圖片進行濾波，高光區域填補后，再次分割出高光區域如圖6-A 所示，該區域由周圍像素填充。濾波填充后高亮區域A 圖與原非高亮區域B 圖進行疊加融合，綜合2 幅輸入圖像的信息，與融合前的2 幅圖像相比，獲得更高質量的輸出圖像，得到一張去除高光且保留非高光細節的圖像，如圖6-C 圖所示。

圖6 番茄高光區融合

2 結果與分析

2.1 高光消除的定性與定量分析

通過高光提取、高光消除和圖像融合實現番茄表面的高光消除。并以此方法進行3 組示例試驗，對比表面高光消除前后的效果，如圖7 所示。

圖7 中3 個示例中高光消除前后對比，可以看到通過該方法高光區域得到了明顯的去除，定性表明該方法在番茄表面具有較好的去除高光效果。圖8 依次為圖7 中的灰度值結果，可以看出，圖8-A即示例1 中處理前灰度值在210～250 之間的像素、圖8-B 即示例2 中處理前灰度值在180～250 之間的像素和圖8-C 即示例3 中處理前灰度值在170～250 之間的像素值在處理后均已消失。此范圍也就是高光區域所在范圍，由此可以定量證實該方法去除高光的可行性。

圖8 高光處理前后灰度值對比

2.2 圖片品質分析

前兩組試驗是對多個番茄重疊集中的圖片進行分析，高光區呈現的形狀主要是零散的狹長光斑，高亮區相對不明顯。采用該試驗方法對單顆番茄進行試驗，結果如圖7-C 即示例3 所示，效果依舊明顯，番茄高亮區呈圓形，且高亮區數目較少但占整個番茄比重較大，目標背景存在枝葉的情況復雜。由處理前后的圖片對比可以看出高光區域被很好地消除，灰度直方圖也顯示高光區域被去除，說明該方法在此類情況下效果依舊較好。為進一步評價高光去除后的圖像品質，在其中引入了峰值信噪比（PSNR）和結構相似性（SSIM）2 種全參考的圖像品質評估指標。

峰值信噪比由于便于計算和理解被普遍使用，單位為dB。結構相似性主要從圖像的亮度、對比度、像素結構3 個角度來對比2 幅圖像的相似程度。筆者試驗中的3 幅圖的峰值信噪比值（PSNR）和結構相似性（SSIM）統計結果如表2 所示。

表2 質量評價指標數據

筆者的算法與其他算法的峰值信噪比值（PSNR）和結構相似性（SSIM）對比結果如表3 所示。與參考文獻7 中的方法相比，筆者的算法對應的峰值信噪比（PSNR）和結構相似性（SSIM）兩個指標相對參考文獻7 中方法有大幅度提高，可見筆者的方法在視覺上和圖像質量數據分析上均具有良好的有效性。

表3 質量評價指標數據對比

3 討論與結論

目前對番茄表面的高光消除的研究并不多，筆者提出一種基于顏色空間的番茄表面高光消除方法，該方法利用HSV 空間的S 和V 分量進行高光區域分割，利用均值濾波去除高光，并試驗證明該方法的可行性。鄭利華等[5]、王中任等[15]均通過在顏色空間進行直方圖均衡化和多項式調校，實現高光區域的消除，其優勢是方法簡單效果明顯，但是控制的變量較多。Yang 等[6]通過多視角圖像合成的方式去除高光分量，在實際情況下多視角圖片通常不易采集。

李明悅[16]將高光稀疏性與帶有稀疏性約束的非負矩陣分解問題相結合，從而實現高光消除。Feng等[7]提出了一種基于固有分解和二色反射模型將不飽和像素與色散聯系起來的無監督k-means 聚類方法。兩者均將高光問題轉為數學模型求解高光分量實現高光的消除，該方法相對較為復雜，不方便操作。王祎璠等[8]通過顯著性模型，對檢測出的高光區域進行修復。筆者的方法對顏色空間的閾值進行分割，不影響非高光區的信息特征，僅針對高光區域進行處理，對圖片整體信息影響較小。筆者的研究針對番茄表面高光的消除方法，相比其他方法更加簡單方便且實時性更強，但是當出現大面積高光時存在高光中心區域的像素值偏差較大的問題。該方法在單個番茄和多個番茄聚集高光面積較小的情況下都有較好的去高光效果，在番茄識別檢測領域具有一定的應用前景。