基于紅外與可見光圖像融合的蘋果表面缺陷檢測方法

王云鵬 司海平 宋佳珍 萬 里

(河南農業大學信息與管理科學學院，河南 鄭州 450046)

蘋果是在全球范圍內，種植面積與產量僅次于香蕉和柑桔的第三大水果。與發達國家相比，中國的蘋果產業存在品質較差、整體價格較低、出口量較小以及產品的附加值較低等問題。其原因主要是蘋果的采后分類環節不夠完善，產品采摘收集完成后，立即投放市場，導致蘋果市場中產品質量不一，市場競爭力不足。因此蘋果采摘后進行實時分類成為了一個急需解決的問題。與此同時，國內外采用計算機視覺對蘋果的尺寸、形狀、顏色等特征的自動檢測技術已較為成熟，但由于果梗、花萼與蘋果表面缺陷具有較為相似的灰度特征，因此容易導致誤判[1]。目前，傳統的蘋果分類方法主要是人工檢測。隨著圖像技術的快速發展，基于紅外熱成像、機器視覺、光譜檢測等技術開發了許多水果類無損的檢測方法[2]。如邱光應等[3]提出了一種基于決策樹支持向量機的蘋果表面缺陷檢測方法，該方法的平均準確率能達到97.7%。孟慶龍等[4]提出了一種基于高光譜成像技術結合圖像分割技術的蘋果表面缺陷識別算法，該方法對于完好無損蘋果和表面有缺陷蘋果的正確識別率分別達到了97.5%和95%。高輝等[5]提出了一種基于機器視覺的蘋果表面缺陷檢測方法，該檢測方法的識別準確率為99.1%，對于蘋果表面缺陷的識別精度較高。

基于多尺度變換的圖像融合在圖像融合領域中，一直備受關注，多尺度變換的基本思想是先將源圖像變換到多個尺度上，再按照一種或多種融合規則，分別對不同尺度上的分量圖像進行特征融合，最后把所得到的融合分量利用逆變換的方法用以得到融合結果。為解決目前檢測蘋果表面缺陷方法對于以劃傷為代表的機械損傷的檢測準確率較低的現狀，可將紅外圖像和可見光圖像進行融合，充分利用兩種圖像數據的互補優勢來獲取蘋果表面更加明顯的缺陷特征[6]。研究擬采用基于多尺度變化的紅外與可見光圖像融合算法對蘋果表面缺陷進行研究，以期實現蘋果的在線檢測與分級。

1 基于多尺度變換的圖像融合算法

采用基于多尺度變換的圖像融合算法[7]進行紅外與可見光圖像的融合工作，其算法步驟：

(1)將紅外圖像與可見光圖像的原圖像設為In，n=2，對于n>2的源圖像，其融合方法相同，文中以n={1，2}為例。

(1)

(2)

式中：

gx——水平梯度算子；

gy——垂直梯度算子；

λ——用以控制兩個項之間權衡的正參數。

1.1 基本部分

從源圖像中提取的基本部分包含了紅外圖像與可見光圖像的共同特征和冗余信息。為最大程度保留源圖像基本部分的共同特征，采用加權平均的融合策略對基本部分進行融合，由式(3)可得基本部分的融合結果Fb(x,y)。

(3)

式中：

1.2 細節部分

對于細節內容的處理，采用預訓練的VGG-19卷積神經網絡模型[9]來提取特征信息，采用多層融合策略來獲得權重圖。

(4)

式中：

Φ(·)——VGG-19神經網絡中的特征層(4層特征)；

(5)

式中：

(6)

式中：

r——自定義的區域大小。

(7)

由于初始權重圖對應不同的尺度，因此需要進行上采樣至相同尺度得到相同大小的最終權重圖，采用左上角元素填充的方式進行上采樣，上采樣率與特征深度呈指數關系。由式(8)可得到最終權重圖。

(8)

式中：

p——橫坐標上的變量；

q——豎坐標上的變量；

i——4層特征的層數。

通過將現有的4對最終權重圖與融合圖像的細節部分進行加權計算，得到對于初始的細節部分融合結果：

(9)

式中：

K——紅外與可見光源圖像的數量。

對于所得到的初始細節部分的融合結果，采用最大值策略，對圖像逐像素選最大值，得到最終的細節部分融合效果。

(10)

1.3 最終融合部分

當分別得到紅外與可見光圖像的基本部分和細節部分后，由式(11)可得到最終融合結果。

F(x,y)=Fb(x,y)+Fd(x,y)，

(11)

式中：

Fb(x,y)——基本部分的融合結果；

Fd(x,y)——細節部分的融合結果。

2 仿真試驗

2.1 試驗環境

CPU:Core(TM)i7-10750H，英特爾；GPU：GeForce RTX 2060，英偉達；操作系統：Windows 10,微軟；工作軟件：MATLAB R2021A，美國MathWorks公司；試驗中網絡的模型訓練、測試全部在NVIDIA GeForce RTX 2060中進行。

2.2 圖像獲取和預處理

由于所采集圖像的質量對其后續的處理會產生較大影響，考慮到在自然條件下，不同時間和不同天氣的環境、光照度和溫度的變化比較大，因此搭建了紅外與可見光圖像采集實驗箱，如圖1所示。

采用由深圳市大疆創新科技有限公司自主開發生產的御2行業進階版無人機所攜帶的雙光相機。該相機性能參數如表1和表2所示。

采用50 W的小燈泡對蘋果進行加熱40 s，使得蘋果表面溫度達到32.8 ℃左右與25.8 ℃的環境溫度產生明顯差距，使得紅外相機采集到明顯的蘋果輪廓。李星恕等[10]研究發現，在溫度低于60 ℃時溫度對蘋果組織細胞結構的影響很小。因此，試驗條件下溫度對正常蘋果的影響可以忽略。由于蘋果的表面缺陷部位的溫度與完好部位的溫度有所差別，因此在紅外圖像中的缺陷部位與完好部分特征較為明顯，如圖2所示。

首先對圖像進行灰度化操作，圖3(a)為對圖2進行灰度化操作，圖3(b)是對圖3(a)采用BM3D去噪算法[11]進行降噪處理后的圖像，圖3(c)是對圖3(b)進行增強處理后的圖像效果，由增強算法處理過后的紅外圖像與可見光圖像與源圖像相比，其視覺效果有了明顯的提高，圖像中的細節部分得到增強，噪聲被平滑，圖像質量有了較大的提高，蘋果表面的機械損傷部分更加明顯。圖3(d)是對圖3(c)進行圖像融合后的結果，經處理過后的融合圖像中的缺陷細節得到了增強，其他不相關特征被消除，融合圖像保留了紅外圖像的機械損傷細節和可見光圖像的花萼和花梗部分。圖3(e)是對圖3(d)進行閾值分割后，所得到的二值圖。

圖1 紅外與可見光的圖像采集平臺Figure 1 Infrared and visible light image acquisition platform

表1 紅外相機Table 1 Infrared camera

表2 可見光相機Table 2 Visible light camera

圖2 可見光蘋果圖像和紅外蘋果圖像Figure 2 Visible light apple image and infrared apple image

2.3 檢測方法

從某農貿市場采購480個蘋果，缺陷蘋果分類可以分為完好果、花萼、果梗、缺陷果，但由于花萼和果梗外形近似，因此將花萼和果梗分成一類，此外，由于花萼和果梗可能與缺陷部位出現在同一視角，因此分成一類為花萼和果梗+缺陷，最后對所采集的蘋果表面缺陷共分為4類，即完好果、缺陷果、花萼和果梗、花萼和果梗+缺陷，如圖4所示。根據上述基于多尺度變換紅外與可見光圖像融合的蘋果缺陷檢測方法，將選用的480個蘋果進行圖像處理，分成4類各120個制作成為蘋果表面缺陷的數據集。

圖3 融合圖像的處理過程Figure 3 Process of fusion image

在前期所制作的數據集上，采用卷積神經網絡模型AlexNet[12]進行蘋果表面缺陷的檢測。由于數據量過少，網絡泛化能力較差，對圖像進行水平方向隨機翻轉、水平和垂直方向隨機縮放及水平和垂直方向隨機平移等操作得到2 880張圖像數據，網絡訓練300 epoch，學習率最初熱身值為0.000 1，動量為0.9，將數據集按8∶1∶1的比例分為訓練集、驗證集和測試集。

圖4 蘋果分類結果Figure 4 Apple classification results

2.4 結果與分析

網絡訓練大約耗時24 min，在驗證集上得到97.5%的結果，測試集上得到99.0%的結果，而且單果的檢測時間不超過0.3 s。對蘋果表面缺陷的評估進行檢驗，融合圖像有著更明顯的特征，經圖像處理后的經由AlexNet模型進行分類識別，由于蘋果的機械損傷部分在紅外圖像中較為明顯，經過圖像融合和圖像處理后可得到特征明顯的二值圖，經由測試集測試后對完好果、缺陷果、花萼/果梗加缺陷進行識別的準確度可達100%。同時，對于蘋果的花萼和花萼部分在紅外圖像中并不明顯，但在可見光圖像中較為清晰，因此在經過融合后所得到的融合圖像可以明顯地顯示花萼和花梗部分，經由圖像處理所得的二值圖在CNN中檢測準確度也可以達到95.8% 的準確度。蘋果表面的各圖像類型識別精度見表3 所示。

3 結論

研究提出以基于多尺度變換的紅外與可見光圖像融合蘋果表面缺陷檢測方法，該方法分為圖像融合、圖像處理、圖像分類3個部分，基于多尺度變換的紅外與可見光圖像融合算法將可見光和紅外圖像分別分解為基本部分和細節部分，對于基本部分采用加權平均值融合規則，細節部分采用預訓練的VGG-19模型來提取特征，最終融合得到蘋果表面缺陷特征更加直觀的紅外與可見光融合圖像。之后對融合圖像進行圖像處理得到二值圖，最后采用AlexNet模型對所制作的蘋果表面缺陷數據集進行檢測。由仿真試驗表示，該方法對于蘋果缺陷檢測的效果較好，對于缺陷檢測的準確率相較于傳統的缺陷檢測方法較高，但由于所采集的紅外圖像和可見光圖像尺寸不同，因此無法直接進行融合，需要預先進行圖像配準，之后的研究將采用合適的圖像配準算法獲取可以直接融合的圖像，以提高該檢測方法的融合效果。

表3 蘋果缺陷識別精度Table 3 Apple defect recognition accuracy