基于Gabor及深度神經網絡的葡萄種子分類

楊旺功，淮永建*，張福泉

(1.北京林業大學信息學院 北京 海淀區 100083；2.北京理工大學計算機學院 北京 海淀區 100081)

隨著國內經濟的快速發展，社會消費能力和檔次也不斷提升。在我國，葡萄酒逐漸成為了一種高價值的天然飲品，具有抗氧化功效。我國的葡萄酒釀造產業已經具有較大的經濟產值和社會效益[1]。如何獲得優質葡萄酒的相關因素之一是準確判定葡萄的收獲時間[2]。

傳統上，酚類成熟度估算由專家(釀酒師)通過樣品的感官檢查或通過實驗室化學分析來完成。但是這種方法對人類專家的經驗和專業素養要求較高，導致工作效率較低，且準確率無法得到保證[3-4]。最近，研究人員提出通過機器視覺技術來識別種子品種和品質的方法[5-6]。文獻[7]將計算機圖像識別技術在小麥種子精選中進行了應用。文獻[8]提出了基于脈沖耦合神經網絡的粘連玉米種子圖像分割方法，運用直方圖均衡化和布特沃斯低通濾波器進行頻域增強預處理，結合脈沖耦合神經網絡實現高精確度的種子圖像分割。傳統圖像目標識別任務中，目標特征的提取是十分重要的過程，其中比較常用的方法為主成分分析(principal component analysis,PCA)和小波分析。文獻[9]提出了一種基于PCA及競爭性神經網絡的番茄種子品種識別方法，能夠以90.5%的準確率完成5個品種的分類識別。而隨著小波分析理論的發展，Harr小波、樣條小波、Gabor小波等也得到廣泛應用，基于Gabor小波提取特征的方法具有明顯的頻率特性和方向選擇性，能夠捕捉邊緣敏感局部結構信息，并且光照變化和對比度變化具有較好的魯棒性。文獻[10]提出了基于Gabor小波和交叉協方差降維的人臉識別方法。文獻[11]提出了基于Gabor特征與卷積神經網絡的人體輪廓提取方法。從文獻[10-11]的研究結果可以看出，Gabor小波在圖像特征提取方面具有一定的優勢，更有利于提升分類的準確率。現階段，作為較先進的機器學習方法，深度學習模型在圖像處理領域表現出色，具有強大的特征提取能力。因此，文獻[12]提出了一種結合小波變換與深度網絡的圖像超分辨率方法。上述方法中，文獻[9]的基于PCA特征提取的種子識別分類方法的準確率仍不夠理想，存在一定的提升空間。文獻[11]的傳統Gabor小波變換方法，在選取的尺度和方向過多時，計算復雜度過大。因此，借鑒文獻[12]的研究思路，本文用Gabor小波特征提取替換傳統的小波變換，并結合深度神經網絡，來實現具體的葡萄種子分類任務。從文獻[10-11]的研究結果可以看出，Gabor小波在圖像特征提取方面具有一定的優勢，更有利于提升分類的準確率。現階段，作為較先進的機器學習方法，深度學習模型在圖像處理領域表現出十分出色的性能，具有強大的特征提取能力。因此，文獻[12]提出了一種結合小波變換與深度網絡的圖像超分辨率方法。

1 圖像預處理

葡萄種子圖像的預處理是識別過程中必不可缺的操作，種子圖像具有各種問題，如陰影、高光和種子像素與陰影之間的低對比度。因此，需要消除光照、背景等與種子目標識別無關的因素，以便為后續特征提取提供最佳條件，從而提高特征抽取、識別的可靠性。

1.1 尺度歸一化

首先對輸入目標圖像進行尺度歸一化，保證所有樣本大小相同。計算圖像的協方差矩陣M為：

式中，μij表示i+j階聯合中心矩。利用M的特征向量旋轉坐標系，設M的特征值為 λ1和 λ2，特征向量的計算方式為[13]：

那么，e1=[e1x,e1y]T和e2=[e2x,e2y]T分別為 λ1和λ2對應的特征向量，可以得出旋轉矩陣[14]為：

設特征向量彼此正交，即e1xe1y+e2xe2y=0，從而確保M為實對稱矩陣，則旋轉變換后的圖像坐標為：

最終得到一個與坐標無關的標準化圖像坐標為：

1.2 灰度歸一化

對尺度歸一化的圖像進行直方圖均衡化來實現圖像的灰度歸一化，從而增強圖像之間的對比度，加大圖像的動態范圍，改善圖像的質量。

假設數字圖像的像素總和為N，灰度級總數為L，nk是在圖像中出現第k級灰度的次數，圖像中灰度級為rk的像素出現的概率為[15]：

變換操作可表示為[16]：

式中，s表示被變換圖像的單個灰度；r表示被變換后圖像的單個灰度。

在取值區間內EN(r)是單調增加的，因此均衡化的變換函數為：

均衡化前后葡萄種的子圖像如圖1所示。

均衡化前后葡萄種子的直方圖如圖2所示。

1.3 目標分割

在直方圖均衡化之后，采用背景差分法[17]將當前興趣目標與背景圖像分割，設背景模型為Bx,y：

式中，Ix,y(k)表示第k幀目標圖像；n為確定的幀數，分割后目標區域Q為：

式中，fk(x,y)表示第k幀輸入圖像。式中背景表示小于閥值T時分割后的區域劃分為背景區域并設置為0。一個葡萄種子的目標分割示例如圖3所示，圖3b為分割產生的二值圖像。從圖中可以看出，采用背景差分法可以有效的將直方圖均衡化之后的葡萄種子興趣目標，從輸入圖片背景中較為完整的分割出來，以便為后續的Gabor小波特征提取做準備。

2 基于改進Gabor小波變換的圖像特征提取

2.1 問題表述

圖像中局部不規則、宏觀有規律的特性稱為紋理，Gabor小波特征提取的目標就是紋理特性分析。設圖像的二維頻譜函數為S(r,θ)，r表示頻率，θ表示方向，兩者的一維函數定義為：

式中，R表示以原點為中心的圓的半徑。現階段廣泛采用的方法是通過多通道濾波器提取圖像局部的紋理頻譜能量特征信息。

2.2 二維Gabor小波濾波器的構成

二維Gabor小波是較為典型的圖像多分辨率分析方法，其函數能夠同時在空域和頻域中取得最優分辨率。二維Gabor小波核函數的定義為[18]：

式中，ku,v表示濾波器中心頻率；u表示方向因子；σ表示與小波的頻率帶寬有關的常數；v表示尺度因子；z為給定位置(x,y)的圖形坐標。可以看出式(14)表示參數u和v變化的函數，σ為Gabor濾波器的帶寬，決定了高斯窗寬與波長之比：

式中，φ為倍頻程表示的半峰帶寬； σ一般設置為2π。

Gabor小波濾波器可以分為實部和虛部[19]：

其中實部為：

虛部為：

幅值為：

濾波器的中心頻率ku,v控制著振蕩部分的波長、方向以及高斯窗口的寬度：

式中，kmax表示Gabor濾波器最大中心頻率，一般取值為 π /2；fv表示頻域內該濾波器的空間因子；θu表示Gabor濾波器的方向選擇性。

2.3 改進的Gabor小波特征提取算法

二維Gabor小波實質是通過選擇不同的kv、θu就會得到不同的Gabor濾波器，也就是通過尺度伸縮和旋轉產生多個濾波器組。但當選取的尺度和方向過多時，會造成大量的冗余，導致復雜度急劇增加。因此在采樣區間 θu∈[0,π]內，選取了5個尺度和8個方向的Gabor濾波器組，可表示為：

二維Gabor濾波器組的實部和虛部如圖4所示。

參數kv和 θu的取值為：

Gabor濾波器組中的每一個Gabor濾波器可以從不同尺度和方向上，反映不同頻率范圍內的局部特征。

圖像經過Gabor小波變換后，同一尺度不同方向上的8張圖含有較多冗余信息，導致特征維數成倍數的增加，產生了十分嚴重的‘數據災難’，在增加計算復雜度的同時也在一定程度上影響了實際應用最終的識別率。因此，對同一尺度不同方向的Gabor小波特征幅值進行編碼融合，設圖像的原始Gabor特征表示為 {Gu,v(z)|u=0,1,···,7,v=0,1,···,4}，融合編碼后的圖像表示為 {Rv(z)|v=0,1,···,4}。首先求得同一個尺度8個方向的Gabor特征幅值的均值為：

然后，利用 av gv為閾值對每個Gabor特征幅值進行二值化變換，并給每位二進制碼s(x)賦予一個權值2p，得到表示融合特征的十進制編碼值Rv(z)∈[0,255]。

最后，采用類似旋轉不變LBP的方法進行映射，結合分塊直方圖統計，在不減少圖像紋理特征信息以便進行多尺度分析的前提下，有效地降低了特征維數。

3 Gabor小波與深度神經網絡結合的葡萄種子分類識別

3.1 深度卷積神經網絡的構建和訓練

本文構建的深度卷積神經網絡結構主要是由輸入層、卷積層、激活函數、池化層、全連接層和輸出層組成，如圖5所示。

設輸入的葡萄種子圖像I(i,j)，以每個像素點(i,j)作為中心，提取大小為Npatch×Npatch的圖像塊，深度卷積神經網絡中可訓練的參數表示為網絡中的原始輸入為矩陣X，那么網絡的公式表示為[20]：

式中，k表示該層網絡所處的層數；表示第k卷積層包含的可訓練的權值矩陣；f表示激勵函數；pool表示池化函數表示第k卷積層包含的可訓練的偏差。

卷積網絡的訓練采用的是BP算法[21]，輸出層L的權值WL的偏導數為：

式中，e(y)為類別標簽；f′(·)為激勵函數的導數。

輸出層偏置的偏導數：

3.2 算法步驟

Gabor小波與深度神經網絡結合的葡萄種子分類識別的具體實驗步驟，如圖6所示。

4 實驗及結果分析

4.1 實驗環境與分類識別結果

本文采用了一組由專家(釀酒師)挑選出來的5 000個種子樣本進行了實驗測試，該組種子包括兩個類別(未成熟和成熟)的樣本。實驗硬件環境為：Windows 7 操作系統，Intel(R) Core(TM) i5 CPU，4 GB RAM，500 G 硬 盤。實驗軟 件 環境為：MATLAB R2016a。葡萄種子圖像的大小為480×560。輸入圖形塊的大小Npatch×Npatch設置為5×5，卷積層的節點的數目n設置為10。如圖5所示，網絡的層數k為5。

本文提出Gabor特征融合+深度神經網絡的葡萄種子的分類識別結果，如圖7所示。圖7a和圖7b為分類為不成熟結果的兩個葡萄種子，圖7c和圖7d是分類為成熟結果的兩個葡萄種子，可以看出，提出的方法能夠完成自動化的葡萄種子成熟度分類任務，驗證了其可行性和有效性。

4.2 參數影響分析

首先對圖像樣本預處理過程的可靠性進行分析，種子圖像尺度、灰度歸一化和目標分割處理前后的實驗結果如表1所示。從表1可以看出，無歸一化且無目標分割預處理時，種子的識別率最低，在歸一化后識別率或者歸一化后的識別率有所提升，而同時完成歸一化且分割的識別率最高，說明采用圖像預處理技術是有效的，有利于提升最終的甄別準確率。

表1 有無圖像預處理的識別實驗結果對比

針對網絡結構中卷積層節點個數和輸入圖像塊大小不同的情況，對圖像分類的精度結果進行了分析。其中，實驗中所有網絡的層數k均為5，深度網絡結構如圖5所示。當輸入圖像塊大小Npatch×Npatch=7×7不變，隨著訓練次數的增加，不同卷積層的節點個數n對應的識別率曲線如圖8所示。可以看出，隨著卷積層中節點數目的增加，種子的最終分類精度也不斷提升。但是，當卷積層節點數目超過20后，種子識別率不再提升并出現波動，同時卷積層節點數目的增加會顯著提高網絡訓練中的計算復雜度，因此最佳的卷積層節點的個數n為20。

當卷積層節點的個數n=10不變，隨著訓練次數的增加，不同輸入圖像塊大小Npatch對應的識別率曲線如圖9所示。同樣可以看出，當輸入圖像塊大小Npatch×Npatch=9×9時種子分類識別率曲線達到峰值后開始下降，最佳大小為9。這是因為隨著輸入圖像塊尺寸的增加，圖像塊中包含的圖像信息越多就越有利于分析更加細節的紋理特征，但當圖像塊數量太多時，不完美背景分割導致的陰影和亮度干擾也會增多，從而混淆特征提取進而影響最終的分類判決。此外，綜合分析圖8和圖9可以看出，識別率隨著網絡訓練次數的增加而不斷增大，但在網絡訓練次數達到120時，分類識別率不再隨著其增加而明顯提高，因此，綜合以上分析可知，葡萄種子分類識別測試建議的卷積層節點的個數n為20，輸入圖像塊大小Npatch×Npatch為9×9，網絡訓練次數為120。

4.3 算法性能對比

為進一步驗證提出Gabor特征融合+深度神經網絡分類算法的性能，將文獻[9]的PCA+競爭性神經網絡、文獻[10]的PCA+交叉協方差降維、文獻[22]的LBP+SVM、文獻[23]的Gabor+PCA+SVM和文獻[11]的Gabor+卷積神經網絡進行了對比，識別率取10次實驗的平均值，結果如圖10所示。本文Gabor特征融合+深度神經網絡算法的實驗參數與4.2節分析結果一致，即最佳性能參數。不同算法性能比較結果如表2所示。

從表2可以看出，本文Gabor特征融合+深度神經網絡算法明顯降低了特征維數，且具有最高的分類識別率，達到83.29%。此外，相比于其他基于Gabor小波特征提取的方法，本文算法還具備較好的時間性能。

表2 不同算法性能比較

5 結 束 語

本文提出了一種基于Gabor小波特征提取及深度神經網絡的圖像分類算法，有效解決了實現高效的、準確的葡萄種子成熟度分類識別問題。該方法包括三個階段：分割、特征提取和分類。首先利用背景差分法進行圖像的分割預處理；然后通過改進的Gabor小波特征提取；最后將深度卷積神經網絡和提取到的紋理特征信息相結合進行分類。葡萄種子圖像成熟度分類實驗結果表明，相比于其他類似分類算法，本文提出的算法具有更高的分類精度，且有效降低了特征維數，減少了Gabor小波特征提取時間。但是，本文算法仍舊存在模型的訓練時間偏長且Gabor小波特征提取時間不夠理想的問題，因此后續將考慮利用GPU來實現深度學習模型訓練，并對Gabor特征編碼做進一步改進。