基于HOG-CNN的高相似度葉片圖像識別方法

雷繼呈 楊曉濱 羅道興 上官毅祥 曾森靈

摘? 要： 依賴特征工程的傳統圖像識別技術對高度相似葉片圖像識別困難，對此提出一種融合方向梯度直方圖（HOG）與卷積神經網絡（CNN）的圖像識別方法。首先由HOG算子提取葉片圖像的局部紋理特征，然后將特征向量導入卷積神經網絡進行訓練、測試和輸出分類結果。通過組合對比試驗結果表明，該方法能夠有效提高數據的魯棒性，提高葉片圖像的平均正確識別率，比多層感知器（MLP）和支持向量機（SVM）分類器的準確率提高了12%左右，平均準確率達到85%。

關鍵詞： 方向梯度直方圖（HOG）; 卷積神經網絡（CNN）; 多層感知器（MLP）; 支持向量機（SVM）; 圖像識別

中圖分類號：TP391? ? ? ? ? 文獻標志碼：A? ? ?文章編號：1006-8228（2019）09-53-04

High similarity blade image recognition method based on HOG-CNN

Lei Jicheng， Yang Xiaobin， Luo Daoxing， Shangguan Yixiang， Zeng Senling

（Ningde Vocational and Technical College， Fuan， Fujian 355000， China）

Abstract： The traditional image recognition technology relying on feature engineering is difficult to identify highly similar blade images. In this paper， an image recognition method based on histogram of oriented gradient （HOG） and convolutional neural network （CNN） is proposed. Firstly， the local texture features of the leaf image are extracted by the HOG operator， and then the feature vector is imported into the convolutional neural network to train， test and output the classification result. The results of combined comparison experiments show that the proposed method can effectively improve the robustness of data， improve the average correct recognition rate of blade images. Compared with MLP and SVM classifiers， the accuracy is improved by about 12%， and the average accuracy rate is 85%.

Key words： histogram of oriented gradient （HOG）; convolutional neural network（CNN）; multilayer perceptron（MLP）; support vector machine（SVM）; image recognition

0 引言

植物的葉、花和果實等器官特征，常被植物學專家用來鑒別植物的重要依據。由于這些器官的特征易于觀察和提取，特別是植物的葉片器官。國內、外學者研究植物的葉片形狀、紋理和顏色等屬性，設計葉片圖像特征處理工程，采用機器學習算法，對植物葉片進行識別、分類，研究成果顯著。王曉峰等[1]提取葉片輪廓的幾何特征和Hu不變矩，采用移動中心超球分類器，對植物葉片的平均正確識別率達到92%;張善文等[2]利用等度規映射（Isomap）流形學習算法、加權主權成分分析（WPCA）和支持向量機（SVM）分類器，有效識別植物葉片;張寧等[3]提出克隆選擇法（SCA）和K近鄰法（KNN），驗證了葉片圖像識別中紋理特征的重要性;Monica G等[4]提出不同尺度的葉脈紋理分割算法，結合分類器對三種豆科植物進行分類;王斌等[5]提出了弦特征矩陣（CFM）形狀描述子，提取葉片輪廓的幾何特征;劉超等[6]利用局部二值模式（LBP）算子提取圖像局部紋理特征，結合SVM算法對手指靜脈進行識別。基于領域專家的形狀特征工程與傳統分類器的方法，具有訓練樣本少、旋轉和平移不變性等優點，但僅適用簡單背景的圖像識別，對于高度相似植物葉片的識別仍舊困難[7]。

隨著深度學習算法解決了深層結構優化問題，LeNet-5在手寫數字識別取得成功[8]，各類卷積神經網絡開始快速發展，并在圖像識別上中取得良好效果。為此，文中提出一種基于HOG描述算子與卷積神經網絡的高相似度茶樹葉片識別方法。

1 相關方法

1.1 局部二值模式（Local Binary Patterns，LBP）

LBP是一種提取圖像局部紋理信息的描述算子，具有旋轉與灰度不變性優點。其特征提取步驟：首先將圖像檢測窗口（256*256）劃分為16*16的小區域（cell），然后計算每個cell的中心像素點LBP值（見式⑴）及其統計直方圖，最后將每個cell的統計直方圖連接成一幅圖的LBP紋理特征向量。

[LBPxc，yc=i=072is（pi-pc）]? ? ? ? ⑴

其中，[xc，yc]中心像素點，[pi]是周圍像素點的灰度值，[pc]是中心像素點的灰度值，[s]是一個符號函數見式⑵。

[sx=1，? x≥00，? x<0]? ? ? ? ?⑵

1.2 方向梯度直方圖（Histogram of Oriented Gradient，HOG）

HOG是一種用梯度的方向密度來描述圖像局部特征的算子，具有幾何和光學形變的不變性。首先進行圖像灰度化預處理，然后計算各個block的cell單元中像素的梯度強度（見式⑶）與方向（見式⑷）并歸一化，連接所有block的描述算子，構建一幅圖像的HOG特征。

[Gx，y=Gxx，y2+Gyx，y2]? ? ? ?⑶

[θx，y=tan-1Gyx，yGxx，y]? ? ? ?⑷

1.3 支持向量機（Support Vector Machine，SVM）

SVM是一種對線性和非線性數據進行分類的算法，使用合適的非線性映射函數，將訓練數據映射到高維上，并搜索最佳分離超平面。根據拉格朗日公式，可將最佳分離超平面改成決策邊界，見式⑸。

[dXT=i=1nyipiXiXT+q0]? ? ? ?⑸

其中，[XT]是檢驗元組，[yi]是支持向量[Xi]的類標號，[pi]和[q0]是最優化的數值參數，n是支持向量個數。

1.4 多層感知器（Multilayer Perceptron，MLP）

MLP是由輸入層、隱藏層、輸出層及層間全連接組成的結構， 可以包含多層隱藏層。隱藏層輸出Y是輸入層向量X與連接系數[W1]的乘積加上一個偏置量[b1]的函數，見式⑹。

[Y=ReLUW1X+b1]? ? ? ? ? ? ⑹

其中，函數ReLU是非線性激活函數。輸出層是隱藏層輸出Y的softmax函數分類，見式⑺。

[fx=GW2Y+b2]? ? ? ? ? ?⑺

其中，函數G是softmax函數，[W2]和[b2]是輸出層與隱藏層的連接系數和偏置量。

1.5 HOG與卷積神經網絡（Convolutional Neural Network，CNN）算法

通過方向梯度直方圖（HOG）提取圖像局部特征，作為卷積神經網絡的輸入層，再次由卷積層進行特征提取，最后由softmax函數分類輸出，算法如圖1所示。

2 試驗數據及分析

2.1 數據集描述

從寧德職業技術學院茶樹葉片數據集中，任選八類茶樹葉片樣本，每類50幅共400幅葉片圖像，樣本效果如圖2所示。從樣本數據集隨機選擇70%樣本為訓練集，剩余的30%為測試集。

2.2 試驗數據

特征描述算子參數設置，局部二值模式（LBP）的半徑設置為24、點數設置為8，方向梯度直方圖（HOG）的方向梯度設為9、每塊cell單元數為2*2、每個cell單元像素為8*8。分類器參數設置，支持向量機（SVM）使用線性核函數、錯誤項的懲罰系數為100、偽隨機數發生器種子設置為42，多層感知器（MLP）的隱藏層設置（50，30）、使用lbfgs優化器。卷積神經網絡（CNN）由1個輸入層（256*256）、4組特征提取層和1個全連接層堆疊而成，特征提取層是一個批量歸一化層、ReLU激活函數、最大池化層和卷積層的連接結構。

組合2種特征描述算子（LBP與HOG）、2種分類器（SVM與MLP），對比基于卷積神經網絡模型試驗，試驗數據表1所示，各類召回率與精準率如表2和表3所示。

2.3 數據分析

2.3.1 描述算子對圖像識別的影響

由表1中試驗1-4對比可知，局部二值模式（LBP）略優于方向梯度直方圖描述算子（HOG）。LBP與HOG算子都能很好提取圖像局部紋理特征，且對旋轉、平衡的不變性，可抑制光照的影響，但HOG特征描述子冗長，對噪點相當敏感。

由表2的召回率和表3的精準率，可以計算平均F度量值（精度和召回率的調和均值）評價各種模型，如表4所示，HOG+CNN模型優于其它的模型。

2.3.2 HOG與CNN算法對圖像識別的影響

HOG+CNN算法能夠有效提高茶樹葉片的識別率，優于獨立的CNN模式，損失值與準確率數據分析如圖3所示。

由圖3可知，CNN模式收斂速度比HOG+CNN模式更快，但兩種模式都能夠快速收斂。CNN模式快速收斂時，準確率快速趨于飽和，這是因為樣本較少，訓練時容易出現過擬合現象。HOG+CNN模式，在訓練中期出現了微小波動，這是因為HOG算子提取特征能夠有效提高數據魯棒性，一定程度上減輕了過擬合，試驗效果要比單獨CNN模式好。

3 結論

針對茶樹葉片圖像高度相似特點，提出一種融合HOG與卷積神經網絡的圖像識別方法。首先通過方向梯度直方圖（HOG）提取葉片圖像的淺層特征，克服圖像的旋轉、平移和光照的影響，增加數據的魯棒性和圖像特征降維;然后將HOG描述算子提取的局部特征導入卷積神經網絡模型進行深層特征提取，由softmax函數分類輸出。該方法有效提高了高相似葉片圖像識別的準確率，比較支持向量機和多層感知器分類器的平均準確率提高了12%左右，提高了數據的魯棒性。但是，在樣本訓練中后期，依然存在數據過擬合現象和圖像正確識別率無法提升問題。今后應該從數據增強技術方面深入研究，以提高樣本數據的魯棒性和泛化能力，從而提高圖像的準確率。

參考文獻（References）：

[1] 王曉峰，黃德雙，杜吉祥等.葉片圖像特征提取與識別技術的研究[J].計算機工程與應用，2006.42（3）：190-193

[2] 張善文，黃德雙.一種魯棒的監督流形學習算法及其在植物葉片分類中的應用[J].模式識別與人工智能，2010.23（6）： 836-841

[3] 張寧，劉文萍.基于克隆選擇算法和K近鄰的植物葉片識別方法[J].計算機應用，2013.33（7）：2009-2013

[4] Monica G. Larese，Ariel E. Baya，Roque M. Craviotto， et al.Multiscale recognition of legume varieties based on leaf venation images[J].Expert Systems with Application， 2014.41（10）：4638-4647

[5] 王斌，陳良宵，葉夢婕.弦特征矩陣：一種有效的用于植物葉片圖像分類和檢索的形狀描述子[J].計算機學報，2017.40（11）： 2559-2574

[6] 劉超，王容川，許曉偉等.基于改進LBP的手指靜脈識別算法[J].計算機仿真，2019.36（1）：381-386

[7] 曹鳳蓮.基于深度學習的植物葉片識別方法研究[D].重慶：重慶大學，2017.

[8] P.Haffner，L.Bottou，Y.Bengio，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998.86（11）：2278-2324