基于主梯度編碼局部二進制模式的花粉圖像識別

謝永華，韓麗萍

(1.南京信息工程大學計算機與軟件學院，南京210044; 2.江蘇省網絡監控中心(南京信息工程大學)，南京210044)

(*通信作者電子郵箱hanliping93@163.com)

0 引言

花粉顆粒分類識別在植物育種、過敏花粉指數預報、藥物研制以及古氣候重建［1］等領域具有非常廣泛的應用前景。目前花粉鑒別主要是借助于顯微鏡的人工目視鑒別［2］，需要操作者具有豐富的孢粉學專業知識，鑒別過程耗時費力［3］，且鑒定結果易受主觀影響，準確度普遍不高。鑒于顯微鏡下的花粉圖像具有跟普通圖像類似的輪廓、紋理以及結構特征，利用計算機對花粉圖像進行特征提取和自動分類已經成為花粉鑒別的有效手段［4］。

自從Stillman等［5］建議在孢粉學中使用算法來對花粉進行分類識別以來，越來越多的花粉圖像特征提取和識別算法被提出，其中紋理作為一種有效的花粉圖像特征，得到了廣泛研究和關注。例如，Kong等［6］使用字典學習和稀疏編碼(Dictionary Learning and Sparse Coding，DLSC)來提取花粉粒的紋理和形狀特征，獲得了86.13%的識別率，該方法選取訓練圖像的樣本塊構建字典，然后通過空間感知稀疏編碼對測試圖像的樣本塊進行快速匹配從而實現對測試圖像的分類，該方法的識別率很大程度上取決于樣本塊的選取以及所選樣本塊的數量。Guru等［7］提出了一種基于表面紋理的花粉圖像分類模型，使用Gabor小波、局部二進制模式(Local Binary Pattern，LBP)、灰度共生矩陣 (Gray-Level Co-occurrence Matrix，GLCM)和灰度差分矩陣(Gray-Level Difference Matrix，GLDM)提取花粉的紋理特征，并將這些特征組合用于花粉識別——GLGG(Combined Gabor-LBP-GLCM-GLDM)，識別率達到了91.66%，但該方法的組合特征維數較高，識別率受圖像質量變換影響較大。Marcos等［8］將灰度共生矩陣(GLCM)、Log-Gabor濾波器(Log-Gabor Filter，LGF)、局部二進制模式(LBP)和離散正交矩(Discrete Tchebichef Moment，DTM)相結合GLLD(Combined GLCM-LGF-LBP-DTM)來提取花粉圖像的紋理特征，獲得了94.83%的識別率，但該融合紋理特征中包含了大量的冗余信息，計算復雜度高。Daood等［9］將花粉圖像分解到多個特征層MLFD(Multi-Layer Feature Decomposition)，分別提取每層的紋理特征和幾何特征，獲得了86.94%的識別率，但該方法對花粉圖像旋轉的魯棒性不強。

局部二進制模式作為一種有效的紋理特征提取方法，近年來得到了不斷的發展和演化。Zhang等［10］提出了基于多像素塊的局部二進制模式(Multi-Block Local Binary Pattern，MBLBP)，該方法對圖像進行局部平滑來提取LBP紋理特征，增強了特征對噪聲的魯棒性，但對圖像進行局部平滑也在一定程度上削弱了算子的特征鑒別力，降低了算法的識別率。Wolf等［11］提出了三斑塊局部二進制模式(Three Patches Local Binary Pattern，TPLBP)，該方法旨在挖掘基于像素強度差的二進制模式方法未能捕獲的信息，但因其編碼順序固定，故不具有旋轉不變性，且鄰域像素塊與中心像素塊的相似度度量增加了算法的計算復雜度。Ren等［12］提出了抗噪聲局部二進制模式(Noise-Resistant Local Binary Pattern，NRLBP)，該方法降低了噪聲干擾對識別結果的影響，但對圖像的旋轉變化魯棒性不高，且隨著采樣點數的增加，算法的計算量會急劇增大。

針對上述問題，本文對傳統LBP方法的采樣策略和權重分配方式進行改進，提出了一種基于主梯度編碼局部二進制模式(Dominant Gradient encoding based Local Binary Pattern，DGLBP)的花粉圖像識別方法。不同于傳統LBP及其改進方法，該方法通過計算花粉圖像主梯度方向的梯度幅值來提取花粉圖像的主要紋理特征，降低了噪聲干擾的影響，且摒棄了一些對特征貢獻小的冗余信息。為更完備地表示花粉圖像的全局和局部紋理特征，提出了多角度采樣策略來同時提取花粉圖像在不同尺度下的徑向、角向和復合紋理特征?？紤]到顯微鏡下的花粉圖像均存在不同程度的角度旋轉，提出了自適應加權方向，權重分配方向取決于每個局部區域的紋理分布情況。為驗證DGLBP方法的有效性，分別在Confocal數據集和 Pollenmonitor數據集上進行實驗。同時，本文還將DGLBP方法與近期4個花粉識別方法以及3個LBP改進方法進行了對比實驗。實驗結果驗證了DGLBP方法有較好的識別效果，且對花粉圖像的噪聲干擾和旋轉變化具有較好的魯棒性。

1 基于主梯度編碼的局部二進制模式

1.1 多角度紋理特征提取

自2006年Hinton等［13］首次提出深度學習的概念以來，越來越多的研究者致力于用深度學習的方法來對圖像進行分類和識別并取得了較好的應用效果;但直接使用深度學習的方法來提取圖像特征可能會忽略圖像的局部結構特征，所以張雯等［14］提出了一種基于局部二進制模式和深度學習的方法并將其應用于人臉識別?？紤]到不同種群的花粉圖像多以紋理差異相互區分，深度學習的方法可能不能很好地提取花粉圖像細微的紋理差異，所以本文采用局部二進制模式來提取花粉圖像的紋理特征。局部二進制模式是紋理特征提取的主要方法之一，對于一幅圖像，傳統LBP定義為將一個方形區域的8個邊緣像素點二值化，編碼僅考慮鄰域像素與中心像素的像素差，若差值為負則將該鄰域像素點編碼為0，否則編碼為1，按照一定的順序將二值化后的編碼組成一個8位二進制串，該二進制串對應的十進制值即反映了中心像素周圍的紋理分布情況，如圖1所示。

圖1 傳統LBP量化過程Fig.1 Quantification process of traditional LBP

LBP特征具有較強的分類能力和較高的計算效率，且對于單調的灰度變化具有不變性［15－16］。但傳統LBP及其改進方法大多都是通過比較單個像素值或像素塊的平均值進行編碼［17］，通常存在對噪聲敏感、對圖像的旋轉的魯棒性不高等問題。

為此，本文對傳統LBP方法的采樣策略和編碼方式進行改進，提出了一種自適應主梯度編碼的局部二進制模式，具體計算步驟如下。

1.1.1 多角度采樣

1)計算主梯度方向。

計算圖像中除邊緣像素點外所有像素點的梯度，對每個像素點的梯度角向下取整，這樣整個圖像的梯度方向便離散化為8個方向。將所有像素點的梯度幅值分別加權到8個離散方向，取最大的梯度累加值所在的方向為圖像的主梯度方向值，記為DGD(Dominant Gradient Direction)。圖2給出了一個3×3圖像塊主梯度方向的計算過程。

圖2 3×3圖像塊主梯度方向的計算過程Fig.2 Calculation process of dominant gradient direction of 3×3 image block

其中:gx(x，y)和gy(x，y)分別是像素點f(x，y)水平方向和垂直方向的梯度;g(x，y)和θ(x，y)分別對應著梯度幅值和梯度角。

2)計算圖像塊的梯度幅值。

對于某一像素點f(x，y)，其梯度計算公式如下:

對于每一個圖像塊，將主梯度方向上的所有像素點的梯度幅值累加作為該圖像塊的梯度幅值，記為 G(Br，p，m，i)，其中Br，p，m，i為處于采樣點數為 P、半徑為 r的圓形鄰域上的，標號為i的m×m大小的圖像塊。具體計算公式如下:

其中:gr，P，m，i，j和 θr，P，m，i，j分別為標號為 i的圖像塊的第 j個像素點的梯度幅值和梯度角;DGD為主梯度方向值。對于一個3×3的圖像塊，其梯度幅值的計算過程如圖3所示。

圖3 3×3圖像塊梯度幅值的計算過程Fig.3 Calculation process of gradient magnitude of 3×3 image block

3)提取徑向、角向以及復合梯度差。

計算花粉圖像的徑向梯度差、角向梯度差以及復合梯度差，分別將它們記為RGD(Radial Gradient Difference)、AGD(Angle GradientDifference)和 MGD(Multiple Gradient Difference)。

RGD定義為圓形鄰域上的像素塊與中心像素塊的梯度差，具體計算公式如下:

其中:r為圓形鄰域的半徑;P為采樣點數;m表示像素塊的大小;i為像素塊的編號(i=0，1，…，P － 1);Bc，m是以像素點 xc為中心的中心像素塊。

AGD定義為圓形鄰域上各像素塊與自身相鄰兩個像素塊的梯度差，具體計算公式如下:

MGD首先計算外環與內環上編號相差1的像素塊的梯度差，記為Q，然后按逆時針方向計算每個梯度差與其之后的第3個梯度差的差值，具體計算公式如下:

以 圖 4 為 例，徑 向 梯 度 差 RGDr1，8，3，0、角 向 梯 度 差AGDr1，8，3，0以及復合梯度差 MGD8，3，0的計算如下:

1.1.2 自適應加權

為反映不同方向上的紋理變化，本文同時提取花粉圖像的徑向、角向以及復合紋理特征，分別表示為 DLBP_RD、DLBP_AD和DLBP_MD。

傳統LBP及其一些演化算子為每個固定的二進制位賦予固定的權重，當圖像發生旋轉時，這些以圓形方式排列的二進制碼的位置也會發生相應的移動，使得最終表示局部區域紋理特征的十進制數發生較大的變化。為解決無法判斷花粉圖像是否發生了旋轉且旋轉角度不確定的問題，提出了基于局部參考方向的權重分配方式，將這個參考方向定義為自適應加權方向，記為D*(“*”表示不同方向上的紋理特征)，在下文會給出具體賦值。當圖像發生旋轉時，自適應加權方向也會旋轉相同的角度，使得參照自適應加權方向排列的二進制串不會因圖像的旋轉而發生改變，增強了特征對圖像旋轉變化的魯棒性。對于局部圖像塊的中心像素點xc，不同方向紋理特征的自適應權重分配方式如下。

圖4 DGLBP采樣圖Fig.4 Sampling figure of DGLBP

1)徑向紋理特征DLBP_RD。

DLBP_RD的自適應加權方向定義為與中心像素塊的梯度差值最大的圓形鄰域像素塊的編號，記為DR，以DR為初始點按逆時針方向依次給相應位置的二進制碼分配權重，最后求得的十進制值即反映了中心像素點的徑向紋理特征。具體計算公式如下:

其中，S(x)為符號函數，定義為:

2)角向紋理特征DLBP_AD。

DLBP_AD的自適應加權方向定義為圓形鄰域上與相鄰像素塊的梯度差值最大的像素塊編號，記為DA，然后以DA為編碼起始點按逆時針方向給相應的二進制碼分配權重，最后求得的十進制值即反映了中心像素點的角向紋理特征。具體計算公式如下:

3)復合紋理特征DLBP_MD。

DLBP_MD的自適應加權方向定義為使外環與內環上編號相差1的像素塊的梯度差值最大的外環像素塊的編號，記為DM，然后以DM為編碼起始點按逆時針方向給相應的二進制碼分配權重，最后求得的十進制值即反映了中心像素點的復合紋理特征。具體計算公式如下:

1.2 多尺度紋理統計特征

對于一個普通大小的局部圖像塊，DLBP_RD、DLBP_AD和DLBP_MD三個用于提取不同紋理特征的算子得到的二進制模式數目較多，這將會得到一個相對稀疏的直方圖，影響了直方圖的統計效果。為減少冗余的二進制模式，同時又保留足夠的具有重要描繪能力的特征信息，本文對上述三種類型的二進制模式進行分類，其中0/1或1/0跳變次數不超過2的歸為均勻模式，跳變次數大于2的統歸為非均勻模式［18］。檢驗某種模式是否是均勻模式的方法就是將其與其移動一位后的二進制模式按位求差，然后統計非零差值的個數，定義如下:

其中:U值表示0/1或1/0的跳變次數;δi(G(B))表示第i組像素塊的主梯度幅值的差。對于采樣點數為P的局部二進制模式，均勻模式共有P(P－1)+2種，對于上述三種紋理描述子，當其采樣點為8時，二進制編碼可從原來的256種降低到59種。

將同一尺度下DLBP_RD、DLBP_AD和DLBP_MD三個算子的直方圖統計特征進行組合，記為DGLBPL，L為當前特征所用尺度編號，如圖5所示。DGLBPL表示為:

其中:RDL是徑向紋理特征向量;ADL是角向紋理特征向量;MDL是復合紋理特征向量。RDL、ADL、MDL表示如下:其中，k=P(P－1)+3表示特征向量的維數。DGLBP可表示為如下矩陣的形式:

圖5 DGLBPL特征直方圖Fig.5 Feature histogram of DGLBPL

2 基于DGLBP的花粉圖像分類識別

本文使用DGLBP描述子對花粉圖像進行分類識別，首先從數據集的每類花粉圖像中選取一部分圖像作為訓練圖像，其余的作為測試圖像，分別計算每幅花粉圖像在三個方向上的紋理特征;然后調整采樣半徑和像素塊大小來提取花粉圖像在不同尺度下的紋理特征;最后將不同尺度下的多方向紋理特征進行融合以構建最終的花粉圖像紋理特征。為對測試圖像進行分類識別，計算測試圖像特征向量與所有訓練圖像特征向量的歐氏距離，找出與測試圖像特征向量距離最短的訓練圖像特征向量，該訓練圖像的花粉類別即為測試圖像所屬的花粉類別。使用DGLBP描述子對花粉圖像進行分類識別的偽代碼如算法1所示。

算法1 基于DGLBP的花粉圖像分類識別算法。

A)訓練階段。

輸入 訓練集T(ti表示訓練集中的花粉圖像)，內環半徑r，外環半徑r'，像素塊大小m;

輸出 訓練圖像的統計特征。

1) for tiin T do

2) 計算圖像中除邊緣像素點外各像素點的梯度;

3) 計算圖像的主梯度方向;

觀察組患者治療過程中共出現1例惡心現象，對照組患者治療過程中出現4例惡心以及2例嘔吐情況；因此觀察組患者不良反應發生率1例（2.9%）顯著低于對照組患者6例（17.1%）。

4) 計算圖像的徑向紋理特征;

5) 計算圖像的角向紋理特征;

6) 計算圖像的復合紋理特征;

7) 對三個方向上的紋理特征進行融合;

8) 改變r、r'、m，重復2)～7)，以提取不同尺度紋理特征;

9) 對不同尺度的紋理特征進行融合;

10) end for

B)測試階段。

輸出 測試圖像所屬類別。

11) for mjin M do 2)～9)

12) 計算與測試圖像特征向量歐氏距離最短的訓練圖像特征向量及其所屬的花粉類別;

13) end for

3 實驗與結果分析

本文實驗的硬件環境為Intel Core i5-3210M@2.50 GHz處理器、6 GB運行內存，軟件環境為64位Windows 7操作系統、Matlab R2014a。分別在 Confocal數據集和 Pollenmonitor數據集上對DGLBP描述子進行實驗分析驗證，其中Confocal數據集包含了26個不同類別的389個花粉顆粒圖像，這些圖像均是通過共焦激光掃描顯微鏡手工記錄的高品質圖像，未受到任何的污染和變形。Pollenmonitor數據集包含了來自33個不同種類的22750個花粉顆粒圖像，該數據集中的圖像在實際采集過程中，受顯微傳感器和不規則收集方法的影響，部分花粉圖像有一定程度的變形和污染，圖像質量普遍不高。

分別選取兩個數據集上20%的花粉圖像作為訓練樣本，其余的作為測試樣本。分別提取三個尺度的紋理特征，尺度大小如表1所示。采用歐氏距離分類器進行分類識別。實驗中分別采用正確識別率和平均識別時間來驗證算法的識別性能。

3.1 Confocal數據集的實驗結果

DGLBP描述子在Confocal數據集上6類具有代表性的花粉圖像的分類結果如圖6所示。從圖6可以看出，大部分輪廓明顯、紋理清晰以及有角度旋轉的花粉圖像均能被正確地分類和識別。

這6類花粉圖像的識別結果如圖7所示。由圖7可以看出，對于絕大多數質量較高的花粉圖像，DGLBP描述子的正確識別率均能達到93%以上;對于形狀簡單、紋理清晰的高質量Fagus花粉圖像，DGLBP描述子獲得了高達98.24%的正確識別率;而對于空間結構復雜、旋轉角度各異的Pinus花粉圖像，該方法的正確識別率則相對較低，但也超過了85%，這是因為Pinus花粉形狀結構復雜，不同的視覺角度呈現出不同的形狀和雕文。實驗結果表明，DGLBP描述子對于質量較高的花粉圖像有著較好的識別效果，且對花粉圖像的旋轉變化具有較強的魯棒性。

表1 實驗所用尺度大小Tab.1 Scale sizes used in experiment

圖6 Confocal數據集中6類典型花粉識別示例Fig.6 Recognition instances of 6 classic pollen categories from dataset Confocal

圖7 Confocal數據集中6類典型花粉的識別結果Fig.7 Recognition results of 6 classic pollen categories in dataset Confocal

3.2 Pollenmonitor數據集的實驗結果

DGLBP描述子在Pollenmonitor數據集上對6類具有代表性的花粉圖像的分類結果如圖8所示。從圖8可以看出，大部分有著豐富紋理信息且未受到污染和變形的花粉圖像均能被正確地分類和識別。

圖9給出了這6類花粉圖像的識別結果。由圖9可以看出，DGLBP描述子對于不同類別的花粉圖像均有著較好的識別效果，平均正確識別率達到了90.25%，相應的平均錯誤識別率只有9.75%。產生錯誤分類大多是因為花粉在采集過程中受到了污染或擠壓，破壞了其表面的紋理結構。對于紋理結構明顯的 Plantago花粉圖像，DGLBP描述子獲得了93.25%的正確識別率;而對于圖像質量較差且受噪聲干擾嚴重的 Fagus花粉圖像，該方法的正確識別率也能達到84.73%。實驗結果表明，DGLBP描述子對圖像質量相對較低的花粉圖像也能取得較好的識別效果，且對花粉圖像的噪聲干擾具有較好的魯棒性。

圖8 Pollenmonitor數據集中6類典型花粉識別示例Fig.8 Recognition instances of 6 classic pollen categories from dataset Pollenmonitor

圖9 Pollenmonitor數據集中6類典型花粉的識別結果Fig.9 Recognition results of 6 classic pollen categories in dataset Pollenmonitor

3.3 實驗對比分析

為驗證 DGLBP描述子的有效性，將其實驗結果與DLSC［6］、GLGG［7］、GLLD［8］和 MLFD［9］的實驗結果進行對比。圖10(a)給出了DGLBP描述子與其他4種花粉識別方法在兩個數據集上的平均識別時間。由圖10(a)可以看出，在兩個數據集上DGLBP描述子的平均正確識別率均高于其他4種方法。在Confocal數據集上，DGLBP描述子的平均正確識別率高達94.33%，比其他方法平均高出8.9個百分點。在Pollenmonitor數據集中，大多數花粉圖像因采集視角的不同有些許角度的旋轉，且一部分圖像受到了較為嚴重的噪聲干擾，圖像質量不高，但DGLBP描述子的平均正確識別率仍能達到92.02%，高出其他花粉識別方法最多18.23個百分點。圖10(b)給出了DGLBP描述子與其他4種花粉識別方法在兩個數據集上的平均識別時間。由圖10(b)可以看出，DGLBP描述子的計算效率高于GLGG和GLLD，但卻低于DLSC和MLFD。雖然DGLBP描述子的計算效率低于DLSC和MLFD方法，但其在兩個數據集上的平均正確識別率能高出DLSC方法18個百分點，高出MLFD方法7個百分點。實驗結果表明，DGLBP描述子的識別效果優于其他4種花粉識別方法，且對花粉圖像的旋轉變化、噪聲干擾具有較強的魯棒性。

為衡量DGLBP描述子的改進效果，將DGLBP描述子的實 驗 結 果 與 LBP 的 改 進 方 法 MB-LBP［10］、TPLBP［11］、NRLBP［12］在兩個數據集上的實驗結果進行對比。圖11給出了DGLBP描述子和其他3種LBP改進方法在兩個數據集上的正確識別率和平均識別時間。

圖10 DGLBP與不同花粉識別方法的識別結果對比Fig.10 Comparison of recognition results of DGLBP and different pollen recognition methods

圖11 DGLBP與不同LBP改進方法的識別結果對比Fig.11 Comparison of recognition results of DGLBP and different improvement methods of LBP

由圖11可以看出，DGLBP描述子在兩個數據集上的平均正確識別率均遠高于其他LBP改進方法的平均正確識別率，但DGLBP描述子的計算效率卻是最低的。在Confocal數據集上，DGLBP的平均正確識別率比其他LBP改進方法平均提高了18個百分點;在Pollenmonitor數據集上，DGLBP的平均正確識別率比其他LBP改進方法平均提高了18.5個百分點。之所以DGLBP描述子的計算效率比對比的3個LBP改進方法均低，是因為DGLBP描述子同時提取花粉圖像在3個方向上的紋理特征，且每個方向均提取3個尺度的紋理特征，這無疑增加了算法的計算時間，但同時也提高了描述子的特征鑒別力。實驗結果表明，DGLBP描述子相較于其他3種LBP改進方法有更好的識別效果，更適用于花粉圖像的實際分類識別，但在識別效率上還有待改善。

4 結語

針對傳統LBP方法對噪聲敏感、對圖像旋轉的魯棒性不高且無法提取多方向紋理特征等不足以及花粉圖像存在著旋轉、縮放、受噪聲干擾等問題，提出了基于主梯度編碼的局部二進制模式描述子。該描述子的優點體現在以下方面:1)通過比較各像素塊在主梯度方向上的梯度幅值對中心像素進行量化，避免了噪聲導致的二進制模式的突變。2)同時提取花粉圖像在不同尺度上的徑向、角向以及復合紋理特征實現了對花粉圖像的多尺度分析，提高了描述子的特征鑒別力。3)參照圖像塊所在局部區域的紋理分布情況為二進制碼自適應分配權重，增強了描述子對花粉圖像旋轉變化的魯棒性。

相較于實驗中對比的花粉識別方法以及LBP的一些改進方法，本文方法對花粉圖像的分類識別有更好的識別效果，但同時提取花粉圖像在不同方向上的多尺度特征增加了算法的時間復雜度，所以在后續研究中將考慮簡化模型并結合其他技術對模型進行改進，從而在提高識別效率的同時提高識別精度。