基于LBP-GLCM 特征融合的烤煙油分等級預(yù)測模型?

張富貴 葉 磊 李德倫 吳雪梅

（1.貴州大學(xué)機械工程學(xué)院 貴陽 550025）（2.貴州省煙草科學(xué)研究院 貴陽 550025）

1 引言

油分是我國煙葉分級的主要評價因子之一，煙葉油分含量高低將直接影響煙草商品的好壞。長期以來，傳統(tǒng)的煙葉油分特征評價形式都是依靠煙葉分級人員及手摸、眼看、鼻聞的方式來進(jìn)行，其中“手摸”即利用手指表面與煙葉表面接觸，通過煙葉表面局部紋理對皮膚的振動刺激來獲取煙葉的表面特征，然后通過煙葉分級人員的感官感受結(jié)合自身經(jīng)驗對煙葉油分特征指標(biāo)進(jìn)行評價。由于在收購環(huán)節(jié)全部采用人工評判，存在標(biāo)準(zhǔn)不一、受煙葉分級人員自身經(jīng)驗影響較大等問題，給煙草分級行業(yè)的發(fā)展帶來了不良影響［3］。

目前對于煙葉油分指標(biāo)的研究大部分集中于煙葉物理形態(tài)以及化學(xué)成分的定性評估。李章海等［4］探討了烤煙的油分對煙葉外觀品質(zhì)的影響，指出油分含量的多少對其物理形態(tài)影響顯著；蔡憲杰等［5］利用一系列數(shù)據(jù)分析手段對烤煙外觀質(zhì)量與煙葉油分進(jìn)行分析，結(jié)論顯示煙葉油分對煙葉外觀質(zhì)量的貢獻(xiàn)率高達(dá)35.536%；袁奎［6］利用機器視覺手段，基于煙葉的顏色特征間接建立了烤煙油分分級模型；周漢平等［7］采集了不同波長范圍的NIR 煙葉的光譜數(shù)據(jù)，創(chuàng)建了煙葉的NIR 預(yù)測模型，并指出油分預(yù)測模型在16 階時，預(yù)測模型的準(zhǔn)確率最高，上述方法雖然可以實現(xiàn)烤煙油分的定性分析，但是無法給出準(zhǔn)確的油分等級預(yù)測結(jié)果。在實際分級應(yīng)用中局部紋理往往是影響油分指標(biāo)評判結(jié)果的關(guān)鍵。鑒于此，建立烤煙葉面微觀紋理與油分特征之間的關(guān)系模型，利用更為細(xì)致的紋理特征對油分特征等級進(jìn)行評價，對進(jìn)一步推進(jìn)烤煙多品質(zhì)因數(shù)融合分級有重要意義。

現(xiàn)代社會人工神經(jīng)網(wǎng)絡(luò)的發(fā)展迅速，對于復(fù)雜非線性問題的處理，BP 人工神經(jīng)網(wǎng)絡(luò)具有相對優(yōu)勢，因其具有的自學(xué)習(xí)、快速尋優(yōu)解等優(yōu)點被廣泛應(yīng)用［8］。本研究以貴州安順平壩煙區(qū)烤煙樣品為研究對象，基于LBP—GLCM 融合算法提取烤煙表面紋理特征，并創(chuàng)建煙葉微觀紋理特征庫，聯(lián)合MATLAB2018 提供的BP 人工神經(jīng)網(wǎng)絡(luò)模型，對烤煙油分等級進(jìn)行預(yù)測，旨在為烤煙油分等級評價提供一種新方法。烤煙油分等級預(yù)測方法流程圖如圖1所示。

圖1 烤煙油分等級預(yù)測方法流程圖

2 材料與方法

2.1 試驗材料

采集2019 年貴州安順平壩煙區(qū)初烤煙葉樣品，品種為云煙87。按照我國烤煙標(biāo)準(zhǔn)（GB/T2635-1992）規(guī)定由分級專家進(jìn)行嚴(yán)格挑選，從采集的樣品中選出符合國家標(biāo)準(zhǔn)的油分含量為“多”的煙葉15 張，含量為“有”的煙葉60 張，含量為“稍有”的煙葉30張，共計105個樣本。

2.2 煙葉樣品處理與紋理圖像采集

在待測煙葉樣品的相同位置（烤煙葉面總長1/2 處，距離主脈1cm~2cm）截取面積大小為1cm2的葉片區(qū)域，為避免煙葉支脈對后續(xù)紋理特征提取的影響，截取樣本時應(yīng)避開含有支脈的區(qū)域。通過光學(xué)顯微鏡觀測煙葉樣品表面紋理，放大倍數(shù)為100倍，并利用上海奮業(yè)光電有限公司型號為ISH1000的1000W 像素彩色攝像機，掃描模式為逐條掃描，幀率為3fps，圖像保存格式為TIF，圖像分辨率為3648×2748。

2.3 圖像處理與數(shù)據(jù)分析

采用Matlab2018 軟件進(jìn)行圖像特征的提取以及BP神經(jīng)網(wǎng)絡(luò)建模分析。

2.4 煙葉微觀紋理特征提取

1）LBP算子

LBP 算子具有灰度不變性和旋轉(zhuǎn)不變性等優(yōu)點，常常被用來描述灰度圖像局部紋理特征［9］。LBP 算子的基本原理是在灰度圖像中3*3 個像素的矩形圖像區(qū)域內(nèi)，將像素區(qū)域中心點的灰度值視為該矩形區(qū)域閾值，并與四周8 個像素點區(qū)域的灰度值做差運算，若差值大于零則記為1，反之為0，然后將得到的8 位二進(jìn)制數(shù)值順時針讀取，作為該局部區(qū)域的紋理值［9］。

由于傳統(tǒng)LBP算子的像素范圍是不能變化的，因此當(dāng)圖像旋轉(zhuǎn)或大小變化時，傳統(tǒng)LBP算子往往不能滿足不同區(qū)域的紋理特征提取。Ojala 等提出了以圓形代替矩形區(qū)域，該圓形區(qū)域允許包含無限個像素點，它是指當(dāng)一個LBP算子的二進(jìn)制特征值被視為首尾相連環(huán)形時，至多可以存在兩次由0 到1 或者是1 到0 的跳變，該算子被稱為LBP 算子均勻模式［10］。均勻化LBP 算子不但可以降低灰度圖像的特征向量的維數(shù)，防止內(nèi)存空間的浪費，而且可以提高運算速度，減少紋理信息的損失。

2）灰度共生矩陣（GLCM）

20 世紀(jì)70 年代初R.Haralick 等提出一種描述灰度圖像的紋理特征統(tǒng)計方法—灰度共生矩陣（GLDM），其原理就是統(tǒng)計灰度圖像中某個固定像素點的灰度值與相隔距離為d，位置方向為θ的像素點的灰度值在圖像區(qū)域內(nèi)出現(xiàn)的概率Pij，其中θ取值為0°，45°，90°，135°［11］。

灰度共生矩陣本身是不能用來描述紋理特征的，需要利用數(shù)學(xué)計算方法從矩陣中得到一些反映矩陣狀況的參數(shù)。本文采用能量，熵，對比度，同質(zhì)性這幾種典型參數(shù)的均值和標(biāo)準(zhǔn)差來表征紋理特征，從而達(dá)到簡化計算，提高分類精度［12］。參數(shù)說明計算公式如下：

（1）能量：灰度共生關(guān)系矩陣元素值的平方和，反映一個灰度圖像灰度值分散程度是否均勻，以及紋理的粗細(xì)程度，較大的能量值表明，目前的紋理較為穩(wěn)定，變化相對有規(guī)律。其計算公式為

（2）熵：用來表示灰度圖像像素的隨機性，因此熵值表明了圖像灰度分布的復(fù)雜程度，當(dāng)熵值較大時，圖像往往較復(fù)雜。其計算公式為

（3）對比度：反映圖像的清晰度和紋理的起伏差異。紋理越深，對比度越大，越清晰；反之，對比度值小，則紋理淺，就越模糊。其計算公式為

（4）同質(zhì)性：反映圖像的灰度級同一方向上的相似程度，局部灰度相關(guān)性的差異依靠同質(zhì)性值反映，值越大，相關(guān)性也越大。其計算公式為

其中：

3）LBP-GLCM特征提取

首先將烤煙微觀紋理圖像中的每個像素點進(jìn)行LBP 算子處理，獲得LBP 圖像，如圖2 所示，再對得到的LBP 圖像進(jìn)行灰度共生矩陣運算（GLCM），得到d=1，θ取值分別為0°、45°、90°、135°，4個不同方向灰度共生矩陣，最后計算各個灰度矩陣的能量、對比度、熵、同質(zhì)性的均值和標(biāo)準(zhǔn)差，得到8 個LBP-GLCM紋理特征［13］。

圖2 原始圖像與LBP圖像

3 基于BP神經(jīng)網(wǎng)絡(luò)的預(yù)測模型

3.1 BP神經(jīng)網(wǎng)絡(luò)

BP 神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)信息網(wǎng)絡(luò)，包括輸入層，隱含層和輸出層。神經(jīng)元信號通過正向傳播從輸入層進(jìn)入隱含層，經(jīng)過各級隱含層處理后向輸出層傳遞，其中隱含層的與輸出層節(jié)點為上級節(jié)點的輸出的加權(quán)和。將輸出層的輸出值與期望值相比較，若產(chǎn)生的誤差不滿足模型所設(shè)置的精度要求，則誤差反向傳播，經(jīng)原路返回并逐層修改各層神經(jīng)元權(quán)值，降低輸出誤差，循環(huán)上述過程直至輸出層的結(jié)果符合精度要求為止。且隱含層同層級之間的神經(jīng)元與其上下層級的所有神經(jīng)元相互連接，同層級神經(jīng)元之間相互獨立［14］。激勵函數(shù)的選擇決定每個神經(jīng)元節(jié)點的激勵程度，常用的激勵目標(biāo)函數(shù)主要是Sigmoid激勵函數(shù)。其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖3所示。

圖3 BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)模型

3.2 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程推導(dǎo)

設(shè)輸入樣本特征為（Xq1，Xq2，…，Xqn），其中q =1，2…m 表示樣本數(shù)量；輸出為O。對于這m 個樣本，定義誤差函數(shù)為e，其計算公式為

式中O（i）為樣本X（i）的網(wǎng)絡(luò)輸出值，Y（i）為期望輸出值。

BP 神經(jīng)網(wǎng)絡(luò)經(jīng)過一次迭代后根據(jù)反饋的誤差值來更新網(wǎng)絡(luò)的權(quán)值和閾值。

式中α為學(xué)習(xí)速率，取值范圍為0~1之間。

當(dāng)預(yù)期的誤差e達(dá)到期望的要求時，BP神經(jīng)網(wǎng)絡(luò)模型為最優(yōu)模型。

3.3 預(yù)測模型

1）輸入層

本模型采用的輸入變量為不同油分含量共105 組烤煙樣本微觀圖像的能量、對比度、熵、同質(zhì)性的均值和標(biāo)準(zhǔn)差等8個特征。

2）輸出層

對樣本煙葉的油分指標(biāo)多、有、稍有分別定義標(biāo)簽為3、2、1，如表1 所示。數(shù)值的大小代表煙葉油分含量對應(yīng)的等級，數(shù)值越大，油分含量等級越高，反之越低。因此輸出端神經(jīng)元節(jié)點數(shù)為1個。

表1 油分含量等級表

3）隱含層節(jié)點數(shù)

由以上分析可知輸入層神經(jīng)元節(jié)點數(shù)為8 個，根據(jù)Kolmogrov 定理［14］，BP 神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元節(jié)點的數(shù)可以選擇為2n+1，其中n為輸入層神經(jīng)元節(jié)點的個數(shù)，故隱含層神經(jīng)元節(jié)點數(shù)為17個。

烤煙油分預(yù)測的神經(jīng)網(wǎng)絡(luò)模型構(gòu)造如圖4，輸入變量分別對應(yīng)上述描述的8 個煙葉樣本微觀紋理特征，輸出變量的值對應(yīng)煙葉油分含量等級多、有、稍有的標(biāo)簽值。

圖4 預(yù)測模型結(jié)構(gòu)

4）數(shù)據(jù)歸一化

考慮到隱含層激勵函數(shù)的輸出范圍是0~1 之間，而輸入數(shù)據(jù)的單位量級不一，會導(dǎo)致數(shù)據(jù)范圍差異很大而忽略某一特征對輸出值的貢獻(xiàn)，導(dǎo)致預(yù)測結(jié)果不準(zhǔn)確。數(shù)據(jù)范圍差別較大時，也會導(dǎo)致網(wǎng)絡(luò)收斂速度慢，訓(xùn)練時間長等問題［15］。因此，對原始數(shù)據(jù)進(jìn)行歸一化處理是十分必要的。歸一化公式為

式中，Xn為原始輸入數(shù)據(jù)；Xmin為原始輸入數(shù)據(jù)最小值；Xmax為原始輸入數(shù)據(jù)最大值；Yn為原始輸出數(shù)據(jù)；Ymin為原始輸出數(shù)據(jù)最小值；Ymax為原始輸出數(shù)據(jù)最大值。

4 訓(xùn)練結(jié)果與分析

實驗中采用LBP-GLCM 算法提取第2 節(jié)中的105 組烤煙樣本的紋理特征，并將樣本數(shù)據(jù)隨機分成75 組訓(xùn)練集，30 組測試集，導(dǎo)入BP 神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行仿真訓(xùn)練，根據(jù)網(wǎng)絡(luò)輸出值對烤煙油分預(yù)測。其中規(guī)定輸出值小于1.5 時屬于油分含量“稍有”的煙葉，即油分標(biāo)簽值為1；輸出值大于1.5，小于2.5 時屬于油分含量“有”的煙葉，即油分標(biāo)簽值為2；輸出值大于2.5 時屬于油分含量“多”的煙葉，即油分標(biāo)簽值為3。圖5為本文方法提取的紋理特征經(jīng)BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練后取得的預(yù)測值與實際值對比，橫坐標(biāo)表示測試樣本數(shù)量共30 組，縱坐標(biāo)表示油分類別標(biāo)簽，結(jié)果表明基于本文方法的預(yù)測準(zhǔn)確率為93.33%。

圖6 為兩種特征提取算法提取的紋理特征經(jīng)BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后模擬值與目標(biāo)值之間的回歸分析統(tǒng)計圖，其中橫坐標(biāo)表示目標(biāo)值，縱坐標(biāo)表示預(yù)測網(wǎng)絡(luò)模型的模擬值，虛線為Y=X，即模擬值與目標(biāo)值一致的情況，實線表示測試數(shù)據(jù)目標(biāo)值與模擬值之間的擬合程度。結(jié)果表明基于本文方法的相關(guān)系數(shù)R=0.91486。由此可見基于本文預(yù)測模型的模擬值與目標(biāo)值十分近似，模型模擬效果較好。

圖6 基于本文方法的目標(biāo)值與模擬值回歸分析

5 結(jié)語

本文針對烤煙分級中煙葉油分特征等級評判問題，利用LBP-GLCM 算法對烤煙表面微觀紋理圖像進(jìn)行特征提取，以BP人工神經(jīng)網(wǎng)絡(luò)為分類器，對105 組煙葉圖像進(jìn)行分析，建立了烤煙煙葉表面微觀紋理與油分之間的預(yù)測模型。結(jié)果表明：采用LBP-GLCM 結(jié)合BP神經(jīng)網(wǎng)絡(luò)進(jìn)行煙葉油分等級預(yù)測的準(zhǔn)確率為93.33%，且模型擬合效果較好，在烤煙油分預(yù)測應(yīng)用中具有一定的參考價值，為進(jìn)一步推進(jìn)烤煙多品質(zhì)因數(shù)融合分級提供了理論基礎(chǔ)。