融合高光譜和圖像深度特征的臘肉分類與檢索算法研究

,, ,

(北京工商大學(xué)計(jì)算機(jī)與信息工程學(xué)院,北京市食品安全與光譜大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室,北京 100048)

臘肉以其獨(dú)特的口味和口感,已經(jīng)成為人們生活中必不可少的美食。然而,在臘肉制作的過程中,因?yàn)槠渖a(chǎn)環(huán)境條件不合格,致使臘肉品質(zhì)無法滿足國家標(biāo)準(zhǔn),對于消費(fèi)者來說,不僅是有害,而且致癌。目前的檢測方法主要是依靠對臘肉進(jìn)行理化實(shí)驗(yàn)和輔以感官等傳統(tǒng)的檢測方法,不僅效率低,而且成本很高。因而尋找快速、無損的肉制品品質(zhì)檢測方法變得非常迫切[1-2]。

高光譜成像技術(shù)已經(jīng)成為食品安全無損、快速檢測領(lǐng)域中一種不可或缺的方法[3-5]。高光譜圖像中包含豐富的光譜和空間信息,充分利用高光譜圖像中的光譜信息和空間信息是獲得精確分類結(jié)果的前提。比如,章海亮等[6]采用最小二乘支持向量機(jī)作為對魚的高光譜圖像新鮮度分類模型,將90,31和49個(gè)特征變量作為LS-SVM模型的輸入變量建立分類模型,基于SPA-LS-SVM和MCVE-LS-SVM模型預(yù)測集對魚肉的新鮮度識(shí)別率達(dá)到了98%。董小棟等[7]通過光譜特征,利用SVM對其進(jìn)行回歸預(yù)測,實(shí)現(xiàn)菌落總數(shù)的預(yù)測。D.Madronal等[8]利用SVM的方法研究了一套實(shí)時(shí)的高光譜圖像分類系統(tǒng)。

圖1 CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of CNN

然而,高光譜成像技術(shù)一直有兩個(gè)難點(diǎn):一是大部分研究學(xué)者的研究內(nèi)容僅僅使用了高光譜圖像的光譜信息,并沒有結(jié)合高光譜圖像中的空間信息;二是雖已有學(xué)者研究提取高光譜圖像的空間信息的方法,例如紋理特征、結(jié)構(gòu)特征等[9-10],但是提取特征的過程因?yàn)槿斯さ母深A(yù)、或者方法不當(dāng),導(dǎo)致結(jié)果有很大的不確定性,并不適應(yīng)所有的數(shù)據(jù)集,即模型的泛化能力很差。如何提取高光譜圖像的特征成為急需解決的問題。

深度學(xué)習(xí)在圖像特征提取方面體現(xiàn)了卓越的性能。Yue等[11]研究,利用CNN融合堆棧光譜和空間特征,提出的深度學(xué)習(xí)框架中的DCNN-LR分類器比以前的高光譜分類方法提供了更好的分類精度。Chen等[12]提出一種基于FE的3D-CNN模型,通過多個(gè)卷積層、池化層和正則化方法提取高光譜圖像的特征進(jìn)行分類。羅建華等[13]對比傳統(tǒng)的高光譜圖像分類模型方法和深度學(xué)習(xí)分類的方法,表明深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)能夠提高高光譜遙感圖像的分類精度。馬曉瑞等[14]借助基于深度網(wǎng)絡(luò)提出適用于高光譜影像的特征提取方法和相似度學(xué)習(xí)獲得全局信息實(shí)現(xiàn)全局決策,提高分類精度。然而對于高光譜在食品領(lǐng)域上的研究一直僅僅停留在光譜或者圖像上的研究,并沒有真正的達(dá)到“光譜合一”,主要還是在深度學(xué)習(xí)以前沒有找到適合的特征提取的方法。本文以臘肉的高光譜圖像為研究對象,將首次提出一種融合光譜信息的深度學(xué)習(xí)方法,并驗(yàn)證該方法的可行性和有效性。

1 材料與方法

1.1 材料與儀器

廣式臘腸來源于北京市永輝超市。

SOC710VP高光譜分析儀光譜范圍是400～1000 nm,共有128個(gè)波段,北京安洲科技有限公司。

1.2 實(shí)驗(yàn)方法

1.2.1 樣品制備 一部分腐敗的臘肉是在實(shí)驗(yàn)室培養(yǎng)箱(濕度>75%,溫度大于50 ℃歷時(shí)六個(gè)月)中制作的,將臘肉切塊,每塊臘肉厚2 cm,新鮮和腐敗各選擇50組,新鮮(揮發(fā)性鹽基氮<25 mg/100 g)或腐敗(揮發(fā)性鹽基氮>25 mg/100 g),香腸是否腐敗是根據(jù)GB2707-2005《鮮(凍)畜肉衛(wèi)生標(biāo)準(zhǔn)》測定標(biāo)準(zhǔn)做理化值判斷。

1.2.2 香腸光譜數(shù)據(jù)的獲取 對采集得到的高光譜圖像進(jìn)行黑白板校正,以樣本(去掉臘肉樣本中的皮)的中心點(diǎn)向左右擴(kuò)散,分別以半徑為14、12、10、8、6 mm五個(gè)感興趣區(qū)域等級,然后獲取每個(gè)分等級的感興趣區(qū)域的平均光譜曲線,然后對不同等級的感興趣區(qū)域建立SVM分類預(yù)測模型,采用精確率和召回率來評價(jià)模型的預(yù)測的好壞。

為防止因?yàn)闃悠返牟痪鶆蛐浴⒐馍⑸涞纫蛩卦斐傻挠绊?在建模之前采用多元散射校正對光譜進(jìn)行預(yù)處理。使用全波段進(jìn)行SVM分類建模,因?yàn)閿?shù)據(jù)的高維度和復(fù)雜度,不僅計(jì)算量多而且冗余的信息也比較多。利用PCA對預(yù)處理后的光譜進(jìn)行降維,既能保證原始信息的完整性,還可以有效的去掉信息中相關(guān)性較高的信息。

1.2.3 高光譜圖像數(shù)據(jù)的獲取 深度模型使用的是三通道,獲得樣本的高光譜圖像,新鮮和腐敗各選擇50組,利用ENVI軟件選取256通道中三個(gè)通道,兩兩之間相隔25。在新鮮和腐敗共100個(gè)原始樣本上依次選擇三個(gè)光譜通道Band10、Band35和Band60,Band11、Band36和Band61,如此交替共50次,共5000個(gè)原始樣本,然后經(jīng)過8種數(shù)據(jù)增廣的方式裁剪、旋轉(zhuǎn)和鏡像等擴(kuò)展至4萬張數(shù)據(jù)樣本。

1.2.4 高光譜圖像特征 提取本文中使用的CNN結(jié)構(gòu)如圖2所示,共16層(只給出部分圖),10個(gè)3×3的卷積層、3個(gè)5×5的卷積層、5個(gè)5×5的池化層、2個(gè)全連層和損失層。系統(tǒng)的輸入是高光譜圖像素的三個(gè)Bands[15-16],系統(tǒng)的輸出是分類的標(biāo)簽,在本文中即新鮮或者腐敗,它由幾個(gè)卷積和堆疊層以及邏輯回歸(Logical Regression)層組成。經(jīng)過幾個(gè)卷積和池化層之后,輸入像素矢量可以轉(zhuǎn)換成特征向量,它捕獲輸入像素矢量中的空間信息,最后,利用LR或其他分類器來完成二分類步驟。

1.2.5 邏輯回歸 在本文中,模型參數(shù)被隨機(jī)初始化,并通過誤差反向傳播算法進(jìn)行訓(xùn)練,在進(jìn)行參數(shù)更新之前,需要定義邏輯回歸損失函數(shù),概率值(Softmax)應(yīng)用在多分類任務(wù)中,類別標(biāo)簽有兩個(gè)以上的值。對于數(shù)據(jù)訓(xùn)練樣本:

{(x^[(1)],y^[(1)]),…(x^[(m)],y^[(m)])},對應(yīng)的類別標(biāo)簽有y^[(i)]∈{1,2,3,…k}。對于輸入樣本,設(shè)計(jì)針對每一個(gè)類別j的估算的概率值P(y^[(i)]=j│x^[(i)]),該值就是最終分為其中一類的概率。當(dāng)為二分類時(shí),可化簡為邏輯回歸。

在這之前,首先定義最大似然函數(shù),訓(xùn)練樣本相互獨(dú)立,則公式為:

其中,P表示樣本為正例的概率,取值范圍為[0,1],在本文中,預(yù)測新鮮度,則新鮮為正例,?(zi)腐敗為負(fù)例。是邏輯斯蒂函數(shù),有時(shí)簡稱為sigmoid函數(shù),函數(shù)圖像為S型:

其中,z是網(wǎng)絡(luò)的輸入,及權(quán)重參數(shù)和特征的線性組合,z=ωTx=ω0+ω1x1+ω1x1+…ωnxn。

有了樣本的預(yù)測概率P,在得到樣本的類別就很簡單了,如下:

通過上面的分析,對于最大似然函數(shù),要找出的是最大值。則:

用梯度下降等優(yōu)化算法來求解最大化似然時(shí)的參數(shù)。最大化和最小化本質(zhì)上沒有區(qū)別,所以將最大似然寫成求最小值的損失函數(shù)形式:

為了防止過擬合,加入L2范數(shù),公式如下:

其中,m是權(quán)重的數(shù)量,λ是正則化系數(shù),而1/2是為了公式方便推導(dǎo)。

1.2.6 光譜特征和圖像特征 融合本文采用特征層融合。將CNN最后一層提取的深度特征與光譜信息特征融合,公式如下:

Vfusion=[Fspectral,Fhyper_image]

其中,Fhyper_image矩陣為CNN模型提取的1×n的矩陣,Fspectral即提取的臘肉高光譜圖像的1×256維特征,Fspectra為光譜曲線提取的1×m的矩陣,即臘肉光譜曲線特征1×10維,Vfusion為融合后的特征矩陣1×(n+m),即1×266維。將融合的特征輸入SVM網(wǎng)絡(luò)中,本文采用的是RBF核,其中的C,g參數(shù)是通過粒子群算法進(jìn)行優(yōu)化后得到。

1.2.7 交叉驗(yàn)證 為了進(jìn)一步測試模型的泛化能力,隨機(jī)的將樣本,此時(shí)的樣本為輸入的融合特征樣本分成兩份,如此操作十次,便可得到十份訓(xùn)練集和測試集,分別取十份訓(xùn)練集中的一份以及其對應(yīng)的測試集,代入到CNN和SVM中訓(xùn)練[17],分別計(jì)算模型在其余剩下的九個(gè)測試集中的泛化能力。然后依次取一份對應(yīng)訓(xùn)練集和測試集,則可完成十次,將計(jì)算十次的結(jié)果表現(xiàn)進(jìn)行綜合評價(jià),涉及到的分類指標(biāo):

精確率:是針對預(yù)測結(jié)果而言,表示預(yù)測為正的樣本中有多少是真正的正樣本。有兩種可能,一種就是把正類預(yù)測為正類(TP),另一種,將負(fù)類預(yù)測為正類(FP),如下:

召回率:是針對原來的樣本,表示樣本中的正例有多少被預(yù)測正確。也有兩種可能,一種是把原來的正類預(yù)測成正類(TP),另一種就是把原來的正類預(yù)測為負(fù)類(FN),如下:

F1 Score:是準(zhǔn)確率與召回率的綜合?？梢哉J(rèn)為是平均效果。百分百召回的算法不一定是最優(yōu)算法,因此,F1 Score就顯得尤為重要:

SVM分類的準(zhǔn)確率公式如下:

2 結(jié)果與分析

2.1 光譜數(shù)據(jù)

以半徑為10 mm獲得樣本的全波段原始反射光譜曲線如圖2所示,圖2(a)中是IDL83ENVI51(win64)軟件選擇band10、band35和band60后的圖像數(shù)據(jù),圖2(b)中是感興趣區(qū)域的平均光譜圖,從圖2中的光譜曲線可以看出,感興趣區(qū)域的平均光譜曲線非常平滑,沒有太多的噪聲。

圖2 樣品原始光譜圖像Fig.2 The original spectral image of the sample注:(a)樣本的感興趣區(qū)域;(b)感興趣區(qū)域的平均光譜曲線。

2.2 光譜預(yù)處理和特征提取

如圖3所示是預(yù)處理光譜經(jīng)過PCA主成分分析后的結(jié)果圖。

由圖3可知,前10個(gè)主成分累計(jì)貢獻(xiàn)率已接近100%,已經(jīng)可以反映出樣本的絕大部分所包含信息,所以在接下來的SVM分類模型中,選擇前10個(gè)PCA主成分作為光譜特征和圖像深度特征融合。

圖3 主成分分析Fig.3 Principal component analysis注:(a)樣本的原始光譜曲線;(b)感興趣區(qū)域的平均光譜曲線。

2.3 光譜建模結(jié)果

表1是各個(gè)等級的感興趣區(qū)域建立分類預(yù)測模型得到的預(yù)測結(jié)果。從表中可以看出,不同等級的感興趣區(qū)域之間的預(yù)測結(jié)果,并沒有很大的差距,所以,在采集時(shí),采取了五個(gè)感興趣區(qū)域的平均光譜后,在對五個(gè)等級的感興趣區(qū)域的平均光譜進(jìn)行平均,盡可能的將樣本的整個(gè)面積都覆蓋。

表1 不同大小感興趣區(qū)域預(yù)測結(jié)果對比Table 1 The prediction results for different sizes of interest

2.4 高光譜圖像增光結(jié)果

如圖4所示,圖4(a)中是實(shí)驗(yàn)過程中利用ENVI軟件采集到的波段數(shù)為10、35、60的香腸高光譜圖像樣本,圖4(b)中是經(jīng)過增廣的數(shù)據(jù)樣本示例,包括利用旋轉(zhuǎn)、裁剪、鏡像等方法處理后的樣本。在樣本不足的情況下,進(jìn)行增廣可以防止網(wǎng)絡(luò)的過擬合。

圖4 樣品原始高光譜圖像Fig.4 Hyperspectral image of the samples注:(a)原始高光譜圖像;(b)增廣后的高光譜圖像。

2.5 CNN圖像特征分析

利用CNN提取特征,CNN學(xué)習(xí)到的特征可以很容易的可視化和理解[18-19],卷積網(wǎng)絡(luò)學(xué)習(xí)到的特征并沒有人為的干預(yù),從而使得網(wǎng)絡(luò)學(xué)習(xí)到的特征更能代表樣本的特性,由圖5可知深度學(xué)習(xí)到的特征為像素級、邊緣、邊緣的線性組合、深度特征,依次越深越抽象,越能對圖像進(jìn)行深度的表達(dá),其實(shí)該過程可以簡單的理解為將高維非線性的特征逐漸趨向于低維線性[20]。

圖5 CNN特征圖可視化Fig.5 Features visualization of CNN注:(a)高光譜圖像原圖,(b)～(f)分別為卷積第一層、第三層、第四層、第五層、第六層特征圖。

2.6 CNN模型訓(xùn)練

樣本圖像調(diào)整為256×256×3像素,訓(xùn)練樣本和測試樣本的比例為3∶1。直接使用保存好的模型提取目標(biāo)圖像的特征性能難以滿足要求,繼續(xù)使用目標(biāo)圖像樣本對訓(xùn)練好的CNN模型進(jìn)行參數(shù)微調(diào)[21-23]。輸入樣本與訓(xùn)練過程一樣,網(wǎng)絡(luò)參數(shù)的初始化使用訓(xùn)練過程中得到的參數(shù),得到損失(Loss)曲線和對應(yīng)的ROC曲線如圖6示,由圖可知該模型損失函數(shù)的值在逐漸降低,并穩(wěn)定到接近于零的值。

圖6 CNN訓(xùn)練損失函數(shù)Fig.6 Training loss functionof CNN

由圖6可知,損失函數(shù)值(Loss)明顯趨于平穩(wěn),已經(jīng)降到足夠低(例如,Loss值已經(jīng)降到0.00這個(gè)數(shù)量級),隨著學(xué)習(xí)率(learning rate)的進(jìn)一步降低,Loss還可能繼續(xù)減小,說明該模型訓(xùn)練結(jié)果較好[24]。

2.7 CNN模型分類

以下是直接利用深度模型提取特征后,作為SVM的輸入進(jìn)行分類得到的結(jié)果,將結(jié)果用ROC曲線統(tǒng)計(jì),結(jié)果如圖7所示。

圖7 測試樣本ROC曲線Fig.7 ROC curve of thetest sample

由圖7 ROC曲線可知,直接使用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練好的模型提取特征后對樣本進(jìn)行分類,分類的準(zhǔn)確率只有75.6%左右。

2.8 融合特征模型分類

考慮到以上分類的結(jié)果不理想,利用融合光譜特征和深度圖像特征的方法得到的分類結(jié)果ROC曲線如圖8所示。

圖8 測試樣本ROC曲線Fig.8 ROC curve of the test sample

由圖8可知,分類結(jié)果可以達(dá)到95.3%左右,說明加入的光譜特征更能體現(xiàn)樣本特征的差異性。

2.9 融合特征模型交叉驗(yàn)證分類結(jié)果

由表2可知,利用該方法得到的模型的泛化能力高,SVM最終分類的準(zhǔn)確度可以達(dá)到99.2%左右,并且真正地實(shí)現(xiàn)了“圖譜合一”。

表2 分類結(jié)果Table 2 Results of classification

2.10 新鮮等級檢索結(jié)果分析

在實(shí)際使用中,為了實(shí)現(xiàn)臘肉的快速檢測,確定其新鮮度的等級,可以利用訓(xùn)練好的模型提取圖像的深層特征,然后融合對應(yīng)圖片的光譜特征,采用歐式距離計(jì)算待檢索樣本與標(biāo)準(zhǔn)庫樣本的相似度,從而快速確定待檢所樣本的新鮮度等級,評級細(xì)則:

新鮮:相似度大于95%,則為標(biāo)準(zhǔn)新鮮(揮發(fā)性鹽基氮<25 mg/100 g);

腐敗:相似度大于95%,則為標(biāo)準(zhǔn)的腐敗(揮發(fā)性鹽基氮>25 mg/100 g)。檢索實(shí)例如圖9所示。

圖9 檢索樣本和結(jié)果Fig.9 Results and thesearchsample注:(a)被檢索腐敗樣本,(b)標(biāo)準(zhǔn)腐敗樣本,最高相似度Top1,(c)新鮮樣本,最高相似度Top2。

檢索結(jié)果對應(yīng)相似度如表3所示,可知被檢索樣本最接近腐敗,所以檢索結(jié)果為腐敗的臘肉:

表3 檢索結(jié)果表Table 3 Results of the search

3 結(jié)論

利用CNN提取臘肉圖像特征并融合光譜曲線特的方法,可以實(shí)現(xiàn)臘肉高光譜圖像的分類和檢索功能,該方法不僅充分利用了高光譜圖像豐富的信息,自動(dòng)學(xué)習(xí)和選擇適合的特征,而且融合的樣本的光譜曲線特征,可以大大提高樣本的分類準(zhǔn)確度。通過PSO+SVM分類算法,文中對比了圖像深度特征方法、融合光譜特征和圖像深度特征方法的分類結(jié)果,后者的分類結(jié)果準(zhǔn)確率可以達(dá)到99.2%左右,可以滿足最終的分類任務(wù)。另外,將CNN視覺特征應(yīng)用于檢索任務(wù)中有非常大的優(yōu)勢[17],利用歐氏距離方法計(jì)算被檢索樣本和標(biāo)準(zhǔn)等級樣本的融合的特征向量,并按歐氏距離值從大到小排序,返回檢索后的結(jié)果,既不破壞樣本,也可以快速得到樣本的新鮮度等級,完成檢索任務(wù)。本文中下一步的改進(jìn)之處則是對樣本進(jìn)行更精細(xì)的分類。