基于全卷積神經(jīng)網(wǎng)絡的核桃異物檢測裝備設計與試驗

謝麗娟 戴犇輝 洪友君 應義斌

(1.浙江大學生物系統(tǒng)工程與食品科學學院， 杭州 310058；2.浙江省農(nóng)業(yè)智能裝備與機器人重點實驗室， 杭州 310058；3.金華市婺城區(qū)東方紅林場， 金華 321025)

0 引言

食品異物是食品生產(chǎn)過程中較為常見的一種質(zhì)量缺陷，同時也是食品品質(zhì)和安全投訴的主要來源[1-2]。異物污染不僅對消費者的身體健康造成傷害，也同樣給企業(yè)帶來影響。因此，迫切需要食品異物快速檢測的技術和設備來提升食品的品質(zhì)。

現(xiàn)代檢測技術中無損檢測技術因非侵入性特點在生產(chǎn)加工過程中得到了廣泛的關注和應用[3]，根據(jù)檢測原理包括光學、聲學、電學等。X射線具有較強的穿透能力，能檢測食物(如肉類、酸奶)中的紙張、纖維等異物[4]。超聲波檢測技術根據(jù)聲波的振動原理，目前在食品產(chǎn)業(yè)中的應用包括對方腿肉中的玻璃、金屬等小尺寸異物的檢測[5]。核磁共振方法對塑料和有機物這類低密度異物有較好的檢測效果，是對X射線和CT成像的很好補充[6]。近紅外技術(780～2 526 nm)可以對大米[7]、麻油[8]等食品摻假進行檢測。太赫茲光譜檢測(30～3 000 μm)是一種新興且有較大潛力的技術[9]，介于中紅外和微波的范圍之間，由于其波長較長，不易受散射影響，在食品異物檢測方面也得到了較好的應用[10]。不論是X射線還是紅外檢測設備，都存在設備體積大、安裝復雜、價格高昂等問題。可見光成像技術在模擬人類視覺對食品異物檢測識別中應用最為廣泛，具有操作簡單、成本低廉等優(yōu)點，但檢測處理速度受硬件和算法影響[11]，同時，因可見光的透過性弱，基于透射圖像的可見光成像技術對于組織較厚的食品在應用時受到很大限制，對異物識別正確率低。

隨著硬件的提升、數(shù)據(jù)集的建立和深度學習技術的發(fā)展，機器視覺技術在圖像分割和目標識別上的準確率不斷提高。作為機器學習中的重要子集，深度學習的相關研究不斷升溫，能夠?qū)崿F(xiàn)對數(shù)據(jù)的快速準確處理，已被應用于谷物[12]、水果[13-14]、農(nóng)作物[15-16]、堅果[17-18]等農(nóng)產(chǎn)品目標識別和品質(zhì)檢測上。目前，卷積神經(jīng)網(wǎng)絡(Convolutional neural networks，CNN)能用于種類繁多的目標識別，且能滿足識別速度要求，可用于異物識別。

核桃具有較高的營養(yǎng)價值和較好的食用體驗，是堅果類食品中最常見的一種堅果，但核桃異物是引起其品質(zhì)下降的重要因素。目前市場上有較大規(guī)模的機械自動化生產(chǎn)線可實現(xiàn)脫青皮、清洗、干燥、除癟、分級、包裝等操作以提升核桃果實的品質(zhì)和品相。然而，異物檢測仍是一個薄弱的環(huán)節(jié)。為了滿足現(xiàn)有生產(chǎn)企業(yè)的異物檢測要求，需要在現(xiàn)有的堅果加工生產(chǎn)線上增加異物檢測的功能，同時要求該異物檢測模塊在保證檢測準確率的前提下，不需要高昂的檢測成本。

針對核桃生產(chǎn)線存在的異物檢測需求，本文首先根據(jù)現(xiàn)有通用的核桃加工生產(chǎn)線，設計并搭建一套核桃異物檢測設備進行核桃異物的檢測，即通過工業(yè)相機實時采集生產(chǎn)線上的核桃圖像，獲取直觀的圖像信息數(shù)據(jù)，結(jié)合深度學習與計算機視覺技術，利用基于全卷積神經(jīng)網(wǎng)絡(Fully convolutional networks，F(xiàn)CN)的算法進行圖像邊緣檢測，對核桃生產(chǎn)加工中可能出現(xiàn)的異物進行檢測，并通過試驗對其性能加以驗證。

1 功能需求分析與系統(tǒng)整體設計

1.1 異物分析

圖1 樣本實物圖Fig.1 Pictures of samples1.核桃 2.紙片 3.石頭 4.螺母 5.螺絲 6.塑料 7.紡織物 8.樹葉

如圖1所示，根據(jù)核桃生產(chǎn)加工過程中可能接觸的各個環(huán)節(jié)[19-20]，異物主要包括：樹葉和石子(來源于采摘過程中夾帶)、紙片(來源于包裝紙箱和工作記錄本)、螺絲螺母(來源于設備松動脫落)和紡織物(來源于工作人員著裝)等。這些異物的材質(zhì)、尺寸和顏色差異較大。

1.2 系統(tǒng)工作原理

相機實時采集生產(chǎn)線上的完整核桃和異物圖像，并對圖像格式進行轉(zhuǎn)換，在此基礎上用算法對核桃和異物的輪廓進行分割并標注，把檢測到的異物標記出像素坐標，傳輸?shù)紺PU單元，CPU單元讀取到輸入信息后，判斷有效標志位，并將噴吹信號發(fā)給企業(yè)自主研發(fā)的噴吹控制器，啟動噴吹系統(tǒng)，用高速氣流將異物剔除。

1.3 系統(tǒng)硬件設計

本研究對堅果基地的18家核桃加工企業(yè)進行了調(diào)研，對其設備進行了現(xiàn)場考察。經(jīng)實地測量，在核桃進行最終產(chǎn)品裝袋前，大部分企業(yè)使用的輸送線尺寸如圖2所示。綜合考慮實際生產(chǎn)的環(huán)境空間條件，同時為了設備的安裝搭建和后期的調(diào)試維護方便，在不影響正常生產(chǎn)的基礎上，設計一套異物檢測設備安放于原有的生產(chǎn)線上，達到增加異物檢測功能的目的。該設備組成包括設備框架、圖像采集系統(tǒng)和恒定光源系統(tǒng)。

圖2 設備與生產(chǎn)線結(jié)構(gòu)示意圖Fig.2 Structure of equipment & production line1.異物檢測裝備 2.生產(chǎn)線

(1)設備框架

圖2為設備安裝于生產(chǎn)線上的結(jié)構(gòu)示意圖，該設備的框架尺寸(長×寬×高)為470 mm×600 mm×615 mm，由20 mm×20 mm的鋁型材搭建而成。設備上、下兩部分可以進行獨立開關，便于設備的調(diào)試。上部分用于對相機的調(diào)節(jié)，在工作過程中打開該部分不影響生產(chǎn)線正常運行。設備下部分用于調(diào)節(jié)光源，以及對生產(chǎn)線工作狀態(tài)的觀察。

設備的尺寸參數(shù)由傳送帶寬度、可用空間、環(huán)境障礙、相機鏡頭焦距等要素決定。設備的寬度根據(jù)傳送帶的尺寸設計，需要考慮帶寬和兩側(cè)支撐。所以設定框架主體部分尺寸(長×寬)為470 mm×470 mm，不遮擋生產(chǎn)線。框架底部的橫向鋁型材，用以增加接觸面積，提高設備的穩(wěn)定性。該框架安裝簡單，且質(zhì)量為5.4 kg，便于搬運。

(2)圖像采集系統(tǒng)

圖像采集系統(tǒng)由工業(yè)彩色千兆以太網(wǎng)相機(DVP-30GC03E-33型，分辨率1 280像素×960像素，60 f/s)和500萬像素鏡頭(TCL-1216-5MP型，購自德國The Image Source)組成，用于拍攝傳送帶上的核桃與異物。該相機可承受苛刻的環(huán)境，如沖擊或振動，滿足應用時對一致性和可靠性的要求。

圖像的視野范圍公式為

(1)

式中f——鏡頭焦距，mmL——工作距離，mm

VCMOS——相機芯片長邊長度，mm

HCMOS——相機芯片短邊長度，mm

VFOV——視野范圍長邊長度，mm

HFOV——視野范圍短邊長度，mm

由式(1)得

(2)

(3)

考慮到生產(chǎn)線的實際尺寸、框架主體尺寸及相機實際工作的區(qū)域，選擇了可能工作的部分鏡頭相關參數(shù)，如表1所示。生產(chǎn)線寬度(考慮傳送帶與壁面間隙，左右各50 mm)，即視野范圍長邊長度最小值為306 mm。芯片邊長取8 mm，工作距離L取470 mm，將數(shù)據(jù)代入式(2)，得f≈12.288 mm。

表1 鏡頭參數(shù)Tab.1 Parameters of lens

為了給布置光源、電源線等保留充足的空間，總體高度約為寬度的1.3倍，得高度為615 mm。其中，相機與鏡頭總長約為100 mm，保留數(shù)據(jù)線與電源線空間約50 mm，檢測裝備底部與待測對象距離約30 mm，則實際工作距離約為：L=615-100-50+30=495 mm。

為了保證檢測對象尺寸和生產(chǎn)線高度變化時圖像采集系統(tǒng)的穩(wěn)定性，相機的固定架設計為垂直于輸送帶的可移動結(jié)構(gòu)。

(3)恒定光源系統(tǒng)

在圖像采集的過程中，較差的圖像質(zhì)量會增加后續(xù)圖像處理的難度。在實際生產(chǎn)中，不同時間段的光線差異和不同生產(chǎn)環(huán)境差異都會影響圖像質(zhì)量，增加誤差。為此，設計了恒定光源系統(tǒng)，由LED燈帶、漫反射涂層、遮光板組成，可提高拍攝圖像的質(zhì)量，減少誤差。

圖3中LED燈帶由4條環(huán)形白光LED燈(12 V，6 500 K白光)組成，燈帶沿著框架的內(nèi)部邊緣布置，長400 mm，距離底部約120 mm，每條燈帶上均勻布置25個燈珠。這種燈帶布置方式可使待測對象輪廓突出，且照射均勻。圖3中的漫反射涂層，用于增加光線在圖像采集設備中的反射，使光源更加均勻。遮光板由黑色的不透光亞克力材質(zhì)組成，用于隔絕外界光源干擾。同時，由于實際生產(chǎn)的環(huán)境中存在灰塵，遮光板能起到對內(nèi)部相機鏡頭及其他設備的保護作用。

圖3 異物檢測裝備Fig.3 Image of impurity detection equipment1.設備框架 2.圖像采集系統(tǒng) 3.遮光板 4.漫反射層 5.LED燈帶 6.待測對象

2 檢測算法

2.1 圖像采集

圖像采集于浙江省杭州市臨安區(qū)的堅果基地，拍攝生產(chǎn)線上的核桃和異物共60幅圖像，異物為核桃生產(chǎn)加工中常見的內(nèi)源性和外源性異物，包括樹葉、紙片、螺絲等。每幅圖像中平均包含了30個核桃和不同數(shù)量、不同類型、不同尺寸和不同顏色的異物。

2.2 數(shù)據(jù)集制備

對獲取的60幅核桃和異物圖像，按照比例4∶1隨機分為訓練圖像集和驗證圖像集。訓練集主要用于模型訓練結(jié)果的評估，驗證集用于對模型實際檢測效果的評估。

2.3 算法模型

CNN是利用線性代數(shù)中矩陣的原理對圖像進行分類和識別，主要包括：①卷積層，也稱部分連接層，起到特征提取的作用。②池化層，用于減少特征映射的尺寸，減少需要學習的參數(shù)數(shù)量和在網(wǎng)絡中執(zhí)行的計算量，提取由卷積層生成的特征映射圖上某個區(qū)域的特征。③全連接層，用于綜合前面提取到的所有特征。

雖然CNN的算法在分類工作中有較高的準確率，但是在實際檢測中的效果卻不佳，原因是分類時需要被測物特征具有位置不變性，而實際檢測時則需要對目標的移動做出快速響應。為了解決這個問題，本文選擇全卷積神經(jīng)網(wǎng)絡(圖4[21])將CNN最后的全連接層全部用卷積層替代，這使得網(wǎng)絡中所有的計算都是共享的，可以同時處理位置可變性和平移可變性問題。

在FCN網(wǎng)絡結(jié)構(gòu)調(diào)整過程中，比較表征模型性能的4個參數(shù)(模型尺寸、訓練時間、準確率和損失值)，尋找出適合核桃異物識別任務的最優(yōu)網(wǎng)絡結(jié)構(gòu)。綜合考慮模型的訓練速度和準確率后，通過調(diào)整，選擇了適合核桃異物識別的FCN網(wǎng)絡，該網(wǎng)絡擁有15層卷積層和5層池化層(圖4)。其中選用FCN-32s是為了獲得更多的全局信息；選用FCN-16s是為了獲得更多的局部信息；選用FCN-8s是為了提供更精確的邊界信息。在生產(chǎn)線核桃異物檢測時發(fā)現(xiàn)此算法能達到較好的識別效果，滿足檢測要求，故沒有對算法改進。

2.4 邊緣檢測

圖4 FCN網(wǎng)絡結(jié)構(gòu)圖Fig.4 Network structure of FCN

由圖像采集系統(tǒng)獲取的圖像分辨率為1 280像素×960像素，需要先將圖像通過Matlab軟件處理為512像素×512像素的bmp格式。如圖5所示，采用VGG Image Annotator對bmp圖像進行標記，具體處理步驟為：將核桃和異物的輪廓全部人工標出，形成獨立的封閉曲線，此處不區(qū)分類別，只標注輪廓；將標注的輪廓分為2個標簽：核桃和異物，圖像其余部分默認為背景；導出json格式的文件，文件中包含標簽和對應的坐標位置(背景像素被標注為0，核桃像素被標注為1，異物像素被標注為2)。

圖5 標記后的核桃與異物Fig.5 Labeled walnuts and impurities

2.5 模型訓練

對優(yōu)化完成的全卷積神經(jīng)網(wǎng)絡模型進行訓練，并對其中的每幅圖像進行亮度調(diào)整，提高網(wǎng)絡泛化能力。對所有的訓練圖像進行訓練完成后，再對其進行驗證分析，直至誤差收斂于穩(wěn)定數(shù)值，停止訓練，完成神經(jīng)網(wǎng)絡模型訓練。

2.6 評價指標

為了客觀評價異物檢測設備的工作性能，將該設備應用于生產(chǎn)線，拍攝加工生產(chǎn)時的實時圖像，對檢測誤差進行分析，分別計算訓練集和驗證集的檢測準確率及檢測速率，使檢測速率能滿足生產(chǎn)線的實際運行速度要求。

3 試驗

3.1 試驗平臺環(huán)境配置

試驗平臺環(huán)境為Intel Core i7-8700@3.2 GHz，運行內(nèi)存16 GB，GPU選擇NVIDIA GTX1080顯卡，操作系統(tǒng)為Windows 10。選用的編程語言為Python 3.9。選用深度學習框架Pytorch(Facebook人工智能研究院，Stable 1.7.1)。

圖像采集系統(tǒng)配置如前所述，設備實物如圖6所示。

圖6 生產(chǎn)線上的設備Fig.6 Equipment on production line

3.2 誤差分析

表2為FCN模型的混淆矩陣，表明真實值和預測值之間的關系，前后2種狀態(tài)都包含背景、核桃、異物3個維度。每組數(shù)據(jù)的含義為：真實值中對象(背景、核桃、異物)與預測值中對象(背景、核桃、異物)的對應像素點數(shù)及匹配度。

表2 FCN模型對各類別預測的混淆矩陣Tab.2 Confusion matrix for class prediction of FCN

研究中最大的誤差像素點數(shù)為134 516個像素點，來自于“核桃-背景”，即原本的核桃被預測為背景。主要原因為核桃中的某些特征(如裂縫、紋路)與背景相似。

匹配度是指正確匹配的像素點數(shù)與總的真實像素點數(shù)百分比(或?qū)乃蓄A測值之和)。可以看到，正確匹配的像素點遠高于其余項，說明匹配度較高。

最大誤差匹配度為18.91%，來自于“異物-背景”。檢測的主要目的是找出異物，所以重點分析真實值中異物的誤差，即真實值的異物所在行。可以看到異物被錯誤預測為“背景”的數(shù)據(jù)(24 873個像素點，18.91%)遠大于被錯誤預測為“核桃”的數(shù)據(jù)(3 954個像素點，3.01%)。導致這種差異的原因主要有2個：人工標注傳送帶上的污染物不作為異物判斷；由于異物的尺寸普遍較小，像素點的基數(shù)不足，錯誤預測產(chǎn)生的影響更大，從而放大了誤差。

3.3 試驗結(jié)果分析

由圖7可知，對于異物的識別較為清楚，但是邊緣分割還存在誤差。同時發(fā)現(xiàn)，盡管人工標注圖中可能會出現(xiàn)標注的失誤，即核桃被錯標成異物，但是經(jīng)過訓練的模型，仍能很好地分割出核桃和附近的異物，模型可靠性較好。采用FCN對所有圖像進行分割，并統(tǒng)計檢測結(jié)果，得到訓練集準確率為92.75%，驗證集準確率為90.35%，兩者均在90%以上，檢測速率為4.28 f/s，滿足生產(chǎn)線運輸速度為1 m/s的檢測要求。

圖7 異物檢測結(jié)果Fig.7 Results of impurity detection

4 結(jié)束語

在現(xiàn)有的核桃加工生產(chǎn)線基礎上，設計搭建了一套圖像采集及異物檢測裝備，包括框架、圖像采集系統(tǒng)、恒定光源系統(tǒng)、硬件平臺等，在不改變原有設備和環(huán)境的基礎上對加工過程中可能出現(xiàn)的異物進行了檢測。研究過程中通過工業(yè)攝像頭對核桃檢測生產(chǎn)線進行圖像拍攝，利用基于深度學習的FCN算法建立核桃異物檢測模型。在樣本量較少的情況下，仍然得到了較好的圖像分割效果，結(jié)果顯示訓練集準確率為92.75%，驗證集準確率為90.35%，表明所搭建的異物檢測設備和提出的檢測技術滿足實際檢測需求。