基于改進(jìn)ResNet50的錠狀物缺陷檢測系統(tǒng)的設(shè)計(jì)研究

劉宇斌，王壯基

（廣東理工學(xué)院，廣東 肇慶 526100）

隨著科技的發(fā)展，出現(xiàn)了工業(yè)4.0時代和盛行的工業(yè)物聯(lián)網(wǎng)為主題產(chǎn)生的“智能工廠”，而工業(yè)產(chǎn)品的表面缺陷對產(chǎn)品外觀給予消費(fèi)者的舒適度、美觀度、使用性能等產(chǎn)生不良影響，所以在工廠生產(chǎn)過程中會對產(chǎn)品表面的缺陷進(jìn)行檢測以便控制產(chǎn)品的外觀質(zhì)量。現(xiàn)今常用的檢測方式包括人工檢測、機(jī)械檢測、射線檢測以及機(jī)器視覺檢測等。其中，人工檢測產(chǎn)品表面缺陷的檢測方式存在著抽檢率低、效率低、受人工主觀因素影響大等明顯缺點(diǎn)。機(jī)械檢測通常是接觸式檢測，檢測過程需對被檢測件位置進(jìn)行不斷調(diào)整，因而效率低；射線檢測可實(shí)現(xiàn)高分辨率檢測，但結(jié)構(gòu)復(fù)雜、造價(jià)昂貴。這些方法均體現(xiàn)出以下凸顯的缺點(diǎn)：檢測置信度低，缺乏檢測的一致性、科學(xué)性；效率低、實(shí)時性差，遠(yuǎn)遠(yuǎn)不能滿足在線高速的生產(chǎn)節(jié)奏；抽檢率低，不能完全反映產(chǎn)品表面的質(zhì)量，尤其是對加工過程中產(chǎn)生的大量非周期性缺陷存在漏檢。

對此，本項(xiàng)目提出了一種基于改進(jìn)ResNet50的缺陷檢測系統(tǒng)，主要目的是對錠狀物（物品外觀形狀為錠狀，如檸檬除垢片、洗衣機(jī)清潔錠、易拉罐頂蓋等）進(jìn)行缺陷檢測的系統(tǒng)設(shè)計(jì)，從根本上降低了檢測產(chǎn)品表面缺陷成本，解決了抽檢率低、漏檢、效率低等問題，為智能工廠打下了堅(jiān)實(shí)的基礎(chǔ)。

1 系統(tǒng)設(shè)計(jì)

1.1 圖像提取模塊

該系統(tǒng)采用了IMX219傳感器為圖像獲取裝置索尼IMX219 CMOS圖像傳感器具有800萬像素分辨率（3280× 2464），在800萬全尺寸視頻輸出時可達(dá)到30幀/秒的拍攝速率，在1280x720分辨率輸出時可實(shí)現(xiàn)高達(dá)180幀/秒的高速拍攝功能。其所捕捉的圖像畸變率低于1%，對所識別物品的形狀更準(zhǔn)確，可以更好地對產(chǎn)品外觀進(jìn)行缺陷判斷。此外，IMX219搭載了4色獨(dú)立的Lens Shading補(bǔ)償功能。除了通常的Lens Shading補(bǔ)償功能以外，還具有個體校正功能以調(diào)整模塊生產(chǎn)時鏡頭的安裝偏差。模塊檢查時，可以通過把校準(zhǔn)配置信息寫入內(nèi)置OTP，來縮短相機(jī)啟動的配置時間。IMX219同時具有根據(jù)色溫進(jìn)行切換和混合等功能擴(kuò)展的特點(diǎn)。

1.2 圖像處理模塊

隨著深度學(xué)習(xí)的發(fā)展，越來越多的科研項(xiàng)目運(yùn)用到卷積神經(jīng)網(wǎng)絡(luò)，并且隨著卷積層的加深模型效果也不斷變好，但是隨著網(wǎng)絡(luò)的加深，存在著梯度爆炸、消失等一系列問題，導(dǎo)致網(wǎng)絡(luò)模型不能收斂，隨著ResNet模型、殘差網(wǎng)絡(luò)思想的出現(xiàn)，將一部分輸入數(shù)據(jù)直接傳送給輸出，不經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)，這種模型思想解決了上述存在的問題，同時可以極大的加深網(wǎng)絡(luò)，主要就是因?yàn)槿鐖D1所示的殘差塊結(jié)構(gòu)。

圖1 ResNet模型的殘差塊結(jié)構(gòu)

通過實(shí)際訓(xùn)練觀察訓(xùn)練結(jié)果與計(jì)算量，該系統(tǒng)決定采用ResNet50網(wǎng)絡(luò)為處理模型，但是，傳統(tǒng)的ResNet50網(wǎng)絡(luò)模型在進(jìn)行處理時第一層網(wǎng)絡(luò)為7×7的卷積層，由于在該系統(tǒng)中有些缺陷特征不太明顯，需要獲取更加微小的特征點(diǎn)，所以特將第一層卷積層替換為雙層的4×4的堆疊卷積層，相較初始模型具有更多的非線性激活函數(shù)，同時減小了函數(shù)計(jì)算量，使ResNet50模型更適用于該缺陷檢測系統(tǒng)。

1.3 硬件組成

該缺陷檢測系統(tǒng)主要由控制板、數(shù)據(jù)獲取裝置、破損物提取裝置、計(jì)數(shù)裝置四大部分組成，如圖2所示；數(shù)據(jù)獲取裝置通過對傳送帶上的錠狀物進(jìn)行檢測，將存在缺陷或污漬的缺陷物品視頻流傳給控制板，控制板控制數(shù)據(jù)獲取裝置對缺陷物進(jìn)行標(biāo)記的同時控制破損物提取裝置將缺陷物品提取出來，同時上傳給計(jì)數(shù)裝置統(tǒng)計(jì)該批產(chǎn)品的良品率。

圖2 缺陷檢測系統(tǒng)結(jié)構(gòu)圖

2 實(shí)驗(yàn)結(jié)果與對比分析

2.1 實(shí)驗(yàn)運(yùn)行環(huán)境

該系統(tǒng)運(yùn)行環(huán)境基礎(chǔ)硬件配置如表1所示，同時，在該環(huán)境下搭建運(yùn)行環(huán)境，包括ubuntu20.04、CUDA10.2與對應(yīng)的cudnn、qpencv3.4.0等必備環(huán)境，深度學(xué)習(xí)框架為Dark-net-53。

表1 硬件配置表

2.2 數(shù)據(jù)采集

利用IMX219攝像頭對錠狀物進(jìn)行數(shù)據(jù)收集，通過對錠狀物體進(jìn)行拍攝，獲得樣本數(shù)據(jù)為2cm×2cm（直徑×高）的錠狀物，實(shí)驗(yàn)一共采集正常數(shù)據(jù)圖片50張、污垢數(shù)據(jù)圖片58張、破損數(shù)據(jù)圖片51張、凹痕數(shù)據(jù)圖片53張，圖3為各個樣本數(shù)據(jù)的代表圖片。

圖3

2.3 實(shí)驗(yàn)結(jié)果

通過利用測試集對訓(xùn)練好的模型進(jìn)行驗(yàn)證得出結(jié)果如表2所示，在各個模型中經(jīng)過改進(jìn)后的Resnet50模型權(quán)重最小，雖然準(zhǔn)確率相較最高的ResNet101模型低了0.12%，但是，對單張圖片的檢測速度提升了4.6倍，同時根據(jù)各個參數(shù)的綜合考量，得出改進(jìn)后的ResNet50網(wǎng)絡(luò)模型是最適合該檢測系統(tǒng)的網(wǎng)絡(luò)模型。

表2 各類主流算法模型在該實(shí)驗(yàn)中的測試對比表

3 結(jié)語

本文以改進(jìn)ResNet50模型為核心研究了錠狀物缺陷檢測的應(yīng)用，按照圖像提取模塊、圖像處理模塊、硬件組成設(shè)計(jì)開發(fā)出錠狀物缺陷檢測系統(tǒng)。結(jié)合嵌入式技術(shù)，采用小型高性能開發(fā)平臺進(jìn)行圖像采集、緩存與數(shù)據(jù)傳輸，并采用改進(jìn)的ResNet50模型進(jìn)行訓(xùn)練，實(shí)現(xiàn)了錠狀物缺陷檢測系統(tǒng)的設(shè)計(jì)實(shí)驗(yàn)表明，通過改進(jìn)的ResNet50網(wǎng)絡(luò)模型是最適合錠狀物缺陷檢測系統(tǒng)的網(wǎng)絡(luò)模型。缺陷檢測系統(tǒng)的識別準(zhǔn)確率和判斷精準(zhǔn)度都有了明顯的提高，能夠?qū)崿F(xiàn)錠狀物缺陷檢測成本較低，功耗低，功能豐富。