面向自動(dòng)拆解的廢舊電器整機(jī)智能識(shí)別方法

陳從平，李少玉，鈕嘉煒，顏逸洲，張 屹

(常州大學(xué) 機(jī)械與軌道交通學(xué)院，江蘇 常州 213164)

0 引言

隨著電器更新?lián)Q代速度逐步加快，產(chǎn)生大量廢舊電器，若不正當(dāng)處理容易對(duì)環(huán)境造成污染，另外廢舊電器中仍有大量材料資源可以回收利用，因此需要對(duì)廢舊電器進(jìn)行拆解回收，由于不同的廢舊電器需要不同的拆解方式，以及不同廢舊電器拆解后得到材料是不同的，所以廢舊電器拆解前需要對(duì)其進(jìn)行識(shí)別分類[1]。傳統(tǒng)拆解過程中對(duì)廢舊電器主要是通過人工或者機(jī)械的方法進(jìn)行識(shí)別分類，但由于廢舊電器種類多樣，大小、顏色、形狀等因素不固定，導(dǎo)致分類耗時(shí)、自動(dòng)化程度低、識(shí)別效率低下，因此，實(shí)現(xiàn)廢舊電器智能識(shí)別具有實(shí)際意義。導(dǎo)致廢舊電器的分類耗時(shí)、自動(dòng)化程度低、分類效率低下，因此，實(shí)現(xiàn)廢舊電器自動(dòng)分類具有實(shí)際意義。

傳統(tǒng)的目標(biāo)檢測(cè)算法有幀差法[2]、DPM法[3]和Viola-Jones法[4]，這些方法對(duì)目標(biāo)物體的檢測(cè)精度低、速度慢以及計(jì)算量大，本文基于機(jī)器視覺對(duì)目標(biāo)進(jìn)行檢測(cè)具有精度高、適應(yīng)性強(qiáng)和速度快等特點(diǎn)[5]，對(duì)廢舊電器整機(jī)的智能識(shí)別具有良好的效果。

本文提出的方法思路如下，首先通過工業(yè)相機(jī)在廢舊電器拆解車間采集廢舊電器圖像，通過PSPNet語(yǔ)義分割網(wǎng)絡(luò)[6]，把廢舊電器目標(biāo)區(qū)域和背景分離，掩膜操作[7]可進(jìn)一步得到廢舊電器目標(biāo)圖像。其次對(duì)廢舊電器目標(biāo)進(jìn)行特征提取，包括廢舊電器的形狀特征和卷積神經(jīng)網(wǎng)絡(luò)提取深層特征，引入主成分分析PCA算法[8]對(duì)特取到的形狀特征進(jìn)行優(yōu)化，把優(yōu)化后的形狀特征與深層特征向量進(jìn)行拼接，利用拼接后的特征向量對(duì)SVM二分類器[9]進(jìn)行訓(xùn)練，得到廢舊電器分類模型，最后將測(cè)試集中廢舊電器圖像通過上述特征提取，得到測(cè)試集特征向量輸入到分類模型中，完成廢舊電器的智能識(shí)別。

1 廢舊電器整機(jī)分割與特征提取

1.1 廢舊電器圖像采集

本文采集的圖像全部在廢舊電器拆解車間拍攝獲得，包括廢舊冰箱、廢舊洗衣機(jī)和廢舊空調(diào)外機(jī)，共采集900張?jiān)紙D像作為訓(xùn)練集，每類300張，并統(tǒng)一訓(xùn)練集圖像像素大小為473×473，同時(shí)為了提高分類器的泛化能力和魯棒性，對(duì)訓(xùn)練集使用了圖像翻轉(zhuǎn)、平移、亮度調(diào)整等操作手段，完成訓(xùn)練集圖像擴(kuò)充。

1.2 廢舊電器分割模塊

為了減少背景對(duì)廢舊電器特征提取的干擾，將廢舊電器與背景進(jìn)行分割，使用PSPNet語(yǔ)義分割網(wǎng)絡(luò)將采集到的廢舊電器原始圖像進(jìn)行分割，得到廢舊電器與背景分割完成后的圖像，可作為下一步掩膜操作的掩膜圖像。其中，PSPNet語(yǔ)義分割網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 PSPNet網(wǎng)絡(luò)結(jié)構(gòu)圖

輸入的廢舊電器圖像經(jīng)過主干特征提取網(wǎng)絡(luò)MobileNetV2[10]，得到Feature Map特征層，然后對(duì)Feature Map進(jìn)行4次步長(zhǎng)分別為5、10、15和30的平均池化，將特征層劃分為6×6、3×3、2×2和1×1個(gè)子區(qū)域，融合這些子區(qū)域，將融合后的區(qū)域與原始特征層進(jìn)行合并，最后通過卷積層生成最終的掩膜圖像。

語(yǔ)義分割后的掩膜圖像，其目標(biāo)區(qū)域像素值為255，其余像素值為0，因此將掩膜圖像和原圖像進(jìn)行“與”操作，獲得與背景分割后的廢舊電器圖像，如圖2所示。

圖2 廢舊電器與背景分割過程

2 特征提取

廢舊電器識(shí)別分類效果的好壞，其中特征的選擇和提取是至關(guān)重要的一步。由于每一類廢舊電器有著不同的外形輪廓，所以形狀特征可以作為區(qū)分廢舊電器的依據(jù)。由于廢電器種類的多樣化，使用形狀特征不足以充分代表廢舊電器的特征，因此，進(jìn)一步使用卷積神經(jīng)網(wǎng)絡(luò)提取廢舊電器深層特征。

表1 部分不變矩?cái)?shù)據(jù)

2.1 形狀特征提取

由于廢舊空調(diào)外機(jī)、洗衣機(jī)和冰箱三類電器經(jīng)過旋轉(zhuǎn)、平移和縮放等圖像擴(kuò)充手段，導(dǎo)致廢舊電器的位置、形狀差異顯著，而Hu矩[11]具有平移、旋轉(zhuǎn)和比例不變等特性，且識(shí)別的準(zhǔn)確率穩(wěn)定可靠，因此可選擇經(jīng)典Hu不變矩算法提取分割后的廢舊電器圖像的形狀特征，避免了廢舊電器因形狀變化引起的偏差。利用二階、三階和歸一化中心矩可以構(gòu)造出7個(gè)不變矩M1至M7，將這7個(gè)矩構(gòu)成一組特征向量,可用于代表分割后廢舊電器的形狀特征。

(1)

(2)

式中，ηpq為p+q階歸一化中心矩，保證了Hu不變矩的旋轉(zhuǎn)、平移和縮放不變性，μpq表示p+q階中心矩，ρ=(p+q)/2+1。

p,q=0,1,2...

(3)

(4)

式中，m00為廢舊電器圖像的零階矩，m01和m10為廢舊電器圖像的一階矩。

(5)

根據(jù)上述原理公式，我們可以得到廢舊冰箱、洗衣機(jī)、空調(diào)外機(jī)的7個(gè)Hu不變矩形狀特征量。

對(duì)于分割后的廢舊電器圖像，采用不變矩算法提取形狀特征，并得到所有樣本的不變矩?cái)?shù)據(jù)，每個(gè)樣本有7個(gè)特征變量M1,M2,…,M7。每類廢舊電器抽取2個(gè)樣本，其不變矩特征如表1所示。

表中1、2分別代表同一種廢舊電器的不同類別。

由表1可知，不變矩的值比較相近，由廢舊電器之間形狀比較相似所導(dǎo)致。因此，單采用Hu不變矩算法提取形狀特征來識(shí)別廢舊電器是非常困難的，需要結(jié)合其他特征來進(jìn)一步對(duì)廢舊電器進(jìn)行識(shí)別。

分割后的廢舊電器圖像，經(jīng)計(jì)算發(fā)現(xiàn)，3類廢舊電器輪廓的最小邊界矩形的長(zhǎng)邊與短邊之比有明顯的差異，因此，用廢舊電器的最小邊界矩形的長(zhǎng)寬比作為廢舊電器的一個(gè)形狀特征。

(6)

式中，L、H分別代表廢舊電器的最小邊界矩形的長(zhǎng)和寬。

廢舊電器的形狀特征包括7個(gè)Hu矩特征和1個(gè)最小邊界的長(zhǎng)寬比特征，組成一個(gè)維數(shù)為8的形狀特征向量。

2.2 PCA降維

PCA是一種常用的線性主成分分析方法，該方法根據(jù)樣本特征量的分布情況，將高維特征向量投影到低維空間中樣本點(diǎn)方差最大的方向，能保存數(shù)據(jù)主要信息的前提下，進(jìn)而將高維特征參數(shù)降到低維空間。

由于獲得的形狀特征向量特征值較大，且特征量的維數(shù)過高，直接使用形狀特征信息來識(shí)別廢舊電器會(huì)導(dǎo)致數(shù)據(jù)冗余、維數(shù)災(zāi)難，因此需要進(jìn)行降維。引入PCA算法對(duì)形狀特征向量進(jìn)行優(yōu)化，獲得廢舊電器圖像的綜合形狀特征描述，避免了不變矩?cái)?shù)據(jù)冗余導(dǎo)致的低識(shí)別率。PCA算法對(duì)得到的形狀特征向量進(jìn)行線性組合，提取出能夠代表廢舊冰箱、洗衣機(jī)、空調(diào)外機(jī)不同形狀特征的主成分。PCA原理如下。

假設(shè)樣本容量為t，每個(gè)樣本維數(shù)為w，所以有t×w矩陣A。

(7)

若A的相關(guān)系數(shù)矩陣R，并構(gòu)造特征方程|λI-R|=0，I為單位矩陣，計(jì)算特征值λi，并按其值大小進(jìn)行排序，則有：λ1≥λ2≥…≥λw≥0。通過特征值計(jì)算出主成分貢獻(xiàn)率α和累計(jì)貢獻(xiàn)率δ。

(8)

(9)

統(tǒng)計(jì)δ≥85%的前k個(gè)累計(jì)貢獻(xiàn)率，計(jì)算其對(duì)應(yīng)的特征向量，并求出維數(shù)為8的形狀特征向量a1,a2,..,a8對(duì)主分量z1,z2,..,zk的載荷lij，即：

(10)

提取前k個(gè)主分量，從而達(dá)到降維的目的。

(11)

將形狀特征的維數(shù)由8降為4，這4個(gè)主成分代表了廢舊冰箱、洗衣機(jī)、空調(diào)外機(jī)的形狀特征。

2.3 深層特征提取

CNN是一類包括卷積計(jì)算和具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。常見的卷積神經(jīng)網(wǎng)絡(luò)有ResNet[12]、AlexNet[13]和VGGNet[14]等網(wǎng)絡(luò)，而AlexNet網(wǎng)絡(luò)模型相比于其他卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)層數(shù)較少，特征提取的速度更快，并使用ReLu作為激活函數(shù)，解決了網(wǎng)絡(luò)較深時(shí)的梯度彌散問題，其次，在AlexNet模型中采用重疊最大池化，使得池化層之間有重疊區(qū)域，進(jìn)一步提高了特征的精度，一定程度上也避免了過擬合的問題。由于AlexNet網(wǎng)絡(luò)的FC8全連接層最后輸出了1 000個(gè)神經(jīng)元，與提取到的形狀特征相比，特征維度差距較大，不利于特征的拼接，增加了分類模型訓(xùn)練的復(fù)雜度，因此，本文使用改進(jìn)的AlexNet網(wǎng)絡(luò)模型進(jìn)行廢舊電器的深層特征提取，對(duì)AlexNet網(wǎng)絡(luò)第六、七和八全連接層進(jìn)行改進(jìn)，F(xiàn)C6層共1 024個(gè)神經(jīng)元，輸出1 024×1的向量，F(xiàn)C7層共128個(gè)神經(jīng)元，輸出128×1的向量，最后FC8層輸出30×1的深層特征向量。改進(jìn)后的AlexNet網(wǎng)絡(luò)一方面提取了廢舊電器的深層特征，另一方面使得輸出深層特征的維數(shù)比較理想，也減輕了分類器訓(xùn)練的難度，結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)AlexNet網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4 特征拼接

由于單一尺度的形狀或深層特征并不能充分代表廢舊電器的整體特征信息，因此將PCA優(yōu)化后的形狀特征與卷積神經(jīng)網(wǎng)絡(luò)提取的深層特征進(jìn)行橫向拼接操作，將拼接后的特征向量進(jìn)行歸一化操作，從而消除了奇異樣本導(dǎo)致的不良影響，歸一化后的特征向量可作為后面模型訓(xùn)練和測(cè)試的輸入。假如兩個(gè)輸入特征向量D、B的維數(shù)為v和s,則橫向拼接后的特征向量C維數(shù)為向量D、B的維數(shù)之和。

3 實(shí)驗(yàn)與結(jié)果分析

常見的機(jī)器學(xué)習(xí)分類算法有K近鄰算法[15]、樸素貝葉斯[16]、SVM、決策樹[17]等分類算法，其中SVM算法擅長(zhǎng)解決高維度、小樣本問題，并且具有較強(qiáng)的泛化能力，SVM極好地避免了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部的極小值問題，最終將其算法轉(zhuǎn)化為一個(gè)二次型求解最優(yōu)問題，它不僅可以解決線性問題，而且還可以解決非線性問題。針對(duì)拼接后的廢舊電器特征向量維數(shù)較高，而在二分類中SVM對(duì)高維數(shù)樣本具有良好的分類效果，因此本文提出以SVM二分類模型為基礎(chǔ)對(duì)廢舊電器進(jìn)行多分類。

3.1 廢舊電器分類方法

利用SVM二分類器對(duì)廢舊電器進(jìn)行分類，首先搭建以廢舊空調(diào)外機(jī)為正樣本，其余廢舊電器為負(fù)樣本的SVM二分類器，記為分類器1，此二分類器能夠區(qū)分廢舊空調(diào)外機(jī)和其他種類廢舊電器。其次搭建以廢舊冰箱為正樣本，其余廢舊電器為負(fù)樣本的SVM二分類器，記為分類器2，此二分類器能夠區(qū)分廢舊冰箱和其他種類廢舊電器。最后搭建廢舊洗衣機(jī)為正樣本，其余類型廢舊電器為負(fù)樣本的SVM二分類器，記為分類器3，此二分類器能夠區(qū)分廢舊洗衣機(jī)與其他種類廢舊電器，經(jīng)過上述過程，可實(shí)現(xiàn)用SVM二分類器對(duì)廢舊電器種類進(jìn)行三分類，進(jìn)而實(shí)現(xiàn)廢舊電器的智能識(shí)別。

3.2 SVM分類原理

SVM是在結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論的基礎(chǔ)之上通過構(gòu)建最優(yōu)分割超平面對(duì)樣本特征向量進(jìn)行分類，其目的是找到最優(yōu)分割超平面，使超平面上的支持向量對(duì)應(yīng)的樣本點(diǎn)到最優(yōu)分割超平面距離最短。其原理過程如下：

在線性可分的情況下，就存在一個(gè)超平面使得訓(xùn)練樣本完全分開，該n維空間的超平面方程可由二維直線方程推導(dǎo)出，公式如下：

ωTx+γ=0

(12)

式中，ω=[ω1,ω2,...,ωn]T，x=[x1,x2,...,xn]T，γ為其中的標(biāo)量。

由二維平面上點(diǎn)到直線方程的距離擴(kuò)展到多維，可求得超平面上的樣本點(diǎn)到最優(yōu)超平面的距離方程，公式如下：

(13)

(14)

目前常用的SVM核函數(shù)有線性(linear)核函數(shù)[18]、Sigmoid核函數(shù)[19]、多項(xiàng)式(polynomial)核函數(shù)[20]和徑向基型(radial basis function)核函數(shù)[21]。其中徑向基核函數(shù)的非線性能力優(yōu)于其它幾類核函數(shù)，同時(shí)也可以應(yīng)用到低維、高維、小樣本、大樣本等情況，在SVM中是應(yīng)用最廣泛的核函數(shù)，本文實(shí)驗(yàn)SVM分類器核函數(shù)選擇徑向基核函數(shù)，表達(dá)式為：

(15)

式中，γ為正實(shí)數(shù)，ki，kj分別表示不同類別的樣本。使用核函數(shù)后，分類器在訓(xùn)練時(shí)需求解的最小值問題為：

(16)

(17)

式中，θi為拉格朗日乘子，0≤θi≤E，(x，z)為訓(xùn)練樣本，Y為類別標(biāo)簽，s為訓(xùn)練樣本數(shù)，E為懲罰因子。預(yù)測(cè)時(shí)的分類判別函數(shù)為：

(18)

式中，b+為非負(fù)實(shí)數(shù)，sgn()為符號(hào)函數(shù)。

SVM算法不僅可以解決線性問題，也可以解決非線性問題。對(duì)于非線性圖像樣本特征向量，SVM將選擇一個(gè)核函數(shù)，把訓(xùn)練集特征向量映射到高維空間，在高維空間中構(gòu)造最優(yōu)分割超平面，特征向量在轉(zhuǎn)換后的高維空間中線性可分。

3.3 分類模型訓(xùn)練

對(duì)采集到的原始圖像進(jìn)行圖像擴(kuò)充操作后，通過語(yǔ)義分割網(wǎng)絡(luò)把廢舊電器與背景進(jìn)行分割，并對(duì)分割后的圖像進(jìn)行特征提取和特征拼接，最后標(biāo)注樣本標(biāo)簽，作為廢舊電器分類模型的訓(xùn)練數(shù)據(jù)，其流程如圖4所示。

圖4 分類流程圖

3.4 廢舊電器的智能識(shí)別

將語(yǔ)義分割算法、特征提取算法以及SVM分類算法封裝成廢舊電器識(shí)別軟件，把此軟件做成離線形式，外接工業(yè)相機(jī)，工業(yè)相機(jī)通過采集拆解流水線上的廢舊電器，相機(jī)采集到的廢舊電器圖像傳輸?shù)椒庋b好的廢舊電器識(shí)別軟件，經(jīng)過軟件內(nèi)部算法，可自動(dòng)識(shí)別出廢舊電器的類別，從而方便了后續(xù)各類廢舊電器的自動(dòng)拆解。面向自動(dòng)拆解的廢舊電器智能識(shí)別，其中廢舊電器識(shí)別模塊，全程無(wú)需人工干預(yù)，即可實(shí)現(xiàn)廢舊電器的智能識(shí)別與分類。

3.5 實(shí)驗(yàn)結(jié)果分析

采集廢舊冰箱、洗衣機(jī)以及空調(diào)外機(jī)各110幅圖像作為測(cè)試集，對(duì)廢舊電器分類模型進(jìn)行測(cè)試，計(jì)算出每一類廢舊電器的查準(zhǔn)率(P)，召回率(R)和F1Score值。

(19)

(20)

(21)

式中，TP為該類型廢舊電器預(yù)測(cè)為該類型廢舊電器；FP為其他類型廢舊電器預(yù)測(cè)為該類型廢舊電器；FN為該類型廢舊電器預(yù)測(cè)為其他類型廢舊電器。

用測(cè)試集分別對(duì)形狀、深層特征得到的分類模型進(jìn)行試驗(yàn)，可獲得分類結(jié)果的平均準(zhǔn)確率,即分類正確個(gè)數(shù)占總測(cè)試集的百分比，由表2可知采用單一的形狀特征或深層特征對(duì)廢舊電器的識(shí)別效果較差。

表2 單一特征對(duì)廢舊電器識(shí)別的平均準(zhǔn)確率

表3 模型評(píng)價(jià)表

將PCA優(yōu)化后的形狀特征和深層特征進(jìn)行拼接，用測(cè)試集對(duì)特征拼接后得到的分類模型進(jìn)行試驗(yàn)。從表3可以看出，通過計(jì)算P，R和F1Score的值，可以看出此模型對(duì)廢舊電器整機(jī)識(shí)別準(zhǔn)確率較高，并有著良好的適應(yīng)性，通過計(jì)算平均準(zhǔn)確率，高達(dá)91.21%，其中某些識(shí)別錯(cuò)誤的原因可能是由于廢舊電器外形及表面相似度較高所導(dǎo)致。

由表2和表3通過對(duì)比可以看出，單一尺度的形狀或深層特征向量遠(yuǎn)低于拼接后的特征向量對(duì)廢舊電器整機(jī)識(shí)別的精度。

對(duì)于特征拼接后得到的分類模型，通過改變測(cè)試集正負(fù)樣本的比例，來檢測(cè)SVM分類模型的性能，繪制ROC曲線如圖5所示。

圖5 三類分類器的ROC曲線圖

其中，縱坐標(biāo)為真正率(TPR)，即正樣本預(yù)測(cè)結(jié)果數(shù)占正樣本實(shí)際數(shù)的比例，橫坐標(biāo)為假正率(FPR)，即被預(yù)測(cè)為正的負(fù)樣本結(jié)果數(shù)占負(fù)樣本實(shí)際數(shù)的比例。圖5中曲線ROC_3代表對(duì)分類器1測(cè)試所得到的ROC曲線，曲線ROC_1代表對(duì)分類器2測(cè)試所得到的ROC曲線，曲線ROC_2代表對(duì)分類器3測(cè)試所得到的ROC曲線。通過計(jì)算AUC值(ROC曲線下的面積)均不低于0.82，因此，此模型對(duì)廢舊電器整機(jī)具有良好的識(shí)別效果。

4 結(jié)束語(yǔ)

本文提出一種面向自動(dòng)拆解的廢舊電器整機(jī)智能識(shí)別方法，首先收集大量的廢舊電器圖像作為實(shí)驗(yàn)圖像，其次使用目標(biāo)分割算法把廢舊電器與背景進(jìn)行分割，得到分割后的廢舊電器目標(biāo)圖像。其次對(duì)目標(biāo)圖像進(jìn)行形狀、深層特征提取，采用PCA算法對(duì)形狀特征進(jìn)行降維，再把上述降維后的形狀特征與深層特征進(jìn)行拼接，將拼接后的特征向量對(duì)搭建好的SVM分類器進(jìn)行訓(xùn)練，得到廢舊電器的分類模型。由實(shí)驗(yàn)可知，拼接后的特征向量得到的模型對(duì)自動(dòng)拆解的廢舊電器整機(jī)智能識(shí)別有較高的精度。由于本文實(shí)驗(yàn)訓(xùn)練樣本集數(shù)量不夠大，對(duì)模型識(shí)別的結(jié)果會(huì)有影響，故在后期研究中可通過擴(kuò)大廢舊電器數(shù)據(jù)量和種類來進(jìn)一步提高廢舊電器智能識(shí)別的準(zhǔn)確率和適應(yīng)范圍。