非結(jié)構(gòu)環(huán)境下基于HoG與SVM的汽車油箱蓋視覺(jué)檢測(cè)方法

梁銘裕，黃平，劉修泉

(1.華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東廣州 510640；2.佛山職業(yè)技術(shù)學(xué)院機(jī)電工程學(xué)院，廣東佛山 528137)

0 前言

隨著無(wú)人系統(tǒng)技術(shù)的發(fā)展，以人為主導(dǎo)的傳統(tǒng)模式向著以機(jī)器人為主導(dǎo)的智能化模式轉(zhuǎn)換。機(jī)器人技術(shù)的發(fā)展為加油站提供了新的服務(wù)方式——加油機(jī)器人，利用傳感器定位汽車及油箱門(mén)和油箱口，控制系統(tǒng)指揮機(jī)器人自動(dòng)完成加油。油箱蓋的識(shí)別不僅在無(wú)人智能加油站中有著較好的應(yīng)用前景，在未來(lái)電動(dòng)汽車的智能充電系統(tǒng)中也有潛在的應(yīng)用價(jià)值。張新良等采用形態(tài)學(xué)與Hough變換相結(jié)合的方法檢測(cè)圓形油箱蓋，該方法不能用來(lái)檢測(cè)任意形狀的油箱蓋并且油箱蓋尺寸以及油箱蓋與相機(jī)的距離范圍是規(guī)定的，在油箱蓋檢測(cè)中靈活性低。在自然光照條件下對(duì)油箱蓋進(jìn)行位置檢測(cè)，需要先對(duì)圖像進(jìn)行增強(qiáng)處理以突出油箱蓋與覆蓋件之間的板縫區(qū)域。此類問(wèn)題類似于裂縫檢測(cè)，通常先對(duì)圖像進(jìn)行增強(qiáng)處理再進(jìn)行裂縫特征提取和分析。周穎和劉彤采用圖像增強(qiáng)、形態(tài)學(xué)運(yùn)算、連通區(qū)域標(biāo)記和碎片拼接等方法實(shí)現(xiàn)裂縫檢測(cè)。TALAB等使用Sobel算子對(duì)混凝土圖像進(jìn)行濾波并使用Otsu閾值分割完成裂縫邊緣檢測(cè)。LIU等提出一種具有魯棒性的基于多尺度增強(qiáng)和視覺(jué)特征的裂紋檢測(cè)框架，先使用引導(dǎo)濾波和梯度多尺度增強(qiáng)，再進(jìn)行閾值處理以提取裂縫。WANG等提出一種多種自適應(yīng)濾波和增強(qiáng)對(duì)比度的裂縫圖像處理方法，并采用Otsu的局部自適應(yīng)算法實(shí)現(xiàn)裂縫檢測(cè)。

在自然光照條件下采集到的包含油箱蓋的汽車圖像具有如下特點(diǎn)：圖像對(duì)比度低，油箱蓋與汽車覆蓋件之間板縫較為模糊；有些汽車覆蓋件因?yàn)椴粷崈魧?dǎo)致表面粗糙度高，從而對(duì)光線反射不均勻，有些則過(guò)于光滑導(dǎo)致產(chǎn)生高反光區(qū)域；光照的變化和各種原因?qū)е碌脑肼晻?huì)對(duì)后續(xù)處理產(chǎn)生很大影響。數(shù)學(xué)形態(tài)學(xué)方法可以根據(jù)圖像感興趣目標(biāo)的形態(tài)特征增強(qiáng)圖像，保留有用信息的同時(shí)可以去除噪聲。據(jù)此，提出非結(jié)構(gòu)環(huán)境下基于HoG與支持向量機(jī)(Support Vector Machines,SVM)的汽車油箱蓋視覺(jué)檢測(cè)方法。采用多尺度底帽變換可以有效突出板縫信息并且濾去背景的影響，利用改進(jìn)的最大熵閾值分割與連通區(qū)域方法可以定位出目標(biāo)候選區(qū)域，再利用HoG特征和SVM分類以獲得準(zhǔn)確識(shí)別出汽車油箱蓋的效果。

1 油箱蓋檢測(cè)算法

油箱蓋檢測(cè)算法的流程如圖1所示。

圖1 汽車油箱蓋檢測(cè)算法流程

首先，采用最大值法對(duì)圖像進(jìn)行灰度化；接著，采用平均濾波法進(jìn)行去噪處理；然后，用多尺度底帽變換提取圖像暗細(xì)節(jié)特征；再用改進(jìn)的最大熵閾值算法求出閾值并進(jìn)行二值化；針對(duì)二值化圖像，通過(guò)連通區(qū)域分析得出目標(biāo)候選區(qū)域；最后，提取目標(biāo)候選區(qū)域的HoG特征描述子并輸入到SVM二分類器進(jìn)行精確檢測(cè)。

1.1 圖像預(yù)處理

1.1.1 灰度化

灰度圖是由白到黑不同灰度級(jí)組成的單色圖像，圖像中每一個(gè)像素只有一個(gè)灰度值。通常情況下，灰度級(jí)范圍為[0,255]。將RGB色彩空間圖像進(jìn)行灰度化，通常有以下4種方法：分量法、最大值法、平均值法和加權(quán)平均法。對(duì)于油箱蓋檢測(cè),需要提取油箱蓋與汽車覆蓋件之間的板縫，板縫在3個(gè)通道圖像中均具有相近的灰度而覆蓋件的灰度差別大。因此，采用最大值法可以提高板縫和覆蓋件的對(duì)比度，即：

=max{,,}

(1)

1.1.2 均值濾波

汽車圖像在采集過(guò)程中會(huì)受到各種噪聲干擾，影響后續(xù)檢測(cè)。圖像去噪過(guò)程即通過(guò)濾波算法去噪。汽車表面上的灰塵、污跡會(huì)降低圖像質(zhì)量，預(yù)處理算法選用均值濾波法平滑圖像。均值濾波法是將目標(biāo)像素及其鄰域像素取平均值。在新圖中，對(duì)應(yīng)位置的灰度為所求得的平均值，即：

(2)

其中：為中心在(,)處，大小為×的矩形窗口。

圖2所示為對(duì)采集的汽車圖像中部分原圖像進(jìn)行預(yù)處理后的結(jié)果。

圖2 部分汽車原圖預(yù)處理后圖像

1.2 多尺度底帽變換

由于汽車油箱蓋與覆蓋件之間的板縫的灰度較周圍的低，為增強(qiáng)板縫與覆蓋件之間對(duì)比度以及去除圖像中的噪聲，選用底帽變換(Balck Top-Hat，BTH)對(duì)圖像進(jìn)行處理。這樣可提取具有最小灰度的板縫信息，同時(shí)可以消除光照不均和解決覆蓋件存在高反光區(qū)域的問(wèn)題。

基于灰度圖像的數(shù)學(xué)形態(tài)學(xué)方法是二值圖像形態(tài)學(xué)的擴(kuò)展，將二值圖像形態(tài)學(xué)中的交、并運(yùn)算擴(kuò)展為灰度形態(tài)學(xué)中的最大、最小值運(yùn)算。底帽變換是灰度圖與灰度腐蝕、膨脹相結(jié)合的一種復(fù)合運(yùn)算。基本算子如式(3)—式(6)所示。

設(shè)為輸入圖像，為結(jié)構(gòu)元素，和分別為和的定義域，則：

灰度膨脹為

(3)

灰度腐蝕為

(4)

灰度開(kāi)運(yùn)算為

°(,)=(?)⊕

(5)

灰度閉運(yùn)算為

·(,)=(⊕)?

(6)

開(kāi)運(yùn)算是先用結(jié)構(gòu)元素對(duì)原始圖像進(jìn)行灰度級(jí)腐蝕操作，再進(jìn)行膨脹，可以用來(lái)去除灰度圖中比結(jié)構(gòu)元素小的灰度較高的區(qū)域。閉運(yùn)算是先進(jìn)行膨脹后進(jìn)行腐蝕操作，可以用來(lái)去除灰度圖中暗細(xì)節(jié)部分。

用閉運(yùn)算結(jié)果減去原圖像，這種操作稱為底帽變換，可以提取小于結(jié)構(gòu)元素的暗細(xì)節(jié)特征并去除光照不均勻的影響，定義為

(,)=·(,)-(,)

(7)

灰度級(jí)底帽變換可以提取圖像的暗細(xì)節(jié)特征，采用不同尺度的結(jié)構(gòu)元素進(jìn)行底帽變換可以得到不同尺度下的暗細(xì)節(jié)特征，有選擇地放大需要的特征就可以實(shí)現(xiàn)增強(qiáng)局部對(duì)比度。因此，數(shù)學(xué)形態(tài)學(xué)的重點(diǎn)是結(jié)構(gòu)元素的選擇。底帽變換的結(jié)構(gòu)元素是提取板縫信息的決定性因素，結(jié)構(gòu)元素過(guò)大會(huì)加入較多的噪聲，過(guò)小會(huì)漏掉有用的信息。因此，采用多結(jié)構(gòu)元素自適應(yīng)提取圖像不同尺度下的暗細(xì)節(jié)特征。多尺度結(jié)構(gòu)元素定義如下：

=⊕…⊕…

(8)

其中：為初始選擇的結(jié)構(gòu)元素；為尺度參數(shù)，即大尺度結(jié)構(gòu)元素由初始結(jié)構(gòu)元素膨脹-1次得到。因此，第個(gè)尺度下由底帽變換提取的圖像暗區(qū)域BTH, 定義為

BTH,(,)=·-

(9)

(10)

(11)

圖3所示為多尺度底帽變換提取暗細(xì)節(jié)特征，為方便顯示，將圖像取反。可以看出，經(jīng)過(guò)多尺度底帽變換后的汽車圖像，油箱蓋的板縫信息在局部區(qū)域更加突出，并且可以減少光照不均、高反光區(qū)域和表面不潔凈的影響。

圖3 多尺度底帽變換

1.3 改進(jìn)最大熵閾值分割

最大閾值分割法是將圖像劃分成目標(biāo)區(qū)域和背景區(qū)域，使目標(biāo)熵和背景熵的和取得最大值時(shí)的閾值為最優(yōu)閾值。方法如下：

(12)

(13)

背景區(qū)域和目標(biāo)區(qū)域的熵分別表示為

(14)

(15)

最大熵閾值分割法是通過(guò)最大化目標(biāo)熵和背景熵的和來(lái)確定閾值，最佳閾值計(jì)算公式為

(16)

通常，經(jīng)過(guò)底帽變換的汽車圖片直方圖接近單峰分布，主要都是背景區(qū)域，其像素值分布在較低的區(qū)域，而候選目標(biāo)區(qū)域占有少數(shù)比例，所以閾值應(yīng)該使目標(biāo)比例1-()盡量小，相當(dāng)于使·()盡量大。因此，最佳閾值可以通過(guò)最大化目標(biāo)熵()和·()的和來(lái)確定。最佳閾值計(jì)算公式為

(17)

式(17)中的用來(lái)控制()的作用程度。用得出的閾值對(duì)圖像進(jìn)行分割得出二值化圖像，如圖4所示。

圖4 改進(jìn)最大熵閾值二值化

1.4 目標(biāo)候選區(qū)域提取

閾值分割后的汽車圖像由板縫像素點(diǎn)、干擾噪聲像素點(diǎn)、背景像素點(diǎn)組成。根據(jù)油箱蓋板縫的特征信息，采用提取連通區(qū)域方法，先進(jìn)行去噪，后提取連通區(qū)域的外接矩形，通過(guò)計(jì)算外接矩形的長(zhǎng)寬比和面積判斷是否能選為候選區(qū)域。具體算法步驟如下：

(1)用八連通區(qū)域標(biāo)記二值圖像；

(2)統(tǒng)計(jì)各個(gè)連通區(qū)域的面積并設(shè)置閾值，將小于閾值的連通區(qū)域視為噪聲點(diǎn)并去除；

(3)計(jì)算剩余連通區(qū)域的外接矩形的長(zhǎng)寬比，=(、分別為的長(zhǎng)和寬)，保留長(zhǎng)寬比0.5<<2的連通區(qū)域；

(4)計(jì)算剩余連通域外接矩形的面積，將面積符合一定范圍的連通域判定為目標(biāo)候選區(qū)域。

目標(biāo)候選框檢測(cè)結(jié)果如圖5所示。

圖5 目標(biāo)候選框檢測(cè)

1.5 HoG特征提取

HoG特征基于圖像梯度或邊緣方向密度分布的統(tǒng)計(jì)來(lái)描述局部目標(biāo)的形狀和外觀。通常將目標(biāo)圖像劃分為等份的細(xì)胞單元格，分別計(jì)算每個(gè)單元格的方向梯度直方圖，將這些直方圖串聯(lián)起來(lái)組成目標(biāo)區(qū)域的HoG特征描述子。

根據(jù)油箱蓋外形特點(diǎn)，對(duì)油箱蓋進(jìn)行特征建模，采用最大值灰度圖的HoG特征。將HoG特征模型特征窗口大小設(shè)計(jì)為128像素×128像素，細(xì)胞單元格設(shè)計(jì)為16像素×16像素，每個(gè)細(xì)胞單元格的直方圖通道設(shè)置為9個(gè)。由于光照不均勻和對(duì)比度的變化會(huì)使梯度強(qiáng)度有較大的變化，需要對(duì)梯度強(qiáng)度做歸一化處理。HoG特征在一個(gè)塊中進(jìn)行梯度強(qiáng)度的歸一化處理，設(shè)計(jì)塊的大小為2像素×2像素，移動(dòng)步長(zhǎng)為16，由此得出的HoG特征維數(shù)為1 764維。

1.6 SVM分類器訓(xùn)練

汽車油箱蓋的檢測(cè)本質(zhì)是一個(gè)二分類模式識(shí)別問(wèn)題，因此可以借助二值分類器進(jìn)行檢測(cè)。SVM具有優(yōu)越的分類性能，在分類樣本量較少的情況下也能獲得較好的分類性能。因此，采用SVM作為汽車油箱蓋檢測(cè)的判決器，提取樣本圖像的HoG特征進(jìn)行訓(xùn)練。

分類器訓(xùn)練時(shí)采用的正樣本為汽車油箱蓋區(qū)域圖像，負(fù)樣本分為兩種：一種是不含油箱蓋的區(qū)域，另一種是與油箱蓋真值框重疊面積占20%～50%的目標(biāo)候選框。用于SVM模型訓(xùn)練的正樣本個(gè)數(shù)為600個(gè)，負(fù)樣本個(gè)數(shù)為1 000個(gè)。為提高樣本多樣性以提高分類器性能，正樣本的圖片質(zhì)量比較豐富，亮度偏低和偏高、反光、污跡和運(yùn)動(dòng)模糊等在樣本中都有所體現(xiàn)，部分正樣本如圖6所示。負(fù)樣本的選擇也比較豐富，包括環(huán)境背景、車身、車身與環(huán)境背景相交區(qū)域和與油箱蓋邊緣較為相似的汽車輪轂局部區(qū)域，部分負(fù)樣本如圖7所示。

圖6 正樣本

圖7 負(fù)樣本

2 實(shí)驗(yàn)結(jié)果及分析

原圖像來(lái)源于手機(jī)的實(shí)拍圖片，采集不同拍攝角度、不同拍攝距離、不同拍攝背景、不同顏色的500幅大小為1 920像素×1 440像素的汽車圖像進(jìn)行分析，每幅汽車圖像均僅有一個(gè)油箱蓋。其中，兩個(gè)實(shí)例的檢測(cè)結(jié)果如圖8所示。在汽車油箱蓋目標(biāo)檢測(cè)實(shí)驗(yàn)中規(guī)定，如果目標(biāo)檢測(cè)框與真值框之間的IoU值大于0.7，則認(rèn)為該目標(biāo)檢測(cè)是一個(gè)有效檢測(cè)。定義有效率為有效檢測(cè)數(shù)與圖像總數(shù)之比。首先，分析改進(jìn)的最大熵閾值算法采用不同的常數(shù)時(shí)對(duì)檢測(cè)效果的影響，并對(duì)比不同閾值分割算法的效果；再分析多尺度底帽變換的處理效果，并與單尺度底帽變換對(duì)比；最后，從檢測(cè)精度、查全率和查準(zhǔn)率方面對(duì)文中方法的檢測(cè)性能進(jìn)行分析。

圖8 文中算法檢測(cè)效果

2.1 改進(jìn)最大熵閾值分割效果分析

式(17)中常數(shù)是控制變量，不同的取值得到的閾值不同，對(duì)圖像的分割效果也不一樣。為選擇合適的值，取不同的值進(jìn)行測(cè)試，分析有效率，得出當(dāng)=0.8時(shí)可取得較好的效果。

分別采用最大熵、目標(biāo)最大熵、Otsu閾值與改進(jìn)的最大熵4種閾值分割算法進(jìn)行實(shí)驗(yàn)，對(duì)汽車油箱蓋檢測(cè)的性能影響進(jìn)行對(duì)比，結(jié)果如表1所示。改進(jìn)的最大熵閾值算法得出的有效率比其他3種算法高，閾值比其他方法低，可使分割后的圖像中油箱蓋板縫盡量不出現(xiàn)斷裂。

表1 不同閾值方法的檢測(cè)結(jié)果

2.2 底帽變換效果分析

底帽變換法對(duì)汽車圖像暗細(xì)節(jié)特征提取的效果主要依賴于結(jié)構(gòu)元的尺度大小，提取效果直接影響油箱蓋檢測(cè)的有效率。采用大小為5像素×5像素的圓形結(jié)構(gòu)元素為初始元素，并對(duì)多種單一尺度下的結(jié)構(gòu)元素進(jìn)行測(cè)試，結(jié)果如表2所示。可以得出：采用多尺度的底帽變換的檢測(cè)效果最好。

表2 不同尺度結(jié)構(gòu)元素底帽變換的檢測(cè)效果

2.3 汽車油箱蓋檢測(cè)結(jié)果分析

對(duì)文中方法從檢測(cè)精度、查全率和查準(zhǔn)率進(jìn)行分析。其中,各個(gè)指標(biāo)評(píng)價(jià)標(biāo)準(zhǔn)如下：

其中:為正確檢測(cè)到油箱蓋數(shù)量;為誤檢的油箱蓋數(shù)量;為漏檢數(shù);為剔除的非目標(biāo)區(qū)域個(gè)數(shù)。

對(duì)500幅汽車圖像進(jìn)行實(shí)驗(yàn)，正確檢測(cè)出的油箱蓋數(shù)量為430，誤檢數(shù)為33，漏檢數(shù)為14，剔除的非目標(biāo)區(qū)域數(shù)量為766,則得出查全率為96.85%，查準(zhǔn)率為92.87%，檢測(cè)精度為96.22%。總體來(lái)說(shuō)，文中采用的汽車油箱蓋視覺(jué)檢測(cè)算法具有良好的檢測(cè)效果。

3 結(jié)論

本文作者提出了一種非結(jié)構(gòu)環(huán)境下基于HoG與SVM的汽車油箱蓋視覺(jué)檢測(cè)方法。首先,對(duì)待檢測(cè)圖片進(jìn)行灰度化并進(jìn)行平均值濾波操作，再采用多尺度底帽變換提取暗細(xì)節(jié)特征，該方法可以消除光照不均和高反光區(qū)域的影響；對(duì)底帽變換后的圖像采用改進(jìn)的最大熵閾值算法進(jìn)行二值化，再通過(guò)連通區(qū)域方法進(jìn)行去噪并提取外接矩形，根據(jù)外接矩形的面積和長(zhǎng)寬比進(jìn)行篩選,得出目標(biāo)候選區(qū)域；然后,采用基于HoG特征的SVM分類器對(duì)候選區(qū)域進(jìn)行精確檢測(cè)。對(duì)500幅汽車圖像進(jìn)行了實(shí)驗(yàn)，結(jié)果表明:該方法可以準(zhǔn)確地檢測(cè)油箱蓋目標(biāo)，并且有較高的檢測(cè)率，誤報(bào)較少，可以有效地解決光照不均、存在高反光區(qū)域和表面不潔凈等問(wèn)題。

由于實(shí)際環(huán)境非常復(fù)雜，在一些情況下仍存在漏檢和誤檢現(xiàn)象，尤其在低照度、運(yùn)動(dòng)模糊、嚴(yán)重的投影透視變換和存在涂鴉圖案的場(chǎng)景下較為明顯。后續(xù)研究工作中，可以加入更加完備的樣本數(shù)據(jù)并優(yōu)化分類器的性能，加入更加有效的圖像處理算法,以提高油箱蓋檢測(cè)的有效率。