基于特征融合的多尺度窗口產品外觀檢測方法

王 炎，連曉峰，葉 璐

(北京工商大學 計算機與信息工程學院，北京 100048 )

基于特征融合的多尺度窗口產品外觀檢測方法

王 炎，連曉峰，葉 璐

(北京工商大學 計算機與信息工程學院，北京 100048 )

為提高產品外觀質量的檢測精度和實時性，提出一種基于特征融合的多尺度滑動窗口機器視覺檢測方法；在訓練階段，首先提取圖像的HOG特征和Lab顏色特征，并采用典型相關分析法(CCA)進行特征融合；接下來，采用支持向量機(SVM)對融合的特征進行訓練，生成分類器；在檢測階段，產品外觀不同區域對精度的要求不同，為提高檢測效率，生成不同尺度的滑動窗口，在每個窗口中都進行圖像的特征提取與特征融合；最后，對采集的圖像序列進行匹配，實現產品外觀劃痕的實時檢測；實驗中，選取不同的特征提取方法進行對比，并分別生成大小不同的滑動窗口，通過分析實驗結果，結合檢測時間與精度，確定各個區域的窗口尺度；實驗表明，與傳統的檢測方法相比，所提方法在檢測精度和實時性上具有顯著提高。

機器視覺；質量檢測；特征融合；多尺度滑動窗口；支持向量機

0 引言

隨著生產力的提高以及生產資料的豐富，人們對工業產品質量要求也不斷在提高，產品外觀缺陷問題愈發受到重視。現有的外觀缺陷檢測方法有Blob檢測算法、LBP特征檢測算法等。Blob檢測算法是依據所需要的檢測精度將目標圖像劃分成為一個個的小區域，計算時將每個小分區內的RGB平均值代替分區顏色信息，然后再將待檢測的目標圖像和標準圖像的對應的分區進行對比[1]。這種檢測方法檢測速度慢，內存消耗大，不能滿足對產品的實時檢測,并且如果待檢劃痕的顏色和機身本體顏色很接近，該算法的精度不高。LBP特征(局部紋理特征)檢測方法是將目標圖像劃分為若干個3*3的小區域，通過對比區域中周圍8個點和中心點的灰度值來得到中心點的LBP值，并用該值來表示整個區域的LBP特征，這種特征提取方法并不能很好的描述工業產品的外觀特征，其精確度也不能滿足一般的工業要求。除此以外還有基于小波分析的外觀缺陷檢測方法[2]、Hough變換法[3]、自適應閾值分割算法[4]等外觀檢測方法，但是目前僅限于實驗研究階段，未能應用于實際工業生產，對產品外觀進行實時快速精確的檢測是當前亟待解決的問題。

本文提出一種基于特征融合的多尺度滑動窗口檢測算法，可以實現對產品外觀的快速精確的檢測。整個過程分為樣本訓練階段和實際檢測階段。在訓練階段，對訓練樣本進行圖像的HOG特征和Lab顏色特征提取，特征提取完畢采用CCA進行特征融合，然后送入SVM進行訓練。在檢測階段，先在采集到的圖像上選取同樣的感興趣區域，在圖像上生成多尺度滑動窗口，即對待不同精度需求的產品檢測面，生成大小不同的滑動窗口。尺度分為三個等級，精度需求不同，窗口的尺度大小也不同，這樣既能保證檢測精度，又能保證檢測的實時性，大大提升了檢測效率。接下來在滑動窗口中進行特征提取與特征融合，將融合的特征送入已經訓練好的分類器中，檢測是否存在外觀劃痕缺陷，檢測完畢后滑至下一個窗口繼續檢測。總體的檢測流程如圖1所示。

圖1 檢測流程

1 特征提取與融合

特征提取包括基于局部的方向梯度直方圖(HOG)特征提取和基于全局的Lab顏色特征提取。

1.1 HOG特征提取

HOG特征是一種機器視覺與圖像處理中用來進行圖像檢測的特征描述算子[5]。相比較其它的特征描述方法，其優點在于它對圖像的幾何形變和光學形變擁有良好的魯棒性，因為這兩種形變只會出現在大的空間領域中，而HOG特征是在圖像劃分的小區間內進行操作的。HOG特征提取的步驟如下：

1)將目標圖像進行規范化(歸一化)，其目的主要是降低光照對圖像的影響；

2)分別用[-1,0,1]和[1,0,-1]T梯度算子對圖像做卷積運算，得到水平方向和豎直方向的梯度分量。然后計算像素點(x,y)的梯度：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(2)

在式(1)、式(2)中，Gx(x,y)表示目標圖像中像素點(x,y)的水平方向梯度，Gy(x,y)表示該像素點豎直方向梯度，H(x,y)表示像素值。像素點(x,y)的梯度幅值和梯度方向如式(3)所示：

(3)

3)將目標圖像劃分為大小為6*6個像素的圖像單元，統計每個圖像單元的梯度直方圖。

4)將小的圖像單元組合成空間上連通的區間，每個區間上所有的圖像單元的特征向量串聯起來就可以得到該區間的HOG特征向量。最后將目標圖像內所有的區間HOG特征向量串聯起來，得到整個圖像的HOG特征向量。

HOG特征提取流程圖如圖2所示。

圖2 HOG特征提取流程

HOG特征提取如圖3所示，圖(a)為產品外觀圖，圖(b)為該圖提取的HOG特征，橫軸表示每一個block中的特征數量，縱軸表示block的個數。

圖3 產品外觀HOG特征提取

1.2 Lab顏色特征提取

與RGB等顏色空間相比，Lab顏色空間色域更加寬廣，包含了RGB和CMYK等其它顏色空間的所有色域，人類肉眼所能感知的顏色都可表現，同時Lab顏色空間又彌補了RGB和CMYK等其它顏色空間的色彩分布不均勻的缺陷。多次實驗表明，使用Lab顏色空間來描述圖像的顏色特征，比其他顏色空間有更高的精度和更低的誤檢率。因目前常用的圖像獲取設備都是以RGB顏色空間為標準的，所以要先將RGB空間轉換為Lab空間[6]:

(4)

(5)

1.3 特征融合

常用的特征融合方法有CCA、D-S證據理論法和主成分分析法(PCA)[7]。主成分分析法考慮到變量內部各維數據之間的關聯，誤差較小，但是其求解復雜，應用困難，且本課題研究只需要融合兩種特征，所以主成分分析法不適用。D-S證據理論是一種多源信息融合方法，但是該方法要不同特征之間必須相互獨立，特征之間的關聯會導致融合出現較大的誤差，故也不適用。本文特征融合采取CCA。該方法通過提取兩組特征向量中有代表性的綜合變量，可以從整體上把握兩組特征向量之間的相關性。在融合特征的同時，又降低了特征表示維數。具體融合方法描述如下：

設從圖像中提取的HOG特征和Lab顏色特征分別為兩組向量空間X=[x1,x2,…,xm]和Y=[y,y2,…,yn]，m和n分別為兩組特征向量的維數。兩組特征向量的相關系數如式(6)所示：

(6)

式中，Cxy為X，Y間互協方差矩陣；Cxx為X的協方差矩陣；Cyy為Y的協方差矩陣。找到一組合適的投影矢量矩陣u和v，使得投影分量z1=uTx和z2=vTy的相關性最大。

2 SVM學習分類器

2.1 SVM基本原理

SVM是針對線性分類器提出的一種設計準則，相比起其他的分類方法，其泛化性能強、精度高，在解決非線性小樣本的識別問題中具備很明顯的優勢[8]。

SVM的目的是求得一個超平面使得該超平面與訓練樣本的距離最大。求取超平面的極大化泛函如式(7)所示：

(7)

式中，N為樣本的個數，x為樣本，y為類別編號，ai為函數優化時拉格朗日系數。求得函數最大值Q(a)，即可求得最優解，最優權向量為：

(8)

式中，Ns為支持向量的個數。求得拉格朗日系數ai，即可求得最優超平面。

2.2 分類器生成

將采集到的圖像進行HOG特征提取和Lab顏色特征提取，經過特征融合以后送入分類器進行訓練，然后將訓練好的分類器用于后續的外觀檢測中。在進行檢測時，對待檢圖像進行特征提取以及特征融合，然后送入已經訓練好的SVM分類器中，得到檢測結果。

3 多尺度滑動窗口的生成

由于產品外觀劃痕的位置分布具有不確定性，所以檢測時在檢測面生成矩形窗口進行檢測，選取大小合適的矩形窗口在圖像上進行滑動，使其包含整個圖像，每滑動一次，就對窗口內的圖像進行一次特征提取。窗口的大小對檢測時間以及檢測精度會產生很大的影響，若是窗口選擇太大，包含過多的像素點，則會使窗口內分辨率下降，降低檢測精度；若是窗口選擇太小，則會因為多次提取特征導致檢測時間過長并且內存消耗過大，而且可能會將機身上的灰塵或是水珠等誤檢為劃痕。

一件產品不同的面對于外觀缺陷的精度要求也是不同的。通常來說側面及正面對于檢測精度要求較高，生成尺度較小的窗口進行檢測；而背面和頂面對于檢測精度要求較低，則需要生成尺度較大的窗口進行檢測。

4 實驗結果與分析

4.1 數據集

本文所采用的數據集是來自海爾集團滾筒洗衣機生產流水線上的產品實際外觀圖。每張圖片的尺寸為2 456*2 058。

4.2 實驗設計

4.2.1 特征提取方式對比

采取HOG特征和Lab顏色特征相結合的特征提取方式，為了體現該方法的優越性，另外選取不同的特征提取方式來進行對比實驗。在特征提取方式中，另外選取了Blob特征提取和LBP(局部二值模式)特征提取兩種特征提取方式。

實驗中將機身貼上劃痕標簽(如圖4所示)，用不同的特征提取方法來進行檢測，比較檢測結果。

圖4 機身外觀劃痕

4.2.2 不同窗口尺度對比

滑動窗口的尺度選取不同會較大程度地影響檢測結果，本實驗所采用的檢測圖像較大，對于精度要求較低的檢測面，若窗口尺度選取較小，則需要相當長的時間，不能滿足流水線的實時檢測。實驗中分別選取尺度為20*20、25*25、30*30、35*35、40*40、45*45、50*50的窗口，每種尺度測試數量為200臺，將產品的檢測面上人為貼上劃痕標簽，最終得到窗口尺度和檢測時間以及檢測精度的關系曲線圖。

4.3 實驗結果分析

4.3.1 特征提取方式對比結果分析

分別采取不同的特征提取方式對同一批產品進行檢測，選取幾組典型的檢測結果，可以明顯看出，相比起HOG特征和Lab顏色特征想結合的特征提取方法，其他特征提取方法效果并不理想(見圖5～圖7)。

圖5 Blob特征提取檢測結果

圖6 LBP特征提取檢測結果

圖7 HOG與Lab顏色特征結合檢測結果

4.3.2 不同窗口尺度對比結果分析

實驗中選取大小不同的窗口，得到窗口大小和檢測時間的關系如圖8所示。

圖8 窗口大小和時間的關系

在生產過程中機身會沾染少許灰塵，在實驗中若將灰塵檢測為劃痕，則判定為誤檢，若未能檢測到貼上的劃痕標簽，則同樣判定為誤檢。設定精度為正確檢測的機器數量與總量的比值。窗口大小和檢測精度的關系如圖9所示。

圖9 窗口大小和精確度的關系

窗口大小15*1520*2025*2530*3035*3540*4045*45時間/s9.06.24.84.03.53.23.0精度96.1%96.9%98.8%98.3%98.2%97.8%96.5%

表1為不同大小的窗口的檢測時間與檢測精度對應的具體數值。分析圖表，在窗口大小為25*25時，精確度會達到一個峰值，之后緩慢下降，結合時間，選取大小為25*25大小的滑動窗口用于檢測產品的正面以及側面；35*35大小的窗口相比起30*30大小的窗口，精確度幾乎持平，而時間卻明顯減少，所以選取大小為35*35的滑動窗口用于檢測產品的頂面；背面對于精確度的要求較低，可選取大小為40*40的滑動窗口用于檢測背面。

5 結論

提出了一種基于HOG特征和Lab顏色特征融合的多尺度

滑動窗口檢測方法，可以對產品外觀質量完成快速準確的檢測，且具有實時性，多特征融合可以保證檢測結果的準確性，多尺度滑動窗口既能保證較高的檢測精度又能降低檢測時間。實驗過程中對比了其他幾種特征提取方法，結果表明本文采取的HOG特征和Lab顏色特征具有最高的檢測精度；通過分別選取不同大小的窗口，結合精度和時間，在不同的檢測面生成大小合適的窗口。在實際的生產流水線進行實驗，結果表明該研究具有很高的工業應用價值。但是經過實驗，發現還是會存在誤檢漏檢的情況，在生產密集的時候，檢測速度還是略微有些跟不上生產速度，在未來的研究中，還需要繼續改進，逐步完善性能。

[1] 孫 浩，王 程，王潤生.局部不變特征綜述[J]. 中國圖象圖形學報，2011,16(2)：141-151.

[2] 蔣年德，王耀南.一種新的基于主分量變換與小波變換的圖像融合方法[J]. 中國圖象圖形學報，2005，10(7)：910-915.

[3] 陳培俊，伍鐵軍.去除陰影后利用霍夫直線變換檢測茶葉中的雜質[J].機械工程與自動化，2014(5)：63-65.

[4] 龍建武，申鉉京，陳海鵬.自適應最小誤差閾值分割算法[J].自動化學報，2012,38(7)：1134-1144.

[5] Dragan V， Morozan T， Stoica A M．Robust Stabilization of Linear Stochastic Systems[J]．Mathematical Methods in Robust Control of Linear Stochastic Systems，2013，52:381-436．

[6] Guo Q， Chen G X， Luo J. A Blind Watermarking Algorithm Using DWT and DCT Techniques for Color Image[J].2015,731(1)：179-182.

[7] 劉金梅，王國宇.基于特征接近度的多特征融合方法[J].中國海洋大學學報，2015，45(11)：109-113.

[8] 唐銀鳳，黃志明，黃榮娟.基于多特征提取和SVM分類器的紋理圖像分類[J].計算機應用與軟件，2011，28(6)：22-26.

Product Appearance Detection Based on Feature Fusion and Multi - Scale Window

Wang Yan，Lian Xiaofeng，Ye Lu

(School of Computer and Information Engineering,Beijing Technology and Business University,Beijing 100048, China)

In order to improve the detection accuracy and real-time performance of the product appearance quality, we present a method of machine vision on the basis of feature fusion and multi-scale sliding window. In the training phase, in the first part of the paper, the HOG feature and Lab color feature of the image are extracted, and then the feature are fused using the classical correlation analysis(CCA). Next, support vector machine(SVM) is used to train the fused features to generate a classifier. In the detection phase, the accuracy requirements of different regions of the product are different. In order to improve the detection efficiency, the sliding window of different scales is generated. In each window, the feature extraction and feature fusion are carried out. Finally, the acquisition of the image sequence to match, to achieve real-time detection of product appearance scratches. In the experiment, different feature extraction methods are selected to compare and generate sliding windows with different sizes respectively. By analyzing the experimental results and combining the detection time and precision, the window scales of each region are determined. Experiments show that compared with the traditional detection method, the proposed method has a significant improvement in detection accuracy and real-time.

machine vision; quality inspection; feature fusion; multi - scale sliding window; SVM

2017-05-26；

2017-06-10。

北京工商大學兩科基金培育項目(LKJJ2017-23)。

王 炎(1993-)，男，天津人，碩士研究生，主要從事機器視覺與智能檢測方向的研究。

連曉峰(1977-)，男，山西長治人，副教授，碩士研究生導師，主要從事圖像處理、機器視覺、智能控制與網絡測控方向的研究。

1671-4598(2017)12-0039-04

10.16526/j.cnki.11-4762/tp.2017.12.010

TP391

A