基于背景差分法在焊縫缺陷檢測(cè)中的應(yīng)用

沈禎杰， 孫 俊， 廖志超

（江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122）

電阻焊是金屬罐制造業(yè)中最常用的高速焊接方法。生產(chǎn)中的焊接質(zhì)量，通常是通過定時(shí)隨機(jī)抽樣觀察和做剪拉等破壞性試驗(yàn)來檢查。在這樣的測(cè)試中，樣本被周期地間歇從生產(chǎn)線上取下來進(jìn)行檢查。一般來說，這些測(cè)試樣本的結(jié)果也能反映未檢測(cè)部分的質(zhì)量，但是由于其不具有實(shí)時(shí)性，且依賴人工進(jìn)行檢測(cè)，既影響工作效率，檢測(cè)結(jié)果又有一定的延遲性。

隨著科學(xué)的發(fā)展，機(jī)器視覺得到越來越廣泛的應(yīng)用，本文正是論證將機(jī)器視覺技術(shù)應(yīng)用到金屬罐焊縫檢測(cè)系統(tǒng)中的有關(guān)理論與技術(shù)問題。本文采用高速面陣CCD相機(jī)采集數(shù)字圖像，對(duì)采集的圖像進(jìn)行相應(yīng)的圖像處理，能夠準(zhǔn)確快速地檢測(cè)出焊接中是否存在缺陷，同時(shí)將具有焊縫缺陷的金屬罐從生產(chǎn)線上剔除，提高了焊縫生產(chǎn)線的工作效率。

1 傳統(tǒng)方法

在計(jì)算機(jī)視覺系統(tǒng)中，運(yùn)動(dòng)目標(biāo)的檢測(cè)與分割是一個(gè)非常重要的問題，應(yīng)用與視頻監(jiān)視，交通監(jiān)測(cè)，圖像壓縮等許多方面，一般通過以下3種方法進(jìn)行運(yùn)動(dòng)檢測(cè)：光流法、相鄰幀差法和背景差分法。

光流法［1－2］在不需要背景區(qū)域的任何先驗(yàn)知識(shí)條件下就能夠?qū)崿F(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤，而且可以應(yīng)用于背景整體運(yùn)動(dòng)的情況。但是光流法的計(jì)算量非常大，而且對(duì)噪聲比較敏感，對(duì)硬件要求也比較高。

幀間差分法［3］是一種基于像素的運(yùn)動(dòng)檢測(cè)方法，它通過對(duì)視頻圖像序列中相鄰的2個(gè)或3個(gè)圖像進(jìn)行差分運(yùn)算來獲得運(yùn)動(dòng)物體輪廓。幀間差分法對(duì)動(dòng)態(tài)環(huán)境有很強(qiáng)的自適應(yīng)能力，但不能完全提取出所有的屬于運(yùn)動(dòng)對(duì)象的特征像素點(diǎn)，在運(yùn)動(dòng)物體內(nèi)部容易產(chǎn)生空洞，這樣的檢測(cè)結(jié)果不利于進(jìn)一步的對(duì)象識(shí)別與分析。

背景差分法通過對(duì)輸入圖像與背景圖像的每個(gè)像素點(diǎn)的灰度值進(jìn)行比較，從而分割出運(yùn)動(dòng)目標(biāo)。由于是將當(dāng)前輸入圖像的每個(gè)像素與背景圖像逐一比較，因此在運(yùn)用背景差分法時(shí)要求前景像素的灰度值和背景像素的灰度值存在一定的差別，同時(shí)要求攝像機(jī)是靜止的。背景差分法具有實(shí)現(xiàn)簡(jiǎn)單，運(yùn)算速度快，在大多數(shù)情況下檢測(cè)結(jié)果完整的突出優(yōu)點(diǎn)，且能夠較完整地提取目標(biāo)點(diǎn)，但是對(duì)光照和外部條件造成的動(dòng)態(tài)場(chǎng)景變化過于敏感。背景差分法的關(guān)鍵在于選取合適的背景模型部分，一般包括初始背景和背景更新兩個(gè)部分。

2 系統(tǒng)原理

如圖1所示，第17幀圖像為焊縫有缺陷的圖像，其他的為正常的焊縫圖像。從下面的圖像中可以得出焊縫圖像具有以下幾個(gè)特點(diǎn)：

a）焊縫的形狀大致為矩形，但是焊縫的邊界有一定的起伏，其焊縫的紋理有一定的變化；

b）沒有缺陷的焊縫圖像大體是相同的；

c）焊縫中的缺陷部分在視頻中移動(dòng)迅速，缺陷部分和焊縫部分圖像類似。

根據(jù)焊縫圖像的特征，可以將焊縫缺陷實(shí)時(shí)檢測(cè)轉(zhuǎn)變?yōu)檫\(yùn)動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)，將沒有缺陷的焊縫圖像整體都作為背景圖像，而有缺陷的焊縫圖像中的焊縫部分，則可以視為快速的運(yùn)動(dòng)目標(biāo)。本文算法是從一組實(shí)時(shí)焊縫檢測(cè)視頻圖像序列中，按照一定的假設(shè)，選擇像素灰度構(gòu)造當(dāng)前的背景圖像模型，通過檢測(cè)到運(yùn)動(dòng)目標(biāo)，提取運(yùn)動(dòng)目標(biāo)圖像，對(duì)其進(jìn)行圖像分析，判斷其是否為焊縫的缺陷及其缺陷類型。

圖1 焊縫原始圖像

3 假設(shè)的選擇

背景圖像的自適應(yīng)更新對(duì)運(yùn)動(dòng)目標(biāo)提取的準(zhǔn)確性有很大的影響，所以背景圖像的自適應(yīng)更新至關(guān)重要。近年來，人們對(duì)如何實(shí)現(xiàn)背景圖像的自適應(yīng)更新提出了許多方法，主要可分為兩大類［4］：第一類是建立背景模型并采用自適應(yīng)方法對(duì)模型參數(shù)進(jìn)行調(diào)整，第二類是從過去的一組觀測(cè)圖像中按照一定的假設(shè)選擇像素灰度構(gòu)成當(dāng)前的背景圖像。

第一類方法都需要進(jìn)行模型初始化，通常假定在初始化階段，背景圖像中不能含有運(yùn)動(dòng)前景，這種假設(shè)在實(shí)際條件下很難滿足。而且其建立的模型容易產(chǎn)生混合現(xiàn)象，大多數(shù)這類算法都需要大量的計(jì)算時(shí)間。由Friedman和Russell［5］提出將像素的灰度值看作是3個(gè)高斯分布的加權(quán)，這3個(gè)高斯分布分別對(duì)應(yīng)于背景、前景和陰影，同時(shí)采用EM算法獲得模型參數(shù)。該算法能夠迅速適應(yīng)場(chǎng)景變化，但是在計(jì)算量上是相對(duì)比較大，并且容易產(chǎn)生混合現(xiàn)象。如果背景圖像比較復(fù)雜的情況時(shí)，僅用一個(gè)高斯分布是不能構(gòu)造好背景模型。

第二類方法在背景初始化時(shí)不需要考慮背景中是否含有運(yùn)動(dòng)前景，可以有效地避免混合現(xiàn)象，但是，由于這類方法是從過去一段圖像中重構(gòu)背景模型，因此不能夠適應(yīng)迅速的場(chǎng)景變化，有一定的時(shí)間延遲性。Kornprobst等人［6］提出的一種假設(shè)，即背景在圖像序列中總是最經(jīng)常被觀測(cè)到，這就說明，背景像素在圖像序列中出現(xiàn)的頻率是最高的。根據(jù)這個(gè)假設(shè)Kornprobst等人提出一種基于par－tial differential equations的背景重構(gòu)和運(yùn)動(dòng)分割算法，該算法能有效地避免混合現(xiàn)象，但是該算法比較復(fù)雜，所涉及的參數(shù)不容易設(shè)置。

本文的算法的前提假設(shè)主要是根據(jù)Kornprobst等人提出的假設(shè)：背景在圖像序列中總是最經(jīng)常被觀測(cè)到，即背景像素在圖像序列中出現(xiàn)的頻率是最高的。并結(jié)合Friedman和Russell的理論，認(rèn)為背景圖像的像素灰度值可以看作是高斯分布的加權(quán)，提出一種快速的背景重構(gòu)算法。該算法在保留原有能夠有效避免混合現(xiàn)象優(yōu)點(diǎn)的同時(shí)，有效降低的復(fù)雜程度，并減少運(yùn)算時(shí)間。從而能使算法在保證檢測(cè)準(zhǔn)確率的基礎(chǔ)上，滿足在高速焊接生產(chǎn)線上的焊縫缺陷檢測(cè)的目標(biāo)速度。

4 背景圖像的建立和更新

4.1 EM算法

EM（Expectation－maximization algorithm）算法即最大期望算法。該算法在概率模型中尋找參數(shù)最大似然值，其中概率模型依賴于無法觀測(cè)的隱藏變量。EM算法就是通過迭代地最大化完整數(shù)據(jù)的對(duì)數(shù)似然函數(shù)的期望，來最大化不完整數(shù)據(jù)的對(duì)數(shù)似然函數(shù)。EM算法是無監(jiān)督的聚類迭代算法，該算法經(jīng)過兩個(gè)步驟交替進(jìn)行計(jì)算：第一步是計(jì)算期望（E），利用對(duì)隱藏變量的現(xiàn)有估計(jì)值，計(jì)算其最大似然估計(jì)值；第二步是最大化（M），最大化在E步上求得的最大似然值來計(jì)算參數(shù)的值。M步上找到的參數(shù)估計(jì)值被用于下一個(gè)E步計(jì)算中，這個(gè)過程不斷交替進(jìn)行。

4.2 基于概率的背景重構(gòu)算法

本文采用2個(gè)高斯分布的混合模型來表示背景像素的分布規(guī)律，并采用線性插值法更新均值和距離。從而避免算法高度依賴初始值的選擇，并且提高了算法的運(yùn)算速度。處理圖像序列的算法步驟為：第一步，獲取兩個(gè)高斯混合模型的初始化參數(shù)；第二步，用訓(xùn)練樣本對(duì)模型進(jìn)行訓(xùn)練，更新像素點(diǎn)的均值和距離；第三步，選出出現(xiàn)頻率最高的灰度值高斯模型的均值作為該像素點(diǎn)的背景灰度值。

步驟1：獲取兩個(gè)高斯分布模型的初始化參數(shù)。

一般初始化高斯混合模型是根據(jù)經(jīng)驗(yàn)給予一個(gè)先驗(yàn)初始值，這種初始化法的穩(wěn)定性較差。因此，我們應(yīng)該采用一個(gè)能自動(dòng)初始化高斯混合模型的方法，以提高算法的穩(wěn)定性。具體步驟描述如下：

1）在圖像序列中隨機(jī)選取一張圖像；

2）使用Otsu算法獲取閾值T，這將產(chǎn)生兩組像素，G1由灰度值小于等于T的所有像素組成，G2由所有大于T的像素組成；

3）G1像素是屬于焊縫圖像區(qū)域，G2屬于空白圖像區(qū)域；

4）對(duì)G1和G2的像素分別計(jì)算平均灰度值u1和u2；

5）對(duì)G1和G2的像素分別計(jì)算平均方差值v1和v2；

6）我們定義焊縫圖像區(qū)域的高斯模型為G1（u1，v1，k1），空白圖像區(qū)域的為G2（u2，v2，k2）。其中，參數(shù)u1和u2為聚類中心，參數(shù)v1和v2為聚類距離，參數(shù)k1和k2為頻率。

步驟2：用訓(xùn)練樣本對(duì)模型進(jìn)行訓(xùn)練，更新像素點(diǎn)的均值和距離。

我們?yōu)楸尘皥D像建立一個(gè)2維矩陣。用G1（u1，v1，k1）將第一維矩陣初始化；用G2（u2，v2，k2）將第二維矩陣初始化。在訓(xùn)練樣本像素點(diǎn)（x，y）的灰度值定義為f（x，y）。下面的步驟將講述如何更新聚類中心和距離。

將訓(xùn)練樣本中所有的像素進(jìn)行分類，判斷像素屬于哪個(gè)聚類中心。如果f（x，y）屬于Gi（ui，vi，ki），其中i＝1，2；則根據(jù)下面的公式更新其頻率，聚類中心和距離。

重復(fù)步驟2二十一次，這樣高斯模型中的頻率就清楚的指示背景圖像的像素f（x，y）屬于哪個(gè)組像素。

步驟3：選出出現(xiàn)頻率最大的灰度值高斯模型的均值作為該像素點(diǎn)的背景灰度值。

比較每個(gè)像素的兩個(gè)高斯模型的頻率，根據(jù)我們的假設(shè)，哪個(gè)模型的頻率更高，則該模型的聚類中心是背景圖像的灰度值。

4.3 運(yùn)動(dòng)目標(biāo)的提取

4.4 背景模型的更新

背景圖像應(yīng)當(dāng)能自適應(yīng)更新，才能保證檢測(cè)的穩(wěn)定性和準(zhǔn)確性。不同的重構(gòu)背景算法，其背景更新方法也是有不同的。基于模型的背景重構(gòu)算法，大多是通過自適應(yīng)調(diào)整模型參數(shù)實(shí)現(xiàn)背景的更新［7］。而從過去一段圖像序列中重構(gòu)背景圖像算法，則多數(shù)采用定時(shí)背景更新，即在運(yùn)行固定的一段時(shí)間之后，從新抽取一段圖像序列進(jìn)行背景重構(gòu)。這種背景更新方法只適用于背景緩慢變化的情況。根據(jù)本文涉及的生產(chǎn)情況，生產(chǎn)線是在生產(chǎn)車間里，所以外部環(huán)境問題，不存在背景緩慢變化的情況，因此定時(shí)背景更新算法不適合本文的生產(chǎn)情況。

本文采用 Haritaoglu等人［8－9］提出的一種背景更新策略，若在當(dāng)前圖像與背景圖像差分后得到差分圖像中，發(fā)生變化的像素?cái)?shù)與全部像素?cái)?shù)的百分比大于某一個(gè)閾值（通常取80%），則背景發(fā)生了變化；若連續(xù)多幀圖像中這一比值依然很大，則重新抽取此時(shí)的圖像序列，將背景模型重新初始化。該算法不但能適應(yīng)背景圖像的突然變化，而且能有效減少背景更新的頻率，符合本文算法所需要的快速性。

5 實(shí)驗(yàn)結(jié)果及分析

根據(jù)上文提出的算法為基礎(chǔ)，建立了實(shí)時(shí)焊縫缺陷檢測(cè)系統(tǒng)。實(shí)驗(yàn)硬件環(huán)境為：CPU主頻為3.19GHz、內(nèi)存為3.0GB；實(shí)驗(yàn)軟件環(huán)境為：Windows 7、Visual Studio 2010、OpenCV視覺庫。

圖2 焊縫二值化圖像

其中（a1）圖像為正常圖像，（b1）圖像為具有缺陷的圖像，（a2）、（b2）分別為其二值化后的圖像。二值化算法為Otsu｀s算法。

表1 模型初始化參數(shù)

表1為高斯模型的初始化參數(shù)，我們可以發(fā)現(xiàn)，（a1）、（a2）圖像的參數(shù)基本接近。因此，初始化圖片是否為缺陷圖片對(duì)本算法沒有影響，這樣就保證了系統(tǒng)的穩(wěn)定性。

表2 背景圖重構(gòu)時(shí)間

在表2中，Runtime1代表構(gòu)建背景圖像所需要的訓(xùn)練圖片數(shù)，Runtime2表示構(gòu)建背景圖像所需要的時(shí)間。從表中數(shù)據(jù)可以發(fā)現(xiàn)，本文改進(jìn)的算法，對(duì)于訓(xùn)練圖像的需求量更少，即穩(wěn)定性更高。同時(shí)，表現(xiàn)出的來的背景重構(gòu)速度也較優(yōu)。

圖3中，（a1）、（a2）和（a3）是兩種不同的背景圖片。產(chǎn)生兩種不同背景的原因是產(chǎn)品批次的不同。因?yàn)椴煌漠a(chǎn)品，因材質(zhì)、漆面等不同所表現(xiàn)出來的光學(xué)特性不一致。所以獲取的圖像，其銳度、紋理等表現(xiàn)不同。

在檢測(cè)過程中，當(dāng)出現(xiàn)產(chǎn)品變換時(shí)，所獲取的圖像與背景的差分圖像會(huì)出現(xiàn)明顯的不匹配。當(dāng)這種不匹配度達(dá)到某一閾值時(shí)，通常認(rèn)為是產(chǎn)品批 次發(fā)生了變化，需要重構(gòu)背景模型。

圖3 處理后的焊縫圖像

表4 檢測(cè)結(jié)果

在該組實(shí)驗(yàn)中，累計(jì)檢測(cè)了976張不同類型的焊縫圖片，表4的檢測(cè)結(jié)果表明，本文提出的算法滿足的生產(chǎn)線檢測(cè)的準(zhǔn)確率要求。同時(shí)，每張圖片的平均檢測(cè)時(shí)間為16ms，最長(zhǎng)檢測(cè)時(shí)間為21ms，能夠達(dá)到在線檢測(cè)的實(shí)時(shí)性要求。

6 結(jié)束語

通過上文的介紹以及實(shí)驗(yàn)結(jié)果的表明：

（1）算法能夠檢測(cè)出大部分的焊縫缺陷，提高了產(chǎn)品質(zhì)量以及生產(chǎn)線的效率；

（2）背景模板的構(gòu)建具有獨(dú)立性，即能夠適應(yīng)不同的產(chǎn)品與生產(chǎn)線。

（3）在滿足實(shí)時(shí)性的基礎(chǔ)上，達(dá)到的令人滿意的檢測(cè)準(zhǔn)確率。

［1］Horn BK，Schunk BG.Determining optical flow［J］.Artificial Intelligence.1981，17（1－3）：185－203.

［2］Smith SM，Brady JM.ASSET－2：Real－Time motion segmentation and shape tracking［J］.IEEE Trans.on PAMI，1995，17（8）：814－820.

［3］Panahi S S.S Hadadan，S Gheissari N.Evaluation of background subtraction methods［C］.Digital Image Computing：Techniques and Applications.2008（DICTA’08）.Canberra，Australia，2008：357－364.

［4］侯志強(qiáng)，韓崇昭.基于像素灰度歸類的背景重構(gòu)算法［J］.軟件學(xué)報(bào)，2005，16（9）：1568－1575.Hou Zhiqiang，Han Chongzhao.A Background Reconstruction Algorithm Based on Pixel Intensity Classification［J］.Journal of Software，2005，16（9）：1568－1576.

［5］Friedman N，Russel S.Image segmentation in video sequences：A probabilistic approach［C］.In：Proc.Of the 13th Conf.on Uncertainty in Artificial Intelligence（UIA）.San Francisco，1997.

［6］Kornprobst P，Deriche R，Aubert G.Image sequence analysis via partial difference equations［J］.Journal of Mathematical Imaging and Vision，1999，11（1）：5－26.

［7］Ridder C，Munkelt O，Kirchner H.Adaptive background estimation and foreground detection using Kalman－filter［C］.In：Proc.of the Int’l Conf on Recent Advances in Mechatronics，ICRAM’95.UNESCO Chair on Mechatronics，1995：193－199.

［8］Haritaoglu I，Harwood D，Davis L.W4：Real－Time surveillance of people and their activities［J］，IEEE Trans.on PAMI，2000，22（8）：809－830.

［9］D W Chinchkhede，N J Uke.Image segmentation in video sequences using modified background subtraction［J］.International Journal of Computer Science ＆Information Technology（IJCSIT），2012，4（1）.