基于匹配點變形估計的布標缺陷檢測算法

宋 強，高國剛，李文峰，馮東海，貢軍民

(1.中國石油大學(北京)克拉瑪依校區 工學院，新疆 克拉瑪依 834000； 2.中恒永創(北京)科技有限公司，北京 100089； 3.新疆石油管理局工程技術公司，新疆 克拉瑪依 834000)

布標作為服裝、鞋帽、箱包、床上用品、玩具等產品的標識，是衡量產品質量的重要指標之一[1]。受生產環境、生產工藝和生產設備影響，布標經常產生漏印、多印、飛墨、劃痕、污漬等各種缺陷，次品布標如果流入市場，會給企業帶來聲譽和經濟損失。隨著印染技術的不斷發展，布標的印刷速度與內容復雜度越來越高。傳統布標質量檢測主要采用人工看樣、定樣方式，借助靜止畫面和隨機抽樣方法控制產品質量。人工檢測具有很大的主觀性和不確定性，容易造成漏檢和錯檢，對于一些細小布標缺陷，人工檢測效率低下，無法滿足高速印刷需要[2]。隨著機器視覺和圖像處理技術的不斷進步，布標質量檢測正向自動化、智能化方向發展。利用高速、高分辨率攝像機采集生產線的布標圖像，對待檢測圖像進行圖像處理與分析，利用模板匹配等方法實現布標缺陷的自動檢測[3-4]。以色列AVT公司，日本FUTEC、KEYENCE公司，德國BST、VMT公司，加拿大ADEPT、DALSA公司，以及我國凌云光子、北京大恒圖像、武漢三維光之洋、北京中恒永創、渭南科賽等公司，均研制適于不同印刷品標簽的缺陷自動檢測系統。布標產品受材質所限，剛度較低，受力不均時容易產生大面積的不均勻變形，影響缺陷檢測的準確率。如何消除布標不均勻變形對圖像分析的影響，是布標自動化檢測面臨的重要挑戰。

光流定義為時變圖像中像素運動的瞬時速度。圖像中所有像素的2D瞬時速度場構成光流矢量場，其中2D速度矢量是空間運動物體3D速度矢量在成像平面的投影[5]。光流矢量場包含空間物體的運動信息，是空間運動場在圖像平面的投影表達，反映圖像各像素的灰度變化趨勢。光流分析是機器視覺的重要研究方法，廣泛應用于目標識別跟蹤、機器人導航以及三維形狀復原等[6-7]。光流矢量場在理想情況下近似于空間運動場，如果將布標不均勻變形等價為待檢測布標圖像相對于布標模板圖像的相對運動，通過光流分析可得到2幅圖像的相對運動，即待檢測布標圖像相對于布標模板圖像的變形量[8-10]。本文通過光流分析，建立布標模板圖像與待檢測布標圖像匹配點的相對光流矢量場，光流矢量場體現待檢測布標圖像相對于模板圖像的運動速度，反映待檢測布標受張力作用引起的形變。通過逆變換可消除待檢測布標形變，將待檢測布標圖像與模板圖像置于相同檢測條件下，通過模板匹配即可實現待檢測布標的缺陷檢測。

1 算法描述

設在t時刻，圖像(x,y)處的灰度值為I(x,y,t)，在(t+Δt)時刻，該點運動到新的位置(x+Δx,y+Δy)，灰度值為I(x+Δx,y+Δy,t+Δt)。在小位移條件下，根據圖像灰度恒常性假設(假設1)，圖像灰度值沿運動軌跡保持不變，即：

I(>x,y,t)=I(>x+Δx,y+Δy,t+Δt)

(1)

設u和v分別為該像素點光流矢量沿x和y方向的分量，u=dx/dt，v=dy/dt，將式(1)用泰勒公式展開，得到：

(2)

其中ε代表二階及以上的高階項，可忽略不計，則有：

(3)

式(3)兩邊同除dt，由于Δt→0，則：

(4)

式(4)可表示為：

Ixu+Iyv+It=0

(5)

式(5)是光流基本約束方程。Ix、Iy和It分別為參考點像素灰度值沿x、y、t3個方向的偏導數，均可由圖像數據求得。式(5)的矢量形式為：

I·U+It=0

(6)

在小位移條件下，提出梯度恒常性假設(假設2)：一定范圍內的灰度梯度在相鄰圖像序列中不變。式(4)兩邊分別對x和y求偏導：

(7)

在小位移條件下，提出運動一致性假設(假設3)：一定范圍內的像素點具有相同的速度，即

(8)

建立關于u、v的能量函數，該函數具有凸性，反映圖像數據在3個先驗假設約束下的總誤差見式(9)，使E(u,v)最小的(u,v)值即為圖像的光流矢量。

(9)

(10)

計算E(u,v)的最小值等價于求解其Euler-Lagrange方程。令F(>u,v)=(>Ixu+Iyv+It)2+(>Ixxu+Ixyv+Ixt)2+(>Ixyu+Iyyv+Iyt)2+|2u|2+|2v|2，因函數F(u,v)中不含自變量ux和uy，且|2u|2和|2v|2均為偶函數，計算?F/?u，則：

(11)

(12)

利用差分計算二階微分：

(13)

根據式(6)，Laplace算子可寫為：

f(>x-1)+f(>y+1)+f(>y-1)-4f(>x,y)

(14)

因此，式(12)可變換為：

(15)

整理式(15)可得：

(16)

(17)

式(17)可利用高斯-賽德爾(Gauss-Seidel)迭代法求解最小的(u,v)值，具體過程為：

①迭代初始值u0=0，v0=0；

③根據檢測速度要求，設置最大迭代次數，達到后終止迭代。

2 檢測實例

計算圖像所有像素點的光流矢量會加大系統運算量，影響布標實際檢測速度。本文采用多匹配點檢測思路，即在模板圖像和待檢測圖像中生成一一對應的匹配點，通過計算各匹配點的光流矢量表征模板圖像和待檢測圖像間的變形程度。匹配點的生成方式主要有特征點方式、隨機點方式和均布點方式。

特征點生成方式：圖像中的特征點能夠較好體現圖像邊緣等灰度突變特征，可作為模板匹配的匹配點，而且較少數量的特征點也能校正圖像變形。但是圖像特征點易受噪聲干擾，即使對同一圖像進行特征點提取，也很難保證提取的特征點是同一點。提取特征點比較耗時，很難應用于在線檢測。

隨機點生成方式：隨機點的生成方法最簡單，在實時性上具有較大優勢。但隨機點生成方式不能保證匹配點的一致性，不適合作為匹配候選點。

均布點生成方式：均布點的生成方式比較簡單，在時間上也具有優勢，而且能夠保證生成點的一致性，是本文選擇的匹配點生成方法，如圖1所示。

圖1 利用均布點生成方式確定匹配點

利用本文提出的光流算法，建立布標模板圖像與待檢測布標圖像匹配點的相對光流矢量場。圖2為布標圖像某局部區域的光流矢量場，可以看出，左圖較模板圖像對應區域有向左的運動，右圖較模板圖像對應區域有向左下的運動，并且右圖的運動矢量相對較小。

圖2 待檢測圖像局部區域的光流矢量場

通過光流分析獲取布標模板圖像與待檢測布標圖像各匹配點的相對光流矢量，利用逆變換對待檢測布標圖像進行相應的運動矢量補償，使得待檢測布標圖像與布標模板圖像之間無運動變形，通過模板匹配即可檢測布標缺陷，如圖3所示。

圖3 布標漏印缺陷檢測示例

3 結束語

布標檢測正由傳統人工檢測方式發展為基于機器視覺的全自動檢測方式。布標產品在檢測過程中受張力作用容易產生不均勻變形，使得被檢測圖像與模板圖像處于不同成像條件，采用傳統模板匹配算法容易誤檢與漏檢。本文將光流矢量場分析引入布標缺陷自動檢測，用布標模板圖像與待檢測布標圖像匹配點的相對光流矢量場反映待檢測布標相對于模板的變形。通過逆變換對待檢測布標圖像進行運動矢量補償，消除待檢測布標形變對模板匹配算法的影響。服裝布標自動檢測實例表明，本文算法有效克服布標變形影響，能檢測出傳統模板匹配算法無法識別的漏印缺陷。