一種仿射變換的印刷品缺陷檢測方法

張 培， 郭 慧， 劉芳輝， 胡方尚

(華東理工大學 機械與動力工程學院， 上海 200237)

一種仿射變換的印刷品缺陷檢測方法

張 培， 郭 慧， 劉芳輝， 胡方尚

(華東理工大學 機械與動力工程學院， 上海 200237)

針對傳統印刷品缺陷檢測方法速度慢、檢出率低的問題，提出一種仿射變換的快速檢測方法．首先利用SURF(speeded-up robust feature)算法進行特征點匹配，并采用RANSAC(random sample consensus)算法剔除誤配點后得到高純度的匹配點對，然后利用最小二乘法擬合得到變換參數，最后通過圖像差分和后處理，識別并標記出缺陷所在位置．經過試驗驗證，相對模板匹配和分層檢測算法，該方法無論在算法速度還是缺陷檢出率上都有很大提高．

SURF(speeded-up robust feature)算法； RANSAC(random sample consensus)算法； 仿射變換； 缺陷檢測； 印刷品

隨著現代化進程的推進，人們對印刷品質量的要求逐漸提高．而在印刷品生產過程中，受生產條件影響，印刷品會經常出現漏印、飛墨等缺陷[1]．經過對幾家印刷廠的調研得知，目前國內印刷企業普遍采用人工抽檢的方法，這種方法存在效率低、誤差大等問題，且容易受環境和人為因素影響[2]，因此，尋找一種快速精準的印刷品缺陷檢測方法顯得尤為重要．

近年來，機器視覺理論的發展為印刷品缺陷檢測提供了新方法[3]．圖像匹配是缺陷檢測的基礎， Bay等[4]提出了加速魯棒性特征(speeded-up robust feature， SURF)匹配算法，該算法利用一種新的圖像金字塔，通過改變濾波器尺度，與原圖片卷積，降低圖片變換帶來的計算量，加快了計算速度，但在實際應用中會出現不同程度的誤配．郭桂平等[5]利用多模板匹配方法，將采集到的圖像與3個樣本圖像進行配準，如只有一個樣本檢測合格則認定圖像合格，該算法原理簡單，容易實現，但受樣本圖像數量的限制，在應用上具有很大局限性．劉浩等[6]采用分層檢測方法進行印刷品缺陷檢測，該方法檢測速度較快，為了適應不同場合，結合灰度動態閾值方法，但在提升缺陷檢出率的同時降低了運算速度．

綜上所述可知，現有文獻對基于模板檢測和分層檢測方法進行印刷品缺陷檢測已經有了不少的研究和改進，但此類方法局限于對像素點的處理，因此并不能解決運算速度慢的問題[7]．基于特征點匹配的方法具有速度快、準確率高、魯棒性好等優點，已經逐漸取代了傳統算法．本文將印刷品缺陷檢測分為精確配準、圖像變換和缺陷檢測3個部分(如圖1所示)，利用一種優化的SURF特征點匹配算法準確獲得匹配點對，擬合后得到變換參數，經過圖像差分和差異化形態學處理，可以準確標記出缺陷位置．經過試驗驗證，該方法相對傳統方法具有效率高和漏檢率低的優點．

圖1 印刷品缺陷檢測流程Fig．1 Defect detection process of printed matter

1 匹配點對的提純

在待匹配圖像獲取過程中，會經常出現噪聲干擾和圖像變換等問題，本文選用匹配速度快且魯棒性好的SURF算法進行圖像匹配．

1．1特征點預匹配

SURF算法通過構建像素點的Hessian矩陣判斷該點是否為興趣點．為了應對圖像縮放問題，算法引入了高斯金字塔來構建圖像在不同尺度下的空間表示．當尺度為σ時，像素點X=(x，y)的Hessian矩陣表示為

(1)

det(H)=DxxDyy-(0．9Dxy)2

(2)

通過判別式的正負值，可以判斷該點是否為興趣點．在興趣點周圍不同尺度空間的3×3×3鄰域內，如果興趣點特征值比周圍26個像素點的特征值都大，則將該興趣點確定為該區域的特征點．

計算特征點周圍6σ為半徑的圓形區域內所有特征點的小波響應，根據小波響應分布賦予權值，以權值最大的方向作為特征點的主方向．

選擇特征點周圍20σ×20σ的正方形區域，并將其劃分成為4×4個子區域，計算每個子區域內各點小波響應的dx、dy、 |dx|、 |dy|分量之和，每個子區域形成一個具有四維分量的向量，如式(3)所示．

V=(∑dx， ∑dy， ∑|dx|， ∑|dy|)

(3)

最終每個特征點得到一個4×4×4=64維的特征描述向量．

利用特征向量聚類的形態特點，將所有特征描述向量建立索引樹，采用改進的KD-Tree近鄰搜索策略——BBF(best bin first)，快速得到特征點預匹配結果．

1．2RANSAC(randomsampleconsensus)算法剔除誤配點

雖然SURF算法的匹配準確度高，但由于模板圖像與待匹配圖像的差異，在預匹配過程中會出現個別誤配現象，需要對誤配點進行剔除，防止其對變換參數的確定產生影響．

RANSAC方法[8]的思想，即從匹配點對中隨機抽取一定個數的匹配點對作為樣本，根據該樣本確定模型參數，設定閾值，判斷樣本外的數據是否滿足這個模型，滿足的點叫做“內點”，不滿足的點叫做“外點”．進行多次隨機試驗，將內點個數最多時的模型作為最佳模型，并去除外點．具體步驟如下：

(1) 將預匹配點對作為集合M，從中隨機抽取5個匹配點對作為樣本N，根據N初始化樣本模型．

(2) 設定閾值T，判斷剩余特征點對與樣本模型的誤差t，如果該誤差小于閾值T，則將該點納入內點集合Si．

(3) 重復以上步驟，如果Si+1中元素個數大于Si中元素個數，將S=Si+1作為當前最優模型．

(4) 設定抽樣次數，得到全局最優模型S，并剔除當S作為樣本模型時的外點．

RANSAC通過有限次抽樣獲取最佳樣本，從集合中去除外點．經過試驗，該方法可以剔除與樣本偏差較大的誤配點，得到精準匹配點對．

2 確定變換參數

雖然將兩幅圖像中的特征點進行了精確匹配，但實際應用中，待匹配圖像經常會發生平移、旋轉、拉伸等幾何變換[9]，因此需要通過匹配點對確定變換參數，將待匹配圖像進行變換，得到與模板圖像位置、傾角和大小均一致的圖像．

圖像變換的方式多種多樣，在圖像匹配中出現最多的是仿射變換，仿射變換示意圖如圖2所示．

圖2 仿射變換示意圖Fig．2 Schematic diagram of affine transform

仿射變換一般可以用式(4)表示．

(4)

式中： (m，n)和(m′，n′)分別為變換前后像素點的坐標；參數dm、dn為平移量；a、b、c、d為圖像旋轉、拉伸控制量．

若要確定這6個參數，需要有3對已知匹配點對，通常情況下，實際匹配點對數會遠遠超過3對，因此，需要利用最小二乘法對所有匹配點對進行擬合，得到最終的變換參數．在確定了變換參數后，將待匹配圖像按照式(4)進行變換，得到與模板圖像位置、傾角和大小均相同的待匹配圖像．

3 缺陷檢測

經過變換后的待匹配圖像，可以與模板圖像通過差分法獲取缺陷位置．差分法的基本思想，即將兩幅圖像同一坐標像素點的灰度的差取絕對值，作為新圖像的灰度值．

3．1圖像差分

將兩幅圖像進行差分運算，首先需要將兩幅圖像灰度化．根據人眼對RGB各分量的敏感程度不同，本文采用加權平均法獲取兩幅灰度化圖像．各分量的權值如式(5)所示．

G(i，j)= 0．299×R(i，j)+0．587×

G(i，j)+0．114×B(i，j)

(5)

將待匹配圖像與模板圖像進行差分運算，在圖像缺陷的位置，差分運算后像素的灰度值也會比較高，因此呈現白色．無缺陷的地方由于兩者像素值相同，理論上呈現黑色，但由于待匹配圖像獲取過程中往往參雜噪聲，并且進行仿射變換時受參數的影響，差分圖像中會出現點狀或者線狀的“偽缺陷”．

3．2差分圖像二值化

為了減小計算量，并有效去除圖像亮度的干擾，需要對差分圖像進行二值化處理．閾值T的取值可以用式(6)計算得出．

T=μ+λ·δ

(6)

式中：μ為差分圖像灰度平均值；δ為圖像標準差，體現了灰度變化的平均程度；λ為系數，經過多次試驗，本文選用λ=2．8作為試驗參數．

3．3形態學處理

形態學處理通常用在二值圖像中，包括膨脹、腐蝕、開運算、閉運算等[10]．腐蝕運算利用結構單元掃描圖像，將結構單元與所覆蓋的二值圖像做“與”操作，當兩者都為1時，圖像像素值為1，否則為0．膨脹運算同樣將結構單元與所覆蓋的二值圖像做“與”操作，當兩者都為0時，圖像像素值為0，否則為1．腐蝕運算使圖像向內縮小，膨脹運算使圖像向外擴大，具體大小與結構單元大小有關．

開運算是先做腐蝕處理、后做膨脹處理，通常用來去除二值圖像中孤立的雜點或者邊緣處的毛刺．閉運算是先做膨脹處理、后做腐蝕處理，通常用來補充區域內空白的點．

4 試驗結果分析

試驗仿真環境： CPU為AMD Phenom(tm) II N830，主頻為2．10 GHz，內存為4 GiB，軟件開發工具為32位Windows 8．1位操作系統，Matlab 2014a．

本文選用印刷品缺陷圖片庫中的200組(每組包括一張標準圖像和一張缺陷圖像)不同圖片作為樣本，分別進行匹配提純和缺陷識別試驗．以下以帶有滴墨缺陷的洗衣液印刷標簽作為展示．

4．1匹配提純試驗

將模板圖像與待匹配圖像經過特征點檢測和匹配，得到匹配圖像如圖3所示．

圖3 特征點匹配Fig．3 Feature point matching

由于噪聲干擾和圖像變換等原因，圖3中出現了明顯的誤配現象．由圖3分析可知，在圖片左右兩側均有“OMO”字樣，具有相似的局部結構，因此在特征匹配時，如果不考慮全局特征匹配，左右兩側特征會出現交叉匹配，導致較大誤差．

引入RANSAC方法，在有限次抽樣后確定最佳樣本，剔除外點(即誤配點對)，得到的結果如圖4所示．

圖4 剔除誤配點Fig．4 Eliminate the mismatch point

由圖4可知，原有的誤配點對已經消失，提純后的匹配點對中幾乎沒有誤配現象．

將200組圖片樣本分別進行配準試驗，統計提純前后的匹配點對個數，并求平均值，結果統計如表1所示．

由表1可以看出，采用RANSAC方法對匹配點對提純后，特征點的誤配率下降了很多．同時RANSAC方法也會去除一部分正確匹配的點對，但由于特征點對的數量多，因此對之后的參數計算不會產生影響．

表1 提純前后效果對比Table 1 Before and after purification

4．2缺陷識別

獲取了高精度的匹配信息，即匹配點對的坐標信息，之后利用最小二乘法可以得到待匹配圖像的仿射變換參數如表2所示．

表2 仿射變換參數Table 2 Affine transformation parameters

將待匹配圖像利用式(4)進行旋轉、縮放、平移等操作，空白區域用黑色像素點填充，可以得到與模板圖像一致的待匹配圖像，仿真變換前后圖像如圖5所示．變換后的圖像與模板圖像的相似程度直接影響后期處理效果，如果相似程度較低，差分后的圖像會出現很多邊緣干擾或者雜塊，對缺陷判斷產生很大影響，因此待匹配圖像的仿射變換是至關重要的．

(a) 變換前

(b) 變換后

將模板圖像和待匹配圖像做灰度化處理后進行差分操作，結果如圖6所示．

圖6 圖像差分Fig．6 Image difference

由于模板圖像與待匹配圖像灰度值不同，在原有缺陷所在位置差分后產生了白色斑塊．除此之外，由于待匹配圖像獲取時并不一定嚴格按照仿射變換，同時在參數計算時也會產生一定誤差，導致模板圖像與待匹配圖像不完全重合，因此出現“OMO”的重影．而且由于高斯噪聲的干擾，差分圖像的大部分區域出現了同樣的噪聲．

將差分后的灰度圖像二值化，可以去除一部分噪聲干擾，并且選用合適的閾值，使匹配可以抵抗亮度的變化．經過試驗，此處選用閾值為65，二值化后的圖像如圖7(a)所示．由圖7(a)可知，二值化并不能將缺陷以外的干擾完全去除，因此還需要對其進行形態學處理．

形態學處理結果如圖7(b)所示．此處采用差異化處理方法，在執行開運算和閉運算時使用了不同的結構單元．開運算使用的結構單元為2×2的單位矩陣，低維度矩陣可以去除孤立的雜點和邊緣，并且不會影響缺陷；閉運算選用4×4的單位矩陣作為結構單元，高維度矩陣可以填充缺陷斑塊中間的空心區域，使缺陷顯示更加平滑完整．

(a) 二值化

(b) 形態學處理

采用連通區域分析法對上述缺陷斑塊進行標記，并用線寬為4像素的白色矩形框標記出來，結果如圖8所示．

圖8 缺陷標記Fig．8 Mark defects

為了驗證本文算法的實用性，同樣選用以上200組樣本，分別利用傳統模板匹配算法、分層檢測算法和本文算法進行試驗，統計缺陷檢出率和平均耗時，結果如表3所示．

表3 不同算法的檢測結果對比Table 3 Comparison of the results of different algorithms

本文針對傳統印刷品缺陷檢測方法速度慢、檢出率低等問題，提出了一種仿射變換的印刷品缺陷檢測思路．選用匹配速度快和準確率高的SURF算法進行快速匹配，利用RANSAC算法剔除誤配點對，確保變換參數的準確性，將變換后的待匹配圖像與模板圖像進行差分操作，并經過一系列后處理，可以完整迅速地顯示并標記出印刷品缺陷．本文研究結果為印刷品缺陷檢測提供了一種新方法．

[1] 胡方尚，郭慧．基于ROI模板的印刷品圖像配準方法[J]．東華大學學報(自然科學版)，2016，42(4)：582-592．

[2] 王文舉，趙萍，陳偉，等．彩色印刷品缺陷快速精確檢測方法研究[J]．包裝工程，2015，36(17)：112-130．

[3] SHANMUGAMANI R， SADIQUE M， RAMAMOORTHY B． Detection and classification of surface defects of gun barrels using computer vision and machine learning[J]． Measurement， 2015，60：222-230．

[4] BAY H， ESS A， TUYTELAARS T， et al． Speeded-up robust features(SURF)[J]． Computer Vision and Image Understanding， 2008，110(3)：346-359．

[5] 郭桂平，羅兵．基于多模板匹配的絲印缺陷快速檢測方法[J]．電子質量，2016(4)：8-11．

[6] 劉浩，孫建明，王小芳，等．基于圖像處理的印品質量檢測系統研究[J]．科技視野，2016(3)：69-70．

[7] QIAN D H， CHEN T S， QIAO H． Geodesic-like features for point matching[J]． Neurocomputing， 2016，218(19)：401-410．

[8] VINAY A， RAO A S， SHEKHAR V S， et al． Feature extractionusing ORB-RANSAC for face recognition[J]． Procedia Computer Science， 2015，70：174-184.

[9] LIU F H， ZHOU T， YANG Y． Geometric affine transformation estimation via correlation filter for visual tracking[J]． Neurocomputing， 2016，214：109-120．

[10] HUANG C H． A reconfigurable point target detection system based on morphological clutter elimination[J]． Journal of Systems Architecture， 2014，60(8)：644-654．

(責任編輯：徐惠華)

AnAffineTransformedDefectDetectionMethodforPrintedMatter

ZHANGPei，GUOHui，LIUFanghui，HUFangshang

(School of Mechanical and Power Engineering， East China University of Science and Technology， Shanghai 200237， China)

Aiming at the problem of the slowness and low detection rate of the defect detection methods of traditional printed matter， a fast detection method of affine transformation is proposed． Firstly， the feature points are matched by SURF(speeded-up robust feature) algorithm． RANSAC(random sample consensus) algorithm removes the mismatched points and obtains the matching point pairs with high purity． Then， the transformation parameters are obtained by least squares fitting． Finally， the position of defects is identified and marked by image difference and postprocessing． Experiments show that the proposed method is much better than the template matching algorithm and the hierarchical detection algorithm in terms of algorithm speed and defect detection rate．

SURF(speeded-up robust feature)algorithm； RANSAC(random sample consensus)algorithm； affine transformation； defect detection； printed matter

TP 391

A

1671-0444 (2017)04-0592-05

2016-12-28

張 培(1993—)，男，河南許昌人，碩士研究生，研究方向為計算機圖形學和印刷品缺陷檢測.E-mail:zpecuts@163.com

郭 慧(聯系人)，女，副教授，E-mail：ghcad@163.com