基于Mumford & Shah算法的Mark點圖像修復研究

王業率，宋建華，何鵬，張龑

(湖北大學計算機與信息工程學院， 湖北 武漢 430062)

0 引言

隨著電子半導體行業的不斷發展，電子產品逐漸趨于小型化、精密化、高性能、高質量等特點，PCB板的制造工藝面臨著巨大的提升需求.PCB板的制造流程中，曝光顯影工藝環節需對PCB板位置進行高精度定位識別，進一步將定位位置發送至曝光設備進行曝光處理.而識別過程通常采用PCB板上Mark點完成.Mark點包括通孔、鐳射曝光孔等多種形式，為方便簡化后續工藝操作以及提高識別精度，PCB板通常較多采用通孔形式的圓形Mark點.

在實際生產過程中，在針對邊緣有缺陷的圓孔時，常見算法在識別成功率以及識別精度存在提升空間，研究學者也做出大量工作.熊光潔等人針對Mark點的橢圓度提出了識別算法，采用Otsu’s算法對Mark點圖像進行分割，然后實現坐標定位[1].喬鬧生等人基于Hough變換提出圖像邊緣檢測方法,該檢測方法相對于具有一定算法優勢[2].

此外，對覆有感光膜的圓孔進行圖像采集時，會時常碰到感光膜反光現象，反光現象形成的反射光斑形狀大小不固定.在機器視覺領域，可利用圖像修復的方法將Mark點區域的反射光斑進行去除、修復.常見的圖像修復算法目前包括三類：一類是基于偏微分方程(PDE)的數字圖像修補技術；第二類是基于紋理合成(TS)的圖像修復技術；第三類是基于稀疏表示(SR)方法的圖像修復技術. 此外，FMM算法通過領域圖像加權處理的方式進行修復，修復速度較快，修復效果較好，但是在邊緣細節具有缺陷[3,4].

偏微分方程算法最早由Bertalmio等人提出BSCB算法，根據等照度線方向將完好區域圖像信息延伸至待修復區域[5]， BSCB算法計算復雜度較高. Bertalmio等人對圖像修復做出了大量研究，將流體力學中的Navier-Stokes模型(N-S模型)應用到圖像修復算法中，圖像邊緣部分存在缺陷[6,7].

Mumford 以及 Shah提出了基于體積能量的Mumford & Shah算法(M&S算法)模型[8]. 針對該泛函中存在的復雜度問題，Ambrosio及Tortorelli使用橢圓形對泛函進行了逼近，且使用Euler-Lagrange方程及有限差分法降低計算復雜度[9,10]. 該算法在去除脈沖噪聲較BSCB算法及Navier-Stokes算法具有一定優勢，且降低了計算復雜度，同時在邊緣細節處理方面也較FMM算法更優. 在具有長條狀反光光斑的圖像場景下，Mumford & Shah算法對于大塊區域修復效果不佳的特點得以避免.

1 算法原理

1.1 Mumford & Shah泛函模型Mumford & Shah提出的圖像修復模型是以最小化能量泛函為基礎的，該能量泛函可以表示為[9]：

F[u|u0,I]

(1)

其中，I表示修復圖像區域，u0表示圖像的可用部分，可表示為加入高斯白噪聲的圖像.

根據貝葉斯原理，該泛函可進一步表示為數據模型部分與圖像模型部分的和：

(2)

Mumford & Shah的圖像分割理論將E[u]進一步表示為：

(3)

B 表示圖像的邊緣部分，并用一維Hausdoff 測度進行度量.因此，Mumford & Shah模型可表示為：

(4)

1.2 Ambrosio & Tortorelli改進模型Ambrosio & Tortorelli將原Mumford & Shah模型用橢圓泛函進行了簡化，提高了收斂速度. 其做出的改進包括[10]：

(5)

(6)

χ為邊緣部分的過渡區域.由此，修復問題可演化為求解最小化問題：

(7)

該最小化問題的求解過程主要包含u和χ的積分計算，使用有限差分法進行求解的過程較為簡潔.

分別定義算子Lχ和算子Mu：

(8)

(9)

Euler-Lagrange方程可表示為：

(10)

Muχ=1

(11)

2 Mark點圖像修復算法

2.1 Mark點圖像PCB板生產過程中的Mark點定位工序通常需要將感光膜貼附在PCB板上.當PCB板上已附有銅箔圖案時，銅箔圖案在圖案邊緣區域部分具有落差，落差深度與腐蝕程度一致.感光膜通常厚度在0.3 mm以內，經壓膜工藝處理時表面易產生形變，從而導致環形光源光線從感光膜反射至工業相機鏡頭處形成反射光斑，如圖1所示.

圖1 PCB板機器視覺系統光源反射示意圖

此應用視覺系統成像距離較短，且對清晰度要求較高，同軸光源在設計需求上存在缺陷，因此多采用環形光源作為光源方案.環形光源傾斜角的存在導致光源光線經過漫反射后易進入工業相機取景范圍，從而在Mark點采樣圖像中形成光斑.

常見的最小二乘法、霍夫變換等圓擬合算法在干擾圖形區域面積過大、干擾圖形邊緣距離圓弧距離過大等狀況下，存在誤差較大問題.待圖像轉移PCB板緊密吸附在曝光設備黑色臺面上，Mark點通孔處圖像灰度與臺面保持一致，反射光斑區域圖像灰度與光源保持一致.因此，在依賴灰度閾值作為輪廓化處理前提下，反射光斑、非通孔區域與通孔區域的邊緣易形成較大灰度差，從而誤識別為輪廓，如圖2所示.

圖2 含反射光斑區域Mark點圖像輪廓化示意圖

2.2 算法步驟本算法的具體步驟如下：

Step1：使用Otsu’s算法對圖像生成蒙版圖像.

Step2：初始化參數讀入待修復圖像和蒙版圖像.

Step3： 在Euler-Lagrange方程邊界條件確定情況下，定義微分算子Lχ及Mu.

Step4：采用算子Mu求解Euler-Lagrange方程中χ，更新迭代項χ.

Step5：采用算子Lχ求解Euler-Lagrange方程中u，更新迭代項u.

Step6：計算迭代項u與前值的差值.如果經迭代的圖像u與前次迭代圖像u之差小于預定閾值threshold_value，迭代結束；否則回到Step4繼續進行迭代.

Step7：輸出經修復的圖像.

3 實驗分析

基于前述理論算法，對進行了修復實驗.實驗所使用計算機配置包括： CPU為Intel酷睿i7-9700 3.0 GHz，內存為16 GB，算法用MATLAB R2018a進行實現.在本算法的實現過程中，令圖像區域為Ω∈(0,1)×(0,1),迭代次數iter取20次，迭代誤差閾值tol=1e-14.Ambrosio-Tortorelli模型逼近精度epsilon=0.05.

以PCB板上mark點通孔為實驗對象，嘗試對Mark點圖像進行修復實驗.Mark點圖像大小為696×520像素，如圖3(a)所示，圖中Mark點通孔在方形銅箔圖案中，感光膜由于壓制不工整而產生褶皺，導致反光光斑產生.此類反光光斑圖案為條狀，條狀區域寬度不一，以便針對不同情形下圖像特征進行修復.使用Otsu’s算法對圖像進行閾值分割，閾值參數為0.7，分割后光斑區域即圖3(a)中噪點區域.由Otsu’s算法分割出的mask蒙版如圖3(b)所示.經本算法修復后，圖像中通孔內部光斑區域得到較好的修復，通孔邊緣毛刺較少；銅箔圖案處光斑區域出現了涂抹痕跡，顯示該算法在具有大量紋路區域處缺乏修正，修復圖像如圖3(c)所示.

圖3 Mark點修復結果

為檢測噪聲環境對圖像修復的影響，特對待修復圖片加入噪聲進行修復實驗，圖片大小縮放為279×208像素.由于椒鹽噪聲能夠體現出脈沖干擾性質的圖像畸變，因此在待修復圖像中加入噪聲密度參數為0、0.01、0.05、0.1、0.5的椒鹽噪聲，以未加噪聲情況下修復圖片作為基準，采用MSE、PSNR、修復時間作為客觀評價指標對基準圖片進行修復效果評估，修復結果見表1. 添加的噪聲對該修復算法影響較小，在噪聲密度達到0.5時，PSNR仍然可達33.411，且修復時間隨噪聲密度增加的變化不大.

分別采用Mumford & Shah算法、BSCB算法、Navier-Stokes算法、FMM算法對圖3所示圖形進行對比修復實驗，圖片大小為279×208像素，取通孔左上角附近區域以及無銅箔區域作為實驗一與實驗二的實驗對象進行修復實驗，修復結果如圖4及圖5所示.

表1 不同椒鹽噪聲密度下的修復數據

圖4 實驗一修復結果

圖5 實驗二修復結果

本研究采用的Mumford & Shah算法能夠對面積較小的反光區域進行有效修復，面積較大的修復區域圖像細節較少；BSCB算法同樣對細節有較好修復效果，但是在面積較大的修復區域修復效果不滿意，圖像中出現了修復過程產生的噪點；Navier-Stokes算法由邊界向內進行修復，在修復區域邊緣較平滑，但是在內部區域存在分塊痕跡；FMM算法修復細節較豐富，在通孔邊緣處仍存在毛刺狀修復痕跡，實驗二中細節部分出現了輕微噪點.

對實驗一及實驗二提取客觀評估指標MSE、PSNR進行評估，MSE值越小，PSNR的值越大，說明修復效果越好，修復結果見表2. 通過實驗結果可見，Mumford & Shah算法修復的效果最佳，體現了該算法對于此類條狀修復對象的較佳適應性.

表2 使用不同修復算法的實驗數據對比

4 結語

PCB板的曝光工藝是其生產線產能的瓶頸，而Mark點識別失敗是曝光工藝環節停產的重要因素之一.現有的機器視覺算法在常見的異形孔識別成功率上尚存在提升空間，對異形孔之上反射光斑的修復處理將提高PCB板產能.

本研究采用Mumford & Shah算法對Mark點圖像進行了修復處理.由于反射光斑顯長條形的形狀特征，且灰度上與通孔區域形成反差對比，因此，在邊緣區域的修復效果較好.然而，該算法對于部分較大面積反射光斑的修復效果尚存在優化空間.后續可以對算法進行改進優化，或者使用深度學習方式對光斑區域進行識別、修復，以提高識別成功率以及精度.