基于機器視覺的壓電噴墨墨滴識別新方法＊

劉清濤 騫 滿 呂景祥 宋佳瑤

（長安大學道路施工技術與裝備教育部重點實驗室，陜西 西安 710064）

壓電噴墨是電子增材制造噴墨沉積直寫的一種，由于其打印圖形精度高、適用材料范圍廣而被廣泛使用。在噴墨過程中，經常會因為零件裝配的誤差、噴頭的安裝位置偏差以及溫度和控制器的原因造成噴墨的墨滴偏離正常狀態，而墨滴的狀態對于電路板的質量有著至關重要的作用，墨滴狀態異常會造成打印的電路板無法使用。因此，有必要對墨滴進行實時狀態監測，及時發現噴墨異常并進行維修。

近年來，對于運動物體的跟蹤觀測，國內外大多采用全局曝光（global shutter）[1-3]的方式，即通過整幅場景在同一時間曝光，傳感器的所有像素點同時收集光線。郭會文等[4]針對全局曝光方式下動態背景運動目標設計了一種基于三維背景運動估計的算法，利用移動相機的拍攝特性，實現動態背景下運動目標抓取。劉彥飛等[5]提出自適應光斑中心算法,對精密系統跟蹤觀測進行了探索，但是該方案主要用于光通信高頻拍攝。全局曝光受限于機械極限存在最小曝光時間，不適合墨滴觀測領域的應用。

關于視覺測量領域，機械零件測量研究[6]已積累較多成果。Zhang X L 等[7]設計了小型工件高精度圖像測量系統，可以成功地實現高效率和高精度的小工件尺寸測量；王緯國等[8]基于機器視覺搭建了一套針對某型地平表指針指示誤差參數的非接觸尺寸測試系統，實現了地平表零位誤差和地平線穩定性的測試；劉陽等[9]針對某微型產品圓形插孔保持力自動測量需求，提出一種圓孔識別定位視覺技術以適應任意規格產品的柔性測量；黨長營等[10]利用亞像素邊緣檢測算法計算了雙金屬鑄件圓孔的內外圓半徑和同心度；彭晶鑫等[11]基于機器視覺設計了一套零件圓心距在線測量系統，精度可達0.01 mm；劉凌霄等[12]基于改進亞像素算法對彈簧內外徑尺寸進行計算。目前，對墨滴觀測的研究還相對較少，本文將視覺測量方法引入到墨滴觀測研究領域，從而為提高電子電路3D 打印質量提供技術支持。

1 噴頭的結構及工作原理

噴頭結構如圖1 所示，當出現電壓差時，在內部電極和外部電極之間產生電場，使得壓電元件徑向膨脹，或者根據電壓極性變化，徑向收縮。壓電元件變形僅在有兩個電極的部分發生，在沒有電極的區域不產生電場。最簡單的驅動信號由一個梯形波組成，每當需要產生一個液滴時，梯形波加載到一個電極上，而另一個電極接地。在電壓上升期間，管狀PZT 的圓周變大的同時也變得更薄更短。這種快速形變通過環氧樹脂粘合劑傳遞到玻璃管，導致玻璃內表面向外運動，使其產生負壓（相對于平衡狀態）。負壓以聲速在液體中沿著玻璃管行進，通過擴展聲波的方式到孔口和供液端。

圖1 壓電噴頭結構

氣壓平衡條件下，在噴口處液滴形成的順序如圖2 所示：液體沖到噴口處（第1 個狀態）。在第2 個狀態中，液體在平衡位置并有些收縮，這表明膨脹波已經到達了噴口處。第3 個狀態是壓縮波到達噴口處使液體噴出的狀態。后一個膨脹波到達噴口處將液體回拉（狀態4 和狀態5）使其斷開并離開噴口（狀態6）。噴射的液體由于表面張力形成球形液滴（狀態7）。

圖2 液滴形成順序

正常情況下墨滴的噴墨情況如圖2 所示，墨滴的大小均勻、圓度高，且連續噴墨時墨滴之間的的連貫性很高。如果噴頭放歪或者噴頭出現彎曲的情況，會造成墨滴的運動軌跡出現一定的角度偏移，當噴頭的角度發生偏移后，會對成品的形狀、直線度以及電阻造成影響；當噴頭出現輕微堵塞時，可以檢測出墨滴半徑或上一個液滴與下一個液滴的間距，以此可以判斷出液滴的情況；當噴頭出現嚴重堵塞時，相機拍到的圖片上會無液滴或偶爾出現液滴的情況；如果施加給噴頭的驅動信號出現錯誤，此時在相機拍攝的圖片上會出現液滴噴出情況紊亂的情況。如果噴頭壓力和頻率出現問題，會出現衛星墨滴的情況。接下來，基于機器視覺提出了一種墨滴直徑測量方法，并將比對結果應用于衛星墨滴觀測，驗證本文研究結果的可行性。

2 基于改進的邊緣最小二乘擬合法的液滴觀測

本文以墨滴為研究對象，采用CCD 相機進行圖像獲取，墨滴觀測流程如圖3 所示。

圖3 墨滴測量流程

2.1 圖像獲取

獲取圖像是實驗的前提，本文設計了一套墨滴觀測系統，用于獲取清晰的圖像。

2.2 圖像預處理

首先采用7×7 的矩陣對圖像進行低通濾波，獲得濾波后的圖像灰度值mean，根據原圖灰度值orig與mean，由公式（1）計算得到新的灰度圖像值。

F為對比度增加的系數，且灰度值的溢出和下溢會被裁剪掉。增強后的效果圖如圖4 所示。

圖4 圖像增強效果圖

然后進行圖像平滑處理。圖像平滑的主要目的是減小噪聲，通過對均值濾波、中值濾波、高斯濾波和導向濾波進行實驗比較，效果圖如圖5 所示，通過比對，可以發現中值濾波和導向濾波的效果最好，本文采用導向濾波進行平滑。

圖5 不同方法的濾波效果對比

2.3 特征提取

這一步的目的是從圖片中提取提取液滴輪廓，進行半徑、圓度和面積計算。首先使用動態局部閾值分割算法，將墨滴區域從背景中提取出來，該算法采用差分的思想對圖像進行處理，若圖像OrigImage 與對比圖像ThresholdImage 滿足公式（2），則將該區域提取出來，經過對圖像的灰度值進行對比，Offset值為5 時提取到的圖像最為完美，可以將墨滴區域提取出來，所生成的圖像為二值圖像，提取出的墨滴區域像素點灰度值標記為255[13]。

式中：OrigImage為原始的灰度圖像，ThresholdImage為經過濾波后再進行圖像增強的對比圖像，Offset為原始圖像與對比圖像的像素值偏移量。

然后對分割后的圖像進行連通域分析和形態學處理。首先對圖像進行開運算，去除圖像中的毛刺、噪點、斷開細窄的連通。但是會造成液滴邊緣處的部分像素點缺失，因此在進行開運算之后再進行閉運算，添補因開運算造成的液滴邊緣點的缺失。為了消除背景干擾，對填充后的連通域，根據包含像素點的個數進行形狀特征篩選，通過面積和圓度特征提取出液滴，如圖6 所示。同時為了驗證方法的可行性和準確性，對多幅實驗圖像進行上述處理，處理后得到的墨滴區域圖7 所示。

圖6 提取墨滴區域

圖7 墨滴區域提取驗證

2.4 改進的邊緣最小二乘擬合法

邊緣最小二乘擬合法是基于邊緣檢測進行計算的，首先使用Canny 邊緣檢測算法[14]提取像素級邊緣，然后通過定位精度高的二次曲線擬合得到亞像素級邊緣,采用亞像素細分技術來提高測量系統的測量精度[15]。但是Canny 邊緣檢測算法需要邊緣處的灰度變化明顯，為增強檢測效果，本文設計了一種新算法get_circle_contour 采集邊緣，該算法流程圖如圖8，原理如下：

圖8 算法流程圖

由于圖6 所得的區域僅僅只包含墨滴，像素變化不明顯，如果此時使用Canny 邊緣檢測算法，無法提取墨滴的邊緣，為了完整提取墨滴邊緣，算法首先對圖6 得到的區域使用最小外接圓擬合法得到半徑R初，接著使用area_center 取得圖6 區域的中心點（x,y）；然后以（x,y）為中心、R初+3 為半徑畫圓，可以獲得帶有墨滴邊緣的有效區域，縮放原來定義域至圓所在的區域，此時即可以提取邊緣，且干擾很少。

墨滴邊緣圖見圖9。接著對連通域進行輪廓擬合，在此過程中，提取到的墨滴區域的邊緣對象多且有部分無用邊緣，如圖9a 所示。為了去除無用邊緣，同時為了避免出現因邊緣長度差別不大而去掉有效長度的情況，對算法進一步改進：首先，計算邊緣的長度數組，再算出長度數組的平均值和方差，之后加入判定條件，若方差大于2，說明邊緣長度差異大，將利用長度特征將長度小于0.6 倍平均值的邊緣濾掉，若邊緣方差小于2，則不用過濾邊緣；接著使用segment_contours_xld 將邊緣輪廓分割為圓弧，此時，圓的輪廓已經比較明顯，最后進行相鄰輪廓合并操作，即可提取出一個完整的輪廓邊緣，如圖9b 所示。

圖9 墨滴邊緣圖

得到墨滴的邊緣后，接著選用fit_circle_contour_xld()算子所帶的最小二乘算法對圓弧的亞像素特征信息進行擬合。通過最小二乘法擬合圓，就可以得出圓的半徑。

3 實驗驗證

3.1 實驗驗證

原始的墨滴視覺檢測通常是通過人工操作的方法，需要利用標尺和顯微鏡來觀察墨滴的噴射過程。存在很大的誤差。而本文采用分辨率為1 440×1 080的CCD 相機，搭配6.3×的變倍鏡頭，該鏡頭遠心光路設計，光學放大倍率為0.7～4.5×，變倍比6.5:1；LED 光源可以使目標信息與背景信息得到很好的分離，大大降低后續圖像處理算法分割、識別的難度，同時還能提高系統的定位、測量精度，使測量系統的可靠性和綜合性能得到提升[16]，故本文選取了LED 燈作為光源。

為了將相機、鏡頭和光源組合起來，同時保證成像能夠穩定、清晰，本文設計了一套簡易的機械結構，如圖10 所示，能夠將相機、鏡頭和光源的中心處于同軸，調節微調平臺可以改變鏡頭與光源的距離，從而保證鏡頭的工作距離，拍出清晰的圖片。為了驗證方法的可行性和準確性，在對墨滴進行觀測前，先對一根直徑1 毫米的鋼針進行測量，拍攝的圖片如圖11 所示，經過對鋼針圖片的處理和測量，程序得到鋼針的直徑為1 014.79 μm，實驗證明，實驗平臺拍攝的圖片清晰，實驗結果準確性極高。

圖10 實驗平臺

圖11 直徑1 mm 鋼針

同時，為了體現本文所用方法的優劣性，本實驗還采用了另外2 種方法進行比較，其一是區域外接圓法，即對提取出的墨滴區域進行最小外接圓擬合；其二是邊緣最小外接圓法，即對提取到的邊緣進行最小外接圓擬合。本文利用這3 種方法，對4個墨滴，進行了20 組實驗，如圖12 所示，得到的墨滴半徑平均值如表1 所示。

圖12 墨滴圖

表1 基于三種方法的半徑面積

傳統的墨滴觀測方法使用光學顯微鏡，精度在1 μm，且價格昂貴，無法做到實時檢測。而通過本文方法，利用工業相機得到的數據精度可達到0.000 1 μm，精度遠遠高于光學顯微鏡。

由于噴口半徑為20 μm，噴口直徑誤差在±1 μm，且墨水具有黏性，會造成能量損失，故正常墨滴半徑在19 μm 左右波動。從圖13 可以看出，區域最小外接圓擬合法得到的半徑波動范圍較大，數據梯度較大，這是因為區域最小外接圓擬合法的精度只能達到像素級，且對于提取到的墨滴區域要求嚴格，會存在墨滴部分區域像素點缺失和誤認的情況，會對結果造成誤差。該方法誤差來源于圖片的拍攝清晰度和光源等情況，誤差來源多，所以區域最小外接圓擬合法結果不夠精確。而邊緣最小二乘擬合法和邊緣最小外接圓擬合法使用了亞像素級的輪廓，精度高于像素級。為了比較出這兩種方法的優劣，本文對這兩種方法進行誤差分析，原理如式3 所示。

圖13 墨滴半徑數據圖

其中：（x1，y1）為墨滴輪廓線上點，（x2，y2）是以所求半徑所畫的標準圓上的點，數據如表2 所示。

表2 誤差比對分析

通過對比誤差，邊緣最小二乘擬合法的誤差更小，而誤差的減小可以更加精確地得到墨滴的半徑，可以滿足更高要求的場所，對工程應用有著更大的價值。

3.2 衛星墨滴分析

衛星液滴是由自由液流過長的尾部碎裂而成的，其體積一般極小，難以觀測。通過對墨滴半徑的實時監測能及時發現衛星墨滴的出現，減小次品率。圖14 為經過圖像處理之后得到的墨滴區域；衛星液滴的存在，會在基板上造成不必要的雜點，降低了打印的精確性和解析度。本文采用3 種方法對衛星液滴進行觀測，獲取的墨滴半徑如表3 所示。

圖14 衛星墨滴區域提取

表3 衛星墨滴半徑

表3 分析了時刻T1和T2出現衛星墨滴時的墨滴半徑，從表中看出基于改進的邊緣最小二乘法得到的數據最穩定，再次證明了本文所提方法的可行性。同時，發現最小的衛星墨滴的半徑會出現小于0.6 倍的正常墨滴半徑，且由于墨滴半徑的減小，會造成墨滴的勢能減小，影響到墨滴的速度，造成墨滴落點位置出現偏差，因此會在基板上造成缺陷。因此，基于本文方法可有效監控發現衛星墨滴的存在，對于提高打印精度具有重要意義。

4 結語

基于機器視覺對電子打印壓電噴墨墨滴進行監測研究，設計了一種改進的邊緣最小二乘擬合法計算墨滴半徑，通過與區域最小外接圓法和邊緣最小外接圓擬合法進行對比分析，驗證了本文所提方法的可行性。基于改進的邊緣最小二乘擬合法獲取的墨滴半徑精度最高，誤差小,非常適合墨滴觀測，特別是能夠有效監測衛星墨滴，對于提高電子打印精度具有重要意義。