基于KNN Matting算法的冷金屬過渡焊接熔滴尺寸檢測

管森，邢彥鋒，曹菊勇，楊夫勇，張小兵

（201620 上海市 上海工程技術大學 機械與汽車工程學院）

0 引言

熔滴過渡是焊接傳熱和傳質的重要環節，作為焊絲熔化形成部分，對熔池形貌和焊縫成形有著重大影響。根據焊接工藝不同，熔滴過渡主要分為短路過渡、滴狀過渡和噴射過渡3 種形式[1]。本文以短路過渡為主的冷金屬過渡焊接（CMT）作為研究對象。CMT是傳統GMAW（Gas-Metal-Arc-Welding）的改進技術，由于飛濺小，熱輸入低，焊接穩定，獲得越來越廣泛的應用[2]。分析研究冷金屬過渡焊接過程中熔滴形貌變化規律，有助于把握熔滴尺寸，有效改善焊接性能[3]。

國內外學者對熔滴檢測行為進行了大量研究。楊倩[4]等人使用基于小波變換和改進的Prewitt 算子檢測了GMAW 短路過程的熔滴過渡圖像，能較準確地表示出熔滴的輪廓，但是對于光亮和高噪聲情況存在擬合精度不高、細節不夠的情況，熔滴作為焊絲熔化所產生的金屬液滴，其大小形狀、過渡方式與焊接電流存在直接關系；朱志明[5]等人分析了短路過渡CO2焊接過程采集的焊接電流信號，采用最小二乘法計算出波形控制短路過渡焊接規律模型，可預判熔滴尺寸的大小與燃弧脈沖時間的寬度關系，但是無法確定輪廓變化，不能預測熔滴過渡趨勢。針對熔滴過渡趨勢研究，Xing[6]等人基于VOF 方法，建立了熔滴與電弧耦合的三維數值分析模型，模擬了水下濕式藥芯電弧焊中的熔滴過渡和電弧等離子體流動過程，確立了此焊接過程中的熔滴過渡情況和受力情況，但是對輪廓變化情況研究不夠。

KNN Matting 算法[7]相比于熔滴形貌檢測，對輪廓細節的分類能力較強，作為在圖像編輯和電影制作中的一項關鍵技術，具有較高的魯棒性。適用于人工繪制的三區標志圖（Trimap）或草圖（scribble）作為輸入，基于KNN 的拉普拉斯矩陣計算方法，通過KNN 構建鄰接矩陣，進而得到拉普拉斯矩陣，由此求得封閉形式解來分離用戶所需前景，故在此用以熔滴過渡輪廓的擬合。

本文在建立高速攝像機的熔滴圖像拍攝和基于OpenCV 平臺的基礎上，使用KNN Matting 算法描繪了冷金屬過渡開始與過渡過程中熔滴輪廓的變化。

1 實驗材料與設備

本試驗采用Fronius 公司的TRS4000CMT 焊機，同時搭載KUKA 公司的六軸機器人進行運動控制。選用直徑為1.2 mm 的ER4043 鋁硅焊絲。攝像設備采用Optronis 公司的CP80-3-M 型高速攝像機，曝光時間設定為50 μs，幀速率設置為4 000 幀/s。焊接平臺示意圖如圖1 所示。

圖1 焊接平臺Fig.1 Welding platform

2 熔滴圖像處理流程

本文就冷金屬過渡焊的熔滴過渡開始和過渡過程中圖像進行處理，算法具體流程如圖2 所示。

圖2 熔滴圖像預處理及算法流程圖Fig.2 Droplet image preprocessing and algorithm flow chart

2.1 圖像預處理

受拍攝設備、自然環境因素的影響，熔滴圖像的拍攝會出現高光亮、噪點較多等情況，故算法實行前要進行預處理操作。由于高速攝像機拍攝熔滴過渡圖像的色彩空間較為簡單，拍攝圖像為灰度圖，不含豐富的色彩信息，但是受色彩的明亮程度影響較大，故將BGR 空間轉換到HSV 空間，且KNN Matting算法是基于HSV空間進行聚類分析的。為了不影響原圖的細節表征，可采用中值濾波進行噪聲過濾，中值濾波不采用加權求均值處理，可在幾乎不影響原圖情況下去除全部噪聲。圖3 為中值濾波處理后的圖像。

圖3 中值濾波Fig.3 Median filtering

3 KNN Matting 算法處理

KNN Matting 算法是將用戶生成的Alpha Matte添加到原圖的透明度通道中，根據透明度的設定，提取用戶所需保留前景，為后續圖像操作打下基礎。KNN Matting 算法核心組成為

其中：Ii——原始圖像的像素；αi——透明度；Fi——前景像素；Bi——背景像素。

熔池拍攝圖像的前景背景構成一般是復雜的，不具備明顯的邊界分離，α的取值一般不取完全前景的1 值或者完全背景的0 值，是0～1 之間的線性組成值。所以，此方程α、F和B均為未知變量，無法求解。為解決方程不可求解問題，Levin[8]等人提出針對在單個核空間內保證平滑度的情況下，B和F可作為定值，應用最小二乘法求得對應的透明度α；Chen[9]等人在此基礎上提出Trimap 圖設定作為邊界條件，其中Trimap 根據透明度不同，分為3 種顏色：將完全前景設為白色（α=1），不確定過渡區域設為灰色（α=0.5），完全背景設為黑色（α=0），為生成最終的Alpha Matte 提供了快速迭代條件。

3.1 Trimap 繪制

傳統Trimap 依賴手工標注生成，但是不僅不夠智能化，處理圖片過多會對人工產生不小的負擔，后來改進了產生許多自動生成顯著圖的算法，用作Trimap 的生成雛形圖。其中，Xiao[10]等人提到了一種IG 算法，是通過一個DoG 帶通濾波過程，其中的一端被設置為圖像的直流分量，可初步生成顯著圖，作為無監督學習，可以節省很大的人為工作量。其顯著圖的計算公式為

式中：Iμ——圖像的直流分量，即對應每個顏色通道的均值；Iωhc（x，y）——高斯濾波后的圖像；||·||——1 范數，即2 個向量的絕對值之和。

由于顯著圖屬于初步形成的草圖，邊界位置存在某些像素不適配，或存在丟失行為。之后需將顯著圖二值化后進行先膨脹后腐蝕的閉運算，相差部分作為灰度未知區域。圖4 為Trimap 生成過程，圖5 為最終生成的Trimap。

圖4 三區標志圖生成過程Fig.4 Generation process of Trimap

圖5 三區標志圖Fig.5 Trimap

3.2 KNN Matting 提取熔滴前景

KNN Matting 通過使用K個最近鄰像素來匹配非局部區域，并且提供了一個簡單快速的算法來產生更高質量的圖像擇取結果，進一步利用共軛梯度法求解封閉形式解，生成最終的Alpha Matting。它假定像素的α值可以通過具有相似外觀的非局部像素的α值的加權和來描述。本文通過選用不同的K值進行迭代，在K取31 時前景擬合精度可達到98%，且相對于K取更大時的計算時長相對更短，滿足所需要求。然而，由于非局部像素之間的比較，其計算量相對其他前景提取算法較大，本文考慮到此因素，設定IG 算法提取后的Trimap 作為約束條件放入KNN Matting 中，減少其自動生成Trimap 的過程，可很快使得迭代收斂，求得封閉形式解。

對于Trimap 中像素，生成的特征向量為：

式中：h，s，v——HSV 顏色空間的3 個值；（x，y）——像素i的坐標值。

將特征向量放入內核函數中計算，其內核函數為

式中：C——權值調節系數，為保證k（i，j）∈[0，1]；||·||——1 范數，即2 個向量的絕對值之和。

對生成的內核函數求取拉普拉斯矩陣，公式為：

式中，相似矩陣Aij=k（i，j）；對角矩陣Dij=∑Aij。

將得到的拉普拉斯矩陣求取封閉形式解，其中封閉形式解的方程為

式中：λ——約束系數；m——Trimap 中灰度未知標定位置。

求得封閉形式解即為所需的Alpha Matte。

圖6 為Alpha Matte，圖7 為提取的熔滴前景。

圖6 前景蒙版Fig.6 Alpha Matte

圖7 提取的熔滴前景Fig.7 Extraction of droplet foreground

3.3 輪廓提取與描繪

3.3.1 閉運算

對圖7 中一些高亮像素會造成圖像形成黑點的情況，采用先膨脹后腐蝕的閉運算，可以消除圖像中的黑點。圖8 為閉運算后的熔滴前景。

圖8 閉運算Fig.8 Close operation

3.3.2 輪廓提取

本文利用OpenCV 內部自帶的Contours 函數尋找目標輪廓并做提取，然后將提取的輪廓圖像與原圖進行加權平均。圖9 為輪廓提取后的冷金屬過渡熔滴圖像。

圖9 輪廓提取Fig.9 Contours extraction

由上述實驗步驟可看出，KNN Matting 算法對于熔滴輪廓的檢測具有較好的擬合程度，對于細節方面的處理較為細膩，可以很好地反映出熔滴過渡過程中傳質的變化行為，而且可以較好地提取出熔滴的實際形貌特征，為對應不同焊接參數下的焊接過程中熔滴在圖像序列中的動態行為跟蹤和反映熔滴實時的大小變化情況打下了良好的基礎。

4 結論

本文提出了利用KNN Matting 算法實現冷金屬過渡焊接熔滴過渡開始和過渡狀態下的輪廓檢測。實驗表明，此方法擬合熔滴輪廓較為準確，對于熔滴的過渡行為具有一定的表示作用。但Trimap 生成所使用的IG 算法在實驗中被表明適用在小樣本數據集中，且作為無監督學習，對于大樣本、拍攝圖像清晰度不夠等情況下，訓練時長較長，擬合生成的顯著圖不夠理想。投入實際應用中時，應配合深度學習深化算法靈敏度，提高對實際拍攝中大樣本圖像邊界敏感程度和實時處理的能力。