基于頻率調諧的焊縫紅外圖像顯著性檢測算法

夏衛生， 方向瑤， 楊帥， 林富明， 楊云珍

(1.華中科技大學,材料成形與模具技術國家重點實驗室，武漢 430074；2.武漢理工大學，武漢 430076)

0 前言

焊接過程涉及光、熱、聲、電等變化，其中光和熱與焊接過程的相關性最強[1-5]。紅外熱成像技術作為一種常用光電探測方法，可將被檢測物體所產生的紅外輻射轉化為可見的熱圖像，獲得被測物體的溫度分布。

視覺顯著性檢測(Visual saliency detection)是通過智能算法模擬人的視覺特點，對圖像中的視覺顯著部分進行檢測。為了客觀表示圖像的視覺顯著性，Koch等人[6]在20世紀90年代最先提出顯著圖(Saliency map, SM)的概念。以顯著圖像素的灰度值來表示該點像素的顯著程度，灰度值越大，則越顯著。在檢測中引入視覺顯著性，不僅可以合理地對圖像視頻中最重要的地方進行計算，而且其檢測結果也更加滿足人的視覺認知需求等等。若優先檢測出圖像的顯著部分，就能恰到好處地對顯著區域進行分析處理，以此降低運算量，還可以提高檢測過程的準確性。

現有的顯著性檢測算法有多種分類方式[7-8]。美國加州大學Itti博士提出基于生物啟發的ITTI模型是最具代表性的顯著性模型[9]，該模型能夠較為精確地獲取圖像的顯著部分，但存在顯著圖較模糊及邊界不清晰等問題。Harel等人[10]提出了一種基于馬爾科夫隨機鏈的圖形視覺顯著性模型(Graph based visual saliency, GBVS)，具有較高的計算難度，但是可以較準確地獲得顯著區域的位置。而基于純計算的顯著性檢測模型，則采用數學計算方法來研究圖像的視覺顯著性，并不關注視覺注意機制。相較于ITTI模型和GBVS模型，基于純計算的顯著性檢測模型盡管顯著像素點較少，但能夠快速確定顯著區域的邊緣，通常引入基于頻域的計算方法，能夠簡化運算及降低參數干涉等。

文中針對熔化極氣體保護焊(Gas metal arc welding, GMAW)建立焊縫的紅外在線監控系統，提出一種基于頻域的紅外焊縫顯著性實時檢測算法，從濾波處理、顏色模型和背景抑制3個方面對頻率調諧算法(Frequency tuned, FT)進行改進，以期在保證檢測過程實時性的同時能夠獲得更優的紅外焊縫顯著圖，并可以對焊縫進行特征提取。

1 試驗及算法設計

1.1 焊接過程紅外檢測

采用MOTOMAN機器人執行GMAW焊接試驗，焊絲為H08Mn2SiA實心焊絲，保護氣體為CO2，在Q235基板上進行直線堆焊，焊縫長度20～25 cm。焊接過程紅外監控系統和圖像采集系統如圖1所示，紅外熱像儀用于采集焊接過程中整體焊接區域的紅外圖像。

1.2 紅外圖像的顯著圖采樣

在典型的視覺顯著性檢測算法中，譜殘差(Spectral residual, SR)算法[11-13]只能檢測出顯著區域的邊界，具有一定的局限性。為了解決這個問題，Achanta等人[14]提出了FT算法，對物體進行顯著性檢測。FT算法基于純計算，利用顏色、亮度等低級特征可以得到最終的顯著圖。關于顯著性檢測的5點要求[15]，主要為：①突出待檢對象最大顯著目標；②顯示整個顯著區域；③具有明顯的輪廓；④忽略噪聲等造成的高頻干擾；⑤輸出顯著圖不改變尺寸。基于頻域的顯著性算法是在頻域中對圖像進行處理，所以FT算法具有一定的優勢，且容易實現，計算簡便。FT算法的核心原理認為圖像的整體信息即顯著區域主要集中在低頻區域，區域的邊緣則位于高頻區域，而且噪聲等無關信息也在高頻區域內。基于此原理，除去圖像中的高頻部分及較低頻部分，便可輕易得到圖像的顯著圖。FT算法的具體實現過程如圖2所示。

圖1 焊接過程紅外監控系統

圖2 FT算法的具體實現過程

按照圖2所示流程，隨機選取采集到的焊接紅外熱像圖如圖3所示。對其進行處理，結果如圖4所示。

圖3 焊接紅外熱像圖

圖4 不同算法處理后的顯著圖對比結果

1.3 對FT算法的改進

基于頻域的顯著性檢測算法的優點是算法簡潔和運行速度快等；但其檢測精度仍然不能滿足要求，最終得到的顯著圖對非顯著背景區域的抑制程度不夠。所以接下來對FT算法進行改進，并采用改進后的FT算法來獲取焊縫的紅外顯著圖。

1.3.1雙邊濾波處理結果分析

FT算法對圖像的高頻部分進行了高斯平滑處理，這在平滑噪聲的同時也模糊了檢測目標的邊界，因此以雙邊濾波代替高斯濾波對圖像進行處理。相較于高斯平滑處理，雙邊濾波處理則在空間上增加了一個由幾何距離決定的非線性加權系數，在處理圖像邊界鄰域像素時，其它遠距離的像素點對其像素值幾乎不干涉，而近距離的像素點會取極大的權值，避免對邊界的處理過度平滑，從而在達到平滑噪聲的同時，也保證了邊緣的處理效果。圖4b的處理效果更好，基本去除了噪點與雜波，顯著區域清晰可見且檢測目標的邊緣保留完整，同時對背景區域的抑制更為嚴格。

1.3.2雙色彩模型處理結果分析

在對紅外圖進行顯著性檢測后，所得的顯著圖包含了焊縫及其熱影響區，這不利于后續焊縫的特征提取。此時可以在FT算法中加入RGB顏色模型而非單一的Lab顏色模型對顯著圖進行計算處理。

RGB顏色模型是工業界的一種顏色標準。紅、綠、藍3種顏色之間相互疊加可以得到各種各樣的顏色。而Lab顏色模型是基于人對于色彩的感覺，L代表亮度，a表示從紅到綠的區域，b代表從黃到藍的區域，得到的所有顏色都基于這3個值的交互變化。盡管Lab模型的色域更廣，但熱成像儀輸出的圖像仍采用RGB模型進行編碼。經過2種色彩模型處理后，圖像顯著部分會顯示不同甚至相互彌補的效果，某種色彩模型下的顯著圖總會比另一種顏色空間下的顯著圖更能體現某些微小的區域。

由圖3可以看出，由于中心焊縫區比熱影響區的溫度更高，其背景的亮度和顏色鮮艷程度更為顯著。文中對Lab和RGB的顏色子空間L,a,b和R,G,B分別進行亮度和顏色特性的表征，并對Lab顏色模型中的L及RGB顏色空間中的R來進行加權計算2個色彩模型下的顯著圖，試驗中取權重為2。最后對2個色彩模型下的顯著圖進行融合，在此選擇均值相加的方式，最終結果如圖5b所示。由圖5a和圖5b中方框標識區域可以看出，與原FT算法相比，雙色彩模型處理能夠更好地抑制基板、飛濺、弧光等背景的影響，從而提高焊縫區域的顯著性。但是對焊縫熱影響區的抑制程度仍不足，而多尺度對比算子處理能夠進一步改善顯著圖的質量。

圖5 雙色彩模型融合后的顯著圖

1.3.3多尺度對比算子處理結果分析

對比度是視覺顯著性檢測的一個基本特征，在根本意義上，顯著性檢測就是檢測處于周邊區域對比差異較大的目標。在圖像中，以亮度、方向、形狀、顏色等作為客觀度量，通常以像素的形式進行計算對比。多尺度對比算子[15]多用來衡量圖像的對比度，其原理簡單且容易實現，如圖6所示。

圖6 多尺度對比算子的原理圖

利用計算像素點R1的特征向量與鄰域像素R2的平均特征向量的范數來得到其顯著值C。計算過程中R1和鄰域R2的尺寸是可調的，通常令R1為一個像素進行計算，鄰域R2的尺寸h在此選取了h1=Ih，h2=Ih/4和h3=Ih/8 3種。經過多尺度對比算子優化后的顯著圖如圖7b所示，該顯著圖幾乎完全排除了焊縫熱影響區的干擾，從而進一步提高了焊縫區域的顯著性，有利于后續的特征提取。改進后的FT算法具體實現流程如圖8所示。

圖7 多尺度對比算子處理

圖8 改進后的FT算法具體實現過程

2 不同算法處理效果分析

2.1 實時性分析

將改進后的FT算法和ITTI，GBVS，SR，FT，AC[16]，HC[17]等典型顯著性檢測算法進行對比分析：①ITTI算法是最經典的基于生物啟發的模型，同時也是一種全局對比度算法；②GBVS算法是一種基于圖論的混合生物認知模型和數學計算的算法；③SR及FT算法為頗具代表性的基于頻率空間處理的純數學計算方法；④HC算法是基于直方圖的全局對比度算法；⑤AC算法是一種處理局部較好的對比度算法。

ITTI，GBVS，SR，FT，AC和HC算法均使用作者給出的MATLAB代碼，各算法的平均運行時間見表1。盡管部分算法的運算時間很短，但都需要進行一些復雜的預處理，不能在真正意義上實現在線檢測；試驗中紅外熱像儀幀頻為25 Hz，改進后的顯著性檢測算法(即優化后的FT算法)的平均運行時間為0.075 s，不需要預處理，整體處理時間更短，有效地保證檢測過程的實時性。

表1 各算法的平均運行時間

2.2 顯著圖質量分析

經表1中各算法處理得到的顯著圖結果如圖9所示。ITTI和GBVS算法無法得到全分辨率的顯著圖，圖像不清晰且未能檢測出明顯的目標輪廓；SR算法只能得到顯著目標的輪廓；FT, HC和AC算法的顯著圖雖然具有較清晰的輪廓，但顯著區域包括焊縫及其熱影響區，不利于焊縫的特征提取；而改進的FT算法打破了傳統FT算法在焊縫紅外熱像圖處理上的局限性，得到的紅外焊縫顯著圖目標輪廓清晰、排除了熱影響區的干擾，目標焊縫的顯著性增強，并可以對焊縫進行特征提取。

圖9 各算法所得顯著圖對比

3 結論

(1)提出一種基于頻域的紅外焊縫顯著性實時檢測算法，從濾波處理、顏色模型和背景抑制3個方面對FT算法進行改進；并將改進的FT算法同ITTI, GBVS, SR, FT, AC和HC等典型顯著性檢測算法展開實時性探究。

(2)相比于其它典型顯著性檢測算法，改進的FT算法的平均運行時間為0.075 s，雖然運行時間比SR，FT和HC算法更長，但是其特點是不需要進行預處理；所以在整體運算過程中，改進的FT算法時間最短，真正意義上實現了在線檢測。

(3)改進的FT算法有效抑制了顯著圖中的背景、噪聲和弧光等干擾像素，得到的紅外焊縫顯著圖目標輪廓清晰，同時排除了熱影響區的干擾，目標焊縫的顯著性增強，有利于焊縫特征的提取。