一種用于管道缺陷的紅外圖像混合增強方法

何依澤，朱冰

西安石油大學 電子工程學院(陜西 西安 710065)

0 引言

隨著深度學習的成熟，通過獲取圖像進行缺陷檢測的方法在管道的無損檢測中得到了廣泛應用。在實際檢測過程中，由于甲烷氣體無色無味的物理性質，傳統的可見光圖像很難檢測到氣體是否有泄漏。在氣體泄漏過程中，由于管道外部壓強小于管內壓強，泄漏出的氣體體積隨之增大，氣體的溫度降低；而紅外熱成像技術具有響應速度快、溫度分辨率高和對目標非接觸式測量等特點，可以很好地對泄漏點泄漏出的氣體進行檢測。但紅外圖像通常具有噪聲大、紋理細節不明顯的特點，因而對紅外圖像進行圖像增強，以便在目標檢測過程中針對目標物體的細節輪廓特征增強，所提取的特征圖能更加有效地對檢測目標進行識別和比較，從而提高目標檢測模型的檢測精度。

傳統圖像增強方法大致可分為空域圖像增強方法和頻域圖像增強方法[1]?？沼蛟鰪姺椒ㄒ灾狈綀D均衡和非銳化掩蔽方法為主[2]；頻域增強方法則是將圖像經傅里葉變換到頻域，通過高通濾波器對頻域中的高頻成分進行增強，從而達到增強圖像紋理輪廓特征對比度的目的。但傳統的空域和頻域細節增強方法都存在增強細節的同時會放大噪聲，高頻增強過度還會使圖像產生偽像[3]。

針對以上問題，陳瑩等人[4]通過直方圖分割為多個子直方圖，分別對子直方圖均衡得到增強效果；顧明等人[5]則通過對RGB空間轉換到HSV顏色空間，對V分量進行自適應直方圖均衡化來對圖像進行增強；董麗麗等人[6]通過對經典直方圖均衡化算法進行改進，分別引入邊緣信息融合技術和直方圖動態削峰技術，提出可用于亮度保護下的對比度增強和細節增強算法；Zhang等人[7]通過在空域和頻域使用高斯濾波器對圖像進行增強，保護了圖像的細節信息；Fang等人[8]提出了基于同態濾波的改進方法，克服了噪聲引起的偽像增強現象；Huang等人[9]基于中值濾波提出了一種脈沖噪聲濾除方法，濾除了噪聲并保持了圖像的細節。然而，以上研究盡管對傳統增強方法引起的噪聲等問題都有所改善，但都沒有對圖像有選擇地進行濾波處理，從而在高頻濾波時損失了原有光滑區域的灰度，在低頻濾波時則會產生振鈴現象。因此選用一種混合濾波算法，通過低通濾波器選出圖像的細節部分并對其進行增強，減少圖像的噪聲，同時通過高通濾波器選出圖像中的邊緣部分并對其進行增強，使圖像中的輪廓更清晰。通過在頻域中根據低頻和高頻部分在整幅圖像中的占比，取其反比來對以上兩者乘以不同系數進行相加，將低頻部分的圖像細節特征和高頻部分的圖像邊緣特征進行不同程度的增強，有效避免了各自單獨使用時產生的問題。

1 頻率域濾波基礎

頻率域濾波由對一幅圖像進行傅里葉變換之后計算其反變換得到處理后的結果圖像組成。二維離散傅里葉變換的公式為[1]：

式中：f(x,y)是大小為M×N的數字圖像，其中x=0,1,2,L,M-1；y=0,1,2,L,N-1；F(u,v)為該圖像的傅里葉變換；離散變量u、v的取值范圍分別為u=0,1,2,L,M-1，v=0,1,2,L,N-1。則基本濾波公式為[1]：

式中：?-1為離散傅里葉逆變換計算；F(u,v)為輸入圖像f(x,y)的離散傅里葉變換；H(u,v)為濾波函數；g(x,y)為濾波后的輸出圖像。

以上公式即對于輸入圖像先進行傅里葉變換F(u,v)，用濾波函數H(u,v)乘以圖像的傅里葉變換進行濾波，最后對濾波結果進行傅里葉逆變換，即可得到處理后的圖像（圖1）。

圖1 頻域濾波流程圖

2 頻率域濾波

在頻域空間，變換后的低頻部分主要是圖像中緩慢變化的灰度圖像，而高頻部分主要是灰度的尖銳過度，如邊緣、噪聲等。因此，可以對低頻部分和高頻部分進行不同程度的增強，達到改善整體圖像的效果。

2.1 低通濾波器

由于在一幅圖像中，圖像邊緣和噪聲等其他尖銳的灰度轉變主要來自傅里葉變換后的高頻部分，因此可以通過低通濾波器對圖像中的高頻部分進行衰減來達到平滑圖像、減少噪聲的效果。

與理想低通濾波器、高斯低通濾波器相比較，巴特沃斯低通濾波器在階數比較高時接近于理想濾波器，在階數比較低時，又更接近于高斯濾波器。巴特沃斯濾波器可以在有效的低通濾波和可接受的振鈴現象之間很好的折中，可以看作是另外兩種比較極端的濾波器的過度。因此，使用二階巴特沃斯低通濾波器函數，對圖像高頻部分進行衰減，達到平滑圖像的效果。

巴特沃斯低通濾波器的傳遞函數為[1]：

式中：n為濾波器的階數；D0為截止頻率；D(u,v)是頻率域中心點(u,v)到頻率矩形中心的距離。即：

2.2 高通濾波器

由于對圖像中邊緣部分輪廓等灰度突變的部分進行銳化，可以增強圖像的邊緣輪廓特征，使圖像輪廓特征更加明顯。該研究中的高通濾波器使用的是高斯高通濾波器，與其他濾波器比較而言，高斯高通濾波器得到的結果更為平滑，即使是微小物體和細線條在濾波后也是比較清晰的。高斯高通濾波器的傳遞函數為[1]：

2.3 混合濾波

綜上，由于在一幅圖像中，圖像邊緣和噪聲等其他尖銳的灰度轉變主要來自傅里葉變換后的高頻部分，因此可以通過低通濾波器對圖像中的高頻部分進行衰減來達到平滑圖像、減少噪聲的效果；同時，通過高通濾波器對圖像中邊緣部分輪廓等灰度突變的部分進行銳化，使得圖像邊緣輪廓特征更加明顯，便于進行識別。但在單獨使用低通濾波時會產生振鈴現象，在高通濾波時又會使得集中大部分能量的低頻分量減弱，整幅圖像灰度減弱變暗甚至接近全黑色。為了發揮兩者優勢，同時避免以上問題的出現，將其兩者結合使用。

對于一幅大小為M×N的采樣圖像f(x,y)，對其先乘以(-1)x+y，使頻率域坐標下的F(u,v)的原點變換到二維離散傅里葉變換區域M×N中心(M/2,N/2)。則此頻域范圍內u、v的取值分別為u=[0,M-1]，v=[0,N-1]（u、v均為整數）。

計算中心化后f(x,y)的傅里葉變換：

為了滿足之后機器學習的需要，對圖片主要進行對比度的增強，較大程度地增加圖像紋理和邊緣輪廓部分的灰度銳化，使得圖像的邊緣信息更加清晰，以便更好地進行識別。而對于圖像平滑部分增強的程度較小，主要是去除部分噪聲影響。因此，將圖像變換到頻域率后，通過以上選取的低通濾波器和高通濾波器將圖像的低頻部分和高頻部分區分開來，分別對這兩個部分采用不同的增強系數進行增強處理。

在對圖像的低頻部分和高頻部分分別進行增強時，先分別利用低通濾波和高通濾波器對圖像進行濾波，分離出低頻成分和高頻成分。對于低頻成分，取每個數據元素的實部，通過設定一個閾值比較大小，來統計圖像中較低頻元素的個數，高頻成分也是如此。通過取較低頻元素與較高頻元素的個數之比的反比，來分別對低頻成分和高頻成分的增益賦值。增強步驟見式（8），其中r1為較低頻成分的個數，r2為較高頻成分的個數。

對于增強后的圖像的頻域表達式，通過對其進行傅里葉逆變換，可得到濾波增強后的圖像，見式（10）。

取結果的實部并乘以(-1)x+y，得到最終圖像。

3 實驗結果與分析

實驗所用的實驗軟件為MATLAB，針對多組管道泄漏紅外圖像的灰度圖像進行實驗，驗證圖像增強算法對于不同區域的增強效果，加入了直方圖均衡化方法和拉普拉斯銳化算法進行對比，實驗結果如圖2所示。

圖2 幾種增強算法結果對比圖

圖2（a）是輸入圖像；圖2（b）是經過直方圖均衡化增強后的圖像，可以看到背景噪聲的對比度明顯加強，而前景對象的灰度級減少，某些細節隨之消失；圖2（c）是經過拉普拉斯算子銳化后的圖像，可以看出對于圖像中邊緣區域以及灰度發生跳變的區域，拉普拉斯算子均進行了增強，但對于圖像中的噪聲，拉普拉斯算子也進行了同樣程度的增強；圖2（d）和圖2（e）分別為巴特沃斯低通濾波器和高斯高通濾波器濾波后的圖像，可以看出，巴特沃斯低通濾波器濾波后的圖像濾除了高頻部分，整幅圖像變得非常平滑，而高斯高通濾波器濾除了圖像的低頻分量部分，增強了圖像的對比度，但原先圖像平滑區域也同樣被壓縮；圖2（f）是使用混合濾波算法的增強結果圖，可以看出原圖中的對比度得到了明顯增強，而且相較于單獨使用高通濾波器，又保存了原圖中相對平滑的部分，圖像的整體增強效果較好。

實驗還加入了OTCBVS紅外圖像數據庫中的圖片進行處理，與參考文獻中的處理結果進行對比，將參考文獻[10]、[11]作為對比組，其中文獻[10]使用了非抽樣加性小波變換方法費解輸入圖像獲取它的子帶，通過同態變換、直方圖均衡化方法對圖像的亮度和對比度進行增強；文獻[11]使用了金字塔變換方法，分別求得圖像低頻和高頻系數，增強圖像的對比度，對比結果如圖3所示。

圖3 house-jeep圖結果對比

圖3中，對比了文獻[10]、文獻[11]中的相應圖像處理結果，可以看出圖3(b)中房屋及地面部分區域過亮，天空中云彩的對比度較低；而圖3(c)中房屋和汽車的輪廓較為模糊，天空中的云彩也偏暗，不利于目標檢測特征圖的提取；在圖3(d)中這些問題均被得到了很好的處理，減輕了圖3(b)中房屋和地面中的過亮區域，也改善了圖3(c)中圖像較暗、對比度較低的問題。

將經過增強后的多組紅外圖像作為輸入圖像，利用Faster-RCNN目標檢測框架，使用預權重進行訓練，并進行預測識別，識別結果如圖4所示。

圖4 識別結果

圖4展示了管道泄漏的紅外圖像識別結果。對于目標檢測精度的衡量，使用平均精度均值（mAP）來進行評價。使用針對紅外圖像的圖像增強算法，檢測的mAP值為89.33%，相較于未進行圖像增強的紅外圖像，mAP值高了約2.5%。可見，增強后的圖像在進行目標檢測識別時，檢測精度也有了顯著提升。

4 結束語

對于在圖像增強中出現的一些問題，利用低通濾波和高通濾波各自的優勢，提出了一種混合濾波算法。由于低頻部分主要是圖像中緩慢變化的平坦區域，而高頻部分主要是灰度的尖銳過度的邊緣區域，因此通過大量實驗分別選取了合適的低通和高通濾波器，通過傅里葉變換到頻率域后，分離出圖像的高頻和低頻區域，對其分別做了不同幅度的增強處理。對于目標檢測，針對圖像的增強會提升檢測的效果。