基于邊緣權重分析的水面弱目標紅外增強

葉曉杰,趙巨峰,2,公曉麗,2,朱禮堯,崔光茫

(1.杭州電子科技大學電子信息學院,浙江 杭州 310018; 2.杭州電子科技大學射頻電路與系統教育部重點實驗室,浙江 杭州 310018)

1 引 言

隨著經濟的發展,如何實時監控海洋等水面環境成為保障安全、發展海洋經濟的重要一環。由于海面復雜環境的影響,尤其是大范圍濃厚水霧等惡劣天氣影響,紅外成像的目標對比度急劇下降。硬件器件受限,只能依賴復原增強技術提升對比,為探測識別奠定基礎。

為了提升圖像的視覺效果,便于觀察或機器識別,需要對紅外圖像進行增強[1]。近年來,研究紅外圖像增強的算法很多,包括直方圖均衡化(Histogram Equalization,HE)[2]、對比度自適應直方圖均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)增強[3]、分層圖像增強、子帶分解多尺度的圖像增強[4]、頂帽變換(Multi Scale &Top-Hat,MSTH)圖像增強[5]、基于雙峰高斯函數規定化的變分增強[6]等。劉軼彤等通過Kinect立體相機獲取紅外圖像的深度信息,根據景深來分離船舶目標區域和背景區域,通過設定初始閾值,進行冗余灰度壓縮、冪指數拉伸和直方圖均衡,實現了紅外圖像的增強[7]。曹慧等采用類似可見光去霧的暗原色算法提高了紅外圖像對比度[8],凸顯細節信息,并提高了信噪比。平臺直方圖均衡化方法是通過選取合適的平臺閾值來抑制對紅外圖像中背景和噪聲的過度增強,但閾值選取依賴經驗,限制了算法的應用[9]。為了更好凸顯圖像中的目標,將脈沖耦合神經網絡(PCNN)分割和模糊集理論相結合,也可實現紅外圖像的增強[10]。

為將紅外復原增強方法應用于實際系統,一是效率要求,即運行速度快,參數適應性強；二是效果要求,即增強效果好。統籌相關算法的優勢與不足,本文提出一種水面環境下的紅外圖像增強算法,效果好,速度快,參數適應性強。該方法在分析水面環境紅外成像退化機理的基礎上,結合暗通道先驗[11]粗略估計透過率,結合邊緣權重分析估計精細透過率與路徑輻射,針對性地增強細節亮度,快速提升降質紅外圖像的視覺效果。

2 基本理論與輻射分析

在水面環境下成像,一方面是來自于場景與物體的輻射Eradiation；由于水汽的影響,路徑輻射能量Epath也相對較大。因此,紅外傳感器獲取的能量Esensor可以表示為:

Esensor=Eradiation+Epath

(1)

一方面,場景輻射隨著傳輸距離而迅速衰減。根據衰減規律,到達傳感器的輻射結果為:

(2)

E0(λ)是場景在波段λ1～λ2上的輻射;τ(λ)是大氣透過系數;D表示場景各處到相機的實際距離。為運算方便,用波段均值E0代替波段的積分均值,用大氣平均透過率T代替e-τ(λ)D積分。E0為場景本身的輻射,即我們待求的原始輻射。

另一方面,路徑輻射隨著實際距離D的增大而增大。距離積分得到有效路徑輻射:

Epath=I∞(1-e-τ(λ)D)=I∞(1-T)

(3)

式中,當D無窮大時,T=0,路徑輻射最大即I∞,它代表大氣的光強程度。

結合公式(1)～(3),原始輻射E0可推導得到:

(4)

為防止病態,分母趨近于0時,一般由較小的常數代替。從原理上看,Esensor、E0都是輻射,而通常所獲取的是紅外的灰度圖像,因此最佳的策略是先對相機進行輻射標定。在近似情況下,可用圖像代替輻射。因此,上式中,Esensor即觀測圖像,E0即待求清晰圖。若能較好獲取I∞與T,即可實現增強獲取原始清晰圖像。

3 結合邊緣分析與參數估計的紅外增強

3.1 紅外圖的邊緣分析

水面紅外圖像中,景物是有限的局部區域,利用邊緣矩陣M可以分析局部區域的灰度狀況。M一般在N×N窗口內計算,對像素(x,y)處的Mxy有:

(5)

(6)

α可以決定M中值的范圍,其具體可由下式確定:

(7)

n=c-c×s

(8)

由此獲取的M矩陣,可以歸一化到[0,1],表征灰度相對強弱變化的程度。

3.2I∞與T的估計

為防止零星噪點的影響,在M>th(閾值)的對應區域,搜尋觀測圖像的前5個最大值的平均值作為I∞值。一方面由于局部方差是N×N窗口內的,克服了噪點的影響,另一方面,觀測當前圖c的灰度值較大值也分布于M值較大的附近,可以有效防止盲目搜尋。

對透過率T的求解,借鑒可見光暗通道去霧透過率的求解方式,使用局部區域的最小值的相關函數,來表征透射率。于是,某N×N鄰域內的透過率為:

(9)

公式的透過率t是粗糙的,N×N鄰域內都是相同的,需要像素級別上的細化。對于水面環境下的紅外圖像,感興趣的目標或者像素是有限的,細化的過程中,只需要對那些潛在目標區域進行更好的細化,而其他區域相對平滑即可。這里,使用結合邊緣矩陣M的導向濾波細化,其細化在r×r的局部空間內操作,在任何像素(x,y)處,有透過率:

(10)

式中,Kxy即濾波器;對于此變異公式的導向濾波輸入,包括c以及經邊緣矩陣約束的粗糙透過率(Mt),由此可獲得適合此應用場景的較為精細的透過率圖。導向濾波的具體解釋可參見文獻[12]。

4 實驗與分析

4.1 實驗說明

本實驗采用的臺式機配置為雙核CPU(1.7 GHz),運行平臺為Matlab R2010b。采用了三幅圖(圖1)來驗證算法的效果,并且選用了三種常用及出色的紅外圖像增強算法進行對比,包括直方圖均衡化法(HE)[2],對比度自適應直方圖均衡化法(CLAHE)[3]和頂帽變換法(MSTH)[5]。圖2～4是本文方法與三種對比方法對圖1進行紅外增強后的視覺效果比較。

圖1 原始紅外圖像實例

圖2 用四種方法的算法對圖1

圖3 用四種方法的算法對圖1(b)進行紅外 圖像增強后的比較示意圖

圖4 用四種方法的算法對圖1(c)進行紅外 圖像增強后的比較示意圖

4.2 主觀評價

圖像質量評價的方式包含人眼主觀評價和算法客觀評估。通常,主觀評價為最佳方式。

圖1(a)是一艘輪船的紅外圖像,圖2(a),(b),(c)和(d)分別是用本文算法、HE方法、CLAHE方法和 MSTH方法的增強結果。通過觀察,HE方法和CLAHE方法導致了較多區域的過度增強,引入了噪聲,視覺效果甚至比原圖更差；而圖2(d)中視覺效果相對更好,但圖2(a)視覺效果最佳,實現了輪船目標特征區域增強及背景雜波、噪聲抑制的平衡,這說明本文算法在紅外圖像增強方面的優勢。

圖1(b)是水面環境中有兩艘艦船的紅外圖,艦船比較模糊,不易分辨。圖3(a),(b),(c)和(d)分別為本文算法、HE方法、CLAHE方法和 MSTH方法的增強結果。圖3(b)中幾乎看不到艦船,視覺效果不佳；圖3(c)中CLAHE方法增大了整幅圖的亮度,無法確定目標區域；圖3(d)的主觀評價比圖3(b)和(c)高,然而,與其他效果圖相比,圖3(a)中艦船這一目標區域更亮,達到了更好的視覺效果,主觀評價更好。

圖1(c)是兩艘游艇的紅外圖,海中的兩艘游艇非常模糊。圖4(a),(b),(c)和(d)是四種方法的增強視覺圖。從圖4(b)中可以看出一些圖像信息,但圖像整體偏亮,對比度低,較難分辨目標信息；圖4(c)中目標區域無法得到有效增強；圖4(d)的視覺效果好,但背景上出現了較為明顯的偽信息；相比之下,圖4(a)中游艇這一目標區域更亮,雜波與噪聲得到相對抑制,說明本文算法比HE、CLAHE和MSTH等方法更能有效實現紅外圖像的增強。

從圖1～4的視覺效果角度觀察,HE、CLAHE方法不能有效地增強這些紅外圖像,非目標區域被過度增強,其視覺效果與原始圖像相比甚至變差；MSTH方法的主觀評價比HE方法和CLAHE方法高,但有時會引入背景雜波；本文方法能夠有效增強目標區域,抑制背景雜波,視覺效果更佳。

4.3 客觀評價方法

客觀評價方法使用模糊線性指標(LIF)方法[13-14],該方法廣泛應用于圖像增強的客觀評價。LIF的度量標準γ指標定義為:

(11)

(12)

其中,f(x,y)和max(f)表示(x,y)處的灰度值和圖像f的最大灰度值;W、H即f的寬度、高度。γ值越小說明增強質量越好。圖2～4都用γ值進行了評估,表1列出了四種算法的γ指標值。根據表1,三幅原圖的γ值是最大的,說明四種算法都能增強原圖；其中本文算法的γ值最小,表明本文算法在紅外圖像增強上的優勢。

表1 對圖2～4的結果使用LIF方法計算的γ指標

此外,運行速度是衡量圖像算法性能的重要指標之一。實驗中,圖像的尺寸大約為256×210,四種方法的處理時間如表2所示。由表2可知,本文方法和HE方法及CLAHE方法的處理時間相近,遠遠小于MSTH方法。但HE方法和CLAHE方法的主、客觀評價差。

根據實驗結果可以看出,本文方法主客觀評價一致,都比HE方法、CLAHE方法和MSTH方法高,計算速度快,效率高。因此,本文方法總體表現最為優異。

表2 使用四種方法對圖2～4進行計算的時間 (單位:秒)

5 總 結

本文提出了一種基于大氣傳輸模型及加入權重分析的紅外圖像增強方法。通過輻射理論分析獲得了原始場景關于透射率與路徑輻射光的函數表達；通過暗通道先驗、邊緣權重分析與導向濾波,獲取精細透過率；并在邊緣分析基礎上,確定了路徑輻射。觀測實驗證明本文增強結果的潛在目標區域的局部對比好,突出了邊緣與紋理特征。相比于其他方法,此方法對于在水面環境下的紅外增強有著許多的優點:權重的分析增強模型極大地提高了視覺效果；算法運行速度快,實時性較好。

在今后的研究中,一是參數自動化,即更加注重于如何自動設置參數來達到最好的實驗效果；二是進一步的提升運行速度,比如綜合光路、加速算法等思路進行開拓。

[1] LIU Rang, WANG Dejiang,JIA Ping,et al.Overview on small target detection technology in infrared image[J].Laser & Optoelectronics Progress,2016,(5):050004.(in Chinese)

劉讓,王德江,賈平,等.紅外圖像弱小目標探測技術綜述[J].激光與光電子學進展,2016,(5):050004.

[2] J A Stark. Adaptive image contrast enhancement using generalizations of histogram equalization[J].IEEE Transactions on Image Processing,2000,9(5):889-896.

[3] S Mohan, M Ravishankar.Modified contrast limited adaptive histogram equalization based on local contrast enhancement for mammogram images[J].Mobile Communication and Power Engineering Communications in Computer and Information Science 2013,296:397-403.

[4] ZHOU Yuren, GENG Aihui,WANG Ying,et al.Contrast enhanced fusion of infrared and visible images[J].Chinese Journal of Lasers,2014,41(9):0909001.(in Chinese)

周渝人,耿愛輝,王瑩,等.基于對比度增強的紅外與可見光圖像融合[J].中國激光,2014,41(9):0909001.

[5] X Bai, F Zhou,B Xue.Image enhancement using multi scale image features extracted by top-hat transform[J].Optics & Laser Technology,2012,44(2)：328-336.

[6] ZHAO Wenda, ZHAO Jianm,ZHAO Fan,et al.Variable infrared image enhancement of bimodalgaussian function specification[J].Chinese Journal of Lasers,2014,41(3):0309002.

趙文達,趙建,趙凡,等.雙峰高斯函數規定化的變分紅外圖像增強[J].中國激光,2014,41(3):0309002.

[7] LIU Yitong. Enhancement algorithm of infrared images based on Kinect and histogram equalization[J].Ship Science and Technology,2015,37(3):173-176.(in Chinese)

劉軼彤.基于Kinect和直方圖均衡化的紅外圖像增強算法[J].艦船科學技術 2015,37(3):173-176.

[8] CAO Hui,ZHANG Baohui,CHEN Lei,et al.Research of infrared images enhancement technique based on pseudo dark channel prior[J].Infrared Technology,2016,38(6):476-480.(in Chinese)

曹慧,張寶輝,陳磊,等.基于偽暗原色的紅外增強技術研究[J].紅外技術,2016,38(6):476-480.

[9] K Liang, Y Ma,Y Xie,et al.A new adaptive contrast enhancement algorithm for infrared images based on double plateaus histogram equalization[J].Infrared Physics & Technology,2012,55(4):309-315.

[10] SU Juan, LI Bing,WANG Yanzhao.Infrared image enhancement based on PCNN segmentation and fuzzy set theory[J].Acta Optica Sinica,2016,36(9):0910001.(in Chinese)

蘇娟,李冰,王延釗.結合PCNN分割和模糊集理論的紅外圖像增強[J].光學學報,2016,36(9):0910001.

[11] K He, J Sun,X Tang.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[12] K He, J Sun,X Tang.Guided image filtering[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

[13] J Zhao, Y Chen,H Feng,et al.Fast image enhancement using multi-scale saliency extraction in infrared imagery[J].Optik-International Journal for Light and Electron Optics,2014,125(15):4039-4042.

[14] A Kaufmann, D L Swanson.Introduction to the theory of fuzzy subsets[M].New York:Academic Press,1975.