基于暗通道先驗原理的偏振圖像去霧增強算法研究

游 江,劉鵬祖,容曉龍,李 斌,徐韜祜

(中國華陰兵器試驗中心,陜西 華陰 714200)

1 引 言

在靶場武器系統鑒定試驗中,常規(guī)光學成像系統(包括可見光、紅外光電測試系統)極易受氣象環(huán)境如霧霾、硝煙、沙塵等影響,導致探測距離、成像效果、測量精度等受到極大限制,從而嚴重影響武器裝備關鍵參數獲取,甚至導致武器系統性能鑒定試驗的失敗。尤其是在靶場多霧霾、能見度低等情況下,上述問題顯得尤為突出。因此,如何增強霧霾條件下光學設備的探測識別能力及成像質量[1],成為了急需解決的關鍵問題。

目前,去霧增強算法主要分為兩類[2]:一類是圖像增強技術,主要通過提高對比度進行去霧。該類算法適用范圍廣,運行速度快,但對去霧效果有限,霧霾較重時處理結果不理想。典型代表算法主要有直方圖均衡化[3]、Retinex算法[4]及小波變換等；另一類是圖像復原技術,主要是通過建立圖像退化模型,利用先驗知識,針對性實現去霧增強[5]。典型算法為He等提出的基于暗通道先驗原理去霧算法[6]。該算法主要是基于暗通道先驗理論對大氣光強和傳輸圖進行估計,而后利用軟摳圖方法對傳輸率圖進行優(yōu)化估計,最終實現去霧。該算法去霧效果相對較為明顯,但運行時間相對較長,色彩失真嚴重,圖像存在明顯分塊及紋理效應,尤其是對于不存在暗像素的圖像[7]。文獻[8]、[9]中,葛廣一和王森等分別對暗通道先驗算法進行改進,取得了一定的效果。圖像去霧增強算法研究進展綜述具體可見參考文獻[10]～[12]。

隨著偏振光學理論的研究,偏振系統由于其成像因子采用偏振分量,可以辨別目標材質、架構等信息,識別偽裝、虛假及隱身目標,具備復雜條件下“穿煙透霧”優(yōu)勢,使得探測識別能力加強[13-14],因此偏振去霧算法逐漸被重點研究發(fā)展。

本文通過利用偏振成像優(yōu)勢,結合暗通道先驗原理,提出了基于暗通道先驗原理的偏振圖像去霧增強算法。該算法首先從圖像中提取偏振特征,計算偏振度和偏振角,同時采用基于區(qū)域增長算法自動提取天空區(qū)域,進而獲取大氣光偏振度及偏振角,再結合暗通道先驗原理,獲取無窮遠處大氣光強,進而計算各像素點的大氣光強,最終建立在大氣物理退化模型基礎上,實現偏振圖像去霧增強。

2 大氣物理退化模型構建

霧霾條件下,光學成像系統最終接收到的光強主要分為兩部分:1)目標反射光,即直接透射光,包含目標的強度信息；2)大氣散射光,主要是霧霾顆粒散射導致的雜光[15]。圖1為霧霾氣象下的大氣物理退化模型。

圖1 大氣物理退化模型Fig.1 Atmospheric physical degradation model

由圖1可知,光學成像系統最終接收到的光強為直接透射光與大氣散射光的非相干疊加。其中,目標直接透射光強由于受到霧霾粒子的散射和吸收,最終到達光學成像系統的光強將會呈指數衰減,故最終接收到的直接透射光為

ID=IL·e-βz

(1)

而大氣散射光主要是由霧霾粒子散射太陽光所致,最終到達光學成像系統的光強隨傳輸距離呈指數增加,故最終接收到的大氣散射光為:

IA=IA∞·(1-e-βz)

(2)

最終光學成像系統接收到的光強為:

I=ID+IA

(3)

其中,z表示光學成像系統與目標的距離;β表示光的散射系數;IA∞表示無窮遠處大氣光強。

由式(1)、式(2)聯立消除e-βz,則可獲取目標直接透射光IL:

(4)

由此可知,為了實現偏振圖像去霧增強,關鍵是獲取各像素點大氣光強IA以及無窮遠處大氣光強IA∞。

3 基于暗通道先驗原理的偏振圖像去霧算法

本算法的主要流程如圖2所示。首先利用采集的偏振圖像,計算偏振度及偏振角圖像,同時采用基于區(qū)域增長算法自動提取出天空區(qū)域,進而選取天空區(qū)域偏振角分布概率最大的偏振角值作為大氣光偏振角,并選取對應位置的偏振度作為大氣光偏振度,而后計算大氣光強中偏振部分的光強,進而計算各像素點的大氣光強,同時利用暗通道先驗原理,從偏振圖像的天空區(qū)域中提取無窮遠處大氣光強,最終結合大氣物理退化模型,進行圖像去霧增強處理。

圖2 算法流程圖Fig.2 Algorithm flow chart

3.1 偏振特征提取

首先將偏振相機采集到的0°、45°、90°和135°的4幅圖像,分別記作I(0)、I(45)、I(90)和I(135),則斯托克斯參量可表示為:

(5)

式中,S0為場景總光強;S1為水平方向和垂直方向的強度差;S2為45°和135°方向的強度差。

目前衡量偏振信息的主要是偏振度及偏振角。根據式(4),可以得到偏振度DoP和偏振角ψ表達式:

(6)

利用偏振相機采集霧霾條件下的場景圖像,圖像大小為1024×1360×3。圖3分別為偏振相機采集的0°、45°、90°及145°方向的偏振圖像。圖4為偏振圖像的偏振信息(偏振度、偏振角)。

3.2 天空區(qū)域自動提取

由于天空區(qū)域不符合暗通道先驗原理,直接采用暗通道原理處理,會使估計的大氣光參數存在偏差,導致最終處理結果存在大面積紋理及分塊。因此,首先對天空區(qū)域進行自動提取,進而對天空區(qū)域進行大氣光參數估計,最終再采用偏振去霧算法進行去霧增強處理。

圖3 原始偏振圖像Fig.3 Original polarization image

圖4 偏振度及偏振角圖像Fig.4 Polarization degree and polarization angle image

天空區(qū)域自動提取流程如下所示:

①對原始圖像進行平滑處理,并計算平滑后圖像的梯度值(天空區(qū)域相對較為平滑,相鄰像素灰度值相差較小,與目標區(qū)域梯度值存在明顯差別)；

②設定天空區(qū)域梯度值閾值、強度閾值,隨機挑選梯度值及強度值滿足條件的像素點作為種子生長起點；

③選擇初始種子周圍8鄰域像素點,判斷其是否滿足條件,若滿足則合并到種子像素所在區(qū)域；

④將新加入像素作為新種子重復步驟2,直到沒有滿足條件的像素可以被包括進來,則一個區(qū)域增長結束,并判斷該區(qū)域像素總數是否滿足區(qū)域面積閾值,滿足則加入天空區(qū)域；

⑤將篩選出的區(qū)域從原始圖像中剔除,重復步驟2、3、4,篩選新的天空區(qū)域；

⑥直到沒有新的天空區(qū)域加入,或遍歷所有像素點,則天空區(qū)域自動提取結束,圖5為原始圖像及天空區(qū)域提取結果圖像。

圖5 原始圖像及天空區(qū)域提取結果Fig.5 Original image and sky region extraction result

3.3 無窮遠大氣光強估計

無窮遠處大氣光強的估計為去霧增強算法中關鍵環(huán)節(jié),直接影響圖像傳輸率的求解及優(yōu)化,最終影響圖像復原質量。本文利用暗通道先驗原理,進行無窮遠處大氣光強的估計。

暗通道先驗去霧算法最早是由何凱明博士提出,算法指出在絕大多數非天空的局部區(qū)域里,某一些像素總會有至少一個顏色通道具有很低的值。換言之,該區(qū)域光強度的最小值是個很小的數。

對于任意的輸入圖像J,其暗通道可以用下式表達:

(7)

式中,Jc表示彩色圖像的每個通道;Ω(x)是以x為中心的一個窗口。

暗通道先驗原理指出,正常情況下Jdark→0,但由于圖像受霧干擾,導致暗通道不趨于零。因此,可以借助于暗通道圖來從有霧圖像中獲取無窮遠處大氣光值,圖6示意了場景一中的暗通道圖像。

具體步驟如下所示:

①將提取出的天空區(qū)域圖像作為輸入,計算暗通道圖J；

②從暗通道圖J中,選取前0.1 %亮度較高的像素。

③提取上述像素在原始圖像I中對應位置的像素亮度值,選取最亮像素的3×3鄰域像素點的平均強度值作為無窮遠處大氣光強IA∞。(最終估計的無窮遠處大氣光強為194.7)

圖6 場景一暗通道圖像Fig.6 Dark channel image of scene one

3.4 各像點大氣光強計算

(1)大氣光偏振度、偏振角計算

對比偏振度及偏振角計算公式可以發(fā)現,偏振度與總光強S0有關,而偏振角與S0無關。由于霧霾條件下,直接透射光的偏振信息較為微弱,故直接透射光主要存在于總光強S0中。因此,為了最大程度抑制直接透射光對大氣光偏振角、偏振度估計的影響,選擇偏振角進行估計。

具體步驟如下所示:

①對偏振角圖像進行鄰域平均濾波,降低噪聲干擾；

②對降噪后偏振角圖像,結合提取的天空區(qū)域圖像,篩選天空區(qū)域的偏振角值,進而進行分布統計,選取出現概率最大值,作為大氣光偏振角ψA；

③篩選滿足大氣光偏振角的像素對應的偏振度,選擇最大值作為大氣光偏振度DA。

對上述場景2中的偏振角分布進行統計,結果如圖7所示。

圖7 偏振角分布曲線Fig.7 Polarization angle distribution curve

由圖7可以看出,在偏振角為0.2415處,明顯存在峰值。因此,可以選取0.2415作為大氣光偏振角ψA,同時結合偏振度圖像,按照步驟③,確定大氣光偏振度DA。場景2最終估計的大氣光偏振角為13.8439°；偏振度為0.2137。

(2)大氣光偏振部分光強計算

(8)

故由馬呂斯定理可知,大氣光偏振部分IAp為:

(9)

(3)各像素點大氣光強計算

由偏振度的定義(偏振部分光強在總光強中的占比)可知,各像素點大氣光強IA可表示為:

(10)

場景一最終估計的各像素點大氣光強如圖8所示。

圖8 各像素點大氣光強Fig.8 Atmospheric light intensity of all pixel points

3.5 圖像去霧增強

由上文獲取的各像素點大氣光強IA、無窮遠處大氣光強IA∞以及總光強圖像S0,結合式(4)可知,最終獲取的目標直接透射光強IL為：

(11)

4 圖像去霧增強效果對比分析

對處理后的偏振增強圖像質量評價主要采用主觀評測和客觀評測。主觀評測主要是采用主觀視覺,對比去霧前后圖像的細節(jié)、色彩等,判斷增強效果。客觀評測主要采用圖像熵、灰度方差以及對比度作為指標進行評價指標對比。此外,依據對比度值評價增強算法探測距離提升效果。

4.1 圖像評價質量指標構建

(1)信息熵函數

(12)

其中,k是圖像像素點的灰度級；pk—是灰度級k的出現概率。信息熵是表征圖像所攜帶的特征信息,計算結果越大,代表圖像質量越好。

(2)灰度方差

(13)

灰度差:圖像灰度值分布離散程度評價指標,標準差越大,灰度值分布越分散,表明圖像對比度越大,視覺效果越好。

(3)對比度去霧函數

(14)

4.2 圖像質量主觀評價

為驗證本文算法的去霧增強效果,對以下拍攝的兩個場景,分別采用自適應直方圖均衡化算法、多尺度Retinex算法、暗通道先驗算法、以及本文去霧增強算法,分別對采集的場景一及場景二圖像進行去霧增強處理。其中,場景一為霧霾天拍攝的遠景偏振圖像；場景二為PM2.5濃度為337,能見度約為40 m拍攝的可見光圖像。

(1)原始圖像,如圖9所示。

圖9 原始圖像Fig.9 Original image

(2)場景一處理結果對比,如圖10所示。

圖10 去霧增強效果對比Fig.10 Contrast of defogging enhancement effect

由圖9、圖10對比可看出,本文算法相比原始圖像,去霧效果明顯增強,可識別距離明顯提高；相比其他算法,基本保持了原始圖像中目標的色彩信息,且對天空區(qū)域的處理更加自然,沒有明顯的色差、分塊、及紋理效應,場景中的目標特征等較為明顯清晰。場景中的圖中框內為正在行駛的列車,對比各算法處理結果可以看出,本文算法處理后可明顯看出列車的外觀、顏色等信息,但在原圖中基本無法發(fā)現。

(3)場景二處理結果對比,如圖11所示。

圖11 去霧增強效果對比Fig.11 Contrast of defogging enhancement effect

對比圖11中各算法處理結果,可以發(fā)現本文算法去霧效果明顯,明顯提成了探測距離。基本保持了原始圖像中目標的色彩信息,場景中目標特征等較為明顯清晰。屋頂彩鋼瓦紋理基本能夠觀測到,相比多尺度Retinex算法,去霧更為徹底。

4.3 圖像質量客觀評價

為了更好評價各算法圖像去霧效果,下將采用信息熵、灰度方差以及對比度等三個指標,對上述各算法處理結果進行客觀評價對比。場景一最終各算法處理結果如表1所示。場景二最終各算法處理結果如表2所示。

表1 場景一不同算法處理去霧結果對比Tab.1 Dehazing result comparision of each algorithm of scene one

綜合對比表1和表2中,各算法對場景一和場景二處理結果的圖像質量各指標值可發(fā)現,本文算法相比原始圖像以及其他算法,灰度方差及對比度指標值明顯有較大提升,信息熵相比其他算法明顯也有提高。結果表明本文算法處理后,圖像中目標的特征信息保存相對較好,圖像清晰度有較大提升,視覺效果相對較好,圖像的細節(jié)特征及色彩保留較好,且算法具有較好的適用性。

4.4 探測距離提升效果分析

為進一步分析處理效果,對原始圖像以及處理后圖像進行客觀分析。主要利用對比度指標對場景中不同目標區(qū)域對比度進行分析,并將其轉化為探測距離對比分析。對比度計算公式如下所示:

Cm=(Imax-Imin)/(Imax+Imin)·100 %

(15)

分別選取場景中不同區(qū)域,分別計算場景二原始圖像對比度以及增強后對應區(qū)域對比度(圖中方框內上側數據為原始圖像該區(qū)域對比度,下側數據為處理后該區(qū)域的對比度),結果如圖12所示。

圖12 對比度分析Fig.12 Contrast analysis

對比圖12可以發(fā)現,偏振可視化增強算法能夠有效提升目標的對比度,最大可提升8倍左右,具有較好的增強去霧能力。

為了更好的衡量偏振可視化增強算法探測距離提升效果,現對原始圖像以及處理后圖像,進行探測距離對比分析。

圖13 各區(qū)域對比度提升結果Fig.13 Contrast enhancement results of each region

由圖13可知,采用本文偏振可視化增強算法進行圖像處理后,對不同的目標,同等條件下觀測到的作用距離最大可提升3.7倍。實際拍攝能見度為40 m,處理后可觀察到120 m處屋頂紋理,探測距離提升近3倍,有效提升了可見光觀測距離。

5 總結及展望

本文利用偏振成像的優(yōu)勢,結合暗通道先驗原理,基于大氣物理退化模型,實現了偏振圖像的去霧增強,實驗結果表明了該算法具有較強的去霧增強能力,能夠明顯改善光學成像系統成像質量,對提升成像系統的測量能力、拓展系統作用距離、提高系統成像質量具有重要的意義,為霧霾等復雜環(huán)境下的“穿煙透霧”成像探測提供了新的技術途徑。