高速飛行條件下長曝光圖像復原方法

馮雨欣,厲小潤,丁楫剛

(浙江大學電氣工程學院,浙江 杭州 310027)

1 引 言

隨著精確制導需求的發展,光學成像探測跟蹤技術已成為必然趨勢[1]。而在大氣層、臨界層中高速飛行的飛行器,其周邊光學成像環境復雜,飛行器目標圖像在獲取和傳輸的過程中受到多種因素影響,包括變化流場引起的氣動光學效應、成像設備光學系統導致的離焦模糊和衍射、成像設備與目標之間的相對位移、圖像傳輸噪聲、熱輻射噪聲等,這些因素會導致圖像質量的退化,進而引起圖像的模糊失真與附加噪聲,嚴重降低圖像的信噪比和目標的顯著度,影響后續的目標探測精度[2]。因此,對退化圖像進行去噪、去模糊處理具有重要的研究意義。

圖像復原首先需要考慮噪聲抑制問題。部分研究在建立噪聲先驗模型后,添加正則化項抑制噪聲。文獻[3]構造低秩去噪模型,利用奇異值分解求解模型;文獻[4]構造非凸變分模型,交替最小化求解清晰圖像;文獻[5]結合全變差正則化罰項抑制加性噪聲。但該類方法通常假設噪聲符合高斯加性噪聲模型,無法有效去除非高斯模型噪聲及殘留噪聲;同時,去噪結果依賴正則化項的選擇,目前仍未有通用的正則化參數選擇準則,部分算法仍依賴手工調參。基于此,部分研究將去噪作為單獨的預處理步驟,最大程度減少噪聲對后續去模糊復原的影響。文獻[6]提出改進加權核范數最小化方法,結合噪聲強度自適應調整參數;文獻[7]提出三維塊匹配濾波算法,結合自適應基底,充分利用圖像非局部特征,同時引入導向濾波。形態學去噪由于其計算復雜度低、可擴展性高的特點,在單一背景的圖像中取得了良好的去噪效果[8-10],但單一固定的形態學結構元素會損失圖像信息,造成噪聲殘留。

可使用點擴散函數(PSF)描述圖像的模糊退化過程[11]。去模糊方法可分為兩類,一類方法是求解PSF的同時迭代估計清晰圖像的方法,該方法適用于PSF先驗知識較少的情況,如文獻[12] 通過編碼后的模糊算子去逼近一個未知的模糊算子并搜索對應的清晰圖像,文獻[13]提出的基于信息熵的迭代盲反卷積算法;另一類方法是首先求解PSF,再進行反卷積估計清晰圖像,該類方法適用于PSF有先驗模型或較多先驗知識的情況,如文獻[14]提出基于稀疏先驗模型的復原框架,文獻[15]提出的基于塊強度分布算法,文獻[16]提出的自適應盲復原算法,該方法使用模糊圖像頻譜和能量約束求解PSF,但由于實際圖像頻譜僅在一定范圍逼近對稱,尤其容易受到運動模糊條紋干擾[17],使用固定閾值或常數代替部分頻譜信息將無法充分利用已知先驗,造成PSF估計誤差。

由于高速飛行條件下長曝光圖像可以近似認為部分PSF符合G類點擴散函數模型,因此選擇先求解PSF后求解清晰圖像的方法。針對上述現有復原算法存在的各種問題,本文提出一種面向長曝光圖像的高速飛行條件下圖像復原方法,首先研究高速飛行條件下圖像退化機理,提出圖像復原框架;構造多尺度多方向形態學濾波器,計算噪聲特征圖像計算結構元素尺度;融合二維小波的多分辨率特性,對低頻子頻段完成去模糊后再與高頻子頻段小波重建,進一步抑制殘留噪聲;使用結合最大類間方差法的Radon變換計算運動模糊點擴散函數參數,去除運動模糊偽影;最后構造多直線擬合模型,選取圖像頻譜的多方向直線擬合,同時計算基于圖像梯度的對稱頻譜估計,進而求解G類點擴散函數參數,完成圖像復原。

2 高速飛行條件下圖像退化機理

圖像復原是圖像退化的逆過程,因此研究圖像退化機理尤為重要。可以使用點擴散函數h(x,y)與噪聲n(x,y)描述圖像退化過程[18]:

g(x,y)=f(x,y)?h(x,y)+n(x,y)

(1)

G(u,v)=F(u,v)H(u,v)+N(u,v)

(2)

式中,f(x,y)、H(u,v)為清晰圖像及其頻譜,g(x,y)、G(u,v)為退化圖像及其頻譜。

在大氣層、臨界層中,高速飛行條件下的目標會首先受到氣動光學效應的影響,產生圖像模糊與畸變;目標與流場摩擦產生的氣動熱輻射噪聲大幅降低圖像信噪比,造成目標與背景的對比度下降;長曝光圖像會記錄探測器成像系統與目標之間的相對位移,造成圖像產生某方向的偽影;成像系統自身成像機理導致的模糊和噪聲也會造成圖像退化。其圖像退化機理框架如圖1所示。

圖1 高速飛行條件下圖像退化機理框架圖

3 高速飛行條件下圖像復原

圖2為圖像復原流程圖。由于圖像受到多種因素的退化影響,且去模糊的關鍵在于PSF的計算,使用單個PSF表示多種模糊退化會增加PSF建模難度,本文對三部分退化分開計算,充分利用圖像頻譜的先驗知識。

圖2 高速飛行條件下圖像復原流程圖

3.1 自適應加權形態學去噪

形態學計算是定義在兩個集合之間的集合論計算,其基本運算包含腐蝕、膨脹、開運算和閉運算。單一開-閉濾波器或閉-開濾波器會造成噪聲脈沖的殘留,使得形態濾波器的輸出統計偏倚更嚴重;選擇單一的結構元素會模糊圖像細節,造成其余方向圖像信息的丟失。本文采取多尺度多方向結構元素,構造自適應加權形態濾波器,其步驟可總結如下:

1)結構元素形狀的選取。常用的方形和圓形結構元素會對圖像邊緣造成較大的模糊,因此本文選擇不同方向不同尺寸的線性結構元素:

sp,q={s1,1,s1,2,…,s1,q,…,sp,1,…,sp,q}

(3)

其中,p為方向;q為尺寸。

2)結構元素方向q的選取。選取4個方向,分別為θ=0°、45°、90°、135°。

3)結構元素尺寸q的選取。尺寸為q的結構元素會濾除比q小的噪聲而保留比q大的圖像信息,因此準確計算噪聲尺寸尤為重要。本文使用噪聲特征圖像確定噪聲尺度。定義多尺度元素:

(4)

則尺度q對應的噪聲特征圖像為:

(5)

(6)

計算每個尺度特征圖像對應的像素值,得到尺度分布:

(7)

其中,Ι(q)為尺度q對應的像素數目。根據尺度分布,確定噪聲與圖像信息的最佳尺度分界閾值TN,表示尺度q

q={1,2…,T}

(8)

對不同方向結構算子濾波結果加權處理,權值ωk計算方式[9]如下:

(9)

(10)

其中,f(x,y)為退化圖像。

3.2 基于預實驗的成像系統模糊PSF重建

探測器成像系統在成像過程中依賴光學部件之間的相互作用,其成像性能與質量對后續目標圖像有直接影響,可以通過預實驗進行評估。在成像系統可測條件下,以成像脈沖(小亮點)δ作為輸入,則成像系統輸出為:

Gc=HcA

(11)

其中,A為脈沖δ的強度;Gc為成像系統輸出,可以求得成像系統PSF的頻域表示:

(12)

由于實際實驗中成像系統帶有噪聲,可固定機位多次拍攝,取平均后再進行處理。

3.3 基于改進Radon變換的運動模糊PSF重建

考慮長曝光圖像運動符合單一方向線性勻速運動,其光學傳遞函數幅值包含sinc函數,模糊圖像頻譜圖會呈現明暗相間的平行條紋[17],且:

(13)

(14)

其中,L為運動模糊PSF的尺度;θ為角度;φ為條紋傾角;d為條紋間距。因此,根據平行條紋可計算出運動模糊PSF的參數。

實際的圖像頻譜往往存在大量毛刺、噪點和中心十字亮線干擾,為解決上述問題,本文對采用基于圖像質心的分割加權方法,以圖像質心為中心,將圖像分為4幅子圖像,分別求取子圖像的頻譜圖;將頻譜圖動態范圍壓縮、居中;使用最大類間方差法設定閾值,將灰度圖像轉換為二值圖像,提取條紋結構,如圖3所示。

圖3 二值化圖像頻譜示意圖

對圖3(b)進行1°～180°的Radon變換,得到不同方向直線積分的投影值矩陣R,其最大值Rmax對應的角度即為條紋傾角φ,由式求解角度θ。將圖3(a)順時針旋轉θ角度,計算各列像素的和Gc_col=∑colGc,其形狀近似sinc函數,采用啟發式算法[19]計算主瓣兩側極小值之間的距離2d,由式求解尺度L。求取不同子圖的運動模糊PSF后求平均,則運動模糊點擴散函數可描述為:

(15)

3.4 氣動光學效應PSF重建

長曝光退化圖像的氣動光學效應PSF符合G類PSF模型[20],在頻域可表示為:

|G(u,v)|=exp(-α(u2+v2)β)

(16)

將式(16)代入式(2)中,并取模歸一化得到:

-α(u2+v2)β=ln|G(u,v)|-ln|F(u,v)|

(17)

由于G類擴展函數呈輻射對稱性,平面上過原點的任一直線都應滿足。但在實際的退化圖像中,由于噪聲及其他隨機因素的影響,頻譜信息僅在一定程度上逼近輻射對稱,不同直線擬合得到不同的結果,導致PSF估計失真。為解決上述問題,本文使用多方向直線進行擬合,得到多組PSF數值后平均,同時考慮到運動模糊圖像頻譜的頻譜特征,選擇u=0、v=0、v/u=tan(φ-π/2)三條直線,構造多直線平均擬合模型,提升參數求解的準確性。

同時,公式中清晰圖像頻譜F(u,v)為未知參數,文獻[16]使用常數A代替,適應性差,無法充分利用退化圖像頻譜信息。本文通過對大量清晰圖像頻譜研究,提出基于圖像梯度的對稱頻譜估計重建F(u,v),相較于先驗固定參數的方法,本文方法具有自適應性。如圖4所示,模糊圖像與清晰圖像的頻譜圖像在對稱中心一定范圍內較為相近,距離對稱中心越遠,頻譜下降程度越大。因此,本文提出三段式擬合清晰圖像頻譜,其步驟可總結如下:

圖4 清晰圖像與模糊圖像頻譜對比

1)以對稱軸中心作為原點建立坐標系。選取u=0直線方向上退化圖像的頻譜信息,得到G(v),且v∈(-N,N);

2)自適應確定閾值,T1取|G(v)|中心點附近第一個極小值點對應的v,該部分表示未受到點擴散函數影響的頻譜;T2取圖像梯度Δ|G(v)|極小值點對應的v;a取T2到N內|G(v)|下降的斜率,即:

(18)

則清晰圖像頻譜直線可表示為:

(19)

3)根據式計算-α(v2)β,僅保留原點兩側首個極小值點間的點,采用二次擬合計算參數α和β。

4)重復上述步驟,得到v=0、v/u=tan(φ-π/2)方向上的參數,求和平均后計算,得到氣動光學效應的PSF。

3.5 自適應參數濾波

1)一次維納濾波,使用參數ξ代替功率譜參數估計:

(20)

(21)

由于圖像在局部小尺度上較為平穩,因此采用滑動窗口計算局部方差:

(22)

其中,PQ為局部小尺度窗口區域;μ(x,y)為窗口局部均值。

2)計算噪聲方差:

(23)

其中,f′(x,y)表示一次維納濾波的復原結果。

3)計算f′(x,y)的功率譜,帶入:

(24)

4 仿真結果與分析

為驗證本文算法的有效性,選取仿真風洞條件下不同高度、不同馬赫數的高速飛行器目標圖像數據集進行仿真實驗,同時選取文獻[14]、文獻[15]方法進行對比。數據集圖像背景為大氣背景,包含強噪聲、弱目標強度場景;數據集圖像中目標為飛行器,可見區域為飛行器與流場摩擦產生的強輻射(飛行器本身不可見)。

同時,為了進一步驗證本文算法的性能,對復原圖像進行客觀質量評價。本文使用峰值信噪比PSNR、結構相似性SSIM、相關系數CORR2、梯度相似性GSM[21]、圖像質量指數UQI[22]全面評價圖像質量,各指標均為數值越大,圖像質量越高,具體結果如圖5～圖9,表1、2所示。

表1 數據集1復原圖像平均質量評價

表2 數據集2復原圖像平均質量評價

圖5 數據集1樣本1圖像復原結果

圖6 數據集1樣本2圖像復原結果

圖7 數據集1樣本3圖像復原結果

圖8 數據集2樣本1圖像復原結果

圖9 數據集2樣本2圖像復原結果

圖10 復原結果PSNR指標

數據集1為高度30 km、馬赫數為5、溫度為300 K的長曝光退化圖像;數據集2為高度30 km、馬赫數為8、溫度為500 K的長曝光退化圖像。可以看出本文提出的綜合圖像復原方法,能夠良好地保持圖像邊緣細節,從視覺效果上更清晰,從質量評價指標來看,峰值信噪比PSNR能夠達到最優,且在不同噪聲強度下,其余評價指標能夠平均穩定最優,這說明本文的復原效果較好,且在不同噪聲強度、不同飛行條件下都相對更優;文獻[33]方法在噪聲較強時仍存在偏向某一方向的偽影,文獻[34]方法會損失圖像的邊緣信息,導致SSIM數值較低,抗噪性能也較差。綜合來看,本文方法復原結果有更強的目標顯著性,在邊緣輪廓上更加清晰,整體復原效果更好。

5 結 論

本文針對大氣層、臨界層背景高速飛行條件下飛行器退化圖像,提出了一種面向長曝光圖像的圖像復原方法,構造多尺度多方向形態學濾波器進行去噪預處理,使用基于圖像分塊的Radon變換法去除運動模糊偽影,提出基于圖像梯度的對稱頻譜估計法重建氣動光學點擴散函數。與其余圖像復原算法相比,本文能夠自適應確定參數,無需人機交互,同時提升圖像細節的分辨能力,復原圖像邊緣更加清晰,目標圖像顯著度明顯提升,視覺效果更好,可適用于多種類型數據集,滿足實時復原的場景。