基于圖像配準的非均勻性校正算法

李成立,呂俊偉,劉 亮,王佩飛

(海軍航空大學,山東 煙臺 264001)

1 引 言

紅外成像系統因為信噪比高、探測能力強以及結構簡單等因素,被廣泛應用到紅外制導導彈和紅外光電載荷上。但由于焦平面陣列各個探測單元的響應存在非均勻性,所以在相同輻射條件下會產生固定圖案噪聲,嚴重影響紅外成像的質量[1]。而且,當溫度或者其他環境條件改變時,剩余非均勻性會隨著時間發生緩慢的漂移[2]。所以在紅外制導導彈和紅外光電載荷使用之前要先對其成像系統進行非均勻性校正(nonuniformity correction,NUC)。

基于場景的非均勻性校正可以解決時間漂移的問題[3],但當場景保持靜止或者幀間位移不足時,會把場景當作非均勻性噪聲進行校正,當場景再次運動時,圖像上就會產生“鬼影”。文獻[4]中指出對圖像邊緣像素估計不準確是“鬼影”產生的原因,并根據該分析提出基于邊緣信息指導的自適應非均勻性校正算法(edge directed neural network nonuniformity correction,ED-NN-NUC),但該方法依賴對邊緣提取的準確性。文獻[5]中提出的空域低通時域高通算法(space low-pass and temporal high-pass filter,SLTH),只對圖像高頻部分進行處理,降低了低頻部分場景信息對校正系數的影響,有效地抑制了“鬼影”。但是算法對邊緣和非均勻性噪聲的區分依賴于閾值的大小。文獻[6]中提出基于雙邊濾波器的時域高通濾波算法(bilateral filter-based temporal high-pass filter,BFTH),對“鬼影”的抑制效果較為明顯,但當場景中出現運動速度較慢的高亮度區域時,校正系數會出現錯誤的更新,使得“鬼影”現象依然存在,降低了算法的校正精度。

基于相鄰兩幀紅外圖像之間差別較小,結合幀間配準技術,本文提出了一種基于圖像配準的非均勻性校正算法。與高通濾波類算法相比,本文算法得到的殘差圖像更好地消除圖像中的場景信息,取得更好的非均勻性校正效果,對“鬼影”現象產生很好的抑制作用。

2 高通濾波類算法及其存在問題

在時間域上,非均勻性噪聲屬于低頻成分,而場景屬于高頻成分。時域高通濾波算法(temporal high pass filtering,THPF)通過濾除圖像中的低頻成分,從而實現非均勻校正,整個過程可以看做一個時域上的高通濾波,即:

Yn=Xn-fn

(1)

(2)

式中,Xn表示第n幀非均勻圖像;Yn為校正輸出,fn為校正系數;是第n幀的低通輸出;M是預先設定的時間常數。THPF算法容易實現,其不足之處在于場景存在連續多幀靜止或者高亮度區域時會影響校正效果,產生“鬼影”現象。

ZUO在文獻[6]中采用雙邊濾波器進行圖像預處理。雙邊濾波器在處理圖像時具有更好的去噪保邊效果。其算法可表述為：

Yn=Xn-fn

(3)

(4)

(5)

圖1 圖像分離結果Fig.1 Image separation result

3 基于圖像配準的非均勻性校正算法

3.1 本文算法描述

在計算校正系數fn的過程中,剩余邊緣及高亮度部分會通過與已有的校正系數fn-1進行加權平均而得到衰減,但是并不能做到完全消除。圖1(c)為BFTH算法得到的校正系數fn,身體邊緣和高亮區域得到了很大的抑制,但是仍有殘余,這些殘留的信息會在校正后的圖像上形成“鬼影”。可以看出,高通濾波類算法產生“鬼影”現象是由于大量不相關的場景信息的存在所導致的,為了克服高通濾波類算法存在的缺陷,本文提出一種基于圖像配準的非均勻性校正算法,算法流程如圖2所示。

圖2 本文算法流程圖Fig.2 Block diagram of the proposed algorithm

算法步驟如下：

圖3 前后兩幀重疊區域示意圖Fig.3 Overlapped area of two frames

(4)利用式(7)對fn進行迭代更新。

(5)利用式(6)校正當前幀Xn,得到Yn。

算法可表述為：

Yn=Xn-fn

(6)

(7)

(8)

3.2 初值的選擇

(9)

用均方根誤差RMSE對各種濾波算法的效果進行衡量,X1經三種濾波器濾波后的RMSE如表1所示。

表1 首幀圖像濾波后的RMSETab.1 RMSE of first filtered frame

從表1中可以看出,當采用三邊濾波器時得到的殘差圖像的RMSE最低,校正效果最理想。所以算法在實現時,初值f1設置為三邊濾波器得到的殘差圖像。

3.3 M的選擇

在式(7)中,1/M表示的是校正系數fn的更新速率。隨著M取值的增大,fn受當前幀的影響減小,更新速率變慢。將M設置為20、50、100、200四種情況,并計算校正結果的RMSE,以便考察其對算法收斂速率和校正能力的影響。將得到的RMSE曲線顯示在圖4中。

圖4 不同M值時校正結果的RMSEFig.4 RMSE of the correction results with different M

從圖中可以看出,當M取值為10時,雖然曲線收斂的最快,但是收斂后一直處于振蕩狀態中,校正效果不穩定。隨著M取值的增大,曲線收斂速度逐漸變慢,但是曲線收斂后,校正效果趨于穩定。在50、100、200三個值中,當M取值為50時,校正結果的RMSE最小,算法收斂速度也最快。所以在算法實現時,可將M設置為50。更多的實驗證明,M取值只要在30～60范圍內,算法都可以取得較快的收斂速度和較穩定的校正效果。

4 校正實驗及其結果分析

為了驗證本文算法的校正效果,利用一段真實拍攝的帶有非均勻性的紅外視頻進行測試。視頻使用1161型長波非制冷熱像儀在關掉非均勻性校正的情況下拍攝,幀頻為30 f/s。序列1內容為近距離拍攝的人在室內行走的視頻,共有450幀。序列2內容為在公路上的行駛汽車的視頻序列,共有350幀,分別用SLTH算法、BFTH算法和本文算法對視頻序列進行非均勻性校正。校正時,將M設置為50。

4.1 序列1的實驗驗證

為了直觀地顯示算法的校正結果,以視頻序列中的第238幀圖像為例,將其校正系數及校正結果進行顯示。在第238幀中出現的人體目標運動速度較小,導致其臉部區域在連續多幀中表現為高亮度區域。這些區域在更新校正系數時貢獻較大,所以在SLTH算法和BFTH算法生成的校正系數中包含一部分高亮度信息。另外由于身體邊緣部分在空域上表現為高頻,所以無論是SLTH算法還是BFTH算法,都不可能將邊緣對校正系數的影響完全消除。如圖5(a)(c)所示,在人的臉部有一片區域灰度值明顯偏高,而且殘留了身體的邊緣信息,最終在對應的校正圖像上人的頭部和身體邊緣右方出現了亮度較低的鬼影,如圖5(b)(d)所示。本文對場景信息進行配準刪除,消除了場景信息對非均勻性校正的影響,本文得到的校正系數和校正結果如圖5(e)(f)所示,其校正結果中“鬼影”現象得到很好地抑制。

圖5 不同校正算法得到的校正系數及結果Fig.5 fn and results obtained with different algorithms

在處理真實的非均勻性圖像時,一般來說不可能獲得理想的圖像來對校正算法進行對比驗證,也不可能得到均方根誤差RMSE。此時,可用粗糙度[10]ρ來對非均勻性進行衡量。粗糙度計算公式為：

(10)

式中,h1、h2為水平和垂直方向的差分濾波器;I為待分析圖像;‖f‖1表示f的l1范數;*表示離散卷積。ρ的值越小,表示非均勻性程度越弱。ρ的值越大,表示非均勻性程度越強。

圖6 序列1校正后圖像的粗糙度曲線Fig.6 Roughness of sequences 1 corrected by three algorithms

統計序列1經三種算法校正之后結果圖像的粗糙度,做出曲線如圖6所示。經本文算法校正后的圖像的粗糙度曲線最低,即本文算法在此場景下校正效果良好,可以有效的去除場景中的非均勻性。

表2顯示了三種算法得到的450幀校正后圖像所有的平均粗糙度、總處理時間及處理速度。根據表2可知,本文算法校正結果的平均粗糙度是SLTH的78%,處理速度是BFTH算法的1.63倍。所以從校正效果和處理速度兩方面綜合考慮,本文算法要優于SLTH和BFTH兩種算法。

表2 三種算法校正能力比較Tab.2 Comparison of the correction ability of three algorithms

4.2 序列2的實驗驗證

以視頻序列2中的第100幀非均勻性圖像為例,如圖7(a)所示,分別利用SLTH、BFTH和本文算法對其進行非均勻性校正,校正結果圖像如圖7(b)(c)(d)所示。可以看出,本文算法在此種場景下校正效果良好,非均勻性噪聲得到了很好的校正。

圖7 不同校正算法得到的校正結果Fig.7 Results obtained with different algorithms

統計序列2經三種算法校正之后結果圖像的粗糙度,做出曲線如圖8所示。經本文算法校正后的圖像的粗糙度曲線最低,即本文算法在此場景下校正效果良好,可以有效去除場景中的非均勻性。

圖8 序列2校正后圖像的粗糙度曲線Fig.8 Roughness of sequences 2 corrected by three algorithms

5 結 論

本文針對高通濾波類算法的缺陷,結合幀間配準技術,提出了一種基于圖像配準的非均勻性校正新算法。與在SLTH算法和BFTH算法中利用經過濾波器濾波后得到的殘差圖像迭代更新校正系數相比,本文算法得到的殘差圖像能更好地消除了圖像中的場景信息,有效的抑制了“鬼影”現象,取得更好的校正效果。

參考文獻：

[1] SHI Haoran,LI Zhaolong,SHEN Tongsheng.Research on nonuniformity correction of inf-rared focal plane array[J].Laser & Infrared,2016,46(2):204-208.(in Chinese)

史浩然,李召龍,沈同圣.紅外焦平面陣列非均勻性的校正方法研究[J].激光與紅外,2016,46(2):204-208.

[2] REN Jianle,CHEN Qian,QIAN Weixian,et al.Multiframe registration based adaptive non-uniformity correction algorithm for infrared focal plane arrays[J].J.Infrared Millim.Waves,2014,33(2):122-128.

[3] LI Zhaolong,HAN Yulong.Blind pixel detection and correction of IR imaging based on scene[J].Laser & Infrared,2017,47(4):465-469.(in Chinese)

李召龍,韓玉龍.基于場景的紅外成像系統盲元檢測及校正[J].激光與紅外,2017,47(4):465-469.

[4] Zhang Tianxu,Shi Yan.Edge-directed adaptive nonuniformity correction for staring infrared focal plane arrays[J].Optical Engineering,2006,45(1):016402.

[5] Qian Weixian,Chen Qian,Gu Guohua.Space low-pass and temporal high-pass nonunifor-mity correction algorithm[J].Optical Review,2010,17(1):24-29.

[6] Zuo Chao,Chen Qian,Gu Guohua,et al.New temporal high-pass filter nonuniformity corre-ction based on bilateral filter [J].Optical Re-view,2011,18(2):197-202.

[7] LIU N,QIU H.A time-domain projection-based registration-scene-based nonuniformity correction technology and its detailed hardw-are realization[J].Optical Review,2014,21(1):17-26.

[8] YU Shikong,Xiang Wei,Zhao Yaohong,et al.An adaptive nonuniformity correction algorithm for infrared focal plane array[J].Journal of Computer-Aided Design & Computer Graphics,2016,28(1):138-145.(in Chinese)

于世孔,向偉,趙耀宏,等.一種自適應非均勻性校正算法[J].計算機輔助設計與圖形學學報,2016,28(1):138-145.

[9] LI Jia,QIN Hanlin,YAN Xiang,et al.Temporal- spatial nonlinear filter based non-uniformity correction method for IR image sequence[J].Acta Photonica Sinica,2015,44(4):0410001-0410001-5.(in Chinese)

李佳,秦翰林,延翔,等.時空域非線性濾波紅外序列圖像非均勻性校正[J].光子學報,2015,44(4):0410001-1-0410001-5.

[10] LI Zhaolong,SHEN Tongsheng,LOU Shu li.Scene-based nonuniformity correction based on bilateral filter with reduced ghosting[J].Infrared Physics & Technology,2016,77:360-365.