基于自適應擴散模型的單幀紅外條紋非均勻性校正算法

陳世偉，楊小岡，張勝修，劉云峰

(1.第二炮兵工程大學　303教研室，西安 710025；2.二炮駐成都地區代表室，成都 610000)

?

基于自適應擴散模型的單幀紅外條紋非均勻性校正算法

陳世偉1*，楊小岡1，張勝修1，劉云峰2

(1.第二炮兵工程大學303教研室，西安 710025；2.二炮駐成都地區代表室，成都 610000)

摘要：針對紅外焦平面成像系統存在列向條紋非均勻性的現象，采用了一種基于自適應PM擴散模型的非均勻校正新算法。首先，綜合利用圖像梯度信息和局部灰度統計信息，自適應計算PM模型的擴散閾值；然后將每列像素的PM模型估計值作為該列像素的期望值；最后采用最陡下降法迭代計算得到每列像元的校正參數，并對結果進行循環校正以提高校正效果。實驗結果表明：該算法可以保護圖像邊緣信息，與同類算法相比，能夠更有效地抑制條紋非均勻性，并且能夠防止圖像產生鬼影。

關鍵詞:單幀紅外圖像；條紋非均勻校正；自適應擴散模型；最陡下降法；鬼影

Single infrared stripe nonuniformity correction

1引言

紅外焦平面陣列(Infraed Focal Plane Array,IRFPA)在相同輻射下探測單元響應度不完全一致，導致了疊加在紅外圖像上的非均勻性空間噪聲，其噪聲形式主要表現為列向條紋，給紅外圖像的后續處理帶來很大影響，因此實際應用中必須進行非均勻性校正[1-2]。紅外圖像非均勻性校正算法主要分為兩大類：基于標定的校正算法和基于場景的自適應校正算法。定標法原理簡單，但是需要在非工作狀態下標定，且需要標準輻射源；場景法由于不依賴于定標源，可以自適應在線校正，成為目前該研究領域的重點方向[3-4]。基于場景的非均勻性校正算法又分為很多種，其中以恒定統計(CS-NUC)和神經網絡(NN-NUC)兩類算法相對比較成熟。Harris等人[5]提出了基于恒定統計約束的非均勻性校正算法，Scribner 等人[6]提出了基于神經網絡的非均勻性校正算法。這些算法都依賴場景運動，并受到目標退化(fade-out)和鬼影(ghosting artifact)等問題困擾，影響了應用范圍[7]。針對條紋非均勻性噪聲，錢惟賢等人[8]提出了基于最小均方誤差校正法(Minimum Mean Square Error,MMSE)，這種校正方法對于平坦區域效果較好，但對于灰度變化劇烈的邊緣區域在抑制噪聲的同時也損失了邊緣細節信息。針對圖像邊緣保留能力較差的問題，趙明等人[9]提出了基于轉向核估計的校正算法(Least Square Fitting Steering Kernel, LSF-SK)，采用各向異性的轉向核作為擴散系數來保護圖像的邊緣信息，但算法的校正效果依賴于平滑因子的選擇。張天序等人[10]通過深入分析神經網絡校正算法出現鬼影現象的成因，提出了基于偏微分方程的自適應校正方法(PDE-based NUC)，利用具有各向異性的非線性濾波來保持圖像的邊緣細節特征，但是這種方法采用經驗值作為擴散閾值，校正效果并不穩定。LSF-SK和PDE-based NUC都屬于基于非線性濾波的神經網絡非均勻性校正算法，因未能實現自適應擴散閾值，校正過程中仍然可能出現目標退化和鬼影現象。

據此，本文將PM模型引入單幀紅外圖像的列向條紋非均勻性校正中，針對PM模型擴散閾值的選取問題，通過分析擴散閾值對圖像平滑過程的影響，綜合利用圖像梯度信息和局部灰度統計信息，實現了擴散閾值的自適應計算。采用實際航拍和仿真紅外圖像序列進行對比實驗，結果表明，本文采用的基于自適應PM擴散模型的非均勻校正方法(the nonuniformity correction based the PM of adaptive diffusion,PM-AD-NUC)在有效去除紅外條紋非均勻性噪聲的同時，還較好地解決了圖像的鬼影現象。

2條紋非均勻性的神經網絡校正算法

在非均勻性校正算法中，一般將紅外焦平面像元的響應模型近似為線性模型，即

(1)

(2)

針對紅外列向條紋非均勻性特點，同列像素可視為相同探測元在不同輻照度下的響應結果。根據式(2)，列向條紋非均勻性校正過程可表示為：

(3)

(4)

式中，ωN,ωS,ωW,ωE代表四鄰域空間的加權系數。

定義誤差函數為：

(5)

代入式(3)得：

(6)

該算法是一種標準的自適應濾波算法，誤差主要來源于對真實值的估計。由于四鄰域加權平均本身是一種各向同性的擴散模型，不能有效保護圖像邊緣細節信息，會導致邊緣像素的模糊和退化。因此，對于邊緣上的像素，這種估計方法并不準確。從式(6)可以看出，邊緣的估計誤差將導致異常的增益和偏置校正系數，最終導致邊緣像素的過度校正，表現在圖像上即是鬼影。

3基于自適應擴散模型的紅外單幀條紋非均勻性校正算法

Perona和Malik 提出的經典各向異性擴散模型方程如下式：

完成樁位放樣后，根據護樁情況確定導向架的位置，通過石灰撒線方式保證其精度。在導向架安裝完成后，參考樁中心在導向架周圍均勻焊接φ10mm的定位筋，定位筋與護筒間的距離應精確在50mm。在鋼護筒施工過程中，應定期對鋼護筒與定位筋間的距離進行測定，當偏差過大時進行及時糾正。鋼護筒施工采用的施工方法為壓入法，所用設備為DZ300振動錘。鋼護筒每打入3m需要利用水平尺對鋼護筒與定位筋間的距離進行測定，如果護筒垂直度與樁位偏移超過50mm，使用DZ90振動錘進行單邊振動打壓，實現對控制垂直度。通過鋼護筒垂直度與中心偏移量進行有效控制，為后續樁基開鉆奠定了良好的基礎。

(7)

其離散形式可表示成：

(8)

(9)

由于PM模型的具體形式用偏微分方程(PDE)表示，所以這類算法又被稱為基于偏微分方程的非均勻性校正方法(PDE-based NUC)。

在PM模型中，擴散系數ck是關于圖像梯度的非負遞減函數，當梯度值較小時，模型的擴散作用較強，起到平滑效果；當梯度值較大時，模型的擴散作用較弱，甚至不擴散，從而保護了圖像的邊界。Perona和Malik推薦了一個常用擴散函數：

(10)

式中，λ為擴散閾值。

擴散閾值λ的取值對擴散過程影響巨大，λ取值過大，對邊緣的保留越少；λ取值過小，擴散被抑制，達不到去噪效果。因此，在實際應用中，需要選擇合適的λ值適應圖像邊緣強弱和噪聲水平，否則難以達到保邊緣、去噪聲、抑制鬼影的目的。

圖1　不同擴散閾值對應PDE-based NUC校正前后的圖像Fig.1　Images before and after using PDE-based NUC algorithm correction with different thresholds

圖2　PDE-based NUC算法中對圖像27列偏移校正系數和誤差函數的估計Fig.2　Estimations of the offset coefficients and the error signal using the PDE-based NUC algorithm

為了實現擴散閾值自適應的選取，文中用行像素的梯度均值作為條紋噪聲邊緣梯度的估計值，并使此時的擴散系數趨近于1，從而求得擴散閾值，如式(11)所示。這樣每次迭代后都能自適應的更新擴散閾值。

(11)

圖3　基于自適應擴散閾值的非均勻性校正算法流程Fig.3　Block diagram of the NUC algorithm based the proliferation of adaptive threshold

4實驗結果與分析

為了客觀評價新算法的校正性能，參考文獻[13-16]采用如下校正效果評價標準：

第一種評價標準是均方根誤差(Root Mean Square Error,RSME)：

(12)

第二種評價標準是平整度ρ(Roughness)，平整度是從圖像平滑角度來衡量圖像的像素灰度波動。

(13)

為了有效驗證新算法的性能，將PM-AD-NUC新算法與NN-NUC，MMSE，LSF-SK以及固定閾值PDE-based NUC等算法進行比較，采用實際航空拍攝紅外視頻序列進行實驗，如圖4所示。軟件環境為Windows 8.0 Matlab R2014，硬件環境為Intel雙核，主頻1.7 GHz。實際紅外圖像是由法國SOFRADIR公司的生產的320×256中波制冷型凝視焦平面探測器白天航拍的600幀地面建筑物目標紅外視頻序列。圖4為第430幀紅外圖像的單幀校正結果，NN-NUC和MMSE算法校正結果右半部分出現了明顯的“鬼影”現象，且殘留部分列向條紋；PDE-based NUC和LSF-SK算法，整體校正效果要優于前兩種算法，但仍然能看到一些殘留列向條紋噪聲。本文提出的PM-AD-NUC算法是在固定閾值PDE-based NUC算法的基礎上采用自適應擴散閾值，更大程度保留邊緣細節，使圖像更加清晰。

圖5為針對600幀紅外圖像序列進行校正實驗后不同算法得出的校正性能曲線，實驗過程中，用兩點定標法的校正結果作為均方根誤差計算中的理想圖像。從圖中曲線趨勢可以看出，本文提出的PM-AD-NUC算法在均方根誤差和平整度兩個指標上都優于其它算法。表1給出了5種算法對于600幀圖像的平均校正效果。從兩種評價指標的方差(var)統計結果可以看出PM-AD-NUC算法的穩定性要優于其它算法。但是，新算法的實時性并不是最好的，這是因為新算法采用了多次循環校正的策略，因此需要進一步提高新算法的實時性。

圖4　5種算法用于實拍外紅外圖像的單幀校正效果比較Fig.4　Comparison of five NUC algorithms for signal infrared real images

圖5　5種算法的校正性能曲線Fig.5　Performance curves of five NUC algorithms

PerformanceNN-NUCMMSELSK-SKPDE-basedNUCPM-AD-NUCRMSE24.670324.749118.580518.510216.2489ρ0.16560.16710.15250.15750.1449RMSE(var)1.78421.84611.05751.00650.7284ρ(var)4.8452×10-49.0317×10-42.0887×10-42.8427×10-41.9892×10-4Time/s5.883.764.094.717.45

5結論

在基于非線性濾波的神經網絡非均勻性校正算法中，用經驗閾值約束擴散過程，影響了校正效果。新算法分析了擴散閾值影響擴散過程的原因，建立了自適應擴散閾值模型，并將基于自適應PM擴散模型應用到單幀紅外圖像的條紋非均勻性校正中，以達到保邊緣去噪聲抑制鬼影的目的。實驗中用真實航拍得到的條紋非均勻性紅外視頻序列進行對比驗證，新算法與其它算法相比在保護圖像邊緣的同時，能夠更好地抑制條紋噪聲的干擾。但是，新算法的實時性有待提高，這將是下一步工作研究的重點。

參考文獻：

[1]PIPA D,DA SILVA E,PAGLIARI C,etal.. Recursive algorithms for bias and gain nonuniformity correction in infrared videos[J].IEEETransactionsonImageProcession,2012,21(12):4758-4769.

[2]任建樂，陳錢，錢惟賢.基于配準的紅外焦平面陣列條紋非均勻性校正[J].紅外與毫米波學報，2011,30(6):499-506.

REN J L,CHEN Q,QIAN W X. Stripe nonuniformity correction based on registration for infrared focal plane arrays[J].J.InfraredandMillimeterWaves,2011,30(6):499-506.(in Chinese)

[3]余毅，常松濤，王旻，等.寬動態范圍紅外測量系統的快速非均勻性校正[J].光學 精密工程，2015,23(7):1932-1938.

YU Y,CHANG S T,WANG M,etal.. Fast non-uniformity correction for high dynamic infrared radiometric system[J].Opt.PrecisionEng.,2015,23(7):1932-1938.(in Chinese)

[4]張曉龍,劉英,王健,等.不同非均勻性校正溫度的紅外測溫技術[J].中國光學,2014,7(1):150-155.

ZHANG X L,LIU Y,WANG J,etal.. Infrared thermometry technology with different nonuniformity correction temperatures[J].ChineseOptics,2014,7(1):150-155.(in Chinese)

[5]HARRIS J G，CHIANG Y M. Nonuniformity correction of infra-red image sequences using the constant-statistics constraint[J].IEEETrans.ImageProc.,1999，8(8):1148-1151.

[6]SCRIBNER D A,SARKADY K A,CAULFIELD J T,etal.. Adaptive retina-like preprocessing for imaging detector arrays[J].Proc.IEEE,1993,3:1955-1960.

[7]楊碩,趙保軍,毛二可，等.基于PM擴散的紅外焦平面陣列神經網絡非均勻校正算法[J].電子與信息學報,2013,35(11):2744-2750.

YANG S,ZHAO B J,MAO E K,etal.. Neural network nonuniformity correction for infrared foacl plane array based on perona malik Diffusion[J].J.Electrions&InformationTechnology,2013,35(11):2744-2750.(in Chinese)

[8]QIAN W X,CHEN Q,GU G H,etal.. Minimum mean square error method for stripe nonuniformity correction[J].ChineseOpticsLetters,2011,9(5):051003-1-3.

[9]趙明,安博文,林長青，等.基于轉向核的單幀紅外條紋非均勻性擬合校正算法[J].紅外激光工程,2013,43(3):766-771.

ZHAO M,AN B W,LIN CH Q,etal.. Stripe nonuniformity correction algorithm based on steering kernel fitting for single infrared images[J].InfraredandLaserEngineering,2013,43(3):766-771.(in Chinese)

[10]張天序,袁雅婧,桑紅石，等.基于PDE去鬼影的自適應非均校正 算法研究[J].紅外與毫米波學報,2012,31(2):177-182.

ZHANG T X,YUAN Y J,SANGF H SH，etal.. PDE-based deghosting algorithm for correction of nonunformity in infrared focal plane array[J].JInfraredandMillimeterWaves,2012,31(2):177-182.(in Chinese)

[11]PERONA P,MALIK J. Scale-space and edge detection using anisotropic diffusion[J].IEEETransactionsPattenAnalysisandMachineIntelligence,1990,12(7):629-639.

[12]SONG G,TIEN D B. Image segmentation and selective smoothing by using Mumford-Shah model[J].IEEETransactionsonImageProcessing,2005,14(10):1537-1549.

[13]VERA E,MEZA P,AND TORRES S. Total variation approach for adaptive nonuniformity correction in focal-plane array[J].OpticsLetters,2011,36(2):172-174.

[14]ZUO C,ZHANG Y Z,CHEN Q，etal.. A two-frame approach for sensors-based nonuniformity correction in array sensors[J].InfraredPhysics&Technology,2013,60(5):190-196.

[15]寧永慧,郭永飛.TDICCD拼接相機的像元響應非均勻性校正方法[J].中國光學,2013,6(3):386-394.

NING Y H,GUO Y F. Correction of pixel response non-uniformity in TDICCD mosaic camera[J].ChineseOptics,2013,6(3):386-394.(in Chinese)

[16]謝蓄芬，張偉，智喜洋，等.基于場景的紅外焦平面陣列非均勻性評價方法[J].光學學報,2012,32(6):0604001.

XIE X F,ZHANG W,ZHI X Y,etal.. Scene-based assessment method for nonuniformity of infrared focal plane array[J].ActaOpticaSinica,2012,32(6):0604001.(in Chinese)

陳世偉(1979—)，男，河北南和人，博士研究生，講師，2006年于第二炮兵工程大學獲得碩士學位，主要從事機器視覺及自動控制方面的研究。E-mail:cshw3876@tom.com

algorithm based on adaptive diffusion models

CHEN Shi-wei1*, YANG Xiao-gang1, ZHANG Sheng-xiu1, LIU Yun-feng2

(1.303Section,TheSecondArtilleryEngineeringUniversity,Xi′an710025,China;

2.TheSecondArtilenyinChengduAgent′sRoom,Chengdu610000,China)

*Correspondingauthor,E-mail:cshw3876@tom.com

Abstract:In order to correct the stripe nonuniformity for infrared images captured by infraed focal plane array(IRFPA), a novel stripe nonuniformity correction algorithm based on adaptive PM diffusion models for single infrared image is adopted. Firstly, the adaptive diffusion threshold of PM model is calculated by gradient information and local gray level statistics of infrared images. Then, the estimate values of each column pixel are treated as expectations, which are in constraint of PM models. Finally, correction parameters in iteration are obtained by method of steepest descent, and the image is corrected repeatedly to improve correction performance. Experimental results indicate that the adopted algorithm can preserve edge information. Compared with other four algorithms, the proposed algorithm has advantage of reducing stripe nonuniformity and removing ghosting artifact.

Key words:single infrared image;stripe nonuniformity correction;adaptive diffusion model;steepest descent method;ghosting artifact

作者簡介：

中圖分類號：TN215

文獻標識碼:A

doi:10.3788/CO.20160901.0106

文章編號2095-1531(2016)01-0106-08

基金項目：國家自然科學基金項目(No.61203189)；二炮院校青年基金資助項目(No.2014QNJJ023)

收稿日期:2015-09-11；

修訂日期:2015-11-13

Supported by National Natural Science Foundation of China(No.61203189), Young Science Foundation of China of The Second Artillery Engineering University of China(No.2014QNJJ023)