基于黑體標定的紅外圖像非均勻性校正系統設計

梁　超，馬天翔

(中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033)

?

基于黑體標定的紅外圖像非均勻性校正系統設計

梁超*，馬天翔

(中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033)

為提高某中波紅外探測器的圖像質量，設計了基于FPGA的紅外圖像實時處理系統, 系統能夠完成實時的非均勻性校正與盲元補償處理。介紹了目前常用的非均勻性校正、盲元識別和補償算法，并結合實際工程需求采用多點法進行非均勻性校正以及8點平均法進行盲元補償。在仿真實驗成功的基礎上，基于FPGA平臺構建了硬件平臺。系統可以實現系數自定義更新，可以手動或自動完成非均勻性較正系數計算，以及實現盲元列表的自動更新操作。利用某國產中波紅外探測器對處理系統進行了測試試驗，實驗結果表明：校正后圖像非均勻性<0.3%，盲元率<0.001%。系統工作穩定、可靠，圖像處理滿足實時性和精度要求。

紅外探測器；非均勻性校正；盲元補償

1　引　言

作為紅外成像系統的核心器件，紅外探測器的性能將直接影響整個系統的成像質量。由紅外器件自身物理特性以及工作環境等原因所引起的非均勻性問題是制約紅外成像系統性能的最主要因素[1-2]。紅外成像非均勻性的來源和成因有很多，探測器各像元響應不一致、1/f噪聲、讀出電路、光學系統以及環境溫度的變化都會導致成像的不均勻[3]。因此，為提高探測器的成像質量與系統的探測性能，必須進行非均勻性校正。

目前業內主流的紅外非均勻性校正算法可分為兩類：一類是基于黑體輻射定標的非均勻性校正算法，主要包括單點校正、兩點法以及多點法；另外一類是基于場景的非均勻性校正算法，主要包括高通濾波法、人工神經網絡法、卡爾曼濾波法和恒定統計平均法等。其中，基于場景的非均勻性校正算法大多處于實驗室仿真階段或者在硬件實現上存在一定的問題，并且算法的環境適應性存在著很大的限制[4-9]。相對而言，基于黑體輻射定標的非均勻性校正算法在其可實現性、實時性以及算法的運算速度等方面更具優勢，更適合于硬件實現和工程應用。因此，本文采用多點法完成紅外圖像的非均勻性校正處理。

采用Xilinx公司生產的Spartan-6系列FPGA芯片XC6SLX150作為主處理器，完成紅外圖像的接收、實時非均勻性校正處理以及盲元補償，具有非均勻性較正系數、盲元列表自動更新、多種模式圖像輸出等功能。經過多次試驗驗證，系統工作穩定可靠，圖像處理效果良好，實時性和處理精度滿足需求。

2　總體方案設計

圖1為紅外圖像處理系統的結構示意圖。系統主要由圖像接收模塊、FLASH和SRAM驅動模塊、非均勻性校正模塊、盲元補償模塊、圖像輸出模塊、系數更新模塊以及系統控制模塊組成。

圖1　圖像處理系統原理圖 Fig.1　Schematic of image processing system

系統工作的基本原理為：紅外探測器輸出的圖像數據經過圖像接收模塊后緩存至FPGA的DRAM中，系統控制模塊根據當前工作的溫度區間選擇適用的非均勻性校正系數段，隨后非均勻性校正模塊從片內DRAM中讀取圖像數據，從SRAM中讀取對應像元的非均勻性較正系數，并進行非均勻性校正處理，將處理結果輸出至盲元補償模塊，根據周圍8個像元的情況進行盲元補償，最后將處理后的圖像數據進行輸出。可通過串口指令選擇輸出原始圖像或處理后圖像，在進行系數更新時，通過串口指令控制系統完成相應溫度節點圖像的存儲，待所有溫度下的圖像都存儲完成后，系統開始進行非均勻性校正系數計算和更新操作，同時完成相應溫度區間內的盲元識別。圖2為圖像處理系統軟件工作流程圖。

圖2　圖像處理系統軟件工作流程圖 Fig.2　Software workflow chart of image processing system

系統各模塊設計相對獨立，通過調整輸入輸出模塊的圖像傳輸協議即可適用于不同的探測器成像系統中，具有較高的可移植性。

3　系統關鍵算法設計與實現

3.1多點非均勻性校正算法

紅外探測器的像元響應在工作溫度范圍內線性較好時可將其從低溫到高溫的響應近似為斜率和偏移量都不同的直線簇，如圖3所示。在光照度為φ的條件下，紅外探測器中第(i，j)個像元的響應輸出為：

(1)

式中，(i，j)是探測器像元對應的坐標，φs是對應像元接收到的光子流，Ri,j和Bi,j分別對應增益量和偏移量。

圖3　紅外探測器像元響應曲線 Fig.3　Response curves of infrared detector image element

根據式(1)所示，探測器像元在低溫和高溫黑體輻射條件下的響應分別為：

(2)

(3)

由于每個像元的輸出響應曲線都不同，因此在相同的輻射條件下會表現出紅外圖像的非均勻性。進行非均勻性校正的目的就是將上述直線簇通過改變增益量和偏移量的方式使其重合，最終使探測器各像元在校正溫度范圍內表現出相同的響應值，如圖4所示。

圖4　增益校正和偏移校正 Fig.4　Gain correction and offset correction

將高溫和低溫輻射條件下各像元的響應進行時間和空間平均后可以得到一條期望的響應曲線，如圖4(b)所示。該曲線對各像元的原始響應曲線進行增益修正和偏移修正。若設校正后像元輸出響應為P，增益量修正系數為G，偏移量修正系數為O，則單個像元進行非均勻性校正后的輸出響應如下式：

(4)

(5)

由式(4)、式(5)可計算出探測器各像元的非均勻性校正增益修正系數G和偏移修正系數O，如式(6)、式(7)所示。

(6)

(7)

這樣，根據式(6)、式(7)，對探測器像元的原始響應只需要一次乘法運算和一次加法運算即可完成探測器的兩點法非均勻性校正[10-13]。

兩點校正算法是應用最為普遍的一種非均勻性校正算法，其計算量小、實現簡單、實時性和適用性較好，但由于探測器的響應曲線是近似線性，因此其溫度適用范圍和校正精度存在著一定的矛盾。多點校正法則很好地解決了這個問題，在兩點法的基礎上增加一部分硬件即可在保證溫度適用范圍的前提下提高校正精度。多點校正算法是將紅外探測器的像元響應曲線按照工作的溫度區間近似分為多個線性段的折線，在每個溫度區間內采用兩點法進行校正。

圖5　多點較正算法示意圖 Fig.5　Sketch map of multi-point correction algorithm

圖5為多點校正算法示意圖。其中V為探測器的像元響應，Ф為探測器接收到的輻射通量。將整個探測器的工作溫度區間分為3段，每段內的響應曲線可近似為線性，隨后可采用兩點法進行校正。

根據實際的精度需求，系統采用多點法完成紅外圖像的非均勻性校正。

3.2實時校正算法的硬件實現

接收到紅外探測器輸出的圖像數據后，系統根據當前工作的溫度區間選擇相應的校正系數段，在此溫度范圍內進行兩點法非均勻性校正。

如前文所述，圖像數據需要一次乘法操作和一次加法操作來完成增益量和偏移量的校正。為了保證圖像的實時性，系統采用流水線的工作方式完成圖像處理。

由于圖像的接收時鐘和FPGA內部進行圖像處理的時鐘相互獨立，因此需要先將圖像數據送入FIFO緩存，以待后續各個模塊采用同步時鐘進行處理。

進行非均勻性校正時首先將當前像元對應的增益校正系數G和偏移校正系數O從2片SRAM中讀入FPGA，然后與當前的圖像數據進行乘法和加法操作，從FIFO中讀取16 bit數據需要2個時鐘周期，一次乘法操作需要2個時鐘周期，而從SRAM中將系數讀出并完成地址偏移操作同樣需要2個時鐘周期。因此，數據讀取、系數讀入、乘法操作剛好可以按流水線的方式進行工作，而加法操作是不需要耗費額外的時鐘周期的[14]。所以，在探測器輸出圖像數據的2個時鐘周期后，即下一拍圖像數據送入FPGA時，剛好可以完成當前數據的非均勻性校正操作。非均勻性校正的流水線操作如圖6所示。

圖6　非均勻性校正的流水線工作 Fig.6　Assembly line work of nonuniformity correction

圖7為FPGA內部進行非均勻性校正的前仿真結果。FPGA采用XC6SLX150，編譯環境ISE13.3，采用ISIM進行時序仿真。圖中截取了20個時鐘周期，其中CLK信號為非均勻性校正處理的工作時鐘信號，頻率為50 MHz；fifo_data_in信號為從FIFO中讀出的探測器的圖像數據；Mul_pixel信號為進行數據拼接后的16 bit數據；P_A為增益校正系數G；P_B為偏移校正系數O；pixel_data_out_reg信號為進行非均勻性校正處理后的結果。由圖7中可以分析出，當前像元完成非均勻性校正處理的時刻剛好是下一像元數據被接收到的時刻。算法處理延時為2個時鐘周期即40 ns，能夠滿足系統的實時性要求。

圖7　非均勻性校正時序仿真結果 Fig.7　Simulation result of nonuniformity correction timing sequence

3.3盲元補償算法的硬件實現

盲元是指探測器像面中由于制造和生產工藝問題導致的響應過高或過低的像元。盲元在成像時表現為極亮或極暗的像素點，將嚴重影響紅外成像系統的成像質量，也為后續的圖像處理、目標識別等工作帶來了困難[15]。

系統中采用鄰域平均法來完成紅外探測器的盲元補償，即在確定盲元位置后，取其周圍有效像元響應的平均值作為盲元的替換響應。根據任務需求和硬件實現的復雜程度，有一維平均、二維平均及8點全平均3種盲元補償方法可選。其中，一維平均法是利用當前盲元左右兩個像元的灰度平均值進行補償，其實時性較好，但對于邊界盲元和叢生盲元并不能夠很好地進行處理；二維平均法是利用盲元周圍上下左右4個有效像元的平均值進行補償，進行流水處理需要緩存兩行圖像信息，實時性稍差，但對于邊界盲元和叢生盲元的處理相比于一維平均法要合理很多；8點全平均法采用盲元周圍全部的8個像元中有效像元的灰度平均值進行補償，與二維平均值相比，同樣需要緩存兩行圖像信息，但由于引入了更多的有效像元，使得補償后的盲元響應置信度更高。因此，系統選用8點全平均法進行盲元補償，其示意圖如圖8所示。

圖8　盲元補償示意圖 Fig.8　Sketch map of blind pixel compensation

在進行盲元補償處理時，需要建立兩個數據緩沖區，一個為320×3的原始響應，另一個為320×2的補償后響應。首先緩存兩行像元的灰度值，在第3行第1個像元數據到來時進行第1行第1個像元的盲元補償處理。根據盲元列表判定，如果當前像元是盲元，則將周圍8個像元的校正后響應帶入加法器，移位求平均值，作為盲元的替換響應存入緩沖區；如果不是盲元，則直接將其灰度值存儲在替換后緩沖區中。按順序完成盲元補償，在當前處理像元之前的像元響應采用替換后緩沖區中的灰度值，當前處理像元之后的像元中如果存在盲元，則盲元響應不參加平均，由剩下的非盲元響應和補償后響應進行加權平均。通過這種方式，對于周圍8個像元中的叢生盲元，采取就近替換的原則，避免了盲元補償時因叢生盲元而導致的補償后響應失衡現象。

圖9　盲元補償緩沖區設置示意圖 Fig.9　Sketch map of blind pixel compensation buffer setting

兩個緩沖區建立示意圖如圖9所示，8點全平均法盲元補償需要額外的320×5個字的數據緩沖區，最新的數據將最舊的數據覆蓋，采用行指針循環的方式完成盲元補償的流水線工作。可以分析出，完成盲元補償輸出的像元與最新輸入的像元時間上相差兩行，由于整個系統的處理都是流水線操作，且各模塊采用同樣的50 MHz系統時鐘。因此，盲元補償處理所耗費的時鐘周期數為320×2×2=1280，處理延時為25.6 μs，滿足系統實時性需求。

3.4系數更新模塊的設計實現

紅外探測器隨著工作次數和使用時間的增加，其非均勻性會發生變化，盲元也會增多。因此，需要定期對探測器進行系數標定。

根據前文所述多點法的基本原理，在進行系數標定時，首先控制黑體到達相應的溫度，通過串口發送命令告知FPGA，系統會將當前成像數據存儲至SRAM中。如此，將所有溫度區間的邊界溫度成像一一進行存儲，隨后，通過串口發送系數計算指令，系統開始進行非均勻性校正系數計算。

根據非均勻性校正原理，首先從SRAM中讀取出各溫度下存儲的圖像數據，并計算出各圖像內像元響應的平均灰度值，以此作為多點法中各溫度下的理想校正后響應P；隨后再從SRAM中將各圖像內對應像元數據依次讀出，求出其各溫度下的平均值，以此作為當前像元在各溫度下的典型響應值V，最后根據式(6)、(7)可計算出當前像元在各溫度下的非均勻性校正系數，同時可通過比較其原始響應值V來確定出當前像元是否為盲元。如此將所有像元一一進行計算并將結果寫入FLASH中，待所有像元數據全部計算并燒寫完成后，系統將自動觸發一次初始化操作，將新的非均勻性校正系數和盲元列表更新至SRAM中[16]。至此，非均勻性校正系數的更新操作全部完成，圖10為系數更新模塊的軟件工作流程圖。

圖10　系數更新模塊軟件工作流程圖 Fig.10　Software workflow chart of coefficient update module

系統除具有自動系數更新功能以外，還可根據需要通過串口經FPGA將參數直接寫入FLASH進行系數更新。

4　成像試驗結果與分析

為了驗證系統的實際性能，聯合紅外探測器和圖像采集器在實驗室條件下進行了成像實驗。

圖11為采集器接收到的系統測試圖像。實驗結果表明，系統圖像輸出通路工作正常，后端圖像接收設備能夠穩定、準確的接收到圖像數據。

圖11　測試圖像 Fig.11　Test image

在實驗室條件下對均勻輻射的黑體進行成像實驗。設置黑體輻射溫度40 ℃，圖12為紅外探測器直接進行成像與經過非均勻性校正和盲元補償后的成像對比圖。

圖12　黑體溫度40 ℃非均勻性校正前后成像對比圖 Fig.12　Comparison of black body image in 40 ℃ before and after nonuniformity correction

圖12(a)為探測器輸出的原始圖像，在均勻黑體輻射條件下，圖像中由于探測器非均勻性帶來的條紋現象和盲元帶來的壞點非常明顯，嚴重降低了圖像質量。圖12(b)為經過非均勻性校正和盲元補償處理后的圖像，相比于原始圖像，條紋狀圖像噪聲及盲元壞點經過處理后已經基本消失，圖像整體均勻性得到顯著提升。經過計算，校正前圖像非均勻性為5%，盲元率為0.06%；校正后圖像非均勻性低于0.3%，盲元率低于0.001%，圖像質量滿足指標需求。

為了比較多點法和兩點法校正效果以及8點全平均法和一維、二維平均法盲元補償的性能差異，在不同條件下分別進行了成像試驗。表1為在20～65 ℃時，兩點法和多點法的校正效果對比。其中，兩點法的校正系數是在15 ℃和70 ℃時計算得到的。

表1　兩點法和多點法校正效果對比

由表1可知，相比于兩點法，多點法在獲得校正系數時更多地考慮了探測器響應的非線性變化，因此在整體溫度范圍內非均勻性更低，校正效果更好。

表2為采用不同方法進行盲元補償處理后的盲元殘留對比。

表2　3種方法盲元補償效果對比

一維平均法對于2個以上的叢生盲元處理效果較差，因此其盲元率較高；二維平均法和8點全平均法則通過引入周邊像元提升了補償效果，而8點全平均法中引入的有效像元數更多，因此其補償效果會更平滑，補償結果置信度更高[17]。

圖13　對實際景物成像非均勻性校正前后對比圖 Fig.13　Comparison of actual scene image before and after nonuniformity correction

圖13中給出了利用紅外探測器對實際目標成像時系統處理前后的對比圖。可以看出，經過系統處理后，圖像質量得到大幅提升，為后續觀測或圖像處理提供了便利。

5　結　論

為解決紅外探測器的非均勻性與盲元問題，設計了一套基于FPGA的紅外圖像實時處理系統，采用多點校正法提升了系統的溫度適用范圍和非均勻性校正精度；采用8點全平均法使盲元補償的置信度更高。實驗結果表明:紅外圖像實時處理系統能夠穩定、準確、高精度的完成紅外圖像的非均勻性校正和盲元補償處理，校正后非均勻性低于0.3%，盲元率低于0.001%，圖像輸出延時小于30 μs，圖像處理精度及實時性滿足指標需求，系統設計相對獨立，具有一定的可移植性。

[1]張一舟，許廷發，劉子偉，等.基于Savitzky-Golay加權擬合的紅外圖像非均勻性條帶校正方法[J].中國光學，2015,8(1)：51-57.

ZHANG Y ZH,XU T F,LIU Z W,etal.. Correction method for stripe nonuniformity in infrared images based on Savitzky-Golay weighted fitting algorithm[J].ChineseOptics,2015,8(1):51-57.(in Chinese)

[2]吳晗平.紅外搜索系統[M].北京：國防工業出版社，2013.

WU H P.InfraredSearchSystem[M]. Beijing:National Defense Industry Press,2013.(in Chinese)

[3]李俊山，楊威，張雄美.紅外圖像處理、分析與融合[M].北京：科學出版社，2009.

LI J SH,YANG W,ZHANG X M.Processing,AnalysisandFusionofInfraredImage[M]. Beijing:Science Press,2009.(in Chinese)

[4]李曉杰,任建偉,李憲圣,等.反射式拼接CCD相機非均勻性定標與校正[J].液晶與顯示,2014,29(6):1057-1064.

LI X J,REN J W,LI X SH,etal.. Non-uniformity calibration and correction of reflector-based mosaic CCD camera[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(6):1057-1064.(in Chinese)

[5]王學偉，李珂，王世立.紅外焦平面陣列的非均勻性研究[J].激光與紅外，2012,42(10)：1131-1134.

WANG X W,LI K ,WANG SH L. Study of non-uniformity in infrared focal plane arrays[J].Laser&Infrared,2012,42(10):1131-1134.(in Chinese)

[6]曲洪豐,王曉東,呂寶林.多通道輸出面陣CCD圖像非均勻性校正[J].液晶與顯示,2012,27(4):569-572.

QU H F,WANG X D,LV B L. Non-uniformity correction of mutiple output area CCD image[J].ChineseJ.LiquidCrystalsandDisplays,2012,27(4):569-572.(in Chinese)

[7]寧永慧，郭永飛.TDICCD拼接相機的像元響應非均勻性校正方法[J].中國光學，2013,6(3)：386-394.

NING Y H,GUO Y F. Correction of pixel response non-uniformity in TDICCD mosaic camera[J].ChineseOptics,2013,6(3):386-394.(in Chinese)

[8]代少升，張天騏.基于非線性響應的紅外焦平面陣列非均勻性自適應校正算法[J].光學 精密工程，2008,16(4)：714-719.

DAI SH SH,ZHANG T Q. Adaptive nonuniformity correction algorithm for IRFPA with nonlinear response[J].Opt.PrecisionEng.,2008,16(4): 714-719.(in Chinese)

[9]孫志遠，常松濤，朱瑋，等.應用內外定標修正實現紅外測量系統輻射定標[J].光學 精密工程，2015,23(2)：356-362.

SUN ZH Y,CHANG S T,ZHU W,etal.. Radiation calibration of infrared system by amendment of inner and outer calibrations[J].Opt.PrecisionEng.,2015,23(2): 356-362.(in Chinese)

[10]任婷婷,張智杰.一種基于場景的紅外圖像非均勻性校正算法[J].光學與光電技術,2014,12(2):136-138.

REN T T,ZHANG ZH J. A scene-based non-uniformity correction algorithm for infrared image[J].Optics&OptoelectronicTechnology,2014,12(2):136-138.(in Chinese)

[11]任建樂，陳錢，顧國華，等.紅外焦平面陣列條紋非均勻性校正方法[J].紅外與激光工程，2013,42(8)：1987-1990.

REN J Y,CHEN Q,GU G H,etal.. Stripe nonuniformity correction for infrared-focal plane arrays[J].InfraredandLaserEngineering,2013,42(8):1987-1990.(in Chinese)

[12]樊曉清,顧國華,隋修寶,等.紅外熱像儀與上位機通信系統設計[J].光學與光電技術,2013,11(3):49-53.

FAN X Q,GU G H,SUI X B,etal.. Design of communication system between thermal imager and host computer[J].Optics&OptoelectronicTechnology,2013,11(3):49-53.(in Chinese)

[13]朱瑞飛，王超，魏群，等.紅外探測器非均勻性校正系統研制[J].紅外與激光工程，2013,42(7)：1669-1673.

ZHU R F,WANG CH,WEI Q,etal.. Manufacture of nonuniformity correction system for infrared detector[J].InfraredandLaserEngineering,2013,42(7):1669-1673.(in Chinese)

[14]李一芒,何昕,魏仲慧.紅外預警實時圖像處理系統設計與實現[J].液晶與顯示,2013,28(1):110-114.

LI Y M,HE X,WEI ZH H. Design and implement of real-time image processing system for IR warning system based on multi-passage[J].ChineseJ.LiquidCrystalsandDisplays,2013,28(1):110-114.(in Chinese)

[15]張曉龍，劉英，王健，等.不同非均勻性校正溫度的紅外測溫技術[J].中國光學，2014，7(1)：150-155.

ZHANG X L,LIU Y,WANG J,etal.. Infrared thermometry technology with different nonuniformity correction temperatures[J].ChineseOptics,2014,7(1):150-155.(in Chinese)

[16]黃戰華，楊鶴猛，孫立彬，等.一種基于DSP+CPLD的低功耗實時紅外成像系統實現方法[J].光學技術，2012,38(1):14-18.

HUANG ZH H,YANG H M,SUN L B,etal.. An implement method for real-time infrared imaging system with low power consumption based on DSP+CPLD[J].OpticalTechnique,2012,38(1):14-18.(in Chinese)

[17]徐世偉，魏東，王大鵬，等.紅外線陣探測器盲元定位與補償[J].紅外與激光工程，2014,43(11)：3621-3626.

XU SH W,WEI D,WANG D P,etal.. Blind pixel detection and compensation for infrared linear detector[J].InfraredandLaserEngineering,2014,43(11):3621-3626.(in Chinese)

Design of infrared imaging nonuniformity correction system based on black body calibration

LIANG Chao*, MA Tian-xiang

(Changchun Institute of Optics,Fine Mechanics and Physics,ChineseAcademyofSciences,Changchun130033,China)*Correspondingauthor,E-mail:liangchao_job@126.com

In order to improve the image quality of certain medium wave infrared detector, a infrared image real-time processing system based on FPGA is designed, which can accomplish nonuniformity correction and blind pixel compensation in real time. Some widely used nonuniformity correction algorithms, blind pixel detection and compensation algorithms are introduced. Combined with actual project requirements, nonuniformity correction with multi-point method and blind pixel compensation with eight-point average method are realized on the FPGA platform on the basis of successful simulation. User-defined coefficient updating, non-correction coefficients manually or automatically calculating and blind pixel lists automatically updating are realized by the system. The processing system is tested using certain domestic medium wave infrared detector, and the result shows that the nonuniformity of corrected image is less than 0.3% and the blind pixel of corrected image is less than 0.001%. The system is stable and reliable, which satisfies the requirements of image processing in real-time and accurancy.

infrared imaging detector;nonuniformity correction;blind pixel compensation

2016-01-19；

2016-02-25

中國科學院國防科技創新基金項目(No.CXJJ-16-S038)

2095-1531(2016)03-0385-09

TN215； TN911.73

A

10.3788/CO.20160903.0385

梁超(1988—)，男，黑龍江七臺河人，碩士，研究實習員，2011年、2014年于哈爾濱工程大學分別獲得學士、碩士學位，主要從事航空遙感成像系統方面的研究。E-mail：liangchao_job@126.com

Supported by National Defense Science and Technology innovation Fund, Chinese Academy of Sciences(No.CXJJ-16-S038)