基于目標與背景相異位移配準的非均勻校正算法

楊 碩，趙保軍，毛二可，唐林波

基于目標與背景相異位移配準的非均勻校正算法

楊 碩，趙保軍，毛二可，唐林波

（北京理工大學，北京100081）

本文針對場景圖像中目標和背景存在著不同運動的情況，提出了一種基于圖像分離和配準技術的校正算法，新算法通過傅里葉變換相位相關方法，估計出目標與背景的兩種運動位移，然后通過計算匹配像素點的平均絕對誤差將目標和背景進行標識區分，建立關于目標和背景位移量的誤差平方和方程組，求解得到亞像素位移量，改進了原有的代數校正方法，分別根據目標和背景的位移順序校正，并通過剔除無匹配點的雙線性插值方法對新算法進行完善。計算機模擬圖像序列與實際紅外圖像序列的實驗結果表明，該算法比目前常用的代數校正算法具有更好的適應性，具有較高的實用價值。

相異位移；傅里葉變換；平均絕對誤差；雙線性插值；代數校正

1 引 言

紅外焦平面探測器陣列（Infrared Focal Plane Array，IRFPA）是熱成像系統的重要組成部分，但由于受到材料、工藝水平等因素的限制，IRFPA各探測元的響應不一致，在圖像上表現為固定圖案噪聲（Fixed Pattern Noise，FPN），呈現非均勻性，影響熱成像系統的成像質量［1］。

IRFPA的非均勻校正（Non-Uniformity Correction，NUC）技術目前可分為基于參考源的定標校正［2］和基于場景的自適應校正（Scene-Based Non-U-niformity Correction，SBNUC）兩類，后者不需要使用參考源，能夠自適應地更新非均勻性校正參數，已獲得成功應用［3］。

在SBNUC算法中，Scribner等人提出了基于神經網絡（Neural Network Non-Uniformity Correction，NN-NUC）的非均勻校正算法［4］，Hardie等人提出了基于配準類（Algebraic Scene-Base Non-Uniformity Correction，ASB-NUC）的非均勻校正算法［5］，已成為相關算法的典范。Ratliff等人提出的代數校正算法是一類有效的方法，但是受到兩幀圖像必須是整像素位移的約束。2003年Ratliff［6］和2005年Jing Sui［7］在亞像素位移下，提出周邊一點校正并向內傳遞校正參數的代數算法，但需要插入可伸縮的機械邊框；2006年金偉其［8］引入分組的思想，無需額外的機械結構。但算法僅適用于幀間只有水平或垂直位移的情況。2011年劉崇亮［9］提出基于虛擬邊框視場光闌的校正算法，突破了對位移的嚴格限制，取得了良好的效果。

上述校正算法都是在圖像中僅存在全局運動的條件下，通過相位相關［10］或者Keren［11］算法獲得位移估計。但在目標跟蹤和制導領域，圖像中同時存在著不同運動的目標和背景，在這種情況下，原有的運動估計方法配準精度下降，會導致校正性能不足。本文利用傅里葉變換相位相關方法估計出目標與背景的兩種運動位移，并在相鄰兩幀相同場景亮度恒定不變假設的基礎上［12］結合神經網絡優化代數算法，利用代數校正算法去除圖像的非均勻性噪聲。

2 非均勻性模型

熱成像系統在通常目標場景下，IRFPA的響應近似為線性，即在n時刻對于第（x，y）個紅外焦平面陣列探測單元，觀測輸出值fn（x，y）用線性模型來表示，則：

其中，n為幀數；b（x，y）是第（x，y）個探測元的偏置；gn（x，y）為n時刻第（x，y）個焦平面探測元所接收到輻照度。式（1）的非均勻校正模型為：

其中，o（x，y）＝－b（x，y）為像元（x，y）的偏置校正系數。

3 本文算法原理

3.1 基于目標和背景相異位移的運動粗估計

當圖像中存在運動目標和整體背景時，如果假設幀間場景亮度恒定，則關于目標和背景的幀間關系可構造為：

其中，g1（n）（x，y）為目標；g2（n）（x，y）為背景。目標的位移量為（α1（n），β1（n）），背景的位移量為（α2（n），β2（n）），則幀間的互功率譜可表示為：

其中，G1（n）和ejφ1分別表示目標的幅度譜和相位譜；G2（n）和ejφ2分別表示背景的的幅度譜和相位譜。對幀間歸一化互功率譜的兩端進行傅里葉逆變換，得到相位相關函數表達式如下：

相位相關函數中，第一項和第二項分別在坐標（α1（n），β1（n））和（α2（n），β2（n））位置上出現了沖激函數，在函數結果平面上呈現為兩個峰值，分別為運動物體的位移和背景的整體位移。

3.2 基于目標和背景相異亞像素位移的運動估計

3.2.1 原有的背景整體位移的亞像素估計

亞像素位移可采用文獻［11］提出用Lucas-Kanade算法實現，基于圖像的泰勒展開與近似，通過誤差平方和最小化求得閉式解。為了減小運算量，可采用先對圖像進行整像素位移粗估計，把幀間位移約束到1個像素之內，再用Lucas-Kanade算法實現微位移的估計。

3.2.2 目標與背景的分離

目標與背景的相對運動示意圖如圖1所示，背景幀間的位移是（1，1），目標幀間位移為（1，－1）。其中數字100表示第n幀運動目標的灰度，其他數字為背景的灰度。從示意圖可以看出第n幀內的數字1，2，3，6，9，10，11，100都可以在第n＋1幀找到匹配點。而數字5在下一幀無匹配點。

圖1 目標和背景分離運動示意圖

為了保證微位移估計的精度，對各像素點按照目標和背景的位移方向做平均絕對誤差（Mean Absolute Difference，MAD）運算以確定其隸屬于目標點、背景點還是無匹配點，即：

其中，Ωx，y為以（x，y）為中心的鄰域窗口，大小為M×N，屬于目標或背景的判決條件為：

無匹配點為第n幀內距離目標點位移為（α1（n）－α2（n），β1（n）－β2（n））的像素點，不參與亞像素位移的計算，保證估計精度。

3.2.3 本文目標和背景相異位移的亞像素估計

得到目標點與背景點的位移估計后，將gn（x，y）進行位移得到一幀中間圖像g′n（x，y），應用Lucas-Kanade算法進行一階泰勒級數展開，并求得誤差平方和為：

要求得誤差E（Δα1（n），Δβ1（n），Δα2（n），Δβ2（n））的最小值，分別對Δα1（n）、Δβ1（n）、Δα2（n）和Δβ2（n）求偏導并令其為0，聯立求解可以獲得Δα1（n）、Δβ1（n）、Δα2（n）和Δβ2（n）的估計值。

3.3 基于目標和背景相異位移的非均勻校正

3.3.1 二維亞像素級運動插值

根據Lucas-Kanade算法得到亞像素估計后，第（n＋1）幀像素點gn＋1（x，y）除了邊框點和新增的場景信息點，都可以用圖2（a）中第n幀內四個像素點的雙線性插值來表示，背景用（x－Δα2（n）－1，y－Δβ2（n）－1）、（x－Δα2（n）－1，y－Δβ2（n））、（x－Δα2（n），y－Δβ2（n）－1）、（x－Δα2（n），y－Δβ2（n））四個像素點來插值，這四個像素點插值的權重分別為γ（1，2（n））、γ（2，2（n））、γ（3，2（n））、γ（4，2（n）），由圖2可知：

圖2 亞像素雙線性插值示意圖

且γ（1，2（n））＋γ（2，2（n））＋γ（3，2（n））＋γ（4，2（n））＝1。

由此可得：

第（n＋1）幀內（x，y）目標和背景像素的響應可表示為：

3.3.2 校正系數的遞歸傳遞

引入偏置校正系數o（x，y）代替b（x，y）并消去輻射項g可得到：

3.3.3 周邊神經網絡一點校正

為了計算o（x，y），需要已知o（x－αn－1，y－βn－1）、o（x－αn－1，y－βn）、o（x－αn，y－βn－1）、o（x－αn，y－βn－1）這四個偏置系數，所以第（n＋1）幀只能以左上角未校正像素點（αn＋1，βn＋1）為起點開始校正，αn＋1上方和βn＋1左邊的區域為需要已知校正系數的周邊區域。本文采用文獻［9］的方法對圖像四周一定寬度的范圍進行神經網絡偏置校正，定義誤差函數en（x，y）為神經元的實際輸出＾gn（x，y）與期望值tn（x，y）差，即：

將神經元的中值濾波輸出作為期望值，為了使誤差函數e2n（x，y）最小，根據最陡下降原則，神經網絡校正的迭代方程為：

3.3.4 本文代數校正算法

本文提出的算法基于運動目標和背景在相異位移條件下，計算包含無匹配點的雙線性插值時，無匹配點的o（p）未知，無法參與相關其他點的校正運算，所以對無匹配點要進行剔除處理。假定無匹配點屬于公式12中p＝2的像素點，公式12改寫為如下格式（其他情況以此類推）：

以上節獲得的四周一點校正值為初始條件，按照αn＋Δαn和βn＋Δβn方向向內部傳遞校正系數，從未校正的像素點（αn＋1，βn＋1）開始，向（αn＋1，βn＋1）所在的一行和一列順序進行校正。以此類推，直到所有的像素點都經過校正處理。

4 實驗結果與分析

為了測試算法的有效性，設計了模擬紅外圖像和實際紅外圖像的神經網絡校正處理實驗，計算機配置為：Intel酷睿i7 2670qm，基準頻率為2.2G，四核睿頻為2.8G，內存為4G，處理軟件平臺為Matlab R2012（a）。

4.1 目標和背景位移估計的仿真實驗

圖3（a）和圖3（b）為選取的兩幅240×320，14bit的無噪紅外圖像，幀間背景整體向右移動了2個像素，向下移動了1個像素，模擬產生5×5大小的運動目標疊加到這兩幅圖像中的不同位置，第二幅相對于第一幅，目標向左移動了8個像素，向下移動了30個像素。先求得自功率譜的相位相關函數，可得沒有相關位移時的坐標為（121，161），如圖3（c）所示，再求得兩幅圖像的互功率譜的相位相關函數分別估計目標和背景的位移，圖3（d）中最高的兩個峰值坐標代表了目標和背景的位移量。圖3（e）中峰值最高的坐標（120，159），（91，169）為分別表示了背景和目標的位移（1，2），（30，－8），與原圖像中事先設定的位移相符。

4.2 模擬非均勻性校正仿真實驗

為了驗證文中算法對于目標和背景相異位移圖像的校正性能，模擬產生均值為0，方差為32的非均勻性噪聲同時加入到圖像3（a）和圖3（b）中，生成的模擬噪聲圖像如圖4（a）和圖4（b）所示。從圖4（c）中可以看出由于非均勻噪聲的影響，目標和背景的兩個峰值高度有所下降，但在結果平面上仍然呈現出最大的兩個峰值，如果圖像中非均勻噪聲比較嚴重，一般可采取低頻中心化的方法去除這部分峰值來增加目標和背景的權值。

圖3 目標和背景位移估計的仿真實驗

模擬圖像作整像素位移時，目標在兩幀圖像所占的區域和其各自沿著背景位移方向的后續像素點都不作校正處理，等待后幾幀進行校正系數補償，用代數算法校正后的圖像如圖4（d）所示，可以看到圖像中除了不可校正區域，其他部分的非均勻噪聲已基本消除，還原了圖像的本來面貌。圖4（e）為目標在不同區域的圖像匹配校正結果，與圖4（d）相比原有的目標區域和其各自沿著背景位移方向的后續像素點可以得到校正，將兩次的偏置校正系數結合，如圖4（f）所示，可以得到整幅圖像的校正效果。

圖1 圖4 目標和背景位移估計的仿真實驗

4.3 真實目標的非均勻性校正實驗

為了進一步驗證算法的實用性，本文選取從480×640 LW MCT IRFPA所采集到真實紅外目標序列圖像，與文獻［9］提出的算法進行比較。圖5（a）和（c）為兩幀噪聲圖像，可以看出，圖中的飛機在圖像序列中保持高度相似，相應的結果在圖5（b）中仍然顯示為僅次于背景峰值高度的一個峰值，整像素位移可以正確估計。將圖像進行微位移后進行雙線性插值操作，并與下一幀圖像進行配準代數校正，經過多幀補償校正后的結果如圖5（e）所示，圖像中大部分噪聲已經去除，群山、電塔和樓宇已清晰可見。圖5（d）為原有算法的校正結果，可見飛機覆蓋的區域及其各自沿著背景位移方向的后續像素點都出現了嚴重的校正錯誤。實驗證明了本文算法可以更好地從目標和背景相異位移的非均勻圖像中恢復原始圖像。

圖5 真實目標的非均勻性校正實驗

5 總 結

本文針對場景圖像中同時存在著相異運動的目標和背景，提出了一種基于目標與背景相異位移配準的校正算法，新算法通過分析傅里葉變換相位相關方法，估計出目標與背景的兩種運動位移，然后通過計算對應匹配像素點窗口內的平均絕對誤差將目標點、背景點和無匹配點進行標識區分，建立關于目標和背景四種位移量的誤差平方和方程組，聯合求解得到亞像素位移量，同時根據運動目標和背景的位移方向，通過剔除無匹配點的雙線性插值方法實現校正運算。在不同的噪聲和目標情況下，算法分別在計算機模擬實驗和實際實驗系統中得到驗證，表明算法的有效性。

［1］ Fan Yongjie，Jin Weiqi.Latest progress of IR image system processing electronic［J］.Optical Technique，2012，38（3）：362－366.（in Chinese）范永杰，金偉其.熱成像系統圖像處理電路的新進展［J］.光學技術，2012，38（3）：362－366.

［2］ Yu Fandi，Sun Zhiliang.Implementation of scene-based non-uniformity correction algorithm in scanning infrared camera［J］.Laser＆Infrared，2012，42（9）：989－993.（in Chinese）于繁迪，孫志亮.基于掃描型紅外熱像儀非均勻性場景校正算法的實現［J］.激光與紅外，2012，42（9）：989－993.

［3］ Wang Xuewei，Li Ke.Study of non-uniformity in infrared focal plane arrays［J］.Laser＆Infrared，2012，42（10）：1131－1134.（in Chinese）王學偉，李珂.紅外焦平面陣列的非均勻性研究［J］.激光與紅外，2012，42（10）：1131－1134.

［4］ D Scribner，K Sarkady，M Kruer，et al.Adaptive nonuniformity correction for IR focal plane arrays using neural networks［C］.Infrared Sensors：Detectors，Electronics，and Signal Processing，San Diego，CA，USA，July，24，1991，1541，100.

［5］ B Ratliff，M Hayat，et al.Algebraic scene-based nonuniformity correction in focal plane arrays［C］.Proceedings of the SPIE，2001，4372：114－124.

［6］ B Ratliff，M Hayat，et al.Radiometrically accurate scenebased nonuniformity correction for array sensors［C］. Journal of the Optical Society of America A，2003，10（20）：1890－1899.

［7］ Sui Jing，Jin Weiqi.A scene-based non-uniformity correction technique for IRFPA using perimeter diaphragm strips［J］.ICCCAS，2005，720（2）：716－720.

［8］ JinWeiqi，Sui Jing.Progress of researches in scene-based nonuniformity correction for IRFPA［J］.Transactions of Beijing Institute of Technology，2006，（36）：70－75.（in Chinese）金偉其，隋婧.基于場景的紅外焦平面陣列非均勻性校正算法研究［J］.北京理工大學學報，2006，（36）：70－75.

［9］ Liu Chongliang，Jin Weiqi.Infrared non-uniformity correction algorithm based on virtual perimeter diaphragm strips［J］.Acta Electronica Sinica，2011，（5）：1159－1164.（in Chinese）劉崇亮，金偉其.基于虛擬邊框視場光闌的IRFPA自適應非均勻性校正算法［J］.電子學報，2011，（5）：1159－1164.

［10］Lu Hao，Liu Tuanjie.Method of subpixel image registration［J］.Foreign Electronic Measurement Technology，2012，31（4）：45－49.（in Chinese）盧浩，劉團結.亞像素級的圖像配準方法［J］.國外電子測量技術，2012，31（4）：45－49.

［11］Deng Jianqing，Li Jinghong.Improved motion estimation algorithm based on Fourier-Mellin transform and keren algorithm［J］.Chinese Journal of Liquid Crystals and Displays，2011，26（3）：364－369.（in Chinese）鄧建青，劉晶紅.基于Fourier-Mellin變換和Keren算法的改進運動估計算法［J］.液晶與顯示，2011，26（3）：364－369.

［12］Ren Jianle，Chen Qian.Stripe nonuniformity correction based on registration for infrared-focal plane arrays［J］. Journal of Infrared and Millimeter，2011，30（6）：499－503.（in Chinese）任建樂，陳錢.基于配準的紅外焦平面陣列條紋非均勻性校正［J］.紅外與毫米波學報，2011，30（6）：499－503.

Non-uniform ity correction algorithm based on registration of differentmotions of target and background

A new Non-Uniformity Correction algorithm based on registration of differentmotions of target and background is proposed，for the situation of different displacements of target and background in infrared image.The new method estimates two of themotions of targetand background by shift theory of Fourier Transform algorithm and identifies target and background by Mean Absolute Difference algorithm.Motions of sub-pixel by establishing equations of sum square error of displacements of target and background are obtained.The ordinarymethod of Algebraic Non-Uniformity Correction algorithm is improved by correction according displacements of target and background，and the new algorithm is completed through Bilinear Interpolationmethod with excluding nomatching pixels.Computer simulations and actual experiments’result demonstrate，comparing with the ordinary Algebraic Non-Uniformity Correction algorithm，the proposed algorithm has the superiority，adaptability and a high practical value.

different motions；fourier transform；mean absolute difference；bilinear interpolation；algebraic non-uniformity correction

TN911.73

A

10.3969／j.issn.1001-5078.2013.11.19

1001-5078（2013）11-1286-05

楊 碩（1983－），男，博士生，研究方向為紅外圖像預處理。E-mail：yangdingshe＠gmail.com

2013-04-23；

2013-05-16