一種低匹配誤差敏感度的紅外圖像超分辨率算法

姚 敏，周 勤

?

一種低匹配誤差敏感度的紅外圖像超分辨率算法

姚 敏，周 勤

（武漢東湖學院 電信學院，湖北 武漢 430212）

提出了一種能夠克服匹配誤差的紅外圖像超分辨率算法。該算法采用了多通道自適應正規技術來處理由于紅外圖像匹配不精確而引起的病態問題。由于每幅低分辨率圖像的匹配誤差都不相同，因此每個通道的正規參數都自適應地被正規參數函數選擇。提出的算法能夠在沒有任何先驗信息的情況下對于圖像匹配誤差具有很強的魯棒性。隨著迭代過程的進行每個正規參數以及重建的圖像不斷地被更新。實驗結果表明該算法相比傳統算法在客觀量度和視覺效果兩個方面都具有較好性能。

紅外圖像；超分辨率；圖像匹配；匹配誤差；正規參數

0 引言

高分辨率圖像可以擁有更多的細節信息，在醫學成像[1]、天文遙感[2]、計算機視覺[3]、偵察監視等諸多領域有著廣泛的應用。目前可見光成像已經達到了相當高的分辨率，但紅外成像由于硬件條件的限制，尚無法獲得與可見光成像類似的高分辨率圖像，應用圖像超分辨率（SR）技術可以改善這個問題。圖像超分辨率技術可以利用一幅或幾幅低分辨率圖像，結合圖像的先驗知識，對圖像進行去模糊和降噪處理，最終恢復出更加真實的高分辨圖像[4]。一般可分為單幀圖像超分辨率復原和多幀圖像超分辨率重建[5]。在大多數情況下，多幀超分辨率重建的效果要好于單幀超分辨率復原的效果。目前多幀超分辨率重建算法主要包括：非均勻差值法[6]、最大后驗概率法[7]、凸集投影算法[8]、迭代反投影算法[9]。

超分辨率重建中的一個關鍵步驟是圖像匹配，匹配精度對于重建效果有重要影響。Patti[10]等人在視頻序列超分辨率重建中為解決時間變化和運動導致的圖像模糊問題，采用了快速匹配和相位相關方法進行亞像素運動估計。Qin等人[7]提出一種基于迭代后集投影的超分辨率算法，通過采用泰勒展開的方法實現亞像素匹配。但紅外成像反應的是目標物體和場景的熱輻射差異，紅外圖像場景元素不夠豐富，目標灰度單一，導致實際亞像素匹配較為困難。在很多傳統超分辨率重建算法中，忽略了匹配誤差或假設匹配誤差不存在，這在紅外圖像超分辨率重建應用中是不可行的。

針對紅外圖像的超分辨率重建問題，本文提出了基于多通道自適應正規化的重建算法，用于處理各幀低分辨率紅外圖像匹配誤差不一致的情況，采用正規參數函數來自適應選擇各個通道的正規參數，在迭代過程中根據重建出的高分辨率圖像來不斷更新各個通道的正規參數，從而補償各幀圖像的匹配誤差，這使得該算法能夠對匹配誤差具有較強的魯棒性。

本文第1章簡要介紹了圖像退化模型，第2章主要介紹自適應多通道正規方法，第3章對算法進行了驗證和分析。

1 圖像退化模型

為了從一系列低分辨率（LR）圖像重建高分辨率（HR）圖像，需要對圖像采集程中引起的退化因素進行分析和建模，為逆問題的求解提供依據。目前的超分辨率重建算法大多都是基于一個統一的退化模型，如圖1所示。

在本文中，大小為11×22的原始高分辨率圖像采用字典形式表示為列向量后大小為1122×1。1，2分別代表圖像退化模型中，水平方向和垂直方向的下采樣系數。假設總共采集了幀低分辨率（LR）圖像，則圖像觀測模型可以表示為：

＝＋n，＝1,2,…(1)

式中：表示大小為12×1低分辨率圖像列向量；是一個大小為1122×1122的矩陣，表示場景圖像相對于傳感器產生的相對運動；是一個大小為1122×1122的點擴散模糊矩陣；矩陣的大小為12×1122，它表示LR圖像獲取過程中的下采樣過程。n大小為12×1，表示加性噪聲，一般假定噪聲為零均值的加性高斯噪聲。

2 基于多通道正規化超分辨率算法

從一系列LR圖像中估計出HR圖像是一個病態問題，需要采用一種正規化方法，本文主要采用了一種多通道正規化方法。

2.1 多通道正規化方法

通常在正規化方法中都需要關于原始高分辨率圖像的先驗信息，這個先驗知識可以將SR問題的解限制在一個集合里面：

?S(2)

式中：S是一個包含有一系列具有共同性質的解的集合。本文采用的是高斯平滑先驗模型，即假設原始高分辨率圖像都是平滑的，用公式可以表示為：

式中：表示一個高通濾波算子。這個集合意味著圖像采集過程中的加性高斯噪聲是限定在一定范圍之內的。

類似地，還可以定義圖像運動估計誤差先驗模型，即：

上式中的左邊表示由于運動估計誤差引起的超分辨率重建誤差，這個先驗模型意味著運動估計誤差是限制在一定范圍之內的。其中，E2的大小與第幀低分辨率圖像運動估計誤差的方差成比例。由式(3)和式(4)定義的集合是橢圓體，最終估計的超分辨率圖像將包含在兩個集合的交集中。如果所有的邊界E2和2是已知的，并且兩個橢圓體有一個非空的交集，那么最終的求解可以通過最小化一個代價函數來獲得，這個代價函數由式(5)給出：

圖1 圖像退化模型

Fig.1 Image degradation model

在前面所述的假設中，邊界E2和2被作為一個已知先驗信息，然而，這一假設通常是很難實現的，這也限制了這個方法的應用，因此這里假設預先沒有獲取任何關于邊界E2和2的先驗知識，而正規參數值則根據當前重建出的超分辨率圖像來確定。通過代換，式(5)可以表示為：

2.2 正規參數函數

在本文提出的算法中，正規參數的值通過一個函數來確定的。選擇一個合適的正規參數函數是該算法的關鍵，這個正規參數函數可以充分利用迭代過程中獲取的信息進行更新，并找到合適的正規參數用于下次迭代。

為了同時實現抑制匹配誤差和噪聲的目的，正規參數函數需要同時具備以下性質：

1）()應該與匹配誤差的值成反比例關系；

2）()應該與重建圖像中的低頻成分成正比，即：

3）()應該大于零。

根據該性質，本文正規參數函數由式(8)給出：

2.3 梯度下降最小化算法

對式(6)給出的代價函數進行最小化估計，迭代過程采用梯度下降法，計算過程由式(9)給出，其中超分辨率圖像的初始為0，通常由雙線性插值或三次插值獲得。

式中：()表示代價函數()對每個像素的梯度函數；d表示梯度第步的下降步長，其由式(10)計算得到：

3 實驗仿真結果與分析

為了驗證算法的有效性，進行了仿真實驗，根據4幅模擬低分辨率紅外圖像重建出高分辨圖像。按照退化模型（圖1）可以模擬產生4幅退化的低分辨率紅外圖像。在退化過程中，原始圖像被分別平移（0,0）、(0,1)、(1,0)和(1,1)，點擴散模糊采用的是5×5的高斯平滑模板，下采樣率為2，最后添加功率為10dB的高斯噪聲，生成4幅低分辨率退化圖像，它們的平移分別為(0,0)、(0,0.5)、(0.5,0)和(0.5,0.5)。在本文中，假設亞像素平移存在一定的誤差，存在誤差的平移參數如表1所示。

表1 不精確的亞像素平移估計

實驗中將本文算法和傳統固定正規參數方法進行比較，采用峰值信噪比（PSNR）來定量地評價算法的重建效果，其定義由式(11)給出。為了便于參考比較，3次插值放大的圖像也在結果中展示出來：

在實驗中，傳統方法的正規參數是固定值，通過對“靶標”進行一系列仿真實驗，選擇最大PSNR值對應的正規參數值。從圖2中可以看出，固定正規參數選擇40較合適。

圖2 “靶標”圖像的PSNR-正規參數曲線

傳統方法和本文采樣的多通道正規方法重建結果的PSNR值如表2所示。

表2 在不同的估計誤差下各種算法的PSNR值

從這些實驗結果可以看出來，本文提出的算法在圖像匹配存在一定誤差的情況下可以獲得更好的重建效果。兩種算法的重建的高分辨率圖像以及原始圖像如圖3～圖4所示。

從以上這些圖片中可以看出，超分辨率重建算法獲得的結果通常都比插值放大的效果好。隨著匹配誤差的增加，無論是傳統方法還是本文采用的多通道正規化方法的重建結果都在變差，但是本文提出的超分辨率算法相比傳統的固定正規參數的方法可以重建更多的圖像細節，對于匹配誤差具有更強的魯棒性。圖5給出了“靶標”圖像重建迭代過程中各個通道的正規參數值的變化趨勢，從圖中可以看出，正規參數值最終的大小與其對應通道的圖像匹配誤差成負相關，從這可以初步估計圖像匹配誤差的大小。

4 結論

本文提出了一種克服圖像亞像素匹配誤差的紅外圖像超分辨率重建算法。在該算法中采用了一種多通道自適應正規化方法，通過在迭代過程中不斷更新各個通道的正規參數來實現對匹配誤差的補償。在實驗中采用一系列模擬退化的低分辨率圖像進行超分辨率重建，在平移參數估計中添加了不同的匹配誤差，最終的仿真結果表明本文提出的算法對圖像匹配誤差具有較強的魯棒性，能夠重建出較好的超分辨率紅外圖像。

圖3 靶標的超分辨率算法重建結果對比

Fig.3 Comparison of the reconstruction results with super resolution algorithm

圖4 “外場景”的超分辨率算法重建結果

圖5 “靶標”圖像重建過程中的正規參數值

[1] 徐啟飛. 醫學圖像自適應超分辨率重建算法的研究[D]. 廣州: 南方醫科大學, 2008.

XU Qifei. Research on Adaptive Super Resolution Reconstruction Algorithm of Medical Image[D]. Guangzhou:, 2008

[2] 張艷, 王濤, 徐青, 等. 基于HMRF先驗模型的HBE衛星遙感圖像超分辨率重建[J].武漢大學學報: 信息科學版, 2007(7): 589-592.

ZHANG Yan, WANG Tao, XU Qing, et al. Super resolution reconstruction of HBE satellite remote sensing image based on HMRF model [J]., 2007 (7): 589-592.

[3] 郭海霞, 劉海歐, 郭海龍, 等. 基于低層次計算機視覺的超分辨率圖像重建[J]. 計算機工程與應用, 2009(29): 164-167.

GUO Haixia, LIU Haiou, GUO Hailong, et al. Super resolution image reconstruction based on the low level computer vision [J]., 2009 (29): 164-167.

[4] 周琳, 楊娜. 基于離線雙字典學習算法的圖像超分辨率重建研究[J]. 紅外技術, 2015, 37(4): 277-282.

ZHOU Lin, YANG Na. Image super resolution reconstruction based on offline double dictionary learning algorithm[J]., 2015, 37(4): 277-282

[5] 蔣曉慧, 趙勛杰, 李成金, 等.自適應加權的總變分正則化圖像超分辨率重建[J]. 紅外技術, 2014, 36(4): 290-293.

JIANG Xiao Hui, ZHAO Xun-jie, LI Cheng-jin, et al. A super-resolution algorithm based on adaptive weighted total variation[J]., 2014, 36(4): 290-293.

[6] ZHANG H C, YANG J C, ZHANG Y N, et al. Non-local Kernel regression for image and video restoration[J].2010, 6313(III): 566-579.

[7] YUAN Q Q, ZHANG L P, SHEN H F, et al. Adaptive multiple-frame image super-resolution based on U-curve[J]., 2010, 19(12): 3157-3170.

[8] Gevrekci M, Gunturk B K, Altunbasak Y. POCS-based restoration of Bayer-sampled image sequences[C]//, 2007, I(PTS 1-3): 753-756.

[9] QIN F Q, HE X H, CHE W L, et al. Video super-resolution reconstruction based on subpixel registration and iterative back projection[J]., 2009, 18: 0130071.

[10] Patti A J, Sezan M I, Tekalp A M. Super resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time[J]., 1997, 6(8): 1064-1076.

An Infrared Images Super-resolution Algorithm with Low Registration Error Sensitivity

YAO Min，ZHOU Qin

(,430212,)

This paper proposes an infrared images super-resolution algorithm which is insensitive to image registration error. The proposed method mainly applies a multichannel regularized technology to handle the ill-posed problems introduced by the infrared image registration error. Since the registration error in each low-resolution image has a different pattern, the regularization parameters are determined adaptively for each channel. The proposed algorithm is robust against the image registration error and it does not require any prior information. The regularization parameters and estimated high-resolution images are updated with the progress of iteration. The performance of the proposed method is validated by implementing a series of experiments. The experimental results show the proposed algorithm performs better than the conventional method, both in quantitative terms and in visual effects.

infrared image，super-resolution，image registration，registration error，regularization parameter

TN219

A

1001-8891(2016)10-0864-06

2016-04-08；

2016-07-05.

姚敏（1981-），女，湖北孝感人，副教授，主要從事光電圖像信息處理研究。E-mail：13930599@qq.com。

武漢東湖學院校級基金項目“分塊壓縮感知在圖像重構中的應用研究”。