一種參數(shù)自適應(yīng)正則化超分辨率圖像重建算法

林玉明，趙勛杰，沈琪琪

一種參數(shù)自適應(yīng)正則化超分辨率圖像重建算法

林玉明1，趙勛杰2，沈琪琪2

（1. 朝陽廣播電視大學(xué)，遼寧 朝陽 122000；2. 蘇州大學(xué) 物理光電與能源學(xué)部，江蘇 蘇州 215006）

在正則化超分辨率重建算法中，正則化參數(shù)自適應(yīng)對于抑制噪聲和保持邊緣非常重要。參數(shù)自適應(yīng)通常是通過建立空間信息與參數(shù)的關(guān)系來實(shí)現(xiàn)的。在近期文獻(xiàn)中，提出了一些空間信息自適應(yīng)超分辨率重建方法，取得了較好的實(shí)驗(yàn)結(jié)果。然而在這些方法中，提取空間信息方法的計(jì)算量大，導(dǎo)致重建速度慢，限制了算法的應(yīng)用。提出一種快速空間信息提取方法，并構(gòu)建自適應(yīng)參數(shù)模型，實(shí)驗(yàn)結(jié)果顯示，該方法在大幅提高重建速度的同時(shí)，獲得了更好的重建效果。

正則化；超分辨率重建；參數(shù)自適應(yīng)；紋理保持

0 引言

圖像超分辨率重建是指由一幅低分辨率圖像或圖像序列恢復(fù)出高分辨率圖像的技術(shù)，利用超分辨率重建技術(shù)可以提高現(xiàn)有成像設(shè)備的分辨率[1]。因此，超分辨率重建技術(shù)的研究受到了廣泛的關(guān)注[2-3]。目前，該技術(shù)已經(jīng)用于實(shí)際紅外成像系統(tǒng)中[4-5]，并且，器件研發(fā)公司也已經(jīng)開發(fā)出專用的信號處理硬件[6-7]。

正則化方法是常用的超分辨率重建方法，在已經(jīng)提出的幾種正則化方法中，雙邊總變分正則化方法（BTV）[8]具有較好的重建效果，該方法能夠在去除噪聲的同時(shí)又能較好的保持圖像的邊緣信息，其形式如下：

式中：為選取窗口的半徑；為正則化參數(shù)，控制著求解過程中兩項(xiàng)的相對貢獻(xiàn)量；S和S分別為圖像沿和方向分別平移和個(gè)像素算子；為尺度加權(quán)系數(shù)，取值范圍(0, 1)。

在式(1)中權(quán)值為＋，即在離中心像素點(diǎn)相同距離的像素的加權(quán)系數(shù)是相同的，這種處理在邊緣和紋理區(qū)域是不合理的，會(huì)導(dǎo)致一定程度的邊緣模糊。合理的處理方法是：沿紋理方向的像素的權(quán)值應(yīng)大于垂直于紋理方向的像素。此外，在式(1)中為定值，這使得算法不能同時(shí)兼顧去除噪聲和保持圖像紋理。過小不能很好地抑制噪聲，過大重建圖像過于平滑，不能很好地保持圖像的邊緣和紋理信息。針對這一問題，蔣[9]和沈[10]等人分別提出了參數(shù)自適應(yīng)重建算法，在蔣的方法中，利用圖像局部協(xié)方差矩陣提取紋理特征，并用紋理信息控制權(quán)函數(shù)形狀、帶寬和正則化參數(shù)，使這些參數(shù)根據(jù)圖像局部空間信息自適應(yīng)地調(diào)整；在沈的方法中，基于灰度共生矩陣提取圖像紋理信息，根據(jù)紋理信息確定值。雖然兩種方法都取得了比BTV方法更好的重建結(jié)果。然而，他們在提高重建質(zhì)量的同時(shí)，大大增加了重建的時(shí)間，這也限制了其方法的應(yīng)用。本文提出一種快速提取圖像紋理特征的方法，并據(jù)此構(gòu)建加權(quán)系數(shù)和正則化參數(shù)，以達(dá)到又快又好的重建圖像的目的。

1 紋理信息提取方法

紋理方向參數(shù)的計(jì)算方法是：設(shè)定4個(gè)紋理方向，分別為0°，45°，90°和135°（如圖1所示），對3×3鄰域內(nèi)4個(gè)方向上的值分別求和，1＝4＋5，2＝3＋6，3＝2＋7，4＝1＋8。這樣，(＝1, 2, 3, 4)取值與紋理取向有關(guān)，在紋理方向最小。

2 正則化參數(shù)和加權(quán)系數(shù)選擇方法

根據(jù)上一章計(jì)算出的紋理信息（用表征）和紋理方向參數(shù)（用表征）建立加權(quán)系數(shù)和正則化參數(shù)模型。確定兩個(gè)參數(shù)的原則是：在邊緣和紋理區(qū)域，的值較小，而在平滑區(qū)域，較大；垂直紋理（或者邊緣）方向加權(quán)系數(shù)下降的速度要比沿著紋理（或者邊緣）方向的要快。據(jù)此，我們建立正則化參數(shù)和加權(quán)系數(shù)模型。

圖1 紋理方向示意圖

正則化參數(shù)由下式確定：

式中：，，取值根據(jù)實(shí)驗(yàn)確定。

鄰域像素的加權(quán)系數(shù)由下式確定：

式中：，為常數(shù)，取值根據(jù)實(shí)驗(yàn)確定；和、的含義與式(1)中相同。由式(3)計(jì)算的權(quán)值，與中心像素距離＋點(diǎn)的權(quán)值與該方向的值有關(guān)，小的方向權(quán)值大。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的性能，我們對仿真圖像和實(shí)拍圖像進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)是在WindowsXP，Matlab7.9.0的平臺(tái)上進(jìn)行的，計(jì)算機(jī)配置是Intel(R)酷睿2 E7200 2.53GHz，內(nèi)存為1GB。

實(shí)驗(yàn)一，將一幅分辨率為120×120的EIAcen圖像，根據(jù)圖像退化模型，依次經(jīng)過偏移、光學(xué)模糊、降采樣和加噪聲，生成4幅分辨率為60×60的低分辨率圖像，其中采用的模糊函數(shù)是3×3，方差為1的高斯函數(shù)。圖像重建實(shí)驗(yàn)步驟為：首先我們用文獻(xiàn)[11]的配準(zhǔn)方法進(jìn)行圖像配準(zhǔn)，然后采用經(jīng)過雙線性2倍插值的圖像作為高分辨率圖像的初始估計(jì)，最后采用最速下降法迭代求解（迭代步長為）。

圖2(a)為一幀低分辨率圖像，圖2(b)為文獻(xiàn)[8]算法得到的圖像，圖2(c)為文獻(xiàn)[9]算法重建得到的圖像和圖2(d)為本文算法重建出來的圖像。在本文算法中，參數(shù)，，，，通過實(shí)驗(yàn)確定為：＝0.012，＝0.0001，＝1，＝0.9，＝0.05；D＝2，＝2，＝1。BTV算法中，＝0.6，＝0.005，＝2，＝1。由圖2可以清楚地看出，本文方法重建效果最好，很好地保留了圖像的紋理信息。表1給出了采用不同方法的重建時(shí)間。

圖2 重建結(jié)果對比圖

表1 圖2中不同方法的重建時(shí)間

由表1給出的重建時(shí)間可以看出，本文方法重建時(shí)間雖比文獻(xiàn)[8]方法略長，但是比文獻(xiàn)[9]重建時(shí)間大幅度減少。為了進(jìn)行重建質(zhì)量客觀的對比，我們還計(jì)算了這3幅圖像的平均對比度，列于表2。從表2中數(shù)據(jù)可以看出本文方法的平均梯度值最大，也說明本文算法的優(yōu)越性。

表2 圖2中原圖和重建圖像平均梯度

實(shí)驗(yàn)二，選用一幅為分辨率90×90的Flower圖像。分別經(jīng)過與實(shí)驗(yàn)一相同的處理獲得4幅45×45的低分辨率圖像。然后，按實(shí)驗(yàn)一的步驟進(jìn)行圖像重建。圖3為本文方法與文獻(xiàn)[9]和BTV方法實(shí)驗(yàn)結(jié)果的對比。圖3(a)為一幀低分辨率圖像，圖3(b)為采用文獻(xiàn)[8]算法重建的圖像，圖3(c)為文獻(xiàn)[9]算法重建的圖像，圖3(d)為本文方法重建的圖像。其中文獻(xiàn)[8]算法中，＝0.6，＝0.005，＝2，＝1。本文算法中，＝0.012，＝0.0001，＝1，＝0.9，＝0.05，D＝2，＝2，＝1。

由圖3可以看出，本文方法比文獻(xiàn)[8]算法和文獻(xiàn)[9]算法更好地保留了圖像的紋理細(xì)節(jié)。同時(shí)，從表3可以看出，本文算法運(yùn)行時(shí)間遠(yuǎn)遠(yuǎn)小于文獻(xiàn)[9]的方法。此外，表4的數(shù)據(jù)也顯示，對于紋理密集的圖像，本文方法重建出的圖像的平均梯度明顯高于其他方法。

圖3 Flower圖的重建結(jié)果對比

表3 圖3中不同方法的重建時(shí)間

表4 圖3中原圖和重建圖像平均梯度

實(shí)驗(yàn)三，實(shí)拍紅外視頻重建。實(shí)驗(yàn)方法是：手持紅外熱像儀（以使不同幀間產(chǎn)生隨機(jī)移動(dòng)）拍攝一段視頻，在視頻重建時(shí)，每相鄰4幀圖像重建一幀（每4幀中的第一幀的雙線性2倍插值作為重建幀的初始估計(jì)），依次滑動(dòng)，完成視頻的重建。我們對幾段視頻進(jìn)行了重建，參數(shù)取值同上，圖4給出部分結(jié)果。圖4(a)、(c)是原始視頻中的一幀，(b)、(d)分別是采用本文算法重建的對應(yīng)圖像視頻中的一幀圖像。

從圖4(b)和(d)可以看出，重建圖像的質(zhì)量有了明顯改善，重建的圖像細(xì)節(jié)更清晰。從表5的數(shù)據(jù)也可以看出，重建圖像的平均梯度明顯提高。

圖4 實(shí)拍紅外圖像重建結(jié)果

表5 原視頻和重建視頻平均梯度

4 結(jié)論

本文提出了一種新的圖像紋理信息提取方法，并建立了局部紋理信息與正則化參數(shù)和鄰域像素權(quán)值的函數(shù)關(guān)系，實(shí)現(xiàn)了正則化參數(shù)和權(quán)值的自適應(yīng)選擇。對所提出的方法進(jìn)行了大量的實(shí)驗(yàn)驗(yàn)證，結(jié)果表明本文算法重建速度明顯提高，與同類算法相比，重建圖像的邊緣和紋理信息保持得更好。將本方法應(yīng)用在普通紅外視頻上，也同樣得到非常好的重建圖像效果。

[1] Keith Krapels, Ronald G. Driggers. Characteristics of infrared imaging systems that benefit from superresolution reconstruction[J]., 2007, 46(21): 4594-4603.

[2] Pandya Hardeep, Prashant B. Swadas, Mahasweta Joshi. A Survey on techniques and challenges in image super resolution reconstruction[J]., 2013, 2(4): 317-325.

[3] 張強(qiáng), 張愛梅, 王華敏, 等. 基于自訓(xùn)練字典學(xué)習(xí)的單幅圖像的超分辨率重建[J]. 紅外技術(shù), 2015, 37(9): 736-739

ZHANG Qiang, ZHANG Aimei, WANG Huamin, et al. Single image super-resolution reconstruction based on self-learning dictionary[J]., 2015, 37(9): 736-739.

[4] RTG-076 group. Super-Resolution and Advanced Signal Processing for EO/IR Sensor Performance (SET-140) [EB/OL]. [2015-12-13]. https://www.cso.nato.int/ACTIVITY_META.asp?ACT=1651.

[5] Raytheon. Next Generation EO/IR Detectors, Raytheon[EB/OL]. [2015-12-13]. http://www.raytheon.com/news/technology_today/2014 i1 / nextgen.html.

[6] Altera Corporation.[M/OL]. [2010-06-10]. https://www.altera.com/content/dam/altera-www/global/en_US/pdfs/literature/wp/wp-01129-eoir.pdf.

[7] A Robert Wei?, Uwe Adomeit. A standard data set for performance analysis of advanced IR image processing techniques[C]//, 2012, 8355: 835512.

[8] Farsiu S, Robinson M D. Fast and robust multi-frame super resolution[J]., 2004, 13(10): 1327-1344.

[9] 蔣曉慧, 張雪松, 趙勛杰. 自適應(yīng)加權(quán)的總變分正則化圖像超分辨率重建[J]. 紅外技術(shù), 2014, 36(4): 290-294.

JIANG XiaoHui, ZHANG Xue-song. ZHAO Xunjie. A super-resolution algorithm based on adaptive weighted total variation[J]., 2014, 36(4): 290-294.

[10] 沈琪琪. 圖像局部紋理特征自適應(yīng)超分辨率重建[J]. 光電技術(shù)應(yīng)用, 2015, 30(4): 24-27.

SHEN Qiqi. An adaptive super-resolution reconstruction of image local texture feature[J]., 2015, 30(4): 24-27.

[11] LI Chengjin, ZHAO Xunjie. A fast image registration algorithm for super-resolution[C]//, 2013, 8907: 89070J.

A Regularization Super-resolution Image Reconstruction Algorithm with Adaptive Parameters

LIN Yuming1，ZHAO Xunjie2，SHEN Qiqi2

(1.,122000,; 2.,,215006,)

In regularization super-resolution image reconstruction，adaptive regularization parameter is very important for reducing noise and keeping texture. In general, a regularization parameter adjusted adaptively is implemented by building a calculation formula which relates the parameter with the local texture feature. In recent work, several methods of adaptive regularization parameters were proposed and the test shows that the quality of reconstruction is enhanced. However, in the algorithms, calculation for local texture feature stakes too much time and it leads to long reconstruction time, which limits its applicability. In this paper, we develop an adaptive regularization approach based on the fact that the regularization parameter should be a function of local texture feature. The performance of the proposed approach has been tested on several images and the obtained results demonstrate the superiority of our approach compared with existing methods.

regularization，super-resolution reconstruction，adaptive parameter，texture preserving

TP391

A

1001-8891(2016)07-0592-05

2015-12-13；

2016-03-09.

林玉明（1969-），男，遼寧朝陽人，副教授，研究方向?yàn)橛?jì)算機(jī)技術(shù)應(yīng)用。

國防科技重點(diǎn)實(shí)驗(yàn)室基金項(xiàng)目。