基于非冗余信息的超分辨率算法

鮮海瀅 傅志中 萬 群 徐 進

（1.電子科技大學電子工程學院，四川 成都611731；2.電子科技大學通信與信息工程學院，四川 成都611731）

引 言

超分辨率重建技術早期主要集中在單幀領域［1］。1984年，Tsai和 Huang［2］首次提出用低分辨率、欠采樣圖像序列生成高分辨率圖像的思想，多幀超分辨率技術成為近二十年來研究的主流。各國專家提出了大量算法，包括自適應估計［3－4］；最大似然估計（ML）［5］；最大后驗概率估計（MAP）［6－8］；凸集投影（POCS）［9］；小波插值［10－11］等。

Peyman在最近的新書［12］中指出：“多幀超分辨率技術背后的基本思想是，將低分辨率（LR）序列中的非冗余信息盡量納入高分辨率（HR）圖像中”，但縱觀傳統多幀重建技術，對于LR序列中的非冗余信息并未引起足夠重視，普遍將所有信息視作平等對象加以處理。序列在時空域中的相關性很強，非冗余信息所占比重非常低，價值卻非常高，忽視這一矛盾，其結果就是，非冗余信息在重建過程中被平滑或忽略。

1.基于MAP的多幀超分辨率重建算法框架

傳統MAP多幀超分辨率重建算法基本觀察模型為

式中：Yk是LR序列中第k幀的字典序列向量；X是理想HR圖像的字典序列向量；n（k）為0均值高斯噪聲；D是亞采樣矩陣；Bk是模糊矩陣；Tk是形變矩陣。

在多幀超分辨率重建技術中，一般認為亞采樣矩陣D已知。Yk作為觀察序列，也是已知的。對于形變矩陣Tk，有兩類處理方式，一類是采用配準技術，先獲得LR序列的全域運動參數，再映射到高分辨率網格上，另一類是通過交替迭代的辦法，在求解HR圖像的過程中，不斷修正該矩陣參數。對于模糊矩陣Bk，很多算法也假設已知，采用基于Radon變換的模糊參數估計技術，建立該矩陣。

1.1 圖像配準

對序列各幀的運動估計，采用光流方程算法。Shi在文獻［13］中，對光流方程算法的速度適用條件進行了詳細論述，提出了一種改進光流方程算法。該算法主要思路是，以塊匹配算法粗略的估計兩幀圖像的高速運動矢量，得到（δx，δy）——整像素級位移，以該參數對兩幀圖像進行預補償，使其殘余運動矢量滿足低速運動條件。再用光流方程算法對補償后的圖像進行運動估計，得到殘余運動矢量（Δx，Δy）——亞像素級位移，最終運動矢量為（δx＋Δx，δy＋Δy）。隨后，利用上采樣技術將運動參數映射到高分辨率網格上，即可得到形變矩陣Tk.

1.2 模糊參數估計

在多幀超分辨率重建技術中，造成模糊的主要原因在于攝像機自身運動，致使序列出現運動模糊。因此，采用基于Radon投影的技術［14］估計序列中的模糊參數，進而建立模糊矩陣Bk.

對LR圖像進行傅里葉變換，通過Radon投影并求解最大值，可以得到模糊角度參數bθ，由暗條紋的間距可以得到運動模糊的尺度參數bsize.得到角度與尺度參數后，生成二維運動模糊算子bparameter，算子bparameter中各元素bparameter（x，y）滿足如下條件

通過上采樣，對數據進行裝配，即可得到模糊矩陣Bk.

2.基于非冗余信息的重建算法

任意序列都包含3類信息：冗余信息，各幀都包含的信息；非冗余信息，各幀之間的差異信息；以及噪聲。對多幀超分辨率技術而言，非冗余信息才是關注的重點。因為超分辨率技術的目的，并不單純為了放大圖像，而是希望結果圖像盡可能多的涵蓋序列中的所有信息，所以，各幀之間的差異信息顯得尤為重要。由此，建立如下模型

式中：X為理想HR圖像；Xredundance為冗余HR圖像；Xnon－redundance為非冗余HR圖像；n1為0均值高斯噪聲；Yk是觀察序列中一幀，k＝1，2，…K，K 為序列 長度；Yredundance為 冗 余 LR 圖 像為第k幀非冗余圖像；n2（k）為0均值高斯噪聲。分兩步對原始LR序列進行超分辨率處理。對LR序列Yk進行處理，得到冗余HR圖像Xredundance；后對非冗余序列進行處理，得到非冗余 HR圖像Xnon－redundance，將二者進行融合得到HR圖像X.

2.1 冗余高分辨圖像

根據MAP超分辨理論，如下公式成立

依據貝葉斯理論，得到重建公式

式中：K 為LR序列的幀數；α1為正則化參數；f（X）為勢函數，選用高斯馬爾可夫隨機場（GMRF）函數，即式（4）中第二行公式；C為高通濾波算子，選用二維拉普拉斯算子。欲使式（4）最小，可對其右端求向量Xredundance的偏導數，并令其等于0.由于矩陣Hk的規模巨大，傳統上采用迭代方法進行逼近。由式（4）可得

采用梯度下降法求解式（5），可得

式中：l為迭代次數；μl為迭代步長。為初始HR圖像，本文通過對LR參考幀進行雙線性插值獲得。迭代結束條件為

式中ε為一很小的正數。

2.2 非冗余高分辨圖像

同理，對非冗余信息，如下公式成立

式中：α2為正則化參數；K為序列的幀數。比較Xredundance重建公式（4）與Xnon－redundance重建公式（9），兩式最大不同在于公式右端最后一項。式（4）由于不知道Xredundance概率密度函數，所以采用勢函數f（）來逼近；而式（9）中，Xnon－redundance概率密度函數服從高斯分布。Xnon－redundance的重建公式如下

式中：ELMLN為LxMLyN×LxMLyN 的單位矩陣；k為迭代次數；μk為迭代步長［15］。為初始HR非冗余圖像，通過對LR參考幀的非冗余圖像進行雙線性插值獲得。迭代結束條件為

式中ε為一很小的正數。

3.非冗余序列估計

該算法需要從序列中提取非冗余信息。借鑒雜波抑制思想［15－16］采用自適應技術，估計冗余圖像，進而得到非冗余序列。

3.1 冗余圖像估計算法

在前文超分辨率算法中，以向量Yk表示輸入的LR序列。為避免混淆，在冗余圖像估計算法中，以矩陣Y（k）表示輸入LR序列，（k＝1，2，…，K，K 為序列長度）。

令冗余圖像為Yredundance，Yredundance中的任意一個像素Yredundance（x，y），與序列Yk中每一幀的相同位置像素Y（x，y，k）的差值平方和最小，（k＝1，2，…，K）.即

由此可見，漢代皇帝的敕令要想上升為法律，有嚴格的立法程序。首先，須要“具為令”，讓某項皇帝的敕令獲準立法，進入立法計劃。然后，將進入立法計劃的令交由朝臣商議后完成內容的制定。即“著為令”或“議著為令”。最后經由皇帝批準，頒行天下。

將Y（k）中每一幀以相同的方式分割為尺寸為m×n像素的塊（本文選用8×8像素塊），定義為Bmn（mn＝1，2）.設Y（k）中各像素值為Y（x，y，k），將各像素裝配成向量Y（x，y）＝［Y（x，y，1］，Y（x，y，2），…，Y（x，y，K）］T.冗余圖像Yredundance中任意一個像素的灰度定義為Yredundance（x，y）.選用空、時三維鄰域，令Y（x，y）的鄰域為

該鄰域為長度為l的列向量，l＝8×K.則

式中：W 為權向量，W＝ ［w1，w2，…wl］T，且sum（W）＝1.它與Bmn為一一對應關系，即一個m×n像素的塊對應一組權向量。根據式（12）的估計公式，建立如下代價函數

式中：＜＞為內積算子；Ek＝［1，1，…1］T，為長度為K的列向量。通過如下方程求解最優權向量

冗余圖像可通過式（16）進行估計。

3.2 冗余圖像最優權向量計算

3.3 非冗余圖像序列

得到冗余圖像Yredundance后，將其與LR序列Y（k）進行差分、歸一化，并以字典序進行裝配，即可得到非冗余序列

4.試 驗

圖1（a）是一幀HR紅外圖像，大小為720×576像素。通過均勻亞采樣、運動模糊（模糊角度為3°，尺度為3像素），生成一個LR序列（圖1（b）上）（180×144像素）。再對LR序列進行配準、估計模糊參數與冗余圖像（圖1（b）下）等過程，重建 HR圖像（圖1（c））。在模糊參數估計時，得到的角度參數為2°，尺度參數為2像素。

前文1.2節中假設，非冗余圖像服從高斯分布。對其進行仿真驗證。采用Parzen窗算法繪制非冗余圖像的經驗概率密度函數，如圖2所示。可以看出，非冗余圖像的經驗概率密度函數與標準正態分布非常近似，從而說明前文的分析是合理的。

圖3是采用圖1（b）的LR紅外序列進行的仿真試驗，亞采樣和模糊算子與圖1相同。圖3（a）～（c）是單幀超分辨算法的結果；圖3（d）～（g）是傳統多幀超分辨算法的結果；圖3（h）是本文算法結果。圖3（a）～（h），各算法的放大因子均為4×4.

圖3的仿真試驗存在HR的原圖，可采用峰值信噪比（PSNR）指標定量對比各種算法性能。計算結果見表1.通過圖3和表1的對比可以看出，本文算法無論相對于傳統單幀還是多幀算法，都有更好的性能。大量試驗表明，單幀算法在對噪聲嚴重的紅外圖像進行處理時，塊效應較為明顯。傳統多幀超分辨率重建算法，在對不同紅外圖像進行處理時，性能不穩定，常出現水波狀振鈴。我們的算法無論主觀感受還是量化指標的表現都相對更好。

用實際拍攝的空對地紅外序列進行仿真。圖4（a）（左）為該序列中一幀，大小為128×160像素，序列長度為16幀。先對序列的模糊參數進行估計，其中模糊角度為1，尺度參數為2像素，圖4（a）（右）為估計的冗余圖像。圖4（b）～（e）是傳統超分辨率算法重建的圖像，圖4（f）為本文算法重建圖像，放大因子都為4×4.從中可以看出，頻域算法有一定振鈴現象，而自適應和凸集投影（POCS）算法則在景物邊緣出現一定程度的模糊，傳統MAP算法對于細節的展示不如本文算法。

表1 各種超分辨率算法PSNR對比

5.結 論

傳統多幀超分辨率技術，由于利用了多幀信息，從理論上講，效果應該優于單幀技術。但就目前的多幀技術研究程度而言，優勢尚不明顯。在多幀技術中，各幀之間的差異信息，即非冗余信息才是最為重要的分量，然而傳統多幀技術對此卻少有重視。由于非冗余信息在整個圖像信息中，權重極低，若不對非冗余信息進行單獨處理，則非冗余信息極易在重建過程中，為冗余信息所掩蓋。本文提出一種新的多幀重建算法，提取并單獨處理非冗余信息，以最大限度的凸顯該分量在超分辨率處理過程中的重要地位。

［1］GONZALEZ R C，WOODS R E.Digital Image Processing［M］.Bostom：Pearson Prentice Hall，2007.

［2］TSAI R Y，HUANG T S.Multiframe image restoration and registration［J］.Advances in Computer Vision and Image Processing，1984，1：317－339.

［3］HARDIE R C.A fast super－resolution algorithm using an adaptive wiener filter［J］.IEEE Trans Image Process，2007，16（12）：2953－2964.

［4］ELAD M，FEUER A.Superresolution restoration of an image sequence：adaptive filter approach［J］.IEEE Trans.Image Processing，1999，8（3）：387－395.

［5］ELAD M，FEUER A.Restoration of single super－resolution image from several blurred［J］.IEEE Trans.Image Processing，1997，6（12）：1646－1658.

［6］BAKER S，KANADE T.Limits on super－resolution and how to break them［J］.IEEE Trans.Pattern A－nalysis and Machine Intelligence，2002，24（9）：1167－1183.

［7］PICKUP L C，CAPEL D P，ROBERTS S J.Bayesian methods for image super－resolution［J］.The Computer Journal，2009，52（1）：101－113.

［8］XIAO Chuangbai，YU Jing，XUE Yi.A high－efficiency super－resolution reconstruction algorithm from image／video sequences［C］／／Third International IEEE Conference on Signal－Image Technologies and Internet－Based System.Shanghai，China，2007：573－580.

［9］AKQUN A Y，ALTUNBASAK Y，MERSEREAU R M.Super－resolution reconstruction of hyperspectral images［J］.IEEE Trans.Image Processing.2005，14（11）：1860－187.

［10］LEUNG K T，TONG C S.Effective use of low resolution image for super－resolution reconstruction［C］／／IEEE Congress on Image and Signal Processing.Snaya，China，2008：320－325.

［11］MERINO M T，NUNEZ J.Super－resolution of remotely sensed images using SRVPLR and SRASW［C］／／IEEE International Geosciences and Remote Sensing Symposium.Barcelona，2007，4866－4869.

［12］PEYMAN M.Super－resolution Imaging［M］.Boca Raton：Taylor ＆Francis Group，2011.

［13］SHI R，LI Z M.The optical flow estimation with displacement compensation for high－speed motion［C］／／IEEE International Conference on Communications Circuits and Systems and West Sino Expositions，2002，1：595－599.

［14］LOKHANDE R，ARYA K V，GUPTA P.Identification of parameters and restoration of motion blurred images［C］／／Proceedings of the 2006ACM Symposium on Applied Computing.New York，NY，USA：ACM press，2006：301－305.

［15］潘 鳴，裴云天，吳貴成.強雜波背景下高空紅外運動點目標檢測［J］.電波科學學報，2004，19（6）：757－760.PAN Ming，PEI Yuntian，WU Guicheng.Detection for moving infrared point target in high altitude with strong clutter background［J］.Chinese Journal of Ra－dio Science，2004，19（6）：757－760.（in Chinese）

［16］鮮海瀅，傅志中，李在銘.強噪聲背景紅外微弱動目標集成檢測［J］.電波科學學報，2008，23（3）：438－442.XIAN Haiying，FU Zhizhong，LI Zaiming.Integration detection algorithm of infrared small dim moving target based on strong complex noise［J］.Chinese Journal of Radio Science，2008，23（3）：438－442.（in Chinese）