基于時空域三維約束的多幀圖像超分辨算法

黎海雪，林海濤，姚曉誠

?

基于時空域三維約束的多幀圖像超分辨算法

黎海雪1，林海濤1，姚曉誠2

（1. 海軍工程大學電子工程學院，武漢 430033；2. 河北省國控投資管理有限公司綜合辦公室，河北石家莊 050000）

對基于時空域三維正則約束的多幀圖像超分辨算法進行了研究，首先在基于馬爾科夫隨機場的自適應正則約束的基礎上，進一步引入多幀圖像間的時域約束，建立了時空域三維正則約束模型，并提出了相應的超分辨方法；之后通過仿真實驗對本文方法進行了仿真測試，結果表明本文方法能夠取得更好的超分辨效果。

時空域 三維約束 多幀圖像 超分辨算法

0 引言

單幀圖像超分辨只依賴于單幀低分辨率圖像對高分辨率圖像進行重建，可用信息量少，重建問題的不適定性較強，因而重建結果經常出現模糊效應、振鈴效應等，影響超分辨結果的視覺效果。隨著相機工藝的不斷提升，特別是智能手機等消費級相機的普及，人們可以隨時隨地隨手進行拍攝。隨著相機CCD陣列信噪比的不斷提升，曝光時間大大縮短，使得高幀頻連續拍攝成為可能。為此人們希望通過連續拍攝的多幀低分辨率圖像重建得到原始場景的高分辨率圖像，即多幀圖像超分辨。

多幀圖像超分辨問題中的多幀低分辨率輸入圖像一般視為同一成像條件下、同一設備對同一場景在短時間內的連續成像，由于智能手機等手持設備在連續拍攝過程中由于手部抖動等因素，造成多幀低分辨率連續成像之間存在細微的位移，如何處理多幀低分辨率圖像間的位移關系，實現多幀低分辨率圖像信息的有效融合，是多幀圖像超分辨的關鍵。傳統方法主要依賴于圖像配準提供多幀低分辨率圖像間的位移關系，但光流法[1]等圖像配準方法計算量較大，同時先配準后融合的超分辨方法造成了兩個環節的割裂，配準誤差容易造成圖像融合后產生振鈴等效應；為了實現自適應的多幀低分辨率圖像融合，文獻[2]中提出的基于馬爾科夫隨機場模型的自適應正則約束進一步推廣到多幀圖像超分辨問題中，實現了多幀低分辨率圖像的自適應融合與超分辨。

1 基于時空域三維約束的多幀圖像超分辨算法

對于多幀圖像超分辨來說，多幀低分辨率圖像雖然提供了信息增量，與單幀圖像超分辨問題相比有一定程度的適定化，但如何實現多幀低分辨率圖像的融合成為影響多幀圖像超分辨性能的關鍵。傳統的多幀圖像超分辨多采用兩段式的處理方式，即先對多幀低分辨率圖像進行圖像配準，之后對高分辨圖像進行迭代重建，而重建過程中的正則項只考慮單幀圖像中的空域信息，多幀圖像間的時域信息沒有得到較好的利用。針對這一問題，本節利用馬爾科夫隨機場模型描述多幀圖像中時空域局部鄰域特性，并據此建立時空域三維自適應約束，從而在空域自適應正則化的基礎上，進一步充分利用了多幀圖像間的時域信息，提高了正則項的準確性，提高了多幀圖像超分辨的性能。

2 時空域馬爾科夫隨機場模型

2.1 先驗概率模型

令圖像標記層的標記值表示圖像像元的局部突變特性，即像元為邊緣的可能性，為此定義N分類的圖像標記值取值集合為：

為了提高先驗概率模型對圖像的自適應描述能力，設計了單位置勢函數與雙位置勢函數兩種不同類型的勢函數。其中單位置勢函數主要以抑制圖像中的高頻信息為主；雙位置勢函數主要考慮到圖像三維局部鄰域空間內的一致性。得到單位置勢函數與雙位置勢函數：

圖1 三維鄰域空間示意圖

2.2 條件似然概率模型

先驗概率模型建立了三維局部鄰域空間內標記值間的概率關系，參考經典的馬爾科夫隨機場模型，得到時空域三維空間下的條件似然概率模型為：

作為一個典型的二次型問題，可以解得

2.3 生成的馬爾科夫隨機場模型

得到先驗概率模型與條件似然概率模型后，即可得到最終的馬爾科夫隨機場模型為

時空域三維馬爾科夫隨機場模型作為生成的馬爾科夫隨機場模型，同樣需要通過迭代最大化馬爾科夫隨機場模型的概率值得到最終的圖像標記值，因此同樣需要設置收斂條件判斷迭代是否需要停止。

3 基于時空域馬爾科夫隨機場模型的三維正則約束

參考文獻[2]基于馬爾科夫隨機場模型的自適應正則約束，將其進一步推廣至時空域三維空間，得到自適應正則約束項為：

4 基于時空域三維約束的多幀圖像超分辨算法

輸出：多幀圖像超分辨重建結果

圖2 算法流程圖

5 仿真分析

為了驗證本文提出的基于時空域三維自適應約束的多幀圖像超分辨算法性能的有效性，本節對所提算法進行了大量的仿真實驗。首先，利用本文所提算法與典型多幀圖像超分辨算法進行了對比試驗；最后對本文所提算法的魯棒性進行了分析。在對比實驗中，本節選擇了經典的Tikhonov正則化多幀圖像超分辨方法[3]、TV正則化多幀圖像超分辨方法[4]、BTV正則化多幀圖像超分辨方法[5,6]作為典型的多幀圖像超分辨方法。

本節利用Set5與Set14中的原始圖像作為高分辨率圖像，隨機生成-1個二維偏移向量(△,△)，其中△表示方向的偏移量，且△∈(-1，1)，△表示y方向的偏移量，且△∈(-1，1)這里只考慮幀間偏移量為亞像元情況，對于偏移量超過1的情況，可以先配準轉換為亞像元。之后利用Matlab自帶的imresize()函數在bicubic模式下對幀高分辨率圖像進行縮放，得到不同縮放因子下的低分辨率圖像，并將低分辨率圖像作為輸入，對比不同算法的超分辨性能。參照其他論文中仿真設置，本節同樣只在Y通道對圖像進行超分辨操作，對于CbCr通道只利用bicubic上采樣進行插值放大，最后將得到YcbCr通道重新轉換回RGB通道得到最終超分辨結果。

5.1 超分辨性能對比分析

多幀圖像超分辨中使用低分辨率圖像的幀數，空域鄰域系統權重s，時域鄰域系統權重w，參考其他論文中參數，=10，s=1，w=1，超分辨性能達到最佳。利用Tikhonov正則化、TV正則化多、BTV正則化作為多幀圖像超分辨對比方法，在Set5與Set14兩個數據集上對不同縮放因子進行了對比試驗，得到不同情況下各超分辨方法的PSNR與SSIM如表1所示。

表1 不同方法超分辨性能對比

表2 不同噪聲強度下不同方法超分辨性能對比

通過表1可以看出，本文提出的多幀圖像超分辨方法的超分辨性能較其他多幀超分辨算法優勢有明顯提高。進一步對比同縮放因子下多幀圖像超分辨算法的性能可以看出，本文所提方法在Set5與Set14兩個數據集上均取得了較好的超分辨效果當縮放因子為2時，在Set5數據集上，本文所提方法的PSNR/SSIM值與Tikhonov正則化方法、TV正則化方法以及BTV正則化方法相比，分別提高了0.64，0.27，0.07dB；當縮放因子進一步提高到3、4時，本文所提方法仍然具有性能優勢。

當縮放因子為4時，在Set5與Set14兩個數據集上，統計得到本文所提算法與多幀圖像超分辨對比算法的PSNR與運行時間對照圖3所示。

通過圖3可以看出，本文所提方法由于在超分辨過程中需要同步對馬爾科夫隨機場模型進行迭代，每次迭代的計算量高于TV正則方法、BTV正則方法，因此運行時間略長，但本文所提方法取得了最優的超分辨性能。整體來看，本文所提多幀圖像超分辨方法在保證較高的運行效率基礎上，取得了較好的超分辨效果，在實際應用中具有較高的應用價值。

圖3 不同方法超分辨性能與運行時間關系圖

5.2 魯棒性分析

進一步通過上表可以看出，本文所提算法與其他對比算法相比，在不同噪聲強度下的PSNR/SSIM值均達到最優。當噪聲強度為2時，在Set5數據集上，本文所提方法的PSNR/SSIM值與雙三次插值方法、Tikhonov正則化方法、TV正則化方法以及BTV正則化方法相比，分別提高了0.78，0.18，0.07，0.06 dB；當噪聲強度進一步提高到4時，本文所提方法仍然具有性能優勢。

6 總結

本文主要對多幀圖像超分辨問題進行了研究。傳統的多幀圖像超分辨方法主要通過圖像配準后的圖像融合實現超分辨，但這種兩段式的處理流程容易在圖像配準環節引入誤差，影響圖像超分辨性能，同時傳統的正則化方法難以充分利用多幀圖像中的時空域信息，容易產生模糊、振鈴等效應，影響超分辨的視覺效果。

[1] Strecha C, Gool L V, Fransens R. Optical flow b-ased super-resolution: A probabilistic approach[J]. Computer Vision & Image Understanding, 2007, 106(1): 106-115.

[2] 秦龍龍, 錢淵, 張曉燕等. 基于自適應約束正則HL-MRF先驗模型的MAP超分辨率重建[J]. 計算機應用, 2015, 35(2): 506-509.

[3] X. Zhang, E.Y. Lam, E.X. Wu, K.K. Wong. Appl-ication of Tikhonov regularization to super-resolut-ion reconstruction of brain MRI image[J]. LectureNotes in Computer Science, 2008, 4987: 51-56.

[4] M. K. Ng, H. Shen, E. Y. Lam, L. Zhang. A total variation regularization based super-resolution reconstruction algorithm for digital video [J]. EURASIP Journal on advances in signal processing, 2007, 74585: 1-16.

[5] S. Farsiu, M. D. Robinson, M. Elad, P. Milanfar. Fast and robust multi-frame superresolution [J]. IEEE Transactions on Image Processing, 2004, 13(10): 1327-1344.

[6] 路陸, 金偉其, 王霞等. 基于低分辨率圖像約束的BTV圖像去模糊算法[J]. 北京理工大學學報, 2017, 37(6): 644-649.

Multi-frame Image Super-resolution Algorithm Based on Space-time Three-dimensional Constraints

Li Haixue1, Lin Haitao1, Yao Xiaocheng2

（1. School of Electronic Engineering, Naval University of Engineering, Wuhan 430033, China；2. Integrated Office of Hebei Province State Control Investment Management, Shijiazhuang 050000, Hebei, China）

TM391.41

A

1003-4862（2019）03-0057-05

2018-08-10

黎海雪（1983-），男，助理工程師。研究方向：通信與信息系統技術及應用。E-mail: 1365548@qq.com。