融合低秩和稀疏表示的圖像超分辨率重建算法

宋長明, 王赟

(中原工學院理學院, 451191, 鄭州)

圖像分辨率可以理解為圖像的可分辨能力,通過升級成像設備的硬件可以得到更高分辨能力的圖像。但是,設備升級技術突破困難,生產代價高,并且升級后設備的成像仍然易受環境影響,因此常采用超分辨率(super-resolution,SR)重建算法來提升圖像的分辨能力。從1幅或多幅退化的低分辨率(low-resolution,LR)圖像得到高分辨率(high-resolution,HR)圖像的圖像處理算法,稱為圖像超分辨率重建算法。

當前,圖像超分辨率重建主要利用基于插值、重建和學習的3類算法。基于插值的算法任務量小,直觀且易于實施,其中雙三次插值利用采樣點4×4鄰域內16個已知像素點的灰度值來估計采樣點的灰度值[1];用Lanczos插值算法計算像素值的權重信息,重建效果良好[2]。但是,基于插值的算法沒有充分利用圖像的高頻信息,重建的圖像會出現邊緣、紋理缺失,存在明顯的塊效應。基于重建的算法加入了圖像的先驗信息來指導建模重建,代表性的方法有迭代反投影法(IBP)、最大后驗概率法(MAP)和凸集投影法(POCS)等[3],其中最大后驗概率算法利用統計模型描述圖像的紋理分布,提升了重建的效率,具有較好的穩定性,但卻依賴于圖像的先驗信息,重建圖像的紋理過于平滑,收斂速度慢,難以用于實時操作。基于學習的算法利用學習到的高、低分辨率圖像間的特征映射關系建模重建,最早由Freeman提出,通過在馬爾科夫隨機場內建模,可以重建出更多的高頻細節,但是計算負擔大,效率低[4-5]。2004年,Chang等結合流形的相關理論,提出了基于鄰域嵌入的超分辨率算法,克服了對樣本的依賴[6]。2008年,Yang等以低分辨圖像作為先驗約束,充分利用了圖像間的結構和內容信息,提出了基于稀疏編碼的圖像超分辨率重建(ScSR)算法,重建效果更好,被廣泛推廣與應用[7]。近年來,許多學者對基于學習的重建算法進行了大量研究,例如:侯興松等在方向提升小波變換域進行稀疏濾波,有效消除了壓縮感知中的混疊干擾[8];郝雯潔等采用了子半閾值迭代算法,使稀疏重建性能更加魯棒[9];Dong等對圖像進行了非負稀疏編碼,符合實際應用的要求[10];Huang等提出了非局部低秩正則化重建模型,充分利用了圖像的非局部自相似性[11]。

本文主要研究含有噪聲圖像的超分辨率重建,為了避免直接重建的不穩定性,采用多層串聯方案[12]來逐層提升圖像的質量。針對圖像SR重建算法效率低、易受退化噪聲影響的問題,結合低秩矩陣恢復與稀疏重建理論對退化圖像首先進行低秩恢復,得到低秩和稀疏部分,然后對低秩部分利用稀疏重建理論重建。對退化圖像低秩恢復后再重建,一是排除了圖像噪聲對于重建過程的影響,二是提升了算法的效率。實驗結果表明,本文算法在運行速度和峰值信噪比方面均效果良好。

1 基于稀疏表示的超分辨率重建理論

圖像的超分辨率重建與其退化過程相逆。將圖像的退化模型化:假設X為高分辨率圖像,則對應的低分辨率圖像可表示為

Y=SHX

(1)

式中:S是降采樣矩陣;H是模糊矩陣[13]。

對于高分辨率圖像塊x,在由高分辨率圖像樣本訓練得到的過完備字典Dh下有最稀疏表示α,則對于低分辨率圖像塊y,有

y=SHx=SHDhα=Dlα

(2)

式中Dl=SHDh為低分辨率字典。式(2)說明,高、低分辨率圖像塊在對應的過完備字典下稀疏表示相同。因此,在重建階段,對于退化圖像塊y,求解下述優化問題

min‖α‖0, s.t.‖y-Dlα‖0≤δ

式中δ為預先設定的稀疏表示誤差。得到上述優化問題的解α后,利用Dh就能重建出高分辨率圖像塊。采用拉格朗日乘子法求解,即

(3)

上述重建理論成立的基礎是高、低分辨率圖像塊在對應過完備字典對下的稀疏表示相同,因此要求Dh與Dl尺寸相同[7]。

2 融合低秩和稀疏表示的超分辨率重建理論

2.1 圖像低秩恢復理論

低秩矩陣恢復是繼數據的稀疏表示后一種重要的數據獲取和表示方式。對于數據Xn×n=[x1,x2,…,xn],xi∈Rn,可以被字典A=[a1,a2,…,am]的原子線性表出[14],即

X=AZ

式中Z=[z1,z2,…,zm]為X在字典A下的表示系數,字典A通常是過完備的。在特定情況下,低秩矩陣恢復和稀疏表示等價,此時上式即為在某些特定的字典下求解數據的稀疏表示。稀疏表示可能無法捕捉到數據X的整體結構,因此我們轉而求解下述優化問題

模型的解Z為X在字典A下的低秩表示。上述模型計算量大,求解困難,可通過松弛得到如下等價優化問題

式中‖·‖*為矩陣的核范數。取矩陣X作字典,從而有

其中X的元素可以當作自身的低秩表示。通常得到的圖像受到噪聲等因素的影響,需要放松上述模型中的等式約束,即

(4)

得到優化問題(4)的解(Z*,E*)后,通過X-E或者XZ*即可恢復出原始的數據X[15]。

因為rank(XZ)≤min(rank(X),rank(Z)),所以簡稱XZ為低秩部分,E為稀疏部分。低秩部分包含了圖像的大部分信息,稀疏部分主要是一些高頻細節信息。

2.2 算法的提出

現實得到的圖像會受到噪聲的污染,因此式(1)圖像的退化模型應該修改為

Y=SHX+n

(5)

式中n為噪聲[16]。此時式(2)不再成立,對于包含少量信息的低分辨率圖像塊,為避免冗余字典的出現,應該選用較少原子的字典來表示,因此放松約束,不再要求高低分辨率字典原子數目相同。假設Dl為欠完備字典,Dh為過完備字典,在此假設基礎上,Peleg構建了一個基于稀疏表示的統計預測模型(SPBSR)來實現單幅圖像的超分辨率重建[17]。

假設αh、αl為高、低分辨率圖像的稀疏表示,sh、sl為對應的稀疏表示模式,其中

(6)

λ是滿足

的最大閾值,其中τ是預先指定的稀疏表示精度。在給定sl和αl的情況下,有

(7)

式中:bh∈Rmh是高分辨率稀疏模式的偏差向量;whl∈Rmh×ml是高低分辨率稀疏模式間的互動矩陣;Φ(z)=(1+exp(-2z))-1是激活函數。

進一步,在給定sl和αl時使用最小均方差估計,有

(8)

綜合上述分析,本文給出一種新的圖像超分辨率重建算法。首先,對退化圖像Y進行低秩恢復,得到低秩部分L和稀疏部分S,即Y=L+S。然后,對于低秩部分,采用上述預測模型進行稀疏重建,這里低分辨率字典Dl為欠完備字典,高分辨率字典Dh為過完備字典,不需要高、低分辨率字典尺寸相同。相比HR圖像,LR圖像在退化過程中丟失了大量細節信息。為了確保重建模型的穩定性,本文采用多層串聯算法來逐步提升圖像的質量。Bagon提出的M級放大因子序列為1

重建模型的每一層與基本算法形式相同。在訓練階段,從HR圖像生成一串質量遞增的圖像,使用雙三次濾波,并設置降采樣因子為如下序列

q/q1>q/q2>…>q/qM=1

來得到一個M層的圖像金字塔,接著進行雙三次插值處理,將圖像恢復到原始尺寸。對訓練樣本的HR圖像使用標準差序列為

σ1=σ/q1>σ2=σ/q2>…>σM-1=σ/qM>σM=0

的高斯濾波,得到一組模糊圖像。

2.3 融合低秩和稀疏表示的超分辨率重建算法

綜合上述分析,本文提出融合低秩和稀疏表示的圖像超分辨率重建算法如下:

輸入:低分辨率圖像zl,放大倍數q,模型參數Dl、Dh、Chl、bh、whl通過線下學習得到

步驟:

(1)對zl進行低秩恢復(low rank represent,lrr)得到[a,b]=lrr(zl,0.01);

(2)對zl進行q倍雙三次插值得到yl,其中zl=zl·a;

3 實 驗

實驗在Intel Core i5-4200U 2.53 GHz計算機、Matlab R2016b軟件環境下進行。實驗設置重建環境為大小5×5、標準差1.5的高斯濾波,降采樣因子為3,噪聲為Matlab中imnoise函數產生的高斯噪聲,均值為0,方差為0.01。

現實環境中得到的圖像通常都會有一定的噪聲污染。以雙三次插值算法為例,選用lena圖像和foreman圖像,分別在無噪聲和使用Matlab的imnoise函數添加的均值為0、方差為0.01的噪聲環境下進行對比實驗,表1記錄了重建圖像的峰值信噪比(用Rsn,peak表示),圖1給出了SPBSR算法重建性能的直觀顯示。

表1 插值重建性能

由表1可知,在噪聲環境下重建圖像的峰值信噪比大幅下降,同時圖1也表明,插值算法重建出的圖像趨于模糊,丟失了部分細節信息,并且在噪聲環境下算法的性能退化更加劇烈,說明噪聲極大地影響了算法的重建性能。

(a)原始圖像 (b)無噪聲插值重建圖像

(c)含噪聲圖像 (d)含噪聲插值重建圖像圖1 圖像插值重建性能對比

為了抑制圖像噪聲對重建過程的影響,對于待重建圖像zl,首先進行低秩恢復得到低秩和稀疏部分。從低秩恢復的模型出發,E為稀疏矩陣,包含圖像的部分高頻信息,因為噪聲也是高頻信息,所以會被吸收到E中。以foreman圖像為例,低秩恢復的直觀效果如圖2所示。

(a)原始圖像 (b)低秩恢復圖像(λ=0.15)圖2 foreman圖像低秩恢復示意圖

圖2表明,低秩恢復的圖像視覺效果更好,因此將低秩恢復操作融合到圖像的超分辨率重建是合理可行的。首先,對待重建的低分辨率圖像zl進行低秩矩陣恢復,得到低秩部分和稀疏部分;然后,將低秩部分插值重建到原始圖像尺寸,利用學習到的高低分辨率字典對進行稀疏重建,得到最終的重建圖像。為了比較重建算法的優劣,選用lena、butterfly、pepper、foreman、pens圖像,分別采用雙三次插值、ScSR、MSPB[18]和SPBSR算法進行對比實驗,并選用峰值信噪比作為客觀評價指標,實驗結果見表2,各算法重建性能的直觀對比見圖3(為了比較算法的性能,放大了圖像的部分細節信息)。

表2 不同算法的重建性能對比

(a)雙三次插值 (b)ScSR算法 (c)MSPB算法

(d)SPBSR算法 (e)本文算法 (f)原始圖像圖3 不同算法重建圖像的視覺效果展示

由表2可以看出,本文算法的性能最優,具有最高的峰值信噪比,說明在噪聲環境下對低分辨率圖像進行低秩恢復操作是切實有效的。由圖3可以看出:雙三次插值重建對圖像噪聲幾乎沒有作用,重建結果相當模糊,缺失了大量的高頻細節信息;ScSR算法對噪聲有一定的抑制,較之于插值算法性能有所提升,重建出了原始圖像的大部分信息,但是重建圖像的邊緣不夠清晰,有些模糊;MSPB算法的重建圖像對于噪聲的抑制作用明顯,但是重建出的圖像帶有陰影,影響了視覺效果;SPBSR算法的重建圖像具有不錯的細節信息,不再趨于模糊,但是顆粒感強烈,影響視覺;本文算法加入了低秩恢復操作,提升了算法對噪聲的抑制作用,因此重建圖像邊緣清晰,視覺效果更好。

由表2還可以看出,MSPB算法和本文算法的性能相近。為了進一步比較各種算法的性能,對比了各算法的運行時間,見表3,可知本文算法與SPBSR算法耗時相近;MSPB算法耗時最多,是本文算法的十多倍;ScSR算法耗時次之,是本文算法的5倍左右;雙三次插值算法耗時最少。盡管MSPB算法與本文算法性能相近,但考慮其運行效率的限制,不具備實時性;雙三次插值雖然運行效率最高,但其重建性能低下;SPBSR算法與本文算法的運行效率相近,但其重建性能不如本文算法。

表3 不同算法的圖像重建時間對比

為了達到更好的重建效果,對于低秩恢復操作取不同的λ值進行對比實驗,結果見表4,可知λ=0.01時效果最好。表5給出了本文算法與SPBSR算法的性能比較結果。

表5 本文算法性能提升統計

表3的數據表明,加入低秩恢復操作后,本文算法的運行時間減少,并且算法性能也有提升。但是,由于圖像的邊緣、紋理等細節信息與噪聲同屬高頻信息,因此稀疏部分同時包含有原始圖像的部分高頻信息,并且這部分信息沒有被用來重建原始圖像。圖2證實了這一情況:原圖背景中的一些黑色斑點在進行低秩恢復操作時沒有被恢復出來,而是被當作污染去除了,因為低秩恢復的目的就是從受到污染的數據中恢復出干凈的數據。以Child圖像為例,低秩恢復的視覺效果如圖4所示。為了方便顯示,稀疏部分進行了對比度增強,可以看出其中包含有很多的細節信息,而這部分信息對于超分辨率重建是至關重要的,因為超分辨率重建的關鍵就是重建原始圖像丟失的高頻信息。

(a)原始圖像 (b)低秩恢復圖像

(c)稀疏圖像圖4 低秩恢復誤差顯示

以parrots圖像為例,將原始圖像與重建圖像的視覺效果進行對比,如圖5所示,可見重建圖像的背景也趨于模糊,同時重建圖像的邊緣不夠清晰。圖像重建算法的優劣,由重建出的信息量決定。從圖4可以看出,低秩恢復操作得到的稀疏部分除了噪聲外,還含有原始圖像的一些邊緣細節信息,將這些高頻信息加入到重建過程,將會進一步提升算法的重建性能。

(a)原始圖像 (b)重建圖像圖5 parrots重建圖像與原始圖像對比

4 總 結

針對圖像超分辨率重建算法收斂速度慢、易受退化圖像噪聲影響等問題,本文將低秩矩陣恢復與稀疏表示相結合,提出了一種新的圖像超分辨率重建算法。對于待重建的退化圖像,首先進行低秩恢復,得到含有原始圖像大部分信息的低秩部分和主要由噪聲組成的稀疏部分,然后對低秩部分利用學習到的高低分辨率字典對進行稀疏重建。對退化圖像進行低秩恢復后再重建,一是抑制了圖像噪聲對重建過程的影響,二是提升了算法的效率。實驗結果表明,本文算法不僅在運行速度上得到了提升,而且圖像的視覺效果更佳,更加清晰,相比SPBSR算法,本文算法的峰值信噪比指標平均提高了4 dB。