基于模糊核估計的圖像盲超分辨率神經網絡

李公平 陸 耀 王子建 吳紫薇 汪順舟

圖像超分辨率任務的主要目標是將輸入的低分辨率圖像(Low-resolution image,LR)重建成具有更多細節的高分辨率圖像(High-resolution image,HR).圖像超分辨率技術已經具有廣泛的應用,如遙感圖像分析[1]、醫學圖像處理[2]、視頻監控圖像處理[3]等.

近年來,隨著深度學習技術的發展,基于深度學習的方法在圖像超分辨率任務上取得了顯著進展.其中大部分方法[4-19]只學習由雙三次插值(Bicubic)算法退化生成的低分辨率圖像與高分辨率圖像之間的映射關系.然而,現實生活中的低分辨率圖像的退化模式是復雜且未知的,包含了多種因素(如模糊、噪聲、壓縮、幾何失真等),其中模糊的影響最為重要.由于生成網絡訓練數據時未考慮模糊,將上述這些模型應用到現實生活的真實場景中其重建效果不理想,甚至會出現明顯的模糊和偽影等現象[20].

為了解決真實場景圖像超分辨率問題,研究者們提出了許多盲圖像超分辨率方法.一種代表性的方法是從輸入的低分辨率圖像中估計出所對應的模糊核并用來針對性地指導圖像超分辨率重建.例如,Zhang 等[21]使用網格搜索的方式來確定模糊核的參數,并且提出了維度拉伸策略來利用模糊核信息.Gu 等[22]提出一種迭代模糊核修正的方法(Iterative kernel correction,IKC)來估計輸入圖像的模糊核,并結合維度拉伸策略[21]和空間特征變換(Spatial feature transform,SFT)[23]來利用模糊核信息重建高分辨率圖像.Luo 等[24]沿用了Gu 等[22]的方法來利用模糊核信息,并且提出迭代地進行模糊核估計和圖像超分辨率重建.但是上述方法沒有顯式地從輸入圖像中估計出完整的模糊核,無法給出模糊核估計的質量評價,也無法評價估計到的模糊核對最終超分辨率結果的影響.此外,上述幾種方法都使用主成分分析(Principal component analysis,PCA)將模糊核拉成的向量進行降維,然后將降維后的模糊核向量拉伸成和輸入圖像一樣大小的退化圖,再將退化圖和輸入圖像[21]或圖像特征[22,24]在通道維度上拼接來利用模糊核信息幫助超分辨率重建.這種做法具有一定的局限性,首先這樣做會丟失一部分模糊核中的信息,不能充分地利用模糊核信息去指導輸入圖像中結構化信息的重建.其次,這種做法只是簡單地將圖像或圖像特征和模糊核特征在通道維度上拼接來利用模糊核信息.其中圖像特征是與輸入圖像的像素值高度相關的,而由模糊核得到的退化圖只是一組抽象的數字,將這二者簡單拼接無法高效地利用模糊核信息去指導超分辨率重建過程.

為了克服上述局限,本文提出了一種基于模糊核估計的圖像盲超分辨率神經網絡(Blurred image blind super-resolution network based on kernel estimation,BESRNet).BESRNet 主要包括兩部分:模糊核估計網絡(Blur kernel estimation network,BKENet)和模糊核自適應的圖像重建網絡(Kernel adaptive super-resolution network,SRNet).此外,為了充分利用模糊核信息幫助超分辨率重建,本文還提出模糊核特征提取器(Blur kernel feature extractor,BKFE),用于從估計出的模糊核中提取關鍵信息.給定任意低分辨率圖像,BKENet 從中顯式地估計出完整的模糊核.緊接著,BKFE從估計出的模糊核中提取模糊核特征.最后,SRNet 利用提取到的模糊核特征對圖像特征進行調整并完成輸入圖像的超分辨率重建.特別地,在SRNet 中本文利用提出的模糊核自適應特征選擇模塊(Kernel adaptive feature selection,KAFS),根據模糊核特征對提取到的圖像特征進行動態選擇,從而更高效地利用模糊核信息.本文在多個圖像超分辨率數據集上進行了大量實驗,定性和定量的結果證明了提出方法的有效性.

本文的主要貢獻總結如下:

1)設計了一個模糊核估計網絡BKENet 來估計輸入低分辨率圖像對應的模糊核.與其他盲超分辨率方法中只估計出經由PCA 降維后的模糊核向量不同,BKENet 能夠顯式地從輸入圖像中估計出完整的模糊核,從而能夠直觀地評價估計的模糊核的質量.

2)設計了一個模糊核自適應的特征選擇模塊KAFS,從而利用提取到的模糊核特征指導輸入圖像的超分辨率重建.與之前的方法不同,本文使用在所估計的模糊核上提取到的特征來指導輸入圖像的超分辨率重建.給定模糊核特征和低分辨率圖像特征作為輸入,KAFS 模塊能夠根據模糊核特征動態地為當前層級網絡選擇合適的特征,從而更有效地利用模糊核信息來指導圖像超分辨率重建.

1 相關工作

1.1 模糊核估計

模糊核估計是圖像處理領域內的一個熱點問題并得到了廣泛的研究.常振春等[25]將圖像的稀疏先驗和結構自相似性先驗作為正則約束來求解模糊核和清晰圖像.Pan 等[26]提出了一個新的非線性模型用于處理圖像中過飽和的像素點,并且設計了更加魯棒的能量函數來估計模糊核.Yan 等[27]首先使用一個分類網絡來確定輸入圖像中包含的模糊的種類,然后使用一個回歸網絡來估計對應的模糊核.上述方法都是在模糊圖像上估計模糊核,而本文需要從輸入的低分辨率圖像中估計出對應的模糊核,其中低分辨率圖像是模糊圖像進行下采樣得到的.所以之前提到的方法并不適用于盲超分辨率問題中的模糊核估計.Zhang 等[21]使用網格搜索的方式來確定模糊核的參數.Gu 等[22]提出迭代修正的框架來不斷修正估計到的模糊核向量.Luo 等[24]提出迭代地進行模糊核估計和超分辨率重建.然而這些方法都只是估計出模糊核經由PCA 降維后的模糊核向量,并沒有顯式地從低分辨率圖像中估計出完整的模糊核,導致難以對估計出的模糊核進行直觀的質量評價.為了解決這個問題,本文設計了一個新的模糊核估計網絡BKENet,用于從低分辨率圖像中估計完整的模糊核.

1.2 圖像超分辨率

基于深度學習的圖像超分辨率方法通過設計深度神經網絡來學習低分辨率圖像與高分辨率圖像之間的非線性映射.代表性的圖像超分辨率方法可分為以下4 類:1)基于殘差學習的方法[5-8].這類方法專門設計網絡來學習高分辨率與低分辨率圖像之間的高頻殘差,重建圖像的低頻部分由輸入的低分辨率圖像來進行補充.2)基于遞歸神經網絡(Recursive neural network,RNN)的方法[9-12].基于RNN的圖像超分辨率方法通過共享參數的方式能夠在不引入額外參數的情況下增加網絡的深度和感受野并提升最終的效果.3)基于密集殘差連接的方法[13-16].這類方法通過向網絡中引入密集殘差連接來打通網絡不同層之間的數據和梯度流動,獲得更加高效的特征表達從而帶來性能上的提升.4)基于注意力機制的方法[17-19].通過向網絡中引入注意力機制,這類方法可以讓網絡更加注重于重建高分辨率圖像中的高頻信息,例如紋理邊緣等,最終提升重建結果的精度.

然而,上述方式僅針對雙三次插值一種退化方式進行研究,未考慮其他退化方式.因此,直接將上述方法應用于多種退化模式生成的低分辨圖像時模型性能會下降.為了解決這個問題,研究者們提出了許多盲圖像超分辨率方法.主要包括以下3 類:1)基于圖像域轉換的方法[28-29].這類方法將低分辨率圖像和高分辨率圖像分別看作是兩個圖像域,然后借鑒圖像域轉換的思想對輸入的低分辨率圖像進行超分辨率重建.2)基于內部學習的方法[30-31].這類方法通過挖掘輸入低分辨率圖像內部的重復信息,如色彩紋理等,來進行自學習并完成超分辨率重建.3)基于建模退化過程的方法[21-22,24].這類方法使用多種模糊核來模擬真實的退化過程,生成更加貼近真實世界低分辨率圖像的訓練數據,并且針對該模型設計網絡完成超分辨率重建.本文方法屬于上述最后一類盲超分辨率方法.與之前的工作不同,本文提出了一種新的基于模糊核估計的圖像盲超分辨率網絡BESRNet.首先從輸入的低分辨率圖像中顯式地估計出完整的模糊核,然后根據所估計的模糊核,動態地調整不同層級網絡的圖像特征,完成輸入圖像的超分辨率重建.

2 BESRNet

本文提出的BESRNet 結構如圖1 所示,其包含兩部分:模糊核估計網絡(BKENet)和模糊核自適應的圖像重建網絡(SRNet).BKENet 從輸入的低分辨率圖像中估計出模糊核,SRNet 根據估計到的模糊核動態地調整各層網絡的特征,實現圖像超分辨率重建.具體來說,給定任意的低分辨率圖像x,BKENet 從中估計出對應的模糊核,然后模糊核特征提取器(BKFE)從估計到的模糊核中提取特征,SRNet 利用模糊核特征對從輸入圖像中提取到的圖像特征進行適應性的調整,最終輸出高分辨率圖像sr.整個過程可形式化表示為

其中,Φ(·)代表BKENet,Γ(·)代表模糊核特征提取器,代表提取到的模糊核特征,Ψ(·)代表SRNet.

BKENet 的介紹見第2.1 節,SRNet 中起特征調整作用的KAFS 模塊介紹見第2.2 節,模糊核特征提取器用一個簡單的卷積網絡實現,其結構如圖1中標注所示.

2.1 模糊核估計網絡

當使用與真實模糊核不相符的模糊核作為先驗時,圖像超分辨率網絡的性能會有明顯的下降[32],并且會產生過于平滑或銳化的結果[22].因此,準確地從輸入的低分辨率圖像中估計出模糊核十分必要.

1)當前模糊核估計方法

當前主流模糊核估計方法[26,33]將模糊圖像和清晰圖像之間關系建模為

其中,b,l,k,n分別代表模糊圖像、清晰圖像、模糊核和加性白高斯噪聲,?代表卷積操作.它們通過優化式(5)所示問題來獲取清晰圖像和模糊核

其中,μ1Rl和μ2Rk分別代表清晰圖像和模糊核的正則項.具體來說,給定一個初始化模糊核,清晰圖像和準確的模糊核可由式(6)和式(7)迭代優化獲得

然而,上述方法并不適用于本文的問題,因為這些方法都是針對高分辨率的模糊圖像進行設計,沒有考慮下采樣操作.而本文需要從輸入的低分辨率圖像中估計出對應的模糊核,其中低分辨率圖像是模糊圖像下采樣獲得的,與原始的模糊圖像的數據分布有差異.

同樣,一些圖像盲超分辨率方法[22,24]也會估計低分辨率圖像中包含的模糊,但是它們只估計出經由PCA 降維后的模糊核向量,導致無法直觀地對估計到的模糊核進行質量評價.為了解決這個問題,本文設計了BKENet 用于從輸入的低分辨率圖像中估計出完整的模糊核.

2)BKENet

本文參考ResNet18[34]設計了一個新的模糊核估計網絡BKENet,用于從輸入的任意尺寸的低分辨率圖像中估計出模糊核,其結構如圖2 所示.本文在ResNet18[34]中的全連接層之前插入了一個全局池化層,將從輸入圖像中提取到的特征在特征維度上進行統一.本文也對全連接層進行了改變,根據模糊核大小d將輸出層的神經元個數改為d×d個,網絡的輸出是模糊核拉成的向量,經過變形得到對應的模糊核.

BKENet 的優化目標為

其中,x代表輸入低分辨率圖像,Φ(·)代表BKENet,θB代表BKENet 的參數,k代表待估計模糊核的真值,?(·)代表正則項.

對于正則項,本文考慮兩個方面問題:1)估計得到的模糊核中的權值總和應該等于1,否則會導致模糊核的能量溢出;2)估計得到的模糊核的質心應該在整個模糊核的中心位置,因為本文生成數據所用高斯模糊核的質心在其正中心.故本文定義正則項為

其中,Rsum和Rmass_center分別代表模糊核的能量約束和質心約束,α和β分別代表這兩項的權重.具體為

估計到的模糊核準確與否直接影響到輸入低分辨率圖像的超分辨率重建,通過向模糊核估計網絡的損失函數中添加上述正則項能夠使得估計到的模糊核的精度更高,從而提升最終的超分重建效果.

2.2 模糊核自適應特征選擇模塊

1)當前模糊核利用方法

當前大多數模糊核均采用Zhang 等[21]提出的維度拉伸策略.具體來說,假定模糊核大小為d×d,首先將模糊核拉成一個d2維的向量,接著使用PCA技術對該向量進行降維,得到t維的模糊核向量,再將降維后的模糊核向量每個維度都拉成與輸入圖像分辨率相同的退化圖,即t個通道,并且每個通道都是同一個值,最終將退化圖和輸入圖像疊加在一起作為網絡的輸入.但是這種方式并不是最優的,退化圖只是一組抽象的數字,與輸入圖像像素值并沒有直接的關聯,將其與輸入圖像疊加在一起是不合適的.Gu 等[22]對該方法進行了改進,將退化圖與圖像特征疊加,然后使用SFT layer[23]來利用模糊核信息.但是圖像特征也是與輸入圖像的像素值高度相關的,直接將退化圖和輸入圖像或者圖像特征拼接并沒有本質的區別.此外,這種方式破壞了模糊核的空間結構,可能無法高效地利用模糊核去指導重建輸入圖像中的結構化信息.為了更高效地利用模糊核信息,本文設計了KAFS 模塊.KAFS 模塊在估計得到的模糊核上使用卷積提取模糊核特征,一定程度上保留了模糊核的空間結構,然后根據提取到的模糊核特征動態地對圖像特征進行調整和修正.

2)KAFS 模塊

為了高效地利用模糊核信息指導超分辨率重建過程,本文借鑒動態卷積[35]中根據不同輸入進行自適應調整的思想設計了模糊核自適應的特征選擇模塊(Kernel adaptive feature selection module,KAFS module),并將其嵌入到SRNet 中的殘差塊中.

當前標準卷積和動態卷積的操作過程具體為

其中,F是輸入特征,F′是卷積后的特征,Conv(·)代表卷積操作,π(·)一般稱為顯著性生成器.θ和?分別為Conv(·)和π(·)的參數.對于標準卷積來說,π ≡1,Conv(·)直接執行卷積操作;對于動態卷積來說,π的輸出作用于Conv的輸出,作為動態卷積層的輸出結果.

本文設計的KAFS 模塊結構如圖3 所示,其接受圖像特征和模糊核特征為輸入,并且根據模糊核特征對圖像特征進行調整和修正.其中,圖像特征調整和修正的過程由多個并行的動態特征選擇器(Dynamic feature selector,DFS)完成.本文將多個DFS 的輸出進行融合得到調整后的圖像特征.KAFS 模塊可形式化表達為

圖3 模糊核自適應的特征選擇模塊示意圖Fig.3 Architecture of the proposed KAFS module

其中,HKAFS代表KAFS 模塊,代表第i個DFS,代表調整后的圖像特征,代表輸入圖像特征,Fk代表輸入的模糊核特征,Conv(·)代表KAFS 模塊最后的卷積操作,[·,·]代表通道維度上的拼接操作,θConv代表Conv(·)的參數,Fi代表第i個DFS 的輸出.

神經網絡中不同層級卷積提取到的特征包含不同層次的語義信息[36].因此,使用相同的模糊核特征去調整不同層級網絡提取到的圖像特征是不合理的.為了更高效地利用模糊核信息,本文設計了動態特征選擇器(DFS),其中包含一個顯著性生成器π,能夠針對不同層級圖像特征的需要,自適應地生成模糊核顯著性向量,對圖像特征進行動態選擇和加權,從而更好地利用模糊核信息指導超分辨率重建過程.DFS 的結構如圖4 所示.

圖4 動態特征選擇器結構示意圖Fig.4 Architecture of the proposed DFS

DFS 生成的顯著性向量g的具體計算為

其中,?代表π的參數,f代表全連接層,p(·)代表全局平均池化操作,?代表通道維度的乘法,(·)+代表ReLU 激活函數.

然后,DFS 根據得到的顯著性向量來動態地選擇當前層級網絡最需要的圖像特征.具體的做法是設定一個失活通道比例ξ,將特征圖的所有通道按其顯著性向量的值gj進行排序,記輸入通道數為C,最小的ξ×C個通道被移除,剩下的每個通道特征增強gj倍.因此第i個DFS 可形式化表達為

其中,Prun(·)代表顯著性向量的裁剪過程,v=代表從gi中返回(1-ξ)C個最大值索引,.

與動態卷積相比,本文設計的KAFS 模塊主要有兩點不同:1)動態卷積一般使用顯著性生成器π處理卷積后的特征,而本文直接使用π處理輸入特征,根據超分辨率網絡不同層級的特征需要對輸入特征進行動態選擇;2)動態卷積利用輸入特征對自身進行調整,即π的輸入只有輸入特征本身,而本文設計的KAFS 模塊的輸入包括圖像特征和模糊核特征,KAFS 模塊根據模糊核特征對圖像特征進行適應性調整.特別地,本文直接在模糊核上提取特征,然后使用模糊核特征對圖像特征進行動態調整.這樣做保留了模糊核空間結構化信息,更有利于神經網絡利用模糊核進行超分辨率圖像重建.

3 實驗部分

本節主要介紹實驗的實施細節與實驗結果的分析對比.具體地,第3.1 節介紹用于訓練網絡的訓練集和測試集,第3.2 節介紹本文方法的實現細節,第3.3 節論述本文方法與其他方法的結果對比和分析,第3.4 節對本文模型的各部分進行分析和討論.

3.1 數據準備

3.1.1 模糊核

本文選用各向同性和各向異性兩種高斯模糊核來生成低分辨率圖像,描述高斯模糊核的協方差矩陣為

本文使用8 個各向同性和8 個各向異性的高斯模糊核分別處理高分辨率圖像來生成低分辨率圖像.對于各向同性的高斯模糊核,設定σ12=σ21=0,并且令σ11=σ22以0.5 為步長在[ 2.5,6 ]之間進行8 次采樣;對于各向異性的高斯模糊核,本文分別設定σ12=σ21=±1,并且令σ11=σ22以0.5 為步長在[ 2.5,4 ]之間進行4 次采樣.訓練過程中所用的高斯模糊核如圖5 所示.

圖5 訓練所用的高斯模糊核Fig.5 Visualization of Gaussian kernels used for training

測試階段本文使用2 個各向同性和4 個各向異性的高斯模糊核.對于測試用的各向同性的高斯模糊核,本文設定σ12=σ21=0,σ11=σ22分別取 2.0和 6.5;對于測試用的各向異性的高斯模糊核,本文分別設定σ12=σ21=±1,σ11=σ22分別取2.0 和4.5.

3.1.2 數據集

1)訓練集

實驗訓練所用的高分辨率圖像來自DIV2K[37](800 幅)和Flickr2K[38](2 650 幅)數據集,共3 450幅2K 清晰度的高質量圖像.本文首先使用之前介紹的用于訓練的高斯模糊核對這些圖像進行模糊,然后使用雙三次插值算法對其進行下采樣,得到訓練所用的低分辨率圖像.

2)測試集

本文測試所用圖像來自Set5[39],Set14[40],BSD100[41],Urban100[42]和DIV2K[37]的驗證集.與訓練所用低分辨率圖像生成方式相同,本文使用之前介紹的用于測試的模糊核對這些圖像進行模糊,然后使用雙三次插值算法對其進行下采樣,得到測試所用的低分辨率圖像.

3.2 訓練細節

3.2.1 訓練策略

本文分別在超分辨率放大倍數為2 倍,4 倍,8倍的設定下進行實驗,所有的訓練和測試過程都是在RGB 三通道上進行.訓練過程分為兩步,首先分別訓練好BKENet 和SRNet,然后將這兩部分連接在一起進行微調.在單獨訓練SRNet 這部分時,使用真值模糊核作為額外的輸入.可以通過優化如下問題來獲取SRNet 的參數,即

其中,Ψ(·)代表SRNet,x代表輸入的低分辨率圖像,k代表用于生成當前輸入的低分辨率圖像的模糊核,θ代表SRNet 的參數,y代表輸入低分辨率圖像對應的高分辨率圖像.

在微調階段,將SRNet 和BKENet 同時訓練,這一階段的損失函數定義為

其中,Φ(·)代表BKENet,Limg代表圖像損失,Lkernel代表模糊核損失,δ代表模糊核損失的權重,Lkernel具體描述見式(8).損失函數中包含兩項,第1 項是超分放大的圖像和真值圖像之間的L2 損失,第2 項是估計出來的模糊核的損失,本文使用δ參數平衡這兩項來達到最優性能.

3.2.2 參數設置

本文提出的網絡一共包含16 個殘差塊,每個殘差塊中都嵌入了一個KAFS 模塊.訓練網絡所用的優化器選擇Adam[43],參數設為β1=0.9,β2=0.999,學習率初始化為1×10-4,并且每經過40 000個迭代下降0.2 倍.本文從生成的低分辨率圖像上截取48×48 像素大小的圖像塊輸入到網絡中進行訓練,從高分辨率圖像對應的位置截取4 倍大小的圖像塊作為真值,批大小設為16.本文使用Pytorch 框架實現提出的方法,并且在一張Tesla V100顯卡上進行訓練.

3.3 實驗結果

本文使用峰值信噪比(Peak signal noise ratio,PSNR)和結構相似度(Structural similarity,SSIM)對超分結果進行量化評價.參與對比的方法有非盲超分辨率方法密集殘差超分辨率重建網絡 (Residual dense network,RDN)[14],殘差通道注意力超分辨率網絡 (Residual channel attention network,RCAN)[17],雙向回歸超分辨率網絡 (Dual regression network,DRN)[8]和整體注意力超分辨率網絡(Holistic attention network,HAN)[19],盲超分辨率方法零樣本超分辨率網絡 (“Zero-shot”super-resolution using deep internal learning,ZSSR)[30]和IKC[22].

對于非盲超分辨率方法RDN[14]、RCAN[17]、DRN[8]和HAN[19],使用作者提供的預訓練模型進行測試;對于盲超分辨率方法ZSSR[30],重新訓練后進行測試;對于盲超分辨率方法IKC[22],使用作者提供的權重在本文所用訓練數據上微調后進行測試.此外,為了進一步證明所提出方法的有效性,我們在本文所用訓練數據上重新訓練了非盲超分辨率方法RDN[14],即多種退化的密集殘差超分辨率網絡(Residual dense network for multi-degradations,RDNMD),并與本文方法進行對比.

定量結果如表1 所示,其中結果被規范表示為PSNR (dB)/SSIM,加粗字體代表最優的結果,下劃線代表次優的結果,“—”表示原論文作者未提供相對應的結果.從表1 中可看出,非盲超分辨率方法RDN[14]、RCAN[17]、DRN[8]和HAN[19]在遇到具有多種退化模式的數據時表現不佳,這表明非盲超分辨率方法很難處理具有多種退化模式的圖像.與RDNMD 對比,可以看出盡管使用具有多種退化模式的數據進行訓練,非盲超分辨率方法RDN[14]與BESRNet 仍然存在較大差距.這是因為其本身沒有考慮到模糊核這個因素.而BESRNet 可以先估計出輸入圖像的模糊核,然后根據估計到的模糊核來進行動態調整圖像特征以適應不同的退化情況.與ZSSR[30]和IKC[22]對比,BESRNet 具有更高的圖像重建精度,這證明了BESRNet 的有效性.與其他盲圖像超分辨率方法對比,BESRNet 在多個放大倍數設定下均取得了最優的SSIM 值,這表明BESRNet 能夠更加有效地利用模糊核去指導重建輸入圖像中的結構化信息.

表1 各個超分方法在基準數據集上的性能對比(PSNR (dB)/SSIM)Table 1 Performance comparison of different super-resolution methods on benchmark datasets (PSNR (dB)/SSIM)

放大4 倍任務上視覺效果對比如圖6 所示.從圖6中可以看出,非盲超分辨率方法RDN[14]、RCAN[17]、DRN[8]和HAN[19]重建出的圖像質量較差,這說明了只考慮雙三次插值下采樣這樣一種簡單的退化模式訓練得到的模型,在遇到模糊圖像時難以完成超分辨率任務.與RDNMD 對比,本文方法的重建結果細節上更加清楚.如第3 組對比圖中,RDNMD重建出的結果窗戶部分的紋理模糊不清,而本文方法的結果明顯清晰很多,與真值圖像的差距較小,這證明了本文方法的有效性和優越性.與盲超分辨率方法ZSSR[30]和IKC[22]的結果比較,本文方法恢復出的圖像具有更清楚的邊緣輪廓和更高的對比度,這進一步證明了本文方法的有效性和優越性.

圖6 (×4)各個超分方法的視覺效果對比Fig.6 (×4)Visual comparison of different methods

此外,本文也在真實世界圖片“chip”上進行了放大4 倍結果對比,結果如圖7 所示.可以看出,ZSSR[30]放大后的圖像偽影較為嚴重.與IKC[22]的結果對比,本文提出的方法恢復出的圖像具有更加清楚的輪廓,并且偽影也更少.這表明在真實世界圖像上本文方法仍然優于盲超分辨率方法ZSSR[30]和IKC[22].

圖7 (×4)真實圖像“chip”上的視覺對比結果Fig.7 (×4)Visual comparison on real-world image“chip”

3.4 模型分析

3.4.1 模糊核估計網絡

本文使用所估計的模糊核與真值模糊核之間的均方誤差(Mean square error,MSE)和平均絕對值誤差(Mean absolute error,MAE)來評價模糊核估計結果.為了驗證正則項對模糊核估計結果的影響,本文分別訓練了添加正則項和未添加正則項的BKENet,并將這二者的測試結果進行了對比.為了證明傳統模糊核估計方法不適用于從低分辨率圖像中估計模糊核,本文與Pan 等[33]提出的在模糊圖像上估計模糊核的方法進行了對比.實驗結果如表2 所示,表2 中的數據被規范表示為MSE×10-5/MAE×10-3.表2 中BKENetw/oR 代表沒有添加正則項的BKENet,BKENetw/R 代表有正則項的BKENet.從表2 中可以看出,Pan 等[33]的方法估計出的模糊核偏差較大,這表明直接使用之前的從模糊核圖像中估計模糊核的方法在低分辨率圖像上估計模糊核不可行.相較于沒有添加正則項的模型,添加了正則項的模型估計出的模糊核的誤差更小,這表明正則項能夠幫助BKENet 更加準確地估計出模糊核.本文從Set5[39]上的測試結果中隨機挑選了3 個模糊核估計結果進行了可視化對比,視覺對比結果如圖8 所示.圖中第1 列是使用Pan 等[33]方法估計的結果;第2 列BKENetw/oR 代表不在損失函數中添加正則項訓練模型的測試結果;第3 列BKENetw/R 代表在損失函數中添加正則項訓練模型的測試結果;第4 列是對應的真值(Ground truth,GT).從圖8 中可以看出,Pan 等[33]的方法估計出的模糊核出現了明顯的失真.這表明傳統的針對高分辨率模糊圖像進行設計的模糊核估計算法無法準確估計低分辨率模糊圖像的模糊核.并且添加了正則項之后的結果與真值也更加接近,這進一步表明正則項能夠提升估計到的模糊核的精度.圖9 給出了其他幾個測試集上隨機選取的模糊核估計結果的視覺效果對比,其中每一小幅圖代表一個數據集上的測試結果,每一小幅圖中的每一列代表一個方法的估計結果,方法的排列順序與圖8中相同.從圖9 中可以看出,Pan 等[33]提出的傳統方法估計出的模糊核誤差較大,而本文方法估計出的模糊核與真值十分接近,這進一步證明了BKENet 的有效性.

表2 各個模糊核預測方法在基準數據集上的定量結果對比 (MSE × 10-5/MAE × 10-3)Table 2 Quantitative comparison of kernel estimation methods on the benchmark datasets (MSE × 10-5/MAE × 10-3)

圖8 不同方法在Set5[39]上估計出的模糊核的視覺效果對比Fig.8 Visual comparison of blur kernels estimated by different methods on Set5[39]

圖9 不同基準數據集上模糊核估計結果的視覺效果對比Fig.9 Visual comparison of blur kernels estimated by different methods on different benchmark datasets

3.4.2 模糊核自適應的特征選擇模塊

為了驗證KAFS 模塊的有效性,本文也與其他的模糊核利用方式進行了對比.借鑒SRMD[21]中的思想,本文將模糊核放縮到與輸入圖像同樣大小,然后疊加在一起輸入到網絡中進行訓練,本文將該模型命名為KZNet (Kernel zooming network).此外,本文使用真值模糊核作為先驗來訓練盲超分辨率模型ZSSR[30]并將其與SRNet 進行比較.為了驗證不匹配的模糊核對超分結果的影響,本文使用一個固定的模糊核作為先驗來訓練SRNet.比較的結果如表3 所示.

表3 (×4)使用真值模糊核作為先驗的不同方法的量化指標對比(PSNR (dB)/SSIM)Table 3 (×4)Quantitative comparison of different methods with real blur kernels as prior (PSNR (dB)/SSIM)

表3 中,ZSSRw/k代表使用真值模糊核進行訓練的ZSSR[30]模型,SRNetw/ok代表使用固定模糊核作為先驗訓練SRNet 得到的模型,SRNetw/k代表使用真值模糊核作為先驗訓練SRNet 得到的模型.比較SRNetw/ok與SRNetw/k

可以看出,使用不匹配的模糊核作為先驗會導致超分性能的嚴重下降,這也證明了準確預測模糊核的必要性.觀察KZNet 的結果發現,當輸入圖像很大的時候(DIV2K 數據集中的測試數據是2K 大小),KZNet 性能下降十分明顯,這表明將模糊核放縮到和輸入圖像大小相同,然后再與低分辨率圖像疊加在一起作為輸入來利用模糊核的信息不是最優的方式.與ZSSR[30]相比,同樣使用真值模糊核作為先驗,本文方法的效果提升十分顯著,這表明提出的KAFS 模塊能夠更好地利用模糊核的信息來指導輸入圖像的超分辨率重建過程.上述方法的視覺效果比較如圖10 所示.從圖10 中可以看出,當使用真值模糊核作為先驗時,本文提出的方法重建出的圖像具有更加清晰的紋理邊緣.

圖10 (×4)使用真值模糊核作為先驗情況下,各個超分辨率方法的視覺效果對比,放大觀看效果更佳Fig.10 (×4)Visual comparison of different methods with real blur kernels as prior,zoom in for best view

本文同樣也對KAFS 模塊中的DFS 分支數量和失活的通道數進行了探究,結果如表4 和表5 所示.

表4 (×4)不同DFS 分支數的KAFS 模塊在Set5[39]數據集上的定量結果對比Table 4 (×4)Quantitative comparison of KAFS module with different numbers of DFS on Set5[39]

表5 (×4)不同失活通道數的KAFS 模塊在Set5[39]數據集上的定量結果對比Table 5 (×4)Quantitative comparison of KAFS module with different numbers of inactive channel on Set5[39]

表4 中統計了不同DFS 分支數訓練得到模型的性能指標和相對應的參數量以及乘法加法計算量(此時固定失活通道數為16).從表4 中可以看出,當分支數為1 時,其參數量和計算量最少,但是相應的性能也最差;當分支數為2 時,參數量和計算量略微增加,性能上有明顯的提升;當分支數為4時,參數量和計算量繼續增加,但是性能并沒有隨之提升.這表明相較于單個分支,使用多個分支可以從不同方面對特征進行選擇互補,但是分支數量多了會造成特征冗余,反而不利于學習.綜上考慮,本文將DFS 分支數設置為2.接著本文固定分支數為2,試驗不同的失活通道數對性能的影響,結果如表5 所示.

本文發現,在特征通道數設為64 的情況下,失活通道數為8 時效果最好,這是因為當失活通道數過多時會導致損失的信息過多從而不利于學習,而失活通道數過少又達不到特征選擇的作用.因此,本文最終將KAFS 模塊中的DFS 分支數設為2,每個DFS 中失活通道數設為8.

3.4.3 BESRNet

在微調階段,本文將BKENet 和SRNet 連接在一起構成最終的網絡BESRNet,并且對BESRNet 使用式(18)中定義的損失函數再次進行訓練.本文對式(18)中用于平衡圖像損失和模糊核損失的系數δ進行了探究,結果如表6 所示.

表6 (×4)使用不同δ值訓練的模型在DIV2K[37]數據集的驗證集上的性能對比Table 6 (×4)Performance comparison of BESRNet with differentδon the validation set of DIV2K[37]

從表6 中可以發現,隨著δ值的增大網絡的性能呈現先上升后下降的趨勢,并且在對比實驗中δ取0.1 時效果最好,所以本文最終將δ設置為0.1.

4 結束語

本文提出了一種基于模糊核估計的圖像盲超分辨率網絡.其主要由兩個子網絡構成:模糊核估計網絡和模糊核自適應的圖像重建網絡.模糊核估計網絡可以顯式地從任意低分辨率圖像估計出完整的模糊核.模糊核自適應的圖像重建網絡能夠利用所估計的模糊核動態地調整圖像特征,從而能夠適應不同模糊圖像的超分辨率重建.本文在常用的超分辨率基準數據集上進行了不同模糊核的實驗,定量和定性的實驗結果都表明本文所設計網絡能夠獲得更好的超分辨率效果.在未來的工作中可進一步探究高斯模糊之外的更加復雜的退化模式下的模糊圖像盲超分辨率方法.