基于視覺傳達的多幀圖像高分辨率重建仿真

李 博

(中國醫科大學，遼寧 沈陽 110000)

1 引言

圖像處理技術不斷發展，視覺傳達技術和高分辨率重建技術在圖像處理中的應用日益廣泛。與此同時，人們對視頻圖像的分辨率要求也日益提升。但由拍攝環境、經濟成本等因素影響，重構圖像分辨率較低，無法滿足醫療放射學、航天飛行、遙感測繪等應用領域的實際需要[1]。基于視覺傳達技術的多幀圖像高分辨率重建方法采用結合稀疏表示算法和深度學習算法滿足上述領域的高分辨率圖像，無需改變當前應用的硬件系統，在重建質量上具有非常大的優勢，所以近年來，國防、醫學、智能交通、公共安全領域都獲得了廣泛的應用[2]。

三次樣條插值法是常用的一種方法[3]，通常情況下是以單幀圖像進行空間像素點擴展，在重建過程中難以避免邊緣模糊，導致重建效果不好。文獻[4]方法在重建過程中，對于某些幀像素點匹配時誤差較大，致使最終重建后的圖像細節不夠豐富清晰。為此，本文提出基于視覺傳達的多幀圖像高分辨重建方法。相對于以上兩種方法，本文方法重建后的圖像質量較好，可以保留更多的圖像細節。

2 相關理論

2.1 ScSR算法及局限性分析

(1)

(2)

多幀高分辨圖像重構時，基于稀疏表示的高分辨率重建方法是選出梯度相對較大的數值用于后續候選字典原子的構建[8]。

然而，相對圖像的紋理信息極為復雜，使梯度的邊緣構造大于紋理值的變化。假如候選字典原子是通過梯度特征來選取，那么建立的字典邊緣構造將會偏重，致使重構后的高分辨率圖像紋理結構極為平滑，影響高分辨圖像重建質量。因此，通過人工手段建立的基于稀疏表示的高分辨率重建方法屬于低層級特征字典，字典在一些領域上具有局限性。對圖像的深層次特征進行獲取，需要創建新的字典，高分辨率圖像特征表述方法，是后續提高重建圖像質量的必然手段[9]。

2.2 基于深度學習的深層次特征提取模型

PCANet是通過深度學習理論和卷積神經網絡為基礎的一種較為簡易的深度學習方法。PCANet是由兩個PCA(主成分分析法)濾波層、一個哈希層、一個直方圖計算層構成的，可實現提取高分辨率圖像的深層次特征[10]。但是與通常使用的網絡不同的是，PCANet的濾波器計算效率更高。PCANet不是通過訓練所得，而是通過獲取高分辨率圖像部分區域映射結果，再采用PCA(主成分分析法)提取高分辨率圖像主成分，各個主成分為一個獨立的濾波器[11]。

當樣本圖像采用此濾波器，并提取特征時，無需進行多次迭代運算獲取最優權值，由此減少了計算時間。

為了進一步論述PCANe深度網絡提取高分辨率圖像特征的優勢，設定輸入圖像為N個，大小為8×8，移動距離為1的窗口遍布多幀高分辨率圖像。采用PCA計算該映射特征L1的主要部分，將L1個主要部分調試為L1個濾波器，最后得到和普通CNN一樣L1個特征映射；然后，第2層與第1層處理方式相同，而第3層能夠得出L2個映射特征。而PCANet的特征就是L2個映射特征，所以能夠為之后的圖像處理提供一個可靠的數據[12]。

因此，PCANet在提取圖像特征時，實質是對圖像像素點直接處理，且操作階段加入了分塊處理過程，深度網絡輸出的圖像塊數量相比之前有所增加。PCANet采用深度網絡學習過程進行提取圖像的特征，通過PCANet提取的圖像特征與通過人工規則所獲取的特征相比，其細節信息更加豐富，紋理結構更加突出，為后續高分辨率重建提供豐富的先驗知識，較好的填充了低分辨率圖像細節，便于超分辨率圖像重建。

3 基于視覺傳達的多幀圖像高分辨率重建方法

文中將PCANet與基于稀疏表示的高分辨率重建方法的優點相結合，提出基于視覺傳達的多幀圖像高分辨率重建方法。對于多幀圖像高分辨率重建方法，先假設高分辨率圖像和低分辨率圖像是對于各自字典所具備的稀疏表達方式，接著通過PCANet深度網絡而得到圖像樣本特征，對字典的結合獲得一對過完備字典Dh與D1。高分辨率圖像重建階段，對低分辨率圖像采用相同的方式進行處理，通過PCANet方式進行深層次特征提取，將低分辨率圖像特征D1稀疏所表達的系數直接作用在Dh上，就能獲得相對應的高分辨率特征圖像。實現低分辨率圖像的高分辨率重建。在通過PCANet深度網絡進行圖像樣本的挖掘，能夠獲取相對非深度網絡更好的圖像特征，建立的深層特征字典，也可以提升其描述能力，對圖像重建后的質量有著顯著的提升。

(3)

以上述所得數據矩陣X來提取特征，將提取出來的特征視為ScSR模型中的特征樣本，代入PCANet的特征字典中。

(4)

通過和高分辨率圖像同樣的處理過程，給出提取低分辨率圖像深層次細節特征結果，即

(5)

式中：Fhi與Fli分別代表高分辨率圖像和低分辨率圖像的特征提取結果；Bhist代表直圖像編碼的經過；B代表分割圖像樣本塊數。

文中通過結合稀疏編碼方法，在ScSR框架中訓練字典，目標是獲取一組能夠表示復雜的特征樣本字典對Dh與D1。使K對圖像生成的深層次細節特征Fhi與Fli，在Dh與D1上有著同樣的稀疏表示，且Fhi與Fli是有相同的描述系數，即

(6)

(7)

(8)

式中：N與M分別表示圖像的高、低分辨率特征塊元素值所進行列矢量的維度重排，1/N與1/M是采用平衡式(6)，(7)的Dh與D1之間的代價，為便于后續計算，將式(8)重構得到

(9)

(10)

在獲得字典對DC后，采用基于稀疏正則模型的高分辨率圖像重建方法得出LR圖像Y的重建HR圖像X。

圖像重建階段，受到外界環境噪聲干擾，圖像中存在部分噪聲，在重建后的圖像會出現塊效應以及圖像的模糊偽影。考慮到通常情況下，采用常規的反向投影模型，不能確保圖像重建之后的圖像質量；在非部分局部相似性先驗約束下，通過圖像與圖像之間的相似塊進行匹配，來更好地保存圖像的細節。相對重建后存在的圖像塊效應和模糊偽影，進行消除，在反向投影全局優化的基礎上引進非局部的相似性經驗約束，來優化HR圖像。文中的全局約束與非全局約束模型X*的表達式為

(11)

4 實驗結果與分析

4.1 實驗環境與參數分析

仿真環境為Pentium M1.60GHz CPU，760M RAM。為了證明本文方法的效果，對本文方法與文獻[4]方法和三次樣條插值法進行對比分析。

結合相關仿真工具對圖像模擬實驗。假如使用高斯模糊模型，設定3×3區域不變的高斯濾波器，將其采樣因子設定為4，對所有低分辨率圖像都加進高斯噪音，滿足信噪比為30dB。

4.2 實驗結果分析

圖1分別是幾幅測試圖像使用各個算法重建的圖像結果。圖像像素為512×512。

圖1 仿真結果

根據圖1可以看出，三次樣條插值方法通過圖像單幀像素點進行空間擴展，在重建過程中難以避免導致邊緣模糊，重建效果一般。文獻[4]方法對于某些幀像素點匹配時誤差較大，致使最終重建后的圖像細節不夠豐富清晰，重建效果劣于三次樣條插值方法。相比之下可以看出，本文方法相較于其它兩種方法，在高分辨率圖像重構中具有明顯的優勢。

高頻殘差分量塊和中頻殘差分量塊絕對差和間的關系，如圖2所示。

圖2 中、高頻圖像塊間的相關性

由上圖可以看出，兩幅圖都呈現出正相關的特性，雖然殘差圖像塊間的相關性較原始圖像塊的相關性相對弱一些，但從圖中可見，相關性仍是非常明顯的，足夠支持本章算法的思路，可以利用中頻殘差信息來預測高頻殘差信息。

圖3 各種方法對圖像重建的結果

由上圖可以看出，文獻[4]方法由于幀像素點匹配時誤差較大，重建圖像質量沒有明顯的提升。三次樣條插值方法具有明顯的鋸齒現象，且邊界的銳化保持度不明顯。所提方法不僅可以重建明顯的邊界輪廓，對不明顯的邊界紋理也有改善。主要原因在于所提方法通過PCANet深度網絡進行圖像樣本的挖掘，能夠獲取相對非深度網絡更好的圖像特征，建立的深層特征字典，也可以提升其描述能力，對圖像重建后的質量有著顯著的提升。

均方誤差(MSE)單位為常數、結構相似度(SSIM)單位為%。選取均方誤差(MSE)、峰值信噪比(PSNR)以及結構相似度(SSIM)這3個評價指標進行測試。SSIM參數用來評價圖像與圖像之間結構失真。

(12)

(13)

(14)

表1 仿真數值的結果標準

結合圖1、2與表1結果可以看出，文獻[4]方法的均方誤差(MSE)的指標為30.12%，峰值信噪比(PSNR)的指標為18.65%，結構相似度(SSIM)指標為0.43%；三次樣條插值方法的均方誤差(MSE)的指標為26.54%，峰值信噪比(PSNR)的指標為19.58%，結構相似度(SSIM)指標為0.57%；本文方法的均方誤差(MSE)的指標為5.54%，峰值信噪比(PSNR)的指標為33.25%，結構相似度(SSIM)指標為0.95%。無論從均方誤差(MSE)、峰值信噪比(PSNR)以及結構相似度(SSIM)這3種指標上，還是從主觀視覺角度來看，本文提出的方法重建效果均優于其它兩種方法，圖像重建后細節更豐富，質量更好。

5 結論

本文提出的重建方法，通過獲取多幀圖像的深層次特征，來增強高分辨率字典以及低分辨率字典描述圖像細節信息以及框架結構的能力，保持重建后的圖像具有豐富細節信息。本文方法在主觀評價與客觀評價上均較優，重建后的圖像細節信息更豐富，圖像質量更好。

未來階段將優化重建方法的計算時間，對于影響圖像的重建眾多因素進行詳細分析，進一步提升基于視覺傳達的多幀圖像高分辨率重建效率。