自適應IQA閾值序列圖像NLM超分辨重建方法

韋子先，熊正強，毛昱童，孫 濤

武漢大學 電子信息學院，武漢 430072

圖像空間分辨率是衡量圖像質量的一個重要指標，也是光學成像技術的核心競爭力。在實際成像過程中，受成像傳感器硬件成本、制造工藝、光路傳輸條件等諸多因素限制，呈現在人們眼前的圖像未必都具備足夠的分辨率，由此引出了圖像的超分辨率（super resolution，SR）重建問題。

從低分辨率（low resolution，LR）圖像生成高分辨率（high resolution，HR）圖像的過程是個逆問題，需要建立合適的成像退化模型。由采樣定理可知，多幅不同的高分辨率圖像都可能通過下采樣得到同一幅低分辨率圖像。因此，圖像超分辨率重建問題是一個非適定的問題（ill-posed problem），單純從退化模型出發估計得到的求解結果是不穩定的。想要得到魯棒性高且盡可能接近真實值（ground truth）的求解結果，往往需要引入其他約束條件。解決這一非適定問題的思路有兩種：一種思路是引入先驗知識，借助圖像的先驗知識（例如：機器學習的數據訓練）去降低退化模型的復雜度或固定相關參數，從而得到穩定的解；另一種思路是通過對多幅具有互補信息的低分辨率圖像的處理來重構一幅高分辨率圖像。這種解決思路實際上是通過增加輸入圖像數量來引入病態問題的約束條件，通過圖像序列間的相互約束關系來得到一個穩定解。

超分辨率重建根據輸入圖像的數量可以分為基于單張圖像的超分辨率重建方法和基于序列圖像的超分辨率重建方法。本文主要針對序列圖像的超分辨率重建進行討論。

經典的空域超分辨率重建算法，如：非均勻插值法[1-2]、迭代后投影法[3]、凸集投影法[4]等，存在求解結果不唯一的缺陷。基于最大后驗（maximum a posterior，MAP）理論框架下的正則化方法[5]利用正則項來構造MAP的求解模型，將SR這一非適定問題轉化成了最優化問題，以此獲得重建的唯一解。因此，也成為了近年來目前多幅SR問題研究中的主流方法。

大多數基于梯度懲罰正則化項的算法，如：Tikhonov法[6]、TV（total variation）法[7]以及BTV（Bilateral-TV）法[8]等，都面臨著保持邊緣、紋理細節和抑制圖像噪聲的矛盾。為提升SR 的重建質量，必須引入更為精準的先驗模型來對抗噪聲，以實現抑制噪聲和保留圖像高頻信息的平衡。非局部均值（non-local means，NLM）圖像去噪方法是解決這一問題的有效方法，最早由Buades等[9]提出。Protter等[10]將NLM算法的思想拓展到序列圖像SR問題中。傳統的基于NLM的超分辨率重建方法需要通過大量迭代才能獲得最佳的重建結果，而迭代次數的選取高度依賴使用者經驗值，這極大地增加了算法的調參過程的復雜度。此外，由于這類算法屬于典型的多入多出（multiple input multiple output，MIMO）結構，最佳SR 重建結果的篩選也多依賴于使用者的主觀評價，這無疑降低了算法的魯棒性。

為了解決這兩個問題，本文提出一種基于圖像質量評價（image quality assessment，IQA）閾值自適應迭代的NLM 超分辨重建算法。設計了一種SR 重建結果質量評價指標。將該指標引入到NLM 重建算法中：一方面作為閾值，用以確定算法迭代收斂條件，顯著縮短重建過程的耗時，解決了NLM重建算法耗時長的問題；另一方面作為評價標準，用以篩選多個輸出結果中重建效果最佳的高分辨率圖像。算法分別從頻域和空域評估重建圖像質量作為閾值，實現了NLM 超分辨率重建算法的自適應迭代，解決了NLM 參數設置和結果選取高度依賴經驗值的缺陷。由于同時應用了有參評價和無參評價兩種方式計算重建結果質量，有效保證了算法的魯棒性。

1 相關工作

1.1 NLM圖像去噪

NLM圖像去噪方法是一種空域圖像去噪方法。它充分利用了圖像中的冗余信息，能夠在去除噪聲的同時最大程度的保持圖像中邊緣等高頻信息的完整性。NLM 算法的基本思想是：一幅圖像中包含許多和目標像素周圍相似的像素塊，通過賦予這些相似塊不同大小的權重后平均對目標像素進行濾波操作，從而達到圖像去噪的目的。

設在包含噪聲的原始圖像中，目標像素點i的灰度值為I(i)，則去噪后目標像素點的估計值為：

其中，Ω表示以目標像素點i為中心的搜索區域；j表示搜索區域內任意一個像素點；I(j)表示像素點j的像素灰度值；w(i,j)表示像素點j在參與目標像素點i重建過程中的權重大小，反映了二者的空間相似程度；C表示搜索窗口中所有像素點參與重建過程的權重之和。

NLM去噪的窗口搜索過程如圖1所示，圖中藍色方框為點i去噪時的相似像素點搜索窗口，而紅色方框為比較窗口。其中，像素點i所在的比較窗口將和搜索窗口內的其他像素比較窗口進行比較從而得到不同的權重，然后進行加權均值濾波去噪。

圖1 NLM去噪示意圖Fig1 Diagram of NLM denoising

非局部均值圖像去噪算法不再簡單的搜尋像素鄰域內的有用信息，而是在圖像全局范圍內通過比較像素塊的相似性決定像素點在參與濾波重建時的權重大小。因此，相較于已有的空域圖像去噪算法，NLM具有更好的圖像去噪效果。

1.2 NLM超分辨率重建

超分辨率重建是圖像成像退化過程的逆過程，在數學上表現為病態求逆問題。解決此類問題需要建立適當的圖像退化模型，添加相應的約束條件后求解，從而得到高分辨率圖像的一個可能估計值。

考慮一般性的圖像獲取過程，真實場景發出的光線經過大氣擾動、模糊、降采樣和傳感器噪聲等過程，最終在接收端得到了多幅低分辨率退化圖像。具體成像模型可以表示為圖2所示。

圖2 圖像退化模型Fig.2 Model of image degradation

序列圖像NLM超分辨率重建將一般多幅圖像超分辨率重建過程中的圖像配準和融合合二為一，通過提取圖像序列間的冗余信息并融合達到提高圖像空間分辨率的目的。其基本思想可以表述為：由輸入的低分辨率圖像按像素構建大小相同的圖像塊；然后選擇其中一幅圖像作為參考，將參考圖像中的每個圖像塊都與其搜索區域和其他低分辨率圖像中的圖像塊比較；加權平均計算后，得到的圖像塊估計值插值融合到高分辨率圖像中，即可獲得一張高分辨率的重建結果。

設參考圖像為低分辨率圖像序列yt中的圖像G。則圖像G中的像素點i的重建結果可以表示為公式（3）：

其中Yt0和Yt表示低分辨率圖像yt0和yt對應的高分辨率圖像，h表示濾波參數，用來控制比較塊權重的衰減程度。與NLM圖像去噪算法主要考慮比較塊之間的距離相比，序列圖像NLM 超分辨率重建算法重點關注比較塊之間的相似程度，從而在復雜退化模型中獲得更好的重建魯棒性。

2 本文算法

2.1 算法流程

本文所做工作重心在于NLM超分辨率重建算法的迭代收斂條件和最佳重建結果評價，本節將介紹基于自適應閾值迭代和GPU 加速的序列圖像NLM 超分辨率重建算法流程。

從公式（3）可知，基于NLM 的超分辨率重建算法的時間復雜度極高，處理十分耗時。而GPU 作為圖像渲染專用處理器，具有大量可以并發執行的運算單元。因此本文將傳統基于CPU 串行執行的NLM 超分辨重建算法并行化，借助GPU 的并行運算能力加快重建算法的執行速度。關于GPU 的具體分析見本文的2.3 節。

最終本文提出的自適應迭代基于GPU 的序列圖像超分辨率重建算法流程如圖3 所示，具體流程如下所示。

圖3 本文算法流程Fig.3 Proposed algorithm workflow

（1）CPU端初始化：在CPU端讀取輸入的低分辨率圖像序列。使用Lanczos4方法，根據超分辨率的上采樣倍數對每張低分辨率圖像進行一對一的插值操作，得到對應索引位置上的初始高分辨率圖像。對比原始低分辨率圖像，插值生成的初始高分辨率圖像沒有利用序列間的冗余信息，未能增加圖像中的信息量。然后對低分辨率圖像序列和高分辨率圖像序列進行圖像鏡像延拓操作。延拓的大小為相應尺度上搜索窗口和比較窗口大小之和的一半。

（2）GPU 端初始化：在GPU 端分配合適的現存，用于存儲待處理圖像和處理后的結果；將目標處理圖像和參考圖像從CPU端傳送到GPU端。

（3）根據圖像的大小設定數量合適的線程數量，發射GPU端內核處理函數NLM_GPU進行并行化的NLM處理。

（4）重復步驟（1）～（3），直至完成整個圖像序列的超分辨率重建。

（5）進行圖像綜合質量評價，發射內核函數NLM_IQA，每個線程負責序列中的一個重建結果的質量評價計算。等待所有線程計算完成重建結果的質量評價后記錄該次迭代中最佳的重建結果X(k,Mbest)。

（6）將所有重建結果從GPU傳回CPU。

（7）根據整個本文提出的圖像質量評價準則判斷是否滿足收斂條件。若滿足收斂條件則完成計算；若不滿足則繼續下一次迭代計算。

（8）在得到最佳迭代次數和最佳重建結果后，完成計算，保存最佳結果并顯示。

為避免評價誤差影響算法魯棒性，實際執行過程中，步驟（7）設定為有50%的以上的圖像連續兩次迭代后的評價結果不如上次迭代時，認為迭代效果已收斂，后續迭代均為無效迭代（即迭代停止）。

2.2 自適應迭代閾值

在序列圖像超分辨率重建過程中，低分辨率圖像序列之間需要包含亞像素級別的位移。這樣才能夠在在重建過程中將這些幀間冗余信息進行挖掘和融合利用，構建出高分辨率的圖像。

對于NLM 序列圖像超分辨率重建算法，每張圖像的重建過程都需要在整個圖像序列中搜尋相似的圖像塊，因此目標圖像本身是作為參考圖像存在的。而圖像序列中每張圖像之間是存在一定差異的，這就導致整個圖像序列的重建結果是不同的。如圖4 是包含40 張低分辨率圖像超分辨重建的部分結果。

圖4 圖像重建效果Fig.4 Results of image reconstruction

此外，通過計算同一次迭代重建中不同圖像的重建結果的SSIM和PSNR來得到分辨率提升程度。具體結果如表1所示。

從表1 的計算結果可以看出，同一次迭代操作中，第9幀的圖像質量更好。然而，SSIM和PSNR是兩種有參考的圖像質量評價方式，在許多實際超分辨率應用場景中，只有低分辨率輸入序列而沒有高分辨率參考圖像。此時無法單獨使用SSIM和PSNR等有參評價方法來評估重建圖像質量。

表1 不同圖像幀重建效果Table 1 Results of different image frames reconstruction

另一方面，基于NLM 的序列圖圖像超分辨率重建算法需要通過迭代重建才能夠獲得最佳效果，現有方法通常依賴經驗值設置迭代次數為8、16或32次。基于迭代重建的方法均存在過度迭代后出現重建效果下降的情況，這是重建結果中誤差累積導致的。因此當達到最佳重建結果后應該停止迭代操作，若繼續進行迭代操作將會導致重建效果的下降。

為解決上述兩個問題，本文結合無參考圖像質量評價和相對有參考圖像質量評價方法，設計了一種自適應迭代閾值QSR，用以判別重建方法的最佳迭代次數和最佳重建結果。具體的計算方式如公式（5）所示：

BRISQUE 從圖像頻域中提取圖像本身的特征，并通過擬合廣義高斯分布和SVM回歸的方式計算圖像質量；而PSNR 是一種全參考的圖像評價方法，通過計算圖像的峰值信噪比判斷圖像相似程度。需要特別指出的是，本文實驗環境中真實圖像（ground-truth）未知，并非是計算重建結果與HR參考圖像的PSNR來評價重建質量。本文通過計算相鄰兩次迭代結果的PSNR 來判斷重建結果的相似度，以此從一定程度上判斷迭代的收斂程度。

為了避免評價誤差影響算法的魯棒性，在實際實驗過程中設定：當一次迭代操作過程中存在50%的圖像在連續的兩次迭代操作過程中的最終得分小于零時，認為迭代操作已經收斂，后續的迭代操作為無效操作，應終止迭代。

2.3 GPU重建

近些年，隨著計算機軟硬件的發展，在GPU中進行通用計算成為可能。GPU 在硬件上有著進行并行計算的獨特優勢：數量龐大的數據運算單元和海量數據的吞吐能力。

序列圖像的超分辨率算法的計算量龐大且各個計算操作之間并不相關聯，屬于十分典型的SIMD數據操作。當使用GPU 進行處理超分辨率重建時，將會產生遠超CPU運算的效果。

CUDA（compute unified device architecture），是英偉達公司于2007 年推出的GPU 通用計算的語言架構。通過CUDA，開發者可以使用C、C++等語言在英偉達公司旗下的GPU產品上進通用計算。

從公式（3）可以看到，基于NLM的超分辨率重建算法的時間復雜度極高。假設圖像序列中有t張大小為h×w的低分辨率圖像，搜索窗口和比較窗口的大小分別為b和p，共進行n次迭代重建操作，則整個圖像序列重建的時間復雜度為O=n×t×h×w×b2×p2。

分析NLM 超分辨率計算過程，每個像素點的計算是互相不關聯的，因此可以同時進行多個像素點的重建。假設可以同時進行計算的像素點數量為m，則整個超分辨率重建的時間復雜度變為O=n×t×h×w×b2×p2/m。

在實際進行計算操作時，能夠同時進行計算的像素點數量和線程數量是相同的，均取決于設置的線程塊（block）和線程格（grid）的大小。同時，由于圖像數據需要在內存空間和顯存空間之間傳遞、同時發射的線程在結束時需要進行線程同步等待以及GPU 運算單元的計算能力遠不如CPU 等因素的限制，并行化的序列圖像NLM 超分辨率重建算法達不到理論上的加速效果。

3 實驗分析

3.1 自適應迭代閾值實驗

為驗證本文提出算法的有效性，本文實驗首先進行迭代次數為16 次的迭代重建，然后對比人工經驗篩選和本文提出方法的效果。在呈現實驗結果時，為了更直觀地反映重建質量的變化趨勢和變化程度，對重建結果的QSR做了一次差分，即用ΔQSR表示本次迭代重建結果相對上一次迭代重建結果的提升程度。當ΔQSR為正數時表示重建效果有所提升；ΔQSR為負數時表示重建效果出現下降。而ΔQSR的大小則反映了重建提升程度的大小。

實驗1 低分辨率序列圖像數量為20，單張圖像分辨率為49×57的灰度圖像，超分辨率重建倍數為3倍。

如圖5所示為實驗1所采用序列中第2張圖像的重建結果。從結果可以看出，隨著迭代次數的增加，圖像的紅色方框中文字逐漸變得清晰。但是，隨著迭代次數的進一步增加，這些文字又逐漸變得模糊。

圖5 實驗1中不同迭代次數下的ΔQSR(迭代次數/ΔQSR)Fig.5 ΔQSR of different iterations in test 1（iterations/ΔQSR）

而通過計算本文的指標分數發現，隨著迭代次數的逐漸增加，指標分數逐漸變小，但是始終為正數，說明圖像的重建質量始終在增加，但是圖像質量的增加趨勢越來越弱；而當迭代次數大于6 次時，分數開始變為負數，說明此時圖像的質量在隨著迭代已呈下降趨勢，后續的迭代操作將無法為圖像質量增加做出貢獻，為無效迭代。

實驗2 低分辨率序列圖像數量為25，單張圖像分辨率為200×100的RGB圖像，上采樣倍數為3倍。

如圖6 為實驗2 所采用序列中第16 中圖像的重建結果。和實驗1類似的，當迭代次數大于6之后，圖像的重建質量沒有繼續增加反而出現了下降的情況。

圖6 實驗2中不同迭代次數下的ΔQSR（迭代次數/ΔQSR）Fig.6 ΔQSR of different iterations in test 2（iterations/ΔQSR）

如圖7 為整個圖像序列在不同迭代次數時的重建效果提升情況。可以看到，整個圖像序列的指標分數的變化情況幾乎是相同的：每張圖像的指標分數都經歷一個逐漸變小的過程。這與重建過程的現象也是符合的，即圖像的超分辨率重建效果在開始迭代時提升明顯，而隨著迭代次數的增加提升效果逐漸微弱。

圖7 所有重建結果ΔQSR 的變化趨勢Fig.7 Trendency of ΔQSR in all reconstruction results

如圖8 所示為圖像序列在不同迭代次數時的正負情況，紅色表示指標分數為正數，藍色表示指標分數為負數。從圖中數據可以發現，隨著迭代次數的增加，大部分圖像的指標分數小于0，圖像的重建質量呈現下降趨勢。而后續雖然有部分圖像的指標分數再次上升，但是經過迭代降質后的圖像質量依舊是下降的。經過計算，整個圖像序列在完成第6次迭代之后出現50%圖像指標分數小于0 的情況。在此時終止迭代符合節省時間和篩選最佳迭代次數的目標，而在每次迭代結束后，通過對指標分數歷次迭代質量進行疊加，得到每張圖像重建質量的總評分。在迭代終止后篩選出得分最高的圖像作為最佳的重建結果。通過計算，序列中第12 張圖像在第7 次迭代后得到整個重建過程中的最佳重建結果，如圖8中綠色標記位置。而通過與圖像的真實值對比，計算所有重建結果的SSIM可知（如圖9所示），圖8中綠色標記位置的SSIM最大，為0.987 4，與真實值最為接近。

圖8 各次重建結果ΔQSR 的全局分布Fig.8 Distribution of ΔQSR in each reconstruction result

圖9 所有重建結果的SSIM分布情況Fig.9 Distribution of SSIM in all reconstruction results

從上述兩個實驗可以看出，隨著迭代次數的增加，基于NLM的超分辨率重建算法會出現圖像質量下降的情況的，其原因在于計算過程中的誤差累積。本文通過提出的自適應閾值，分別從頻域和空域評估重建圖像質量，實現了NLM超分辨率重建的自適應迭代，計算得出了最佳重建迭代次數，有效解決了NLM 參數設置和結果選取高度依賴經驗值的缺陷，同時通過判斷迭代收斂終點，避免了迭代計算過程中的無效操作，大幅縮短了超分辨率重建的耗時。

3.2 GPU加速實驗

根據第2.3節的分析，序列圖像NLM超分辨率重建算法的處理時間受到圖像序列數量、圖像的分辨率、搜索窗口和比較窗口大小等因素的影響，本文提出的GPU并行加速方法能有效提升算法效率。為了說明GPU對算法加速的效果，本文設計了多組對照實驗，采用不同分辨率的圖像和序列數量與采用同一組圖像序列而搜索比較窗口的大小不同。

本文實驗環境為：Intel Core i7-4790K，NVIDIA GTX 780，Visual Studio 2015，OpenCV3.4.5。

為了客觀評價相同處理流程在CPU 和CPU+GPU平臺上運行的加速效果，實驗過程中將會記錄程序在不同平臺上運行耗時，并將二者時間之比作為綜合加速比，具體運算方式如公式（6）所示：

其中，TCPU表示程序在CPU平臺上的處理耗時；TGPU表示程序在GPU平臺上的處理耗時；k表示綜合加速比。

實驗1 采用多組灰度圖像序列，序列之間的分辨率和圖像數量不相同，但是采用相同大小的搜索窗口和比較窗口進行處理。設置低分辨率圖像的搜索窗口的大小為3，比較窗口的大小為7。表中的數據為進行一次迭代操作的耗時。

在表2實驗結果中，綜合加速比在5到10倍之間浮動。同時，分辨率低的圖像處理耗時較少；序列圖像數量較少的圖像序列處理耗時也較少。但不管是分辨率不同還是序列圖像數量不同，GPU并行化后的處理時間都顯著縮短了。

表2 不同圖像序列的加速效果Table 2 Acceleration effects of different image sequences

實驗2 使用同一組RGB 圖像序列，分辨率為200×150，序列圖像數量為42。實驗時，使用不同大小的搜索窗口和比較窗口進行處理。表中的數據為進行一次迭代操作的耗時。

從表3中數據可以看出，搜索窗口的大小對處理時間的影響十分明顯，在比較窗口大小相同的情況下，搜索窗口為5的處理耗時是為3的8倍左右。當搜索窗口大小不變，比較窗口大小逐漸增大時，處理時間雖然有所增加，但是增加的幅度并不明顯。而在使用GPU 對每個搜索窗口處理進行并行化后，處理時間顯著減少，加速比在10 到30 之間不等。同時，當處理的數據量較大時，GPU加速的優勢更加顯著。

表3 不同窗口大小的加速效果Table 3 Acceleration effects of different window sizes

上述兩個實驗表明，本文提出的基于GPU 加速方法，極大地縮短了序列圖像NLM 超分辨率重建算法的運行時間，提升了算法的效率。

4 總結

本文提出一種基于IQA閾值自適應迭代的NLM超分辨率重建算法。算法分別從頻域和空域，通過有參考評價和無參考評價結合的方式評價重建圖像質量，并將該指標作為自適應閾值用以判斷迭代的收斂程度。通過這種方式，實現了NLM 超分辨率重建算法的自適應迭代，解決了NLM 參數設置和結果選取高度依賴經驗值的缺陷。實驗結果表明，本文提出的算法能有效避免超分辨率重建計算過程中的誤差累積，在保證算法魯棒性的同時極大降低了算法的時間消耗。