非盲圖像復原綜述

楊 航

（中國科學院長春光學精密機械與物理研究所, 吉林 長春 130033）

1 引 言

在圖像的獲取和傳輸過程中，受各種因素影響，如大氣的湍流效應、攝像設備中光學系統的衍射、光學系統的像差、 成像設備與物體之間的相對運動、離焦等問題，都難免會造成圖像的失真，由這些因素引起的質量下降通常稱為圖像退化。由于圖像的退化，觀測到的圖像會丟失很多有價值的信息，同時對比度會變差，其典型表現是圖像出現模糊失真以及附加噪聲。為此，必須對退化的圖像進行處理，估計出真實的原始圖像，這一過程就稱為圖像復原。

在數字圖像處理領域，圖像復原算法的研究是一個重要但又難以解決的問題。近半個世紀以來，圖像復原問題始終是相關領域研究的熱點之一，不僅具有理論挑戰性也具有重要的實際應用價值。圖像復原作為一種改善圖像質量的技術，從失真和降質的觀測量來估計原始圖像，盡量降低和消除圖像的失真和噪聲。這對于圖像的進一步研究和應用，諸如特征提取、自動識別和圖像分析等都是極具價值的。近50 年來，圖像復原的應用范圍已經涵蓋了諸如天文觀測[1]、醫學影像[2]、空間探索[3]、軍事科學[3]、遙感遙測[4]、生物科學[5]及工業視覺[6]等眾多科學和技術領域。

在實際問題中，點擴散函數是一個低通濾波器，其會使輸入圖像的高頻成分受到抑制甚至丟失，圖像復原是一個數學反問題，其目的是要“找回”丟失的成分。在圖像復原過程中，觀測圖像中的噪聲往往會被放大，這意味著圖像復原的結果可能偏離真實的解。為了盡可能獲得真實的解，圖像復原要考慮對噪聲的抑制，這就需要在清晰度和噪聲放大之間做出適當的平衡。

圖像復原問題根據已知條件的不同可以分為兩類：非盲圖像復原（點擴散函數已知）和盲圖像復原（點擴散函數未知）。 非盲圖像復原，也稱之為反卷積（deconvolution），是在點擴散函數已知的情況下，由觀測圖像（模糊圖像），通過數學運算，估計出清晰圖像的方法，非盲復原更關注的是如何在噪聲干擾的情況下，能夠有效地恢復出清晰圖像。 與非盲圖像復原不同的是，盲圖像復原是在點擴散函數未知的情況下，關注如何能夠快速有效地估計出點擴散函數和清晰圖像。

生活中常見的模糊圖像都是點擴散函數未知的情況，大多采用盲復原方法進行處理。從問題表面上看，盲復原的難度更大，因為清晰圖像未知，點擴散函數也未知，但是因此斷言非盲圖像復原的研究價值沒有盲復原的高是片面的，恰恰相反，這更能說明非盲復原的重要性，因為非盲復原才是盲復原的核心內容。絕大多數的盲復原方法是交替求解點擴散函數和圖像，從而逐步恢復原始圖像，即先固定點擴散函數估計圖像（非盲圖像復原問題），然后固定圖像求解點擴散函數。由此可以看出，非盲復原算法是盲圖像復原方法中不可或缺的步驟。當然隨著深度學習的發展，也出現了一些由端到端網絡直接獲取清晰圖像的盲圖像復原方法，但若能估計出來點擴散函數，采用非盲圖像復原的方法則要優于端到端、由模糊圖像直接生成清晰圖像的深度學習方法。另外，在很多研究領域，圖像的降質過程有較好的理論模型支撐（例如光學稀疏孔徑成像[7]等），即在這種情況下，點擴散函數可以通過理論分析和計算得到，因此就省略了盲復原中點擴散函數估計過程，使得這些問題直接簡化為一個非盲圖像復原問題。

綜上可知，研究非盲圖像復原方法在實際應用和理論研究中都具有很高價值和意義。

本文將非盲圖像復原方法分為傳統方法和深度學習方法進行闡述。在傳統方法中，又將其分為兩大類：直接反卷積法和迭代法，最后，探討了圖像復原中的一些其他問題。

2 非盲圖像復原中的傳統方法

如果不考慮非線性退化的影響，由模糊造成的圖像降質是一個線性時不變系統，其數學模型為：

其中B為觀測圖像（模糊圖像），k為點擴散函數（又稱為模糊核），L為清晰圖像，γ為加性噪聲，“*”表示循環卷積，圖像模糊的基本過程如圖1所示：

圖1 線性時不變系統示意圖Fig. 1 Diagram of linear time invariant system

2.1 直接法

根據卷積定理，式（1）可以在傅立葉（Fourier）域寫成一種更加適合計算的形式：

吉洪諾夫（Tikhonov）正則化[9]采用頻域截斷的方式，抑制點擴散函數在高頻處的能量衰減造成的噪聲能量放大，其復原公式為：

吉洪諾夫正則化將圖像平滑的性質作為約束，會導致復原圖像的邊緣不清晰，當正則化參數選取不當時，會產生較嚴重的振鈴效應。但是因其計算效率較高，在噪聲水平不高的情況下，應用廣泛。

維納（Wiener）濾波[9]是基于最小均方誤差準則的一種線性濾波方法，其表達式為：

其中SL和Sγ分別為清晰圖像和噪聲的功率譜，顯然這在實際問題中是無法得到的，因此在具體應用時常用額外的手段去獲取的近似值。維納濾波依然不能有效處理噪聲放大問題。

隨著多尺度分析，特別是小波分析的發展，采用小波分解進行非盲圖像復原成為熱點[10-13]， 例如，Donoho 等人[13]提出一種小波漣漪卷積方法，通過引入一個與尺度相關的漣漪函數來參與解卷積，Kalifa 等人[14]提出了一種匹配卷積核頻域性質的鏡像小波，進而通過閾值收縮來達到抑制噪聲的目的。這些方法都是通過將小波技術融合到解卷積的過程中，沒有達到去卷積和抑制噪聲兩者之間的平衡，噪聲去除效果不佳，而且算法的步驟較為復雜，數學推導繁瑣，在實踐中不易執行。

在2004 年，Neelamani 等人[15]提出了一種將去卷積和去噪分離的方法，其思想較直接：首先采用吉洪諾夫正則化進行解卷積，此時選擇一個較小的正則化參數，目的是保留絕大部分圖像信息，但是遺留下的噪聲也較多， 然后，再使用小波分析對解卷積之后的圖像進行去噪，得到最終的復原圖像，這個方法稱之為ForWaRD，其流程圖如圖2 所示。值得注意的是：其小波去噪方法不是通過簡單的小波系數閾值收縮實現的，而是采用兩步法。首先，對解卷積圖像進行小波系數硬閾值收縮，得到預估計圖像，然后，再依靠預估計圖像構造小波域維納收縮因子，接著，再對解卷積圖像的小波系數進行維納濾波，最后，通過逆小波變換得到復原后的圖像。ForWaRD 方法不僅在當時取得了較好的處理效果，更重要的是其引領了非盲圖像復原的一次重要革新，其后絕大多數直接法都采用了類似的思路，即先解卷積，然后再去噪。

圖2 ForWaRD 算法流程圖Fig. 2 Flow chart of ForWaRD algorithm

雖然ForWaRD 算法在非盲圖像復原思路轉變上起到了很大的作用，但是由于二維張量小波只能有效地處理圖像中各向同性的奇異對象，對于不規則邊緣和紋理等各項異性特征沒有較好的非線性擬合能力，因此，學者們用更加有效的圖像分析工具來替代小波變換，由此產生了很多新的方法。

隨著小波熱潮發展起來的多尺度幾何分析，逐步成為了圖像處理的有效工具，例如曲波[16]（curvelet）、輪廓波[17]（contourlet），剪切波[18]（shearlet）和波原子[19]（wave atom）等，這些變換本質上和小波變換一樣，是一種人為構造出來的固定基底，用以對二維圖像進行稀疏化表示，他們的優勢在于可以對圖像的邊緣/紋理有較強的非線性逼近能力，因此，在各類圖像問題中得到了廣泛應用。在非盲圖像復原領域，也得到了較ForWaRD 更有效的擴展算法[20-22]。每種多尺度方法都在某一方面具備較好的圖像信息表達能力，但也有各自的局限，例如曲波[20]能夠對圖像中的邊緣有效的稀疏表示，而對紋理等信息不能很好處理，反之，波原子[22]雖然對模式化的紋理有最有效的非線性逼近能力，但是對普通曲線的處理要弱于其他多尺度變換。

基于多尺度變換域的高斯混合模型（Gaussian Scale Mixtures, GSM）[23-24]在圖像復原方面也取得了不錯的效果，基本思想是先對模糊圖像進行解卷積，然后對解卷積圖像進行多尺度分解，最后在多尺度金字塔和完備（或超完備）基底系數中應用高斯混合模型，對變換系數進行濾波，進而達到抑制噪聲的效果。這類方法的代表：SV-GSM[24]（Space Variant GSM）方法是當時最好的圖像復原方法之一。Xue 等人[25]提出了一種基于正則化的Stein 無偏風險估計（SURE）的最小化方法，稱之為SURE-LET 方法。該方法首先使用多個維納濾波器作為基本函數，然后，使用非抽取的Haar 小波閾值，線性地參數化復原過程，利用SURE 的二次性和線性參數化，將復原問題最終歸結為求解一個線性方程組，而這個線性方程組的解即為真實圖像的最優無偏估計。SURE-LET方法有著獨特的濾波手段，因此在小波類方法中取得了最佳結果，類似的思想也可以推廣到其他多尺度分析方法中。

與固定基底不同，文獻[26-27]提出了依據圖像內容自適應構造基底的方法，例如基于形狀自適應離散余弦變換的SA-DCT 方法[27]。在圖像局部使用非參數局部多項式來逼近圖像，雖然處理效果受限于表示工具，但是也為圖像分析的自適應基底提供了思路。遺漏噪聲與普通的高斯加性白噪聲不同，其隨機變量的概率分布不具備相同的方差，因此普通的去噪方法無法直接應用到非盲圖像復原中， 而非局部均值濾波[28]（Non Local Means Filter，NLMF）因為具有較強的紋理保護能力和濾波能力，獲得了學者的重視，并將其用于解決圖像復原問題[29]，有效恢復模糊圖像中的紋理信息。

在圖像處理領域，自適應基底和非局部特征被廣泛關注，一種將二者有機結合的圖像處理技術應運而生—三維塊匹配濾波[30]（Block Matching 3D filtering，BM3D）。該方法是傳統方法中去噪效果最好的算法之一。該算法的思想與NLMeans 類似，也是在圖像中尋找相似塊進行濾波，不同的是，在得到足夠多的相似塊之后，將其堆成一個三維數據（一個組），并對這個三維數據進行三維（3D）濾波，之后將濾波后的數據返回到各自的圖像位置并融合（因為一個像素點可以多次被匹配到不同的組中）。

BM3D 算法在圖像去噪領域均取得了巨大的成功，因此將BM3D 方法用于遺漏噪聲的濾除也成為了很自然的做法。學者們提出了BM3DDEB[31]用于圖像反卷積，該算法至今也是圖像復原問題首選方法之一，其流程圖如圖3 所示。

圖3 基于BM3D 的圖像復原方法流程圖[31]Fig. 3 Flow chart of image restoration method based on BM3D[31]

直接圖像復原法，其重點在于遺漏噪聲的去除，但并不是所有去噪的方法都是固定模式，每種方法都有自己獨特的去噪技巧，從而才能獲得最佳的復原效果。

為了對直接法的復原效果進行更好地總結，采用6 組標準實驗設置，對8 種代表性直接法進行實驗對比，8 種算法分別為：ForWaRD[15]、Shear-Dec[21]、 GSM[23]、 SV-GSM[24]、 LPA-ICI[26]、 SADCT[27]、SURE-LET[25]以及BM3DDEB[31]。采用改進的信噪比[32]（Improvement in Signal-to-Noise Ratio，ISNR）作為算法的評價標準，單位是分貝（dB）。ISNR 的計算公式為：

由式（7）可看出，相對于峰值信噪比（PSNR）的計算公式，ISNR 的計算增加了模糊圖像B信息，這樣更能反映復原圖像對模糊圖像的改善程度。

表1 給出了每組實驗的參數設置，其中BSNR（Blurred Signal-to-Noise Ratio）表示模糊信噪比，其計算公式為：

表1 實驗設置Tab.1 Experimental settings

其中，Var(B)表示模糊圖像B的方差，H和W分別表示圖像的高和寬，σ表示噪聲的標準差。

表2 顯示了8 種算法的復原結果，其中標下劃線數值表示該組實驗中最優的結果，加粗數值表述次最優的結果，從表2 可以明顯看出，BM3DDEB[31]具有最大的優勢。表2 中的數據來源于文獻[21,25,31,33]。

表2 8 種直接法輸出ISNR 的對比Tab.2 Comparison of ISNR output by eight methods

直接法的優點在于其思想簡潔，計算復雜度較低，便于應用；缺點是由于遺漏噪聲不同于高斯白噪聲。因此，單獨去噪無法達到滿意的效果，常常伴有振鈴效應或者噪聲濾波不完全的情況。因此，很多學者把提升非盲圖像復原效果的重點放在了迭代法上。

2.2 迭代法

非盲圖像復原的迭代求解法的核心思想是將清晰圖像的估計視作一個優化問題的最優解， 通過設計一種迭代格式來求解該最優化問題，進而達到圖像復原的目的[34-38]。

Lucy- Richardson (LR)法[39]是迭代法的早期代表之一，其假設圖像服從泊松（Possion）分布，采用最大似然估計，得到如下一種迭代格式：

其中“ ?”表示相關運算。LR 方法容易受到噪聲的影響，同時復原圖像往往會進一步放大噪聲，不適用于低信噪比的情況。Whyte 等人[40]針對部分飽和的模糊圖像，引入一個響應函數用來辨識飽和與非飽和像素點，進而提出了一種改進型的LR 迭代法。

全變差（Total Variation，TV）正則化是另一種重要的圖像處理模型[41]，在圖像去噪[42]，圖像復原[43]，圖像分割[44]，圖像超分辨[45]等領域都有著廣泛的應用。全變差模型本質上是一種對圖像的梯度進行約束（或者也可以稱為將圖像的梯度信息作為先驗）的一種最優化問題，在圖像復原問題上的數學表達式為:

其中 ?表示梯度算子，?L=(?xL,?yL)，?x和?y分別表示x和y方向的偏導算子，‖·‖def表示自定義的范數，λ＞0稱 為正則化參數， 而亦稱作正則項，稱為保真項。

1994 年，Osher 團隊[46]提出了求解圖像復原問題的ROF (Rudin-Osher-Fatemi)模型，即基于全變差范數的最優化模型。為了求解這種全變差圖像復原模型，早期的求解方法采用了偏微分方程的求解模式，將優化問題轉化為Euler Lagrange方程，進行求解[47]。這類方法計算復雜度高，迭代收斂慢。隨著壓縮感知帶來的熱潮，學者們提出了大量的最優化方法來求解這類模型， 進而也推動了全變差模型在圖像復原領域的發展。以美國學者Osher 團隊為首，率先提出了分離變量的思想[48]，使用Bregman 迭代方法，開創了一種快速求解全變差優化模型的理論，大大推動了迭代法的發展。這類算法包括Split Bregman 法[49]， 閾值收縮法[42,50-51]，Landweber 法[52]，ADMM[53](Alternating Direction Method of Multipliers)法等。分離變量的核心思想是通過引入一組中間變量，將不易直接求解的問題轉化為交替迭代求解多個易求解的子問題，例如在文獻[34]中，作者提出了一種快速求解全變差圖像復原模型方法（FTVd），通過引入一組中間變量 ，將式（10）改寫為：

之后采用交替迭代法，得到兩個子優化問題：

這兩個子問題在數學上都有解析解（closed form解），即：

通過式（14）～式（15）的交替迭代，就可以較容易得到最后的復原結果。

對于式（10）中的正則項，可以根據需要定義不同的范數，例如l1范數[49](各向異性全變差)，l2范數[34,54]（各向同性全變差），也可以是非凸正則項[55]：，甚至可以是“l0” 范數[56-57]。這種分離變量的優化技巧大大提高了全變差模型的求解速度和收斂性，受到了學者們的持續關注，但是全變差最優化模型的本質問題沒有得到改變，即該模型期望問題的最優解具有最小的梯度能量。這就會導致圖像中細節信息丟失、紋理信息損失、圖像過于平滑等問題。

從理論上分析，基于全變差的圖像約束利用了圖像中大部分是平滑區域的性質，對梯度進行約束，可以使獲取的圖像盡可能的平滑，進而抑制噪聲。同理，如果期望獲取的圖像具有某一方面特殊的性質，那么就可以提出相應的正則項（圖像先驗）。

隨著壓縮感知[56]的提出，圖像稀疏性的研究進入了一個高峰期。壓縮感知理論表明，如果一個信號（圖像）是稀疏的（非零元素較少），那么該信號（圖像）就是可以壓縮采樣的，即通過壓縮采樣后是可以精確復原的。雖然圖像本身并不稀疏，但是在一些特定的變換下，其變換系數可以是稀疏的。這一理論對圖像復原問題提供了新的思路，同時基于稀疏性的各種優化模型和迭代格式不斷提出，大大豐富了圖像復原的研究。

因此，在全變差模型取得成功的同時，用于圖像稀疏性表達的多尺度分析方法，例如小波、曲波等，也被應用到迭代法中，即作為對圖像的特征約束，構造相應的最優化問題，例如：在文獻[58]中提出一種基于小波正則化的快速迭代閾值方法，其最優化問題表達式為:

其中W表示正交小波變換。類似的方法還有很多，可以參考文獻[59-63]。同時，也有將小波、曲波和全變差組合在一起構造的新方法[64-65]，其基本思想是將圖像分成多個部分，每個部分用特定的先驗進行約束，例如可以將圖像分成紋理部分和平滑部分，紋理部分可以采用波原子先驗，而平滑部分可以采用全變差先驗。

從迭代法的迭代格式可以發現，大多數迭代法的核心主要包含兩個步驟：一個是對卷積的處理（式（15）），一個是濾波處理（式（14）），這和直接法相似，其本質的不同在于迭代法將前一次濾波的結果，反饋到下一次的解卷積中，讓解卷積的結果不僅僅取決于模糊圖像，也更加貼近前一次濾波（去噪）的結果。經過反復多次迭代，最終收斂到的結果能夠在解卷積和去噪之間達到平衡。

經此分析，很多對噪聲具有較好濾除性能的方法均可能在迭代法中得到應用，這些濾波或者去噪方法的引入也提升了非盲圖像復原的效果。

字典學習[66-67]（dictionary learning）是一種針對單幅圖像構造自適應基底的方法，即字典為一組通過當前圖像自適應學習出來的基底，最早用于圖像的稀疏表示，其求解字典的模型為：

其中 Φ表示需要求解的字典，其需要通過圖像L和求解最優化問題得到，c是圖像L相對于字典表示的系數，目的是要求c是稀疏的（元素盡可能為0 或者接近0）。圖4 顯示了圖像復原算法中學習到的字典[68]。Elad 等人[67]采用KSVD（Kmeans Singular Value Decomposition）的方法獲得了較好的冗余字典，并在圖像去噪、圖像修補、圖像復原等領域都受到了關注。在非盲圖像復原中， CSR[69]、NCSR[70]、GSR[71]等為最具代表性的字典學習類方法，其一般最優化模型為：

圖4 非盲圖像復原算法中學習到的字典[68]。（a）Barbara 圖像復原局部圖；（b）學習到的字典。Fig. 4 Learned dictionary from non-blind image restoration algorithm[68]. (a) Partial restoration image for Barbara image; (b) the learned dictionary

對于不同的字典學習類算法，主要是對正則項進行改進，例如中心稀疏表示[69]（Centralized Sparse Representation，CSR）模型在式（18）的基礎上添加了中心約束項：

其中p為1 或者2， β為c的較好估計[69]，新增加的約束項可以在有噪聲干擾的情況下，使學習到的字典更魯棒。在CSR 的基礎上進一步改善正則項，得到NCSR[70]：

NSCR 算法雖然刪除了系數稀疏約束項，但是在字典學習方法上通過K均值（K-means）聚類和主成分分析（PCA）對學習到的字典進行聚類，并采用非局部思想對β 進行更新，能夠取得更優的復原效果。GSR[71]算法提出了一種新的約束，將塊相似和自適應字典學習相結合，構建相似組（圖5（彩圖見期刊電子版）給出了相似組構建的圖示），對圖像進行稀疏編碼，進而提升圖像的表示能力，并取得了當時最優的復原效果。

圖5 組建構的圖解[71]Fig. 5 Illustration of group construction[71]

塊相似的方法也很自然地應用到了圖像復原中[72-73]，特別是基于BM3D 的IDDBM3D[73]算法，更是取得了當時最高水平的結果（目前也是傳統方法中最好的方法之一）。該方法將BM3D 濾波融入到一個兩步迭代格式中，一個子問題用于去噪，一個子問題用于解卷積，將解卷積和去噪解耦，交替迭代。文獻[73]證明了該迭代格式是收斂的。IDDBM3D 對各類點擴散函數和各種噪聲水平都有著很強的適應性，同時計算復雜度不高，能夠廣泛應用到各種實際問題中。

低秩（low rank）方法是在塊匹配的基礎上發展起來的，其思想是將匹配到的相似塊轉換成一維向量（與圖5 中堆棧部分類似），然后進行奇異值分解，并對奇異值進行抑制（軟閾值或者硬閾值），進而達到濾波的效果。這種方法雖然與BM3D在某種程度上相似，但是基于SVD 的方法比3D濾波更能發揮圖像塊之間的相似性作用，因此取得了更好的處理效果[74]。低秩方法可以認為是核范數[75]（nuclear norm）約束的一種形式（一個矩陣的核范數定義為該矩陣的所有奇異值的和）。 將低秩方法用于圖像復原的數學模型可以寫為：

其中U和V是正交矩陣， Σ為奇異值矩陣。基于低秩的復原方法（Low Rank based Deconvolution，LRD）[76]通過設計一種交替迭代法，將低秩濾波有效地整合到圖像復原問題中，并在正則化參數的選取上采用自適應方法，取得了與GSR[71]算法同等效果。

無論是字典學習還是塊匹配（包括低秩）等，都需要較大的計算量，再加上迭代法需要這些過程多次反復，所以要花費大量的計算時間。為了降低計算復雜度，同時又能夠使其達到可接受的復原效果，一些快速濾波方法被引入到圖像復原中。 邊緣保持濾波器一直是計算機圖形圖像領域最受重視的研究之一，其目的是對圖像進行平滑并且要保持邊緣不模糊。雙邊濾波[77]、非局部均值濾波[28]、引導濾波等[78]都是這類濾波器的典型代表。但是由于快速邊緣保持濾波器去除遺漏噪聲的能力相對較弱， 因此不適于用直接法進行圖像復原，而迭代法則能夠通過循環反饋，層層遞進的方式，讓快速邊緣保持濾波器在圖像復原中發揮作用[33,79]。基于邊緣保持濾波器的非盲圖像復原模型一般可以寫為：

其中EWF（Edge Ware Filter）表示邊緣保持濾波器。

該模型可轉化為如下迭代格式進行求解：

當然，迭代方式也可以采用其他分離變量的迭代格式，如Landweber[52]、ADMM[52]等。

在傳統方法中，機器學習的方法[80-81]也占有一席之地。不同于深度學習技術，這類方法主要使用傳統的機器學習技術，例如高斯混合模型[82]、隨機場[83]等。Roth 和Black[83]最先通過學習表達性強的高階馬爾科夫隨機場（Markov Random Field，MRF）先驗對圖像建模，提出了專家場（Fields of Experts，FoE）框架。該框架下MRF 中所有的濾波器參數均由訓練數據得到，但該方法由于目標函數的難解性，學習過程中使用了對比散度，導致該模型學習非常困難。Zoran 和Weiss 等人[82]提出了期望塊對數似然（Expected Patch Log Likelihood，EPLL）模型。該模型首先使用高斯混合模型從大量自然圖像塊中學習到圖像的先驗，并采用最大后驗（Maximum A-Posteriori，MAP）估計來對圖像進行濾波，通過EM 迭代來求解。EPLL方法最大的特點是不對整幅圖像進行全局對數似然近似，而是對局部圖像塊（patch）進行建模，不僅降低了學習難度同時也提升了復原效果。該方法也是比較常用的學習類方法之一。收縮場[84]（Shrinkage fields）方法將隨機場與最優化方法相結合，提出了級聯收縮場模型，學習出用于圖像恢復的有效圖像濾波器和收縮函數。Chen等[85]通過參數化線性濾波器和訓練非線性反應擴散模型來實現圖像復原。雖然這些方法獲得了不錯的圖像質量，但這些學習到的先驗知識或懲罰函數通常需要設計復雜的數值算法。

迭代法的復原效果主要取決于3 個因素：（1） 正則項（圖像先驗）的選取；（2） 迭代格式的設計（關系到是否收斂、收斂精度和速度）；（3） 正則化參數的選取。其中正則化參數十分重要，首先迭代法的收斂性需要依靠正則化參數，在正則化參數超出某個范圍時，迭代法是不收斂的或者說最優化問題本身將是不適定的，其次，正則化參數直接關系到迭代法是否能收斂到最優結果，即能否獲得與真實清晰圖像最接近的結果。正則化參數選取方面的研究相對較少，雖然有一些論文給出了一些準則，例如NSCR[70]、GFD[33]等，但是到現今為止，并沒有一種通用的理論或者方法能自適應計算出正則化參數。因為正則化參數涉及到清晰圖像、噪聲以及點擴散函數3 方面綜合影響，具有較高的復雜性。

與直接法類似，為了對迭代法的復原效果進行更好的總結，采用6 組標準實驗設置（見表3），分別對4 幅標準圖像：Cameraman、House、Lena 和Barbara 進行實驗，對8 種代表性迭代法進行實驗對比：L0-Abs[62]、 CGMK[36]、 TVMM[34]、 GFD[33]、NCSR[70]、 GSR[71]、 IDDBM3D[73]、 LRD[76]，另外，為了與直接法進行一定的比較，在對比中加入了BM3DDEB[31]算法的結果，算法的評價標準依然采用ISNR。

表3 迭代法實驗設置Tab.3 Experimental setup for iterative methods

表4 給出了以上9 種算法的復原結果，其中標下劃線數值表示該組實驗中最優的結果，加粗數值表示次最優的結果，從中可以明顯看出，GSR[71]和LRD[76]算法具有較大的優勢。表4中的數據來源于文獻[33,71,73,76]。

表4 迭代法實驗對比 ISNRTab.4 Experimental comparison of ISNR (單位:dB)

3 非盲圖像復原中的深度學習方法

近年來， 深度學習技術為計算機視覺各個領域帶來了巨大的變革。深度學習能夠使用高度非線性的復雜結構學習出需要的圖像特征，大大提升了圖像理解的能力。不同于依賴物理模型的傳統方法，深度學習是一類由數據驅動的方法，其通過訓練找到輸入與輸出之間的映射關系，解決了許多傳統方法很難處理的問題，并在核心指標上帶來了質的提升。因此用深度學習技術進行圖像復原已經成為主流，越來越多的學者專注于研究利用深度網絡模型來提升圖像的復原效果[86-88]。

多層感知機方法[89]（Multi-Layer Perceptron，MLP）是較早采用深度網絡進行非盲圖像復原的方法，但并不適用于圖像處理的卷積網絡，而是適用于帶有多個隱層的全連接網絡。該方法首先用吉洪諾夫正則化解卷積，然后對解卷積之后的圖像利用MLP 進行去噪。學習過程中，將解卷積之后的圖像和清晰圖像作為訓練集，取得了和IDDBM3D 同等水平的效果。但是MLP方法存在一個問題：對于每一個點擴散函數和噪聲水平，都要單獨訓練一個網絡，這大大限制了其應用性，Xu 等人[90]也采用多層感知機的方法進行圖像復原。與MLP 方法不同的是，該方法中使用一個解卷積網絡來代替吉洪諾夫正則化，并將解卷積的結果輸入到一個去噪網絡中。以上利用深度網絡進行非盲圖像復原的方法可以歸類為直接法。

目前基于深度學習的非盲圖像復原方法以迭代法[91-93]為主。2017 年，Kai Zhang 團隊[93]和Jinshan Pan 團隊[94]先后將卷積深度網絡與傳統迭代方法相結合，將深度網絡作為去噪工具，構造非盲圖像復原方法。這類方法與傳統的迭代法屬于同一種思路，優點是通過端到端的卷積網絡的非線性擬合能力提升整體復原效果，去噪網絡均采用全卷積結構，由卷積層，整流線性單元（Rectified Linear Unit，ReLU）層和批量標準化（Batch Normalization，BN）層組成，例如，在文獻[93]中，作者使用一個端到端的殘差卷積網絡完成解卷之后的去噪，其去噪網絡結構如圖6 所示。

圖6 文獻[93]中使用的去噪網絡結構Fig. 6 Denoising Network structure[93]

Weisheng Dong 團隊[95]在2019 年提出了采用Unet[96]結構的濾波網絡進行反卷積，核心思想是將Unet 網絡整合到一種迭代格式中，但每層迭代中的Unet 網絡單獨訓練參數，進而達到提升圖像復原效果的目的。絕大多數的卷積網絡參數都是實數，而Quan 等人[97]首次提出一種復值（Complex Value，CV）卷積網絡作為去噪方法（CV-CNN）。結合逆濾波和最優化格式獲得復原圖像，是當前復原效果最好的算法之一，其算法流程如圖7 所示。

圖7 基于CV-CNN 網絡的圖像復原框架[97]Fig. 7 The image restoration framework based on CV-CNN network[97]

Chen 等人[98]提出一種處理夜景模糊圖像的非盲復原方法，核心是提出一個深度卷積網絡學習置信度圖（confidence map）。該置信圖表示每個像素點對復原的影響程度，并利用共軛梯度法進行解卷積，然后再用一個深度卷積網絡抑制解卷積后的噪聲和振鈴。另一個值得注意的是，這篇論文還提出了一種通過深度網絡自適應學習正則化參數的方法，這為參數的自適應確定提供了一種研究思路。以上介紹的深度學習方法和傳統迭代法本質上類似，都是將深度網絡作為遺漏噪聲濾波器來使用， 運用卷積網絡強大的非線性擬合能力，結合傳統的迭代格式，在復原效果的提升上取得了長足的進步。

另外，很多非盲圖像問題是在對噪聲水平有一定認知的情況下進行的，而VEM 方法[99]提出了一種能處理噪聲強度不確定（也稱之為盲噪聲）的深度學習方法。該方法基于變分期望最大化框架，將噪聲強度估計與圖像先驗不確定性量化進行整合。而文獻[97,100]中的方法同樣適用于這種盲噪聲的復原問題。 DWDN[101]方法在深層特征空間中探索維納（Wiener）反卷積，并根據模糊特征自適應估計噪聲水平，確保訓練單個模型能夠處理不同級別的噪聲。該方法首先從模糊圖像中提取有用的特征信息，然后在（深層）特征空間中進行維納反卷積，最后再使用一個多尺度的端到端網絡進行圖像的復原（非迭代法），DWDN 方法取得了非常好的復原效果。

深度圖像先驗[102]（deep image prior）是一種對深度網絡本質的探索，認為圖像的統計學信息是被卷積的圖像產生的而不是被網絡學習得到的，因此能夠利用未被訓練的卷積網絡來處理圖像復原問題[103-105]。 該模型不需要訓練數據, 只需要一張模糊圖像和一個合適的網絡即可，通過對目標函數的迭代來優化網絡參數，最終達到復原目的。該類方法最大的問題是迭代次數多，速度慢，且何時迭代終止沒有理論依據[106-108]。

在傳統方法中，利用機器學習方法的復原思想，例如 EPLL[82]、CSF[84]等，在深度學習領域也得到了進一步的延伸，如文獻[109-111]等方法，通過深度神經網絡學習一系列的濾波器、懲罰函數（正則項），以及保真項等來進一步降低圖像的重構誤差，提升圖像復原效果。特別是SV-MAP[110]方法是當前圖像復原領域中最好的方法之一。與現有的專注于改進保真項或正則化項的方法不同，SV-MAP 方法是在統一的MAP 框架中聯合學習這兩個項。為了增強模型的性能，作者提出了針對每一個圖像像素的自適應保真網絡Ds和自適應正則項網絡Rs：

通過實驗表明，聯合學習保真項和正則化項比單獨學習其中一項更有效，特別是在具有挑戰性的情況下，效果更加明顯。

為了比較各種深度學習方法在非盲圖像復原中的效果，進行了8 組實驗對比。利用3 個被廣泛采用的數據集作對比實驗，分別是Levin 數據集[106]、Sun 數據集[107]和Martin 數據集[108]。這3 個數據集包括多種類型的清晰圖像和點擴散函數。與絕大多數文獻的對比實驗配準相同，設置加性噪聲的標準差如下：針對Levin 數據集[106]，標準差水平分別設置為1%、3%和5%， 針對Sun數據集[107]和Martin 數據集[108]，標準差水平分別設 置為1%和5%。

對比實驗包括11 種基于深度學習的圖像復原方法，分別是：MLP[89]、LDT[109]、FCN[94]、IRCNN[93]、FDN[87]、FNBD[88]、RGDN[92]、VEM[99]、DWDN[101]、CV-CNN[97]以及SV-MAP[110]，另外為了能夠和傳統方法進行比較，在對比實驗中也加入了兩種機器學習類的傳統方法：EPLL[82]和CSF[84]。

對比實驗采用的評價指標是PSNR 和SSIM[112]，表5 中每一種方法實驗結果的第一行是PSNR值，單位是分貝（dB），第二行是SSIM 值（無單位）。依然將每組實驗中最好的結果標記為下劃線，次最優的結果標記為加粗。(表5 中的數據來源于文獻[97,101,110])。

表5 深度學習方法的實驗對比Tab.5 Experimental comparison of deep learning of different methods

4 其他非盲圖像復原方法

針對非盲圖像復原的一些特殊問題，如點擴散函數不確定、點擴散函數全局不一致等問題，也產生了一些相應的非盲圖像復原算法。

4.1 點擴散函數不確定問題

絕大多數非盲圖像復原都是在點擴散函數準確獲得的前提下進行的，但是在很多實際應用中，已知的點擴散函數與真實點擴散函數存在偏差，例如在盲復原過程中，估計出的點擴散函數與真實值是有誤差的，因此在這種情況下如何能夠更準確地估計清晰圖像，是一個值得思考的問題。目前這方面的算法并不多，文獻[113-116]是其中具有代表性的論文。其中Ji 等人[114]利用傳統迭代方法，利用框架波（framelet）和離散余弦變換（Discrete Cosine Transform，DCT）對圖像和振鈴分別進行稀疏表示，進而達到抑制點擴散函數誤差的目的。但是受制于傳統先驗的局限性，該方法的適用性受到限制。Vasu 等人[115]首先使用多組正則化參數，利用全變差模型對模糊圖像進行非盲圖像復原，然后構建一個深度融合網絡，將這些全變差模型復原后的圖像作為輸入，輸出圖像為清晰圖像，其核心思想是利用不同正則化參數獲取的初始圖像在頻域信息上具有互補性。該方法的流程圖見圖8。

圖8 Vasu 等人提出的網絡結構[115]Fig. 8 The network structure proposed by Vasu[115]

Nan 等人[116]，通過構造一個最優化模型，設置兩個正則項，分別對應清晰圖像的先驗和由點擴散函數誤差引起的校正項先驗（在思想上和文獻[114]有一定的相似）：

其中L為清晰圖像，u為校正圖像，表示帶有誤差的點擴散函數， ? 和 φ均采用了深度特征先驗。該模型通過分離變量法，構建多個子優化問題來求解，特別是在求解校正圖像時，采用了雙通道的Unet[96]模型。

以上兩種基于深度學習的方法各有優點，Vasu 等人[115]的方法簡潔明確易懂，但缺少足夠的理論支撐，而Nan 等人[116]的方法通過迭代求解，雖然效果較好，但是復雜度相對較高。

4.2 全局非一致模糊問題

絕大多數非盲復原問題都是一致模糊問題，即對于所有像素而言，點擴散函數是相同的。而在一些實際問題中，點擴散函數隨著空間位置的不同而不同，這種問題稱之為全局非一致模糊問題。實際上很多全局一致模糊復原方法都可以擴展到全局非一致問題中，特別是圖像的迭代格式、圖像的正則項（包括圖像先驗）等，都具有可擴展性，最大的差別在于解卷積時，不再采用類似吉洪諾夫正則化或者維納正則化這種基于傅立葉變換的快速計算模式，而是需要較為復雜的一些矩陣運算[117-119]。例如Tai 等人[118]在傳統的LR迭代基礎上添加新的正則項，并改進LR 的迭代格式以適應這種空間變化點擴散函數的圖像復原。這種非一致點擴散復原問題在盲圖像復原中討論較多[120-121]，特別是隨著深度學習的發展，采用生成對抗網絡(Generative Adversarial Net，GAN)[121]處理這類問題成為主流，即不再需要估計點擴散函數，而是直接由模糊圖像生成清晰圖像。對于GAN 等相關的生成網絡，在非盲圖像復原的實際應用中有著重要的價值，當光學系統和觀測場景較為穩定時，點擴散函數形式較為固定，因此可以通過針對性的端到端訓練，將點擴散函數的信息融合到網絡中，從而避免了傳統方法中的反卷積運算，降低運算量，同時能夠獲得復原質量較高的圖像。另外，依靠生成網絡的泛化能力，也可以應對點擴散函數有限變化的情況，這相對于其他依賴反卷積的方法具有很大的優勢。

4.3 其他

值得注意的是，在盲圖像復原中也有一些新穎的先驗，例如暗通道先驗[122]、L0先驗[57]、局部最大梯度先驗[123](Local Maximum Gradient Prior)等，雖然沒有單獨提出作為非盲圖像復原算法，但是也具有一定的參考價值。

5 總結與展望

本文依據非盲圖像復原的發展脈絡，將主要的復原方法按照傳統方法和深度學習方法分別進行概括總結。在傳統方法中，按照算法的特點分為直接法和迭代法，描述并分析了主要算法的優缺點并給出實驗對比。從中可以看出，全變差模型、小波模型、自適應基底模型（包括字典學習模型）、塊相似模型和機器學習模型是學者們研究的重點，也能夠代表主要的非盲圖像復原方法。在深度學習方法中，主要總結了近年來具有代表性的一些網絡結構和模型，并同樣給出了實驗對比。從深度學習算法總結中可以發現，一部分深度學習方法是傳統方法在深度學習領域的延伸，例如MLP 方法是直接法的延伸、FCN 和IRCNN是迭代法的延伸、SV-MAP 是機器學習方法的延伸，等。由此可以看出，基于深度學習的圖像復原方法并不是獨立于傳統方法存在的，而是與傳統方法有著千絲萬縷的聯系，掌握好傳統方法的精髓，也可以在深度學習領域有較大的施展空間。

對于非盲圖像復原而言，解卷積和抑制噪聲是一對矛盾體，如何平衡好這兩者，構造合適的算法結構是研究的重點。 同時遺漏噪聲的處理能力是一個算法能否取得較高評價指標的核心因素，正則化參數選取也是影響算法的重要因素，需要將一些研究注意力放在這幾個方面。

現在絕大多數方法（包括一部分深度學習方法）依賴于圖像模糊的物理模型，而物理模型往往是實際問題的簡化，具有一定的局限性，因此解決如何面向實際問題的應用是非盲圖像復原算法研究的一個重要問題，即在物理模型存在一定誤差的情況下，圖像復原方法依然有效。

隨著計算機視覺的迅猛發展，深度學習技術也發揮著越來越重要的作用，很多傳統方法很難處理的問題，深度學習方法都能夠給出一定的解答。從以上實驗對比可以發現，在一些標準數據庫上，深度學習方法在效果上已經大大領先傳統方法，而其泛化性也在隨著網絡模型的更新，不斷改善。這種由數據驅動的處理思想，已經成為非盲圖像復原發展的主流，也給一些傳統思路難以解決的問題帶來了新的希望，例如基于傳統圖像復原思想進行深度學習“升級”的方法取得了高質量的復原效果，在天文、生物醫藥等需要高精度圖像的領域可以獲得較大的關注，基于生成對抗網絡及其相關網絡可以在視頻監控等環境較為單一，但實時度需求較高的問題中得到廣泛的應用。