圖像超分辨率算法研究進展

侯騰

（四川大學計算機學院，成都 610065）

0 引言

圖像超分辨率算法是一項增強圖像分辨率的技術，目的是從一幅或一系列低分辨率圖像中重建出一幅高分辨率的圖像。高分辨率圖像能協助警察更好地維護公共安全，能幫助醫生做出更正確的診斷，在目標識別領域（如無人駕駛）也能發揮重要的作用。超分辨率算法可以在不升級成像系統硬件設備的前提下，從軟件算法層面來滿足市場在圖像分辨率上日益增長的需求，具有重要的研究意義。圖像超分辨率算法可以分為基于插值的方法、基于重建的方法和基于學習的方法三大類。

1 基于插值的方法

基于插值的方法是一種較早提出來且相對簡單的算法。核心是計算低分辨圖像和目標高分辨率圖像之間的配準關系，目標圖高分辨率圖像由合適的插值算法插值得到。常見的有雙線性插值[1]、雙三次插值[2]和最鄰近插值[3]。

此類算法復雜度低、計算量小，因此具有很好的實時性。但適應性較差，處理場景較為簡單，僅僅是基于周圍已確定的圖像灰度值進行復制、擴展，對圖像灰度值變化較大的場景，如圖像邊緣或紋理，結果圖像會出現邊緣模糊或高頻細節丟失等問題。

圖1 四鄰域示意圖

2 基于重建的方法

基于重建的方法是被廣泛研究的一種算法，此類算法先根據低分辨率圖像與高分辨率圖像之間的配準關系，得出高分辨率圖像與低分辨率圖像像素之間的依賴關系作為先驗知識，利用先驗知識重建出目標高分辨率圖像。算法常用的圖像成像模型[4]通常可表示為：

其中：Lk表示低分辨率圖像，H為對應的高分辨率圖像，D表示降采樣矩陣，Bk表示模糊矩陣，Mk表示幾何運動矩陣，Nk表示附加噪聲。

2.1 迭代反向投影法（Iterative Back-Projection ，IIBBPP）

該算法最先由Irani和Peleg[5][6]提出來應用到圖像超分辨率處理上，通過重復迭代反向投影過程，將模擬低分辨率圖像與輸入低分辨率圖像之間的誤差最小化，由此估計得到目標高分辨率圖像。其核心公式為：

其中K表示低分辨率圖像的數量，↑s表示上采樣因子，p表示反向投影算子。張永育等[7]提出了基于Keren改進配準算法的IBP超分辨率重建算法，算法的收斂速度得到了有效增長，算法穩定性也有效提高，但是重建圖像容易出現邊緣鋸齒效應。針對該問題，陶志強等[8]提出了基于新邊緣指導插值的IBP超分辨率重建算法，利用低分辨率圖像與高分辨率圖像局部協方差間的幾何對偶性，通過計算低分辨率圖像各像素點的局部協方差系數，提高峰值信噪比，降低均方根誤差，結果圖像的質量得到了提高。Hsieh等[9]采用運動補償方式改進反向投影函數，整合絕對誤差和、有效的圖像區域選擇以及運動向量聚類等方法優化了快匹配算法。進而減少了算法的收斂時間，提升了運動估計的精確度。缺點是存在多個解，而且先驗知識的應用較為困難。

2.2 凸集投影法（Projection onto Convex Sets ，PPOOCCSS）

該算法可以把目標高分辨率圖像的先驗知識運用到超分辨率重建的過程中，POCS算法基于集合理論，將超分辨率重建的可行解空間限制為一組約束集的交集，這些約束集是關于目標高分辨率圖像先驗知識的凸集。POCS算法通過迭代尋找符合所有約束集的一個點，用以重建目標高分辨率圖像的對應點。POCS算法最早由Stark和Oskoui[10]提出，其迭代過程可表示為：

其中H0表示任意一起始點，Pi表示將對應點投影到凸集上的投影算子。Patti和Altunbasak[11]提出了一個改進的POCS算法，算法采用可被自適應改變的約束集，且在成像模型離散化過程中采用更高階的插值算法，結果圖像的邊緣振鈴效應得到了很好的抑制。黃華[12]等提出了一種基于線過程模型的POCS算法，將

2.3 最大后驗概率估計法（Maximum a Posteriioorr，MMAAPP）

基于MAP的算法原理是利用低分辨率圖像序列使得目標高分辨率圖像的后驗概率最大，算法核心可以表示為：

其中H^表示目標跟分辨率圖像H的估計，即算法所求目標高分辨率圖像；p(Y1,…,YN|H)為條件密度項，p(H)為先驗概率項。Schulz和Stevenson[14]提出的算法的圖像先驗模型采用胡貝爾-馬爾可夫隨機場模型（Huber-Markov Random Field Model），增強了圖像邊緣部分重建的魯棒性。張新明等[15]提出了一種基于多尺度正則化先驗的最大后驗概率算法，對運動估計結果采用可信度驗證，并構建多尺度Huber-Markov先驗模型，由此產生了較優的目標圖像，有效消除了圖像偽跡。陳海棠等[16]提出了一種改進的MAP算法，利用Curvelet插值將低分辨率圖像構建成高分辨率圖像，并應用不同的方向因子結合權重系數進行插值，從而得到合成的目標高分辨率圖像，使圖像的色彩信息得到了更好的恢復，抑制了豐富紋理區域的模糊和鋸齒現象。除了上述模型，還有一些先驗模型被提出應用到圖像超分辨重建，如條件隨機場模型[17]、雙層高斯非平穩模型[18]和廣義各向異性馬爾科夫隨機場模型[19]等。MAP算法具有較好的適應性和穩定性，是一種相對較優的超分辨率重建算法。

線過程模型作為先驗知識用于迭代過程中的平滑性約束投影，從而得到更好視覺效果的圖像。許錄平[13]等提出了一種快速的凸集投影算法，根據圖像區域的特征自適應的選取迭代步長，顯著地提高了算法運算速度。POCS算法有利用強大空間域觀察模型的能力，可以便捷的將先驗知識綜合運用到超分辨率重建的過程中，但此類算法同樣也沒有唯一解，收斂速度總體比較慢，計算復雜度高，效率低。

3 基于學習的方法

基于學習的方法是近年來較流行的一種算法，算法的基本思想是從訓練集中學習高分辨率圖像與低分辨率圖像之間的聯合先驗，然后利用聯合先驗重建出目標高分辨率圖像。基于學習的超分辨率重建算法將圖像的先驗知識運用到算法中，因此能得到更好的重建圖像，且所需圖像信息大幅減少。缺點是這些算法都只能使圖像放大固定倍數，得到的目標高分辨率圖像尺寸是固定的。

3.1 領域嵌入方法（Neighbor Embedding）

Cheng等[20]利用局部線性嵌入流行學習的思想，提出了一個通用的使用訓練集的方式-基于鄰域嵌入的學習策略。假設高低分辨率圖像塊形成的流形在兩個特征空間中存在相似的幾何結構，讓高低分辨率圖像塊間的局部幾何結構形成映射，由此重建出目標高分辨率圖像。用K個最近鄰域塊重構一個塊系數來表示局部幾何結構。此算法可以使用一個小型訓練集來表示較多的圖像塊模式，因而降低了計算量，提高了算法速度。但由于K是固定的，常常會引發過擬合或欠擬合，進而導致圖像模糊效應出現。針對該問題，徐勝南等[21]提出了一種基于改進的鄰域嵌入算法，利用圖像多尺度相似性，采用雙層方式尋找圖像鄰域塊，克服了重建圖像產生的失真問題，進一步提升了算法速度。算法雙層方式尋找鄰域塊的第一層圖像塊間的歐氏距離為：

其中z(0)和z(1)表示算法利用圖像的多尺度相似性分化出的低分辨率空間，高分辨率空間用x表示。對應的鄰域圖像塊為：

其中C(z(1)(p,q))表示z(1)(p,q)的鄰域，|C (z(1)(p,q))|表示C(z(1)(p,q))中圖像塊的數目。在第二層中圖像塊之間的距離為：

3.2 稀疏表示法（Sparse Presentation）

Yang等[22]利用稀疏信號表示提出了一種基于稀疏信號表示的超分辨重建方法，通過對高低分辨率圖像塊字典的聯合訓練，強化高低分辨率圖像塊間對應的真實字典稀疏表示的相似性，進而重建出目標高分辨率圖像。李民等[23]在此基礎上提出了非局部聯合稀疏近似的算法，將圖像的高低分辨率圖像塊進行統一聯合稀疏編碼，建立稀疏關聯，用以指導重建過程。算法具有更強的自適應性。Dong等[24]提出將稀疏性當做先驗知識去正則化病態超分辨率重建問題，由于圖像塊間的最優稀疏域存在多個解，因此提前學習多個字典，重建過程中選擇最優的字典，從而得到更好的重建結果。

3.3 基于樣例法（Example-bbaasseedd）

基于樣例的算法從通過學習建立高低分辨率之間的對應關系，更注重對高頻信息的利用，重建形成目標高分辨率圖像。Glasner等[25]人提出一個無需外部訓練信息，只利用圖像本身的信息進行超分辨重建。他們認為，一副圖像中的圖像塊會有極大的概率在圖像自身其他地方出現相似的，無論是在相同還是不同的尺度上。利用這種子塊自相似的思想形成一個字典，用以重建目標高分辨率圖像。算法去除了對外部訓練數據的依賴，減小了存儲空間。但是這類算法由于圖像大小有限，內部字典通常不足以對包含復雜紋理信息的進行良好重建，此外，重建結果還和選取的圖像塊之間存在很大的相關性。為了解決這些問題，Singh等[26]人提出了一種基于子塊自相似的算法：算法首先將低分圖片I0下采樣為一系列圖片分別對這些圖片序列從不同方向進行單獨的自相似處理，處理分為三個步驟：①形成一個的字典，②尋找k=5個與目標區域最相似的子塊，③利用：

重建出系列高分辨率圖像。最后再將分別處理得到的系列高分辨率圖片反相處理得到目標高分辨率圖像

圖2 子塊自相似算法演示過程

該算法在不同的子塊之間使用自適應的相似性原理，即使用方向不同的帶通濾波器，并對字典進行了擴展，從而降低了圖像塊間的誤匹配率，并且算法對圖像子塊的大小不敏感。由此得到了更清晰的目標高分辨率圖像，算法在處理紋理信息（如動物毛發）上的效果尤其突出。Huang等[27]人在此基礎上，在尋找自相似的過程中利用透視幾何來指導子塊的搜索，并結合仿射變換來適應局部形狀變化，由此得到的優異的重建效果。

4 結語

本文對不同的超分辨率重建方法進行了綜述，其中包括基于插值、重建以及學習的方法，闡述了各自的優缺點。并對部分算法進行了詳細的描述，圖像超分辨率重建的研究對我們具有重要的意義，這一技術的發展與應用解決了不少問題，然而該技術還存在一些難點和發展契機。

（1）視頻超分辨率重建。視頻場景比圖像要復雜得多，視頻的信息量、視頻幀之間的場景變換，大部分算法也都不能滿足視頻實時性的處理要求。如何準確提取同一場景的低分辨率幀來重建，如何提高運動估計的準確性，如何確定重建后高分辨率圖像幀的前后相關性等。

（2）特定場景的超分辨率重建。一些特定的場景，如醫學超聲圖像或者夜間監控等暗光場景圖像。由于特定因素的限制使其處理難度增大。

（3）超分辨重建圖像評價標準。主流的質量評價方法有峰值信噪比、結構相似度等。但它們不能完全反映全部信息，它們都屬于有參考評價方法，但在實際研究中不一定都有高分辨率原圖像作為對比。