基于馬爾科夫隨機場的圖像超分辨技術研究綜述*

黎海雪，林海濤 ，姜棟瀚

（1.海軍工程大學 電子工程學院，湖北 武漢 430033；2.海軍駐上海江南造船（集團）有限責任公司軍事代表室，上海 201913）

0 引 言

視覺是人類獲取外界信息的最主要途徑。據統計，人類獲得的外界信息中，80%是通過視覺途徑完成的。可見，視覺信息的清晰度直接影響人們獲取外界信息的細致程度。圖像作為視覺信息的重要載體，是對客觀世界的一種記錄和表達。圖像分辨率的大小直接影響圖像的清晰度，進而影響圖像中視覺信息的傳遞。圖像分辨率越高，細節信息越清晰，傳遞的信息越豐富；相反，圖像分辨率較低時，圖像細節信息會大量丟失，影響圖像信息的傳遞。近年來，隨著相機工藝的不斷提升，圖像分辨率越來越高。但是，在部分應用場景下，由于受觀測條件、設備成本和傳輸條件等方面的限制，分辨率水平仍難以滿足人們的需求。為此，人們希望從低分辨率圖像中恢復出原始高分辨率圖像，而圖像超分辨技術應運而生，并在安防、醫療、遙感等諸多領域得到了廣泛應用。

隨著安防系統的不斷普及，視頻監控設備幾乎遍布生活的每個角落。但是，由于受成本、傳輸條件、存儲條件等多方面因素的限制，安防影像通常分辨率較低，只能夠提供場景中的大概信息。當光照條件較差時，人的外貌、車輛牌照等細節信息會發生丟失，影響安防影像的使用[1]。醫學診斷中，X射線、伽馬射線等醫學成效系統逐漸得到普及，能夠在對人體產生較小傷害的前提下，反映人體內部器官的組織結構。由于設備工藝和醫學成像自身的物理極限影響，醫療影像的分辨率通常較低，有時難以滿足辨識病因的需求[2]。隨著航天技術的不斷發展，人們將高分辨率相機搬上衛星，實現了高分辨率對地觀測[3]。但是，由于衛星對地觀測的成像距離較遠，高分辨率相機的對地分辨率仍難以滿足細粒度物體的辨識。特別是受視場大小與分辨率相互制約的影響，通常為了保證一定的視場覆蓋范圍，相機分辨率難以滿足高分辨率辨識要求。

在軍事應用中，高分辨率的清晰圖像更有助于獲取精準的情報信息。例如，在偵察圖像中，更高的分辨率有助于了解敵方陣地的布局、武器裝備的型號以及人員的組成。然而，由于探測距離、成像條件等限制，星載、機載、艦載相機獲得的圖像通常較為模糊，給目標的識別帶來了巨大困難[4]。除了上述特殊應用場景外，生活中由于受到數據傳輸帶寬、數據存儲容量等限制，高分辨率圖像通常需要經過壓縮生成低分辨率圖像進行傳輸和存儲[5-6]，而這一低分辨率圖像通常難以滿足接收方的使用需求。

為了滿足用戶對圖像分辨率的需求，最直觀的想法是提升相機中傳感器的分辨率，主要可以通過減小單個傳感器單元的面積和增加傳感器單元數量兩種方式完成。傳感器單元面積的減小在提高圖像分辨率的同時，也提高了圖像中的噪聲水平，使得產生的圖像容易被噪聲干擾；增加傳感器單元數量在提高圖像分辨率的同時，增大了探測系統的電容量，導致系統的數據轉換效率降低。綜上所述，目前傳感器分辨率的提升具有一定極限，且需要付出較大的成本投入。為此，人們提出了一種利用圖像處理實現圖像分辨率增強的方式，即圖像超分辨技術。圖像超分辨技術作為一種圖像處理技術，采用軟件方式提高圖像分辨率，有效降低了成本，同時增強了自身靈活性，能夠根據不同場景不同需求自適應地進行圖像超分辨處理。因此，圖像超分辨技術的研究具有重要的現實意義和應用價值[7]。

1 國內外研究現狀

超分辨技術作為計算機視覺中的典型低層視覺問題，是一個典型的欠定問題，長期以來得到了研究人員的廣泛關注，并提出了許多超分辨方法[8]。根據圖像超分辨所使用低分辨率觀測圖像的數量不同，可以將圖像超分辨分為單幀圖像超分辨和多幀圖像超分辨兩大類。

1.1 單幀圖像超分辨技術

單幀圖像超分辨是指利用一幀低分辨率圖像對真實高分辨率圖像進行重建。單幀圖像超分辨是一個典型的病態非適定問題，可用信息量較少，重建難度較大。在許多應用場景下，往往只有一幀可用的低分辨率圖像數據。為此，國內外學者對單幀超分辨進行了廣泛研究，現有超分辨方法可以大致分為基于插值的超分辨技術、基于重建模型的超分辨技術以及基于學習的超分辨技術三大類。

1.1.1 基于插值的超分辨技術

基于插值的超分辨技術是最早出現的超分辨技術。它認為圖像局部存在相關性，圖像從低分辨率圖像超分辨得到高分辨率圖像時，圖像中新增的未知像元可以由低分辨率圖像中鄰域像元通過插值得到[9]。最近鄰插值效率最高的插值方法，認為未知像元與最鄰近像元的強度值相同，但這種插值方式得到的結果鋸齒效應較為明顯。雙線性插值是利用未知像元水平、垂直兩個方向臨近像元線性插值得到未知像元強度的插值方式，但容易造成模糊效應。雙三次插值[10]自從1981年提出后，得到了廣泛應用，至今仍在許多圖像處理軟件、顯示設備中應用。它利用多項式插值三次函數對位置像元的強度進行計算，在放大倍數較小時效果較好，但當放大倍數增加時，開始在圖像邊緣附近產生振鈴和模糊效應。

考慮到最近鄰插值、雙線性插值和雙三次插值都是全局一致性的局部插值方式，沒有考慮到圖像中不同區域間的差異性，研究人員進一步提出了基于局部圖像結構的插值方法。Li等人[11]提出了基于圖像邊緣的插值方法，利用圖像局部區域的協方差實現自適應的圖像插值；Zhang等人[12]提出一種基于自回歸模型的插值方法，利用自回歸模型學習圖像的局部特征，并以此指導圖像插值操作；Wong等人[13]發現傳統的邊緣插值方法多利用固定窗進行邊緣判別，難以適應不同方向的邊緣特性，為此提出了一種基于自適應方向窗的插值方法。此外，一些基于稀疏表示和自相似圖像塊的插值方法也相繼被提出，提高了插值方法的超分辨效果。

1.1.2 基于重建模型的超分辨技術

基于圖像插值的超分辨方法雖然簡單高效，但其基于圖像局部相似性插值產生的新像元通常與真實像元存在一定差異，導致超分辨結果具有明顯的模糊效應。隨著人們的超分辨過程認識的不斷深入，人們把高分辨率圖像到低分辨率圖像看成一個綜合了圖像模糊、圖像降采樣以及噪聲的圖像退化過程，并將超分辨過程看成這一圖像退化過程的逆過程，然后從貝葉斯角度出發，提出了許多基于重建模型的超分辨方法，取得了較好的重建效果。基于重建模型的超分辨方法的核心思想是利用已知的圖像退化模型，約束超分辨產生的高分辨圖像與輸入低分辨率圖像間的對應性。盡管圖像退化模型已知，由于超分辨是一個典型的欠定性問題，為了保證問題解的穩定性，人們引入了正則項，使得這一問題適定化。

對基于重建模型的超分辨方法來說，正則項設計直接影響超分辨的結果與性能。一般來說，人們多利用圖像的先驗認識作為正則項引入到模型求解過程中。平滑正則是圖像處理中最常用的先驗正則信息，認為自然圖像中主要以低頻平滑信號為主，抑制圖像中的高頻信號。考慮到平滑正則會造成邊緣、紋理等圖像細節部分的模糊，Fattal[14]進一步提出了基于邊緣統計信息的正則約束，通過對大量自然圖像中邊緣特性進行統計分析，將分析結果作為正則約束應用到超分辨過程中，以保持邊緣的銳利；Sun[15]在Fattal研究的基礎上，進一步提出了梯度剖面這一概念，通過對大量自然圖像的統計分析，得到了自然圖像中邊緣部分在梯度剖面上的統計規律，并利用這一規律作為圖像超分辨過程中的先驗約束，較好地恢復了圖像中的銳利邊緣。隨著壓縮感知理論的不斷完善，自然圖像的稀疏先驗開始形成共識，文獻[16]將稀疏正則引入到超分辨中，并取得了較好效果；隨著非局部方法在圖像去噪中的成功應用，文獻[17]將非局部相似性理念引入到超分辨中，提出了基于非局部相似塊的正則約束。

1.1.3 基于學習的超分辨技術

近年來，機器學習方法開始在圖像超分辨中得到應用，并取得了十分顯著的效果[18]。不管是基于插值的超分辨方法還是基于重建模型的超分辨方法，本質都是利用圖像本身和先驗信息進行圖像的上采樣。在沒有增量信息輸入的情況下，這種超分辨方法通常難以恢復圖像中損失的紋理等細節信息。為此，人們開始研究基于學習的超分辨技術，意圖通過對大量外部樣本的學習實現圖像細節信息的較好恢復。

Yang等人[19]認為，樣本空間中的圖像塊存在冗余，提出了基于圖像稀疏表示的字典學習算法，利用稀疏表示構建完備字典，與流形學習中的樣本空間相比，規模大大縮小，也顯著改善了重建效果。基于字典學習的超分辨方法在超分辨過程中需要將待超分辨的圖像塊在完備字典上進行投影，需要大量運算，為此Timofte等人[20]進一步提出了錨點鄰域回歸的概念，將字典進一步劃分為多個子字典，并分別為每個子字典選擇錨點。在實際重建過程中，圖像塊只需要在最相似的錨點的鄰域字典空間中進行投影即可。這一改進保持了較好的重建效果，同時大大提高了重建速度。需要說明的是，基于外部字典的圖像超分辨往往需要依賴龐大的字典庫才能實現較好的超分辨效果。

1.2 多幀圖像超分辨技術

多幀圖像超分辨是利用多幀低分辨率觀測圖像，對原始高分辨率圖像進行重建。一般多幀圖像超分辨中認為，多幀低分辨率觀測是對同一場景的連續觀測，幀間只存在一定的位移偏差[21]。與單幀圖像超分辨相比，輸入低分辨率圖像數量的增加，緩解了超分辨問題的病態性。如何合理利用多幀輸入低分辨率圖像中的圖像信息，成為多幀圖像超分辨技術的研究關鍵。為此，研究人員開展了廣泛的研究[22]。

Baker[23]最早提出多幀圖像超分辨這一概念，認為多幀圖像間只具有全局位移關系，因此利用運動估計算法估計多幀低分辨率圖像間的全局位移參數，進而通過運動補償完成多幀低分辨率圖像信息的融合。考慮到即使在同一場景下由于不同物體的景深不同，多幀低分辨率圖像觀測中的位移并不完全相同，全局位移一致性假設容易導致模糊效應與振鈴效應的產生。為此，研究人員將光流估計[24]引入到多幀圖像超分辨過程中，利用光流估計得到圖像中每個像素亞像元級別運動位移，并據此對多幀低分辨率圖像進行運動補償，將低分辨率圖像信息投影到高分辨率圖像中的對應位置，從而完成多幀低分辨率圖像的信息融合。考慮到多幀低分辨率圖像融合對多幀圖像超分辨的性能有著至關重要的影響，而圖像中邊緣、平坦區域由于各自特點不同，光流法在得到圖像運動信息后往往采用全局一致的權重值進行融合，容易在邊緣部分造成模糊效應。

2 圖像退化與超分辨模型

2.1 圖像退化模型

2.1.1 單幀圖像退化模型

實際生活中，低分辨率觀測圖像的成像模型如圖1所示。對于單幀圖像來說，由于受大氣擾動、相機光學系統等的影響，在圖像中會產生一定的模糊效應。同時，由于相機中傳感器的分辨率限制，導致高分辨率圖像在傳感器上發生降采樣。此外，整個成像過程還受到相機內部和外部噪聲的共同干擾，最終得到最后的低分辨低質圖像。一般來說，整個成像過程較為復雜，與相機、環境、光照等多方面因素有關。

圖1 單幀圖像退化模型

為了簡化分析，通常將低分辨率圖像的退化模型簡化為高分辨率圖像的模糊、降采樣以及噪聲干擾三個過程，即可以建立單幀圖像退化模型：

其中X、Y分別為原始高分辨率圖像與圖像退化后得到的低分辨率圖像，B為圖像的模糊退化操作，D為圖像的降采樣操作，N為加性噪聲。在自然圖像中，一般認為N為高斯白噪聲。

2.1.2 多幀圖像退化模型

一般來說，多幀圖像超分辨主要考慮利用對同一場景連續多次觀測得到的多幀低分辨率重建得到原始場景的高分辨圖像。在這一假定下，通常認為多幀圖像間不存在光照變化等情況，只存在相機或物體的相對運動，即認為多幀圖像間存在一定的位移。因此，在單幀圖像退化模型的基礎上，可以進一步得到多幀圖像的退化模型為：

其中Yk為第k幀低分辨率圖像，Dk為第k幀圖像的降采樣操作，Dk為第k幀的模糊退化操作，Fk為第k幀圖像的幾何變換操作，Nk為第k幀圖像中的高斯噪聲，如圖2所示。

圖2 多幀圖像退化模型

通常來說，一般認為多幀圖像超分辨得到的多幅低分辨率圖像是利用同一設備對同一場景連續觀測得到的。為此，通常認為多幀低分辨率圖像的成像條件相同，即式（2）可以進一步簡化為：

通過多幀圖像退化模型與單幀圖像退化模型的對比可以看出，多幀圖像退化模型進一步考慮了幀間的幾何變換關系，通常多指圖像間的位移關系，即認為多幀圖像是在較短時間內對同一場景的連續觀測，且多幀圖相間僅存在位移關系。

綜合來看，可以認為多幀圖像退化模型是單幀圖像退化模型的進一步推廣，單幀圖像超分辨模型是多幀圖像超分辨模型中觀測圖像數量k=1的一種特殊情況。

2.2 圖像超分辨率模型

圖像超分辨問題可以看作一個典型的變量估計問題，即在單幀/多幀低分辨圖像觀測的基礎上，對原始高分辨率圖像的估計問題。在貝葉斯框架下，通常將這一問題看作一個最大后驗概率估計問題：

為了求解這一最大后驗概率問題，通常利用貝葉斯定理將其進一步轉化為條件似然概率與先驗概率的乘積形式：

對于具體的某一超分辨問題，待求的高分辨率圖像X一定，因此P(X)為常數，式（5）可以等價為條件似然概率最大問題：

為了便于對式（6）進行求解，一般將上述條件似然概率最大問題轉化為一個最小重建誤差問題進行求解：

為了解決式（7）中的最小重建誤差優化問題，人們通常采用迭代優化的方法進行求解，如最簡單的最速梯度下降法。具體地，首先初始化一個高分辨率圖像，一般多通過對低分辨率圖像的插值上采樣求得。得到高分辨率圖像后，計算該高分辨率圖像的重建誤差，即。通常多利用L2范數表征該誤差，并計算該誤差的導數，利用導數對初始化的高分辨率圖像進行迭代修正，直至滿足收斂條件，得到最終的高分辨率圖像。

超分辨問題作為典型的不適定病態問題，相同的低分辨率觀測圖像對應著無窮多可能的高分辨圖像。因此，閉式解通常難以求得。在迭代優化過程中，通常也難以保證收斂到穩定的最小值點。為了保證優化解的穩定性，通常需要引入正則項對這一問題進行適定化，提高解的穩定性。引入正則項后，式（7）可以進一步寫為：

其中R(X)為高分辨率圖像上的正則約束項，λ為正則項系數，用來平衡式（8）中重建誤差與正則項損失的關系。

在超分辨問題中，正則項的設計選取一直是研究的熱點問題，其作為高分辨率圖像的先驗約束信息，準確性對超分辨性能有著重要影響。一般來說，正則項不僅需要能夠反映高分辨率圖像的特點，還需要能夠便捷地進行求導，以保證問題的可解性。當前，平滑先驗、稀疏先驗、自相似塊先驗以及邊緣先驗等在超分辨中都得到了廣泛應用。

3 圖像質量評價準則

圖像質量評價一直是計算機視覺中的重要問題。為了量化圖像質量評價準則以對比分析不同算法的性能，研究人員提出了許多客觀評價準則，并在圖像去噪、圖像壓縮、圖像去模糊等許多計算機視覺問題中得到了廣泛應用。考慮到圖像質量需要以人的主觀感受為最終目的，研究人員還對主觀評價準則進行了相關研究，提出了一些基于觀測者測試的主觀統計評價方法。

3.1 客觀評價準則

客觀評價準則是許多計算機視覺問題中的主要評價方法，根據圖像質量評價過程中是否使用參考圖像，可以進一步將客觀評價準則分為有參考與無參考兩大類。

3.1.1 有參考評價準則

（1）峰值信噪比（PSNR）

峰值信噪比是一種十分常用的圖像質量評價準則，在圖像像素級別反映了待評價圖像與真實參考圖像間的統計差異性。通過計算對應像元間灰度差異的統計均值來反映相似性與圖像質量好壞：

其中R為真實參考圖像，M、N為圖像的尺寸。通過式（9）可以看出，PSNR值的取值范圍為0到+∞，且待評價圖像與參考圖像間的統計差異性越小，則PSNR值越高，此時表面待評價圖像與真實圖像相比的保真度更高，質量更好。圖3為峰值信噪比示例，PSNR值越大，表明圖像與原始圖像差異越小，如圖3中（b）圖重建效果比圖3中（c）要好。

（2）結構自相似性（SSIM）

結構自相似性是一種評價圖像質量的優良準則，主要認為人眼對圖像質量的評價是基于圖像中的結構信息，因此好的圖像質量應該能夠較好地保持恢復圖像中的結構信息，做到結構失真盡量最低。為此，提出了結構相似性測度[25]：

圖3 峰值信噪比示例

其中μX、σX分別為待評價圖像X的均值與標準差，μR、σR分別為參考圖像R的均值與標準差，σXR為二者的協方差，c1=(k1L)2、c2=(k2L)2是計算過程中的常數項，L為圖像中像元的動態范圍。對于一般圖像而言L=255，k1一般取0.01，k2一般取0.03。通過式（10）可以看出，SSIM評價準則的取值范圍為-1到1，SSIM值越大，圖像質量越高。特別地，當待評價圖像與參考圖像完全一致時，SSIM取最大值1。與PSNR指標相比，SSIM指標能夠更好地反映人眼對圖像質量的主觀評價，為此其在諸多計算機視覺問題中得到了較為廣泛的應用。圖4為結構相似度示例，SSIM越接近于1，重建圖像失真越小，如圖4中（b）圖重建圖像失真比圖4中（c）要小，相比而言要更清晰。

圖4 結構相似度示例

（3）視覺信息保真度（VIF）與信息保真度準則（IFC）

從信息論角度出發，研究人員又相繼提出了VIF與IFC兩個圖像質量評價指標。二者利用信息熵相關理論，從信息保真度角度對待評價圖像與參考圖像間的差異性進行描述。這兩個指標雖然與人眼對圖像的感知建立了聯系，但不能較好地反映圖像中的結構信息，同時由于計算過程較為復雜，只在個別領域得到了應用。

3.1.2 無參考評價準則

在很多圖像評價任務中，真實的參考圖像通常難以獲得。此時，有參考的圖像質量評價準則難以使用。另外，有時人們也想脫離參考圖像，單獨觀察待評價圖像，判斷其圖像質量的優劣。為此，人們提出無參考的圖像質量評價準則，其多基于圖像的均值、標準差、梯度和熵等統計特性。無參考圖像質量評價準則對圖像質量的評價難度較高，通常難以有效地反映圖像質量的優劣，因此只在個別領域得到了應用。圖5為無參考評價指標示例，熵代表空間能量分布均勻程度，熵越大，能量分布約均勻，其圖像不確定程度越少，圖像越清晰。圖5中（a）熵比圖5中（c）大，所以更加清晰。

圖5 無參考評價指標示例

3.2 主觀評價準則

針對圖像質量的客觀評價主要依賴于人工設計的某些指標對待評價圖像進行測量，進而得到待評價圖像該指標的得分值。盡管客觀評價準則都是通過對圖像質量的分析而精心設計的，但在許多場合仍與人眼的觀測存在較大差異。為此，有時候仍需要進行圖像質量的主觀評價，即將待評價圖像交由觀察者進行主觀評價，并根據對大量觀察者反饋結果的統計分析，得到圖像質量的主觀評價。

主觀評價一般可以分為絕對評價與相對評價兩種評價方式。絕對評價是一種有參考的主觀評價方式，要求觀測者根據自身的認識和理解，參照雙刺激連續質量分級法對待評價圖像質量進行打分，直接得到圖像質量得分。相對評價是一種無參考的主觀評價方式，要求觀測者根據自身的認識和理解，參照單刺激連續質量評價方法對一批待評價圖像（通常多為不同算法的結果）進行優劣排序，得到不同圖像的相對評價得分。通過圖6得知，圖像超分辨從基于插值算法開始到目前主流的基于學習神經網絡算法過程，算法越來越符合人類視覺系統標準，在主觀評價中意見得分越來越高。

圖6 主觀評價指標示例（平均主觀意見分）

總體來看，圖像質量的客觀評價準則仍是目前應用最廣泛的圖像質量評價方式。如何設計更符合人眼主觀評價的客觀準則，是目前圖像質量評價的重要研究問題。針對圖像超分辨來說，一般在模擬數據上對不同算法的圖像重建質量進行評價。由于高分辨率參考圖像存在，有參考的客觀評價準則仍是主要評價手段。目前，主要采用PSNR與SSIM兩個有參考圖像質量評價準則作為不同算法性能的對比準則。

4 結 語

圖像退化模型與超分辨模型是圖像超分辨的重要基礎，本文主要對單幀/多幀圖像超分辨中低分辨率圖像的退化模型和相應的超分辨模型進行研究，并對圖像質量評價準則進行了對比分析，建立了單幀/多幀圖像超分辨中低分辨率圖像的退化模型。通過對圖像超分辨過程中低分辨率圖像成像過程的分析，進行合理簡化，得到了單幀/多幀圖像的退化模型；基于建立的低分辨率圖像退化模型，從貝葉斯角度建立了具有一定通用性的圖像超分辨模型；從客觀評價與主觀評價兩個角度，對圖像質量評價準則進行對比與分析，綜合考慮不同評價準則的優勢，同時結合圖像超分辨問題的特點，最終確定峰值信噪比與結構相似性。