基于圖像修復(fù)的圖像編碼技術(shù)

蔣 偉， 楊俊杰

(上海電力學(xué)院 計算機與信息工程學(xué)院，上海 200090)

0 引言

圖像編碼壓縮技術(shù)是圖像存儲、處理和傳輸中的關(guān)鍵技術(shù)。目前，利用離散余弦變換(DCT)和離散小波變換(DWT)的圖像編碼技術(shù)已得到廣泛應(yīng)用，它們都是基于波形的第一代圖像編碼。為了開發(fā)性能更優(yōu)的圖像編碼技術(shù)，從上世紀(jì)后期，基于對象的第二代圖像編碼已成為圖像處理的熱點之一。

圖像修復(fù)最早來源于藝術(shù)領(lǐng)域，用于藝術(shù)字畫和舊照片中破損區(qū)域的完整恢復(fù)或目標(biāo)物的移除和取代。2000年首次提出了基于三階偏微分方程(PDE)的修復(fù)模型，在計算機上實現(xiàn)了自動修復(fù)，標(biāo)志著數(shù)字圖像修復(fù)的正式提出[1]。而在信息傳輸過程中人為的丟棄一些符合某種可修復(fù)條件的圖像信息，就可以實現(xiàn)圖像數(shù)據(jù)量的刪減，也就是實現(xiàn)了信息壓縮。以目前主流的靜態(tài)影像壓縮標(biāo)準(zhǔn)（JPEG，Joint Photographic Experts Group）為例，只要將圖像修復(fù)技術(shù)以8×8塊為單元進行處理，就可以將圖像修復(fù)方法所產(chǎn)生的信息壓縮與JPEG壓縮算法結(jié)合起來，實現(xiàn)JPEG圖像的二次壓縮。基于這一思路，就產(chǎn)生了將圖像修復(fù)技術(shù)和壓縮編碼相結(jié)合的基于圖像修復(fù)的圖像壓縮技術(shù)。該技術(shù)充分利用了人眼視覺特性，可有效去除視覺冗余信息，具有良好的壓縮性能。

1 圖像修復(fù)技術(shù)

圖像修復(fù)目的是恢復(fù)有信息缺損的圖像，并使觀察者無法察覺圖像曾經(jīng)缺損或已被修復(fù)。目前對該領(lǐng)域的研究，國外正在蓬勃發(fā)展，國內(nèi)尚處于起步階段。

1.1 圖像修復(fù)技術(shù)簡介

圖像修復(fù)是填補圖像中部分區(qū)域內(nèi)的缺失數(shù)據(jù)的一種圖像恢復(fù)方法,最初用于藝術(shù)領(lǐng)域，由專業(yè)人員手工修復(fù)古代繪畫, 將作品中被損壞的部分補齊，以恢復(fù)其完整性。圖像修復(fù)主要研究如何利用已知內(nèi)容來推測未知區(qū)域中的數(shù)據(jù)。圖像修復(fù)的效果主要由主觀評測，完整、自然、符合人們推想的結(jié)果是圖像修補的目標(biāo)。隨著圖像修復(fù)技術(shù)在多個應(yīng)用領(lǐng)域的拓展，包括文物保護、影視特技制作、障礙物剔除、圖像壓縮、視頻通信的錯誤掩蓋等，圖像修復(fù)技術(shù)也逐步成為學(xué)術(shù)界的研究熱點。

1.2 圖像修復(fù)技術(shù)分類

對圖像修復(fù)技術(shù)的研究，從方法上來看可分為三類。①基于偏微分方程，屬于圖像正則化領(lǐng)域；②基于計算機圖形學(xué)中的紋理合成；③是將前兩類方法結(jié)合起來。下面分別介紹這幾種方法。

(1)基于PDE的修復(fù)方法

這類方法的基本思想是模擬手工修復(fù)的原理，利用待修復(fù)區(qū)域周邊的有效信息，將已知區(qū)域內(nèi)的圖像信息沿著等照度線的方向平滑地延拓傳播到缺失區(qū)域中。偏微分方程的階次和缺失區(qū)域的尺度有關(guān)，缺失區(qū)域越大，其中包含的結(jié)構(gòu)信息越復(fù)雜，則所需的階次越高。基于偏微分方程的圖像修補方法能夠較好地修補小的圖像瑕疵；但是，對較大的缺失區(qū)域、不規(guī)則的結(jié)構(gòu)信息或丟失區(qū)域包含紋理等情況，修補結(jié)果不理想[3]。

(2)基于樣本塊的紋理修復(fù)方法

紋理是物質(zhì)構(gòu)成成分的分布或特征反映。常用的紋理合成方法是非參數(shù)化方法，對紋理樣本不作參數(shù)提取，而直接進行采樣和復(fù)制粘貼得到與之類似的生成紋理。這種修補方法能夠處理較大的缺失區(qū)域，特別適合純紋理內(nèi)容的圖像，但在圖像比較復(fù)雜或缺失區(qū)域應(yīng)包含明顯的結(jié)構(gòu)時，修補結(jié)果有時不自然。

(3)偏微分方程和紋理合成相結(jié)合的圖像修復(fù)方法

目前主要的結(jié)合方式有兩種。一種是根據(jù)缺失區(qū)域的鄰域中的圖像內(nèi)容來推測缺失區(qū)域是否包含結(jié)構(gòu)信息，并選擇偏微分方程或紋理合成方法進行修復(fù)[2-3]。一般地，對平滑區(qū)域和邊緣區(qū)域選用偏微分方程，而對紋理區(qū)域則選擇紋理合成。另一種是把圖像分解成結(jié)構(gòu)部分和紋理部分，然后分別運用PDE修復(fù)和紋理合成修復(fù)方法進行缺失區(qū)域的修補，最后疊加成為一幅圖像。這類方法的難點是如何進行有效而正確的圖像分解。

除此之外，還有一些利用其它數(shù)學(xué)模型進行修復(fù)的方法，例如基于數(shù)理統(tǒng)計的模型，基于小波、離散余弦變換等變換的修復(fù)模型。

2 基于圖像修復(fù)的圖像壓縮技術(shù)

將圖像修復(fù)技術(shù)和壓縮編碼相結(jié)合的編碼方法是以去除視覺冗余為目的的第二代編碼技術(shù)[4-5]。在編碼端人為地丟棄部分圖像塊，而在解碼端利用丟失塊周邊的信息恢復(fù)丟失塊的信息。該技術(shù)可分為有輔助信息和無輔助信息兩類。有輔助信息的系統(tǒng)在編碼端除了進行區(qū)域分類，判定保留區(qū)域和丟棄區(qū)域外，還要進行圖像分析，提取特定的圖像特征，例如邊緣，梯度等，并將得到的圖像特征作為輔助信息傳輸給解碼端，幫助圖像修復(fù)算法更好的恢復(fù)缺失區(qū)域。而無輔助信息的系統(tǒng)在編碼端只進行區(qū)域分類，丟棄部分圖像塊，并不傳遞圖像特征給解碼端。因此無輔助信息的系統(tǒng)傳輸數(shù)據(jù)所需的比特更少；而有輔助信息的系統(tǒng)重建圖像質(zhì)量更好。

以S. D. Rane[6]的算法為例，無輔助信息的基于修復(fù)的圖像壓縮系統(tǒng)的結(jié)構(gòu)如圖1所示。首先在編碼端對圖像進行分析，劃分保留塊和丟棄塊，然后編碼保留塊，信道傳輸后，接收端對接收碼流解碼，得到不完整的圖像，最后使用圖像修復(fù)技術(shù)恢復(fù)出缺失區(qū)域的圖像，得到完整的重構(gòu)圖像。下面將分別介紹各個模塊的設(shè)計方法。

圖1 基于修復(fù)的圖像壓縮系統(tǒng)的結(jié)構(gòu)

塊丟棄模塊：該模塊將圖像塊分為保留塊和丟棄塊兩類。人眼對不同圖像區(qū)域的敏感度不同，根據(jù)這一特性選擇是丟棄塊還是保留塊。例如人眼視覺對邊緣很敏感，因此盡可能保留包含邊緣的圖像塊（結(jié)構(gòu)信息塊）；而人眼視覺對紋理區(qū)域，高亮度和低亮度區(qū)域的噪聲不敏感，因此可以丟棄較多的紋理信息塊。

編/解碼模塊：對輸入數(shù)據(jù)進行正常的圖像編碼和解碼。

塊劃分模塊：對丟棄塊進一步分類，判定當(dāng)前丟失塊是紋理信息塊還是結(jié)構(gòu)信息塊，以選擇不同的圖像修復(fù)方法。考慮丟失塊的8-鄰域，如果鄰域中有一個塊是結(jié)構(gòu)信息塊，就認(rèn)為該丟失塊也是結(jié)構(gòu)信息塊。具體的判斷方法如下：首先引入“粗糙度”作為度量參數(shù)。對于一個s×s大小的塊，粗糙度就是丟失塊鄰域中局部極值的個數(shù)。粗糙度的范圍在0(沒有極值)和s2(塊內(nèi)所有的像素都是極值)之間。如果一個像素的灰度值，既是所在行的極值，又是所在列的極值．那么該像素就是這個這塊區(qū)域的局部極值；然后定義局部極值的門限n，若極值個數(shù)低于n，則認(rèn)為該塊屬于包含結(jié)構(gòu)信息的塊，反之，則為紋理信息塊。

紋理塊恢復(fù)模塊：按照上述的塊分類方法，如果一個塊屬于紋理信息塊，那么其周圍8-鄰域都含有紋理信息。因此，可以從其鄰域中尋找合適的信息填充丟失塊。如圖2所示，丟失塊中以像素為單位逐個填充。假設(shè)未知像素P左邊的模板為 It，在丟失塊的8-鄰域區(qū)域內(nèi)搜索可用信息，找到一個模板，要求與模板 It的距離最小。找到這樣的模板，則尋找其右邊的像素M，然后對應(yīng)模板 It右邊的像素P的位置填充。依此類推，直到把整個丟失塊修復(fù)完整。

圖2 8-鄰域紋理合成

結(jié)構(gòu)塊恢復(fù)模塊：結(jié)構(gòu)就是圖像中兩塊區(qū)域的邊界或者色彩和灰度的明顯變化區(qū)。如果丟失塊被分類為包含結(jié)構(gòu)信息的塊，則用偏微分方程修復(fù)，基本思路為：沿著等照度線的走向把周邊信息平滑的傳遞到待修復(fù)區(qū)域。傳遞信息的過程，實際就是求偏微分方程的數(shù)值解。

其中?、Δ和 ?⊥上分別表示梯度、Laplacian算子、以及梯度的垂直方向(等照度線方向)。穩(wěn)態(tài)時有 ? (Δ I ) ? ?⊥I= 0 ，意味著ΔI在?⊥I方向上已經(jīng)是常數(shù)，所以在待修復(fù)區(qū)域內(nèi)滿足Laplacian的平滑連續(xù)了。

綜上所述，結(jié)合修復(fù)技術(shù)的壓縮方法由于只編碼部分圖像數(shù)據(jù)，所以編碼速率低；圖像的丟棄和修復(fù)充分考慮了人眼視覺特性，因此編碼性能高。但是在編解碼端加入了大量的判斷分類過程，很大程度上增加了算法復(fù)雜度和編解碼所需的時間，不適于實時編碼的應(yīng)用場合。

3 結(jié)語

數(shù)字圖像修復(fù)技術(shù)是圖像恢復(fù)領(lǐng)域的一個重要分支和圖像處理領(lǐng)域研究的熱點。隨著各種技術(shù)的不斷深入研究，修復(fù)的應(yīng)用場合越來越廣。結(jié)合修復(fù)的圖像壓縮技術(shù)也成為壓縮領(lǐng)域的研究熱點。基于修復(fù)的壓縮技術(shù)充分考慮了圖像中的視覺冗余，并根據(jù)對人類視覺系統(tǒng)特性的研究，采用一些計算機視覺中的圖像分析方法，能夠有效壓縮圖像，但這類算法總是引入了大量的數(shù)據(jù)計算和閾值判斷，算法的復(fù)雜度較高。

[1] BERTALMIO M, SAPIRO G, CASELLES V,et al. Image Inpainting[C].New York： ACM, 2000： 417-424.

[2] CRIMINISI A, PEREZ P, TOYAMA K. Object Removal by Exemplar-based inpainting[C].Madison：Comp.Vision Pattern 2003： 1200-1212.

[3] 趙云龍,徐帥,李光. 基于廣義遞歸反演的超分辨率圖像恢復(fù)研究[J]. 通信技術(shù),2008,41(11)：41-43.

[4] 趙向坡, 劉新. 下一代視頻標(biāo)準(zhǔn)H.264中的圖象的變換和量化[J].通信技術(shù), 2003(10)：10-12.

[5] 賀詞.可伸縮視頻編碼標(biāo)準(zhǔn)中的差錯控制[J]. 通信技術(shù),2010,43(03)：144-146.

[6] RANE S D, SAPIROO G, BERTALMIO M.Struture and Texture Filling—in of Missing Image Blocks in Wireless Transmission and Compression Applications[J].IEEE Transactions on Image Processing,2003(12)：296-303.