基于殘余插值的卷積神經(jīng)網(wǎng)絡(luò)去馬賽克算法

賈慧秒 李春平 周登文

摘要 在去馬賽克問題中，為了精確插值傾斜邊緣并提高結(jié)果圖像的整體質(zhì)量，提出一種基于殘余插值的卷積神經(jīng)網(wǎng)絡(luò)去馬賽克算法.針對Bayer格式的顏色濾波陣列，插值綠色平面時(shí)，對于紅藍(lán)通道信息不全的問題，采用同通道鄰近像素值近似代替，綜合考慮3個(gè)通道的梯度，運(yùn)用傾斜方向的邊緣檢測算子，將傾斜邊緣分為不同方向的邊緣分別插值.在插值完成后，利用深度卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)一步訓(xùn)練插值結(jié)果.在標(biāo)準(zhǔn)的IMAX數(shù)據(jù)集上，與目前流行的算法相比，本文算法視覺上更接近原圖，具有更高的峰值信噪比和更短的運(yùn)行時(shí)間.關(guān)鍵詞去馬賽克；Bayer CFA模式；殘余插值；邊緣檢測；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號 TP391.41

文獻(xiàn)標(biāo)志碼 A

0 引言

單傳感器彩色成像在數(shù)碼相機(jī)行業(yè)應(yīng)用廣泛.在一個(gè)單傳感器相機(jī)里，傳感器表面覆蓋一層彩色濾波陣列（CFA，Color Filter Array）.每個(gè)像素點(diǎn)僅采樣紅、綠或藍(lán)色分量之一，要恢復(fù)全彩色圖像，丟失的2種顏色分量需要估計(jì)，這個(gè)估計(jì)過程，稱為去馬賽克.

本文針對應(yīng)用最廣泛的Bayer CFA模式[1]（圖1），其他形式CFA可參考文獻(xiàn)[2-3].在Bayer CFA模式中，綠色像素點(diǎn)按梅花形網(wǎng)格采樣，紅色和藍(lán)色像素點(diǎn)按矩形網(wǎng)格采樣，綠色樣本是紅色或藍(lán)色樣本數(shù)目的2倍.

到目前為止，已提出了許多去馬賽克算法[4].去馬賽克過程是一個(gè)圖像插值的過程，雙線性和雙三次等簡單的插值方法，在圖像平滑區(qū)域也有較好的效果.但是它們相當(dāng)于各向同性的低通濾波，會產(chǎn)生顯著的邊緣模糊、拉鏈效應(yīng)等缺陷.

Hamilton等[5]提出自適應(yīng)彩色平面插值算法，利用二階導(dǎo)數(shù)檢測局部水平和垂直邊緣的方向，然后，分別沿著水平和垂直的邊緣方向進(jìn)行插值，改進(jìn)了雙線性等簡單插值方法的結(jié)果.該算法利用了顏色通道之間的相關(guān)性，將紅色和藍(lán)色的二階梯度作為修正因子來計(jì)算綠色分量.恢復(fù)出綠色分量后，再以綠色分量的二階梯度作為修正因子來恢復(fù)紅色和藍(lán)色分量.

由于顏色通道之間具有相關(guān)性，如果綠色通道某區(qū)域有邊緣，那么同區(qū)域的紅色和藍(lán)色通道上有邊緣的概率極大，2個(gè)通道的差圖像更平滑，插值效果更好.基于此觀察，Pekkucuksen等[6]提出了基于梯度的無閾值插值算法（GBTF），利用文獻(xiàn)[5]的插值公式對綠色平面方向插值之后，計(jì)算水平和垂直方向的顏色差，從上下左右4個(gè)方向?qū)︻伾钸M(jìn)行混合，得到最終的色差估計(jì)，色差估計(jì)與CFA中的紅色或藍(lán)色分量相加得到插值結(jié)果.

沿用色差插值思想，如果在比顏色差更平滑的平面上插值，能更容易恢復(fù)圖像.Kiku等[7]的實(shí)驗(yàn)證明，引導(dǎo)濾波方法[8]生成的估計(jì)值與真實(shí)像素值的差，即殘余，比顏色差更加平滑.他們提出的殘余插值（RI）[7]改進(jìn)了GBTF算法，將GBTF中第1步的方向插值改為殘余插值，然后同樣計(jì)算并混合顏色差得到最后的結(jié)果.殘余插值恢復(fù)出的圖像視覺上更接近原圖，并且具有更高的峰值信噪比，是目前去馬賽克效果最好的算法之一.

本文受殘余插值[7]啟發(fā)，提出基于殘余插值的卷積神經(jīng)網(wǎng)絡(luò)算法（RICNN）.恢復(fù)綠色通道時(shí)提出邊緣檢測算法，能同時(shí)檢測水平垂直和對角線方向的邊緣.實(shí)驗(yàn)證明該策略在具有斜邊的區(qū)域效果顯著優(yōu)于其他算法.恢復(fù)出的綠色平面作為紅藍(lán)平面的引導(dǎo)圖，再次采用殘余插值方法恢復(fù)紅藍(lán)平面.在對殘余域線性插值時(shí)，本文提出一種類Laplacian插值模板，可以保持邊緣信息進(jìn)而對圖像產(chǎn)生銳化效果，得到的去馬賽克圖像邊緣更清晰.

得到殘余插值結(jié)果后，本文用卷積神經(jīng)網(wǎng)絡(luò)（CNN，Convolutional Neural Networks）[9]作為一個(gè)修正項(xiàng)進(jìn)一步改進(jìn)結(jié)果圖像.將去馬賽克結(jié)果作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，對應(yīng)的全彩色圖像和去馬賽克結(jié)果之間的殘余作為卷積神經(jīng)網(wǎng)絡(luò)的標(biāo)簽，經(jīng)過訓(xùn)練逐步修正卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重.實(shí)驗(yàn)證明，本文算法得到的結(jié)果在較小的計(jì)算開銷內(nèi)，顯著提升了結(jié)果圖像的質(zhì)量.

1 基于殘余插值的卷積神經(jīng)網(wǎng)絡(luò)算法

為了便于介紹本文方法，先簡單介紹一下殘余插值（圖2）.以插值紅色平面為例說明算法流程.首先線性插值生成綠色平面，以此綠色平面為引導(dǎo)圖，應(yīng)用引導(dǎo)濾波方法[8]生成紅色平面的初步估計(jì)值，該初步估計(jì)值與原始數(shù)據(jù)作差得到殘余域.在殘余域上插值得到的結(jié)果再加上初步估計(jì)值生成紅色平面的插值結(jié)果.藍(lán)色和綠色平面插值過程與紅色類似，在此不過多贅述.

目前去馬賽克的普遍做法是，判斷水平或垂直方向的邊緣，根據(jù)判斷結(jié)果確定插值方向，但實(shí)際中的圖像，一般存在各種方向的邊.基于此觀察，在插值綠色分量時(shí)，本文加入傾斜方向的邊緣檢測算子，采用文獻(xiàn)的方法利用局域內(nèi)顏色差的和判斷水平和垂直邊緣.如果水平和垂直方向均無邊，則判斷傾斜方向是否存在邊緣，若每個(gè)方向均無邊，則混合水平和垂直方向的插值結(jié)果.

方向.沿4個(gè)方向計(jì)算梯度，如果4個(gè)梯度中的最小值與其平均值之間的比值小于某個(gè)閾值，則判定為梯度最小的這個(gè)方向有傾斜的邊緣，插值沿此方向進(jìn)行.

在恢復(fù)紅藍(lán)平面時(shí)，以插值過的綠色平面為引導(dǎo)圖，同樣用殘余插值方法.在對殘余域線性插值時(shí)，與雙線性相比，考慮在更大的模板上插值，這樣能夠更充分地利用圖像信息，同時(shí)為了更好地保持邊緣信息，受Laplacian濾波器啟發(fā)，本文提出一種類Laplacian濾波器（式（5））.在考慮了更多圖像信息的同時(shí)，能夠產(chǎn)生銳化的效果，使結(jié)果圖像邊緣比雙線性更清晰.

文獻(xiàn)[9]中的卷積神經(jīng)網(wǎng)絡(luò)（CNN）用于解決超分辨率問題，能夠?qū)⒌头直媛蕡D像恢復(fù)為分辨率較高的圖像.本文受此啟發(fā)，在去馬賽克問題中，將插值結(jié)果看作分辨率較低的圖像，用卷積神經(jīng)網(wǎng)絡(luò)作為一個(gè)后處理的步驟，對低分辨率圖像進(jìn)行修正，進(jìn)而提高插值精度.

1.1 算法介紹

1） 對訓(xùn)練圖像去馬賽克

插值完的綠色平面作為紅色和藍(lán)色平面的引導(dǎo)圖幫助恢復(fù)紅藍(lán)平面，這里同樣采用殘余插值方法.以插值紅色平面為例，藍(lán)色平面與其進(jìn)行相同處理，先引導(dǎo)濾波生成紅色平面的初步估計(jì)值，然后在紅色采樣點(diǎn)處計(jì)算估計(jì)值和真實(shí)像素值之間的殘余，對殘余線性插值，殘余插值結(jié)果與估計(jì)值相加得到最后的紅色平面.對藍(lán)色和綠色采樣點(diǎn)處的殘余域線性插值采用式（5）中的插值模板.

2 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)中Bayer格式的圖像通過有間隔地從真實(shí)圖像中采樣得到.采用文獻(xiàn)[10]中91幅圖像作為訓(xùn)練集，隨機(jī)裁剪為33×33的小塊，并用本文的去馬賽克方法產(chǎn)生低分辨率樣本集，在Caffe上訓(xùn)練模型.選擇IMAX數(shù)據(jù)集[11]作為測試集測試模型.設(shè)置權(quán)重衰減項(xiàng)為0，動力為0.9，采用隨機(jī)梯度下降的優(yōu)化策略.卷積網(wǎng)絡(luò)的各層參數(shù)為n1=64，n2=32，f1=9，f2=5，f3=5.本文實(shí)驗(yàn)環(huán)境為GeForce GTX TITAN GPU，32 GB內(nèi)存，ubuntu操作系統(tǒng)和Matlab 16.04（R2016a）平臺.

圖5是本實(shí)驗(yàn)用來測試去馬賽克性能的標(biāo)準(zhǔn)的IMAX18[11]數(shù)據(jù)集.IMAX數(shù)據(jù)集包含18張尺寸500×500的圖像.圖6展示了對IMAX數(shù)據(jù)集中的圖像利用RICNN算法去馬賽克和其他去馬賽克方法在視覺上的比較，其中圖6a和6i分別是原圖和本文提出的算法，可以看出本文算法在傾斜邊緣處明顯減少了拉鏈效應(yīng)，與現(xiàn)有算法相比在視覺上更接近原圖.算法在尺寸為500×500圖像上去馬賽克運(yùn)行時(shí)間為2.88 s.

在本實(shí)驗(yàn)中，選擇去馬賽克圖像和真實(shí)圖像之間的峰值信噪比（PSNR）作為評價(jià)指標(biāo).PSNR值越大說明復(fù)原的效果越好.將提出的RICNN與目前效果較好的幾種算法作對比，包括Hamilton[5]、GBTF[6]、PID[12]、RI[7]、MLRI[13]、FDRI[14]、IRI[15]、LSSC[16]等算法.表1和表2展示了各方法在IMAX 18數(shù)據(jù)集上的CPSNR和運(yùn)行的平均時(shí)間結(jié)果對比，表1中結(jié)果最好的算法用黑色加粗字體標(biāo)出.可以看出，本文方法在IMAX數(shù)據(jù)集上的峰值信噪比

高達(dá)37.14 dB，比IRI和LSSC分別高出0.08和1.09 dB，但是IRI運(yùn)行時(shí)間比本文算法多出1.7倍，而LSSC則多出了157倍，綜合考慮去馬賽克恢復(fù)質(zhì)量和時(shí)間，本文提出的算法具有明顯的優(yōu)勢.

3 結(jié)論

本文提出基于殘余插值的卷積神經(jīng)網(wǎng)絡(luò)算法來去馬賽克，通過實(shí)驗(yàn)證明了插值效果的提升.卷積神經(jīng)網(wǎng)絡(luò)在超分辨率問題中表現(xiàn)出眾，基于這個(gè)觀察，考慮將其作為一個(gè)去馬賽克后續(xù)的步驟來對不太完美的圖像進(jìn)一步提升，實(shí)驗(yàn)證明，這種提升效果顯著.另外還對殘余插值進(jìn)行了改進(jìn)，一般的去馬賽克算法都只在水平和垂直方向檢測邊緣，本文則考慮了更多方向，從而在斜邊上取得了優(yōu)于現(xiàn)有算法的效果.結(jié)果顯示本文提出的算法在去馬賽克問題上效果顯著，接下來的工作將嘗試采用其他的基于學(xué)習(xí)的方法來對圖像進(jìn)行去馬賽克.

參考文獻(xiàn)

References

[1] Bayer B E.Color imaging array：U.S.Patent 3971065[P].1976-07-20

[2] Hirakawa K，Wolfe P J.Spatio-spectral color filter array design for optimal image recovery[J].IEEE Transactions on Image Processing，2008，17（10）：1876-1890

[3] Condat L.A new color filter array with optimal properties for noiseless and noisy color image acquisition[J].IEEE Transactions on Image Processing，2011，20（8）：2200-2210

[4] Menon D，Calvagno G.Color image demosaicking：An overview[J].Signal Processing Image Communication，2011，26（8）：518-533

[5] Hamilton J F Jr，Adams J E Jr.Adaptive color plan interpolation in single sensor color electronic camera：U.S.Patent 5629734[P].1997-05-13

[6] Pekkucuksen I，Altunbasak Y.Gradient based threshold free color filter array interpolation[C]∥IEEE International Conference on Image Processing，2010：137-140

[7] Kiku D，Monno Y，Tanaka M，et al.Residual interpolation for color image demosaicking[C]∥IEEE International Conference on Image Processing，2013：2304-2308

[8] He K M，Sun J，Tang X O.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（6）：1397-1409

[9] Dong C，Loy C C，He K M，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）：295-307

[10] Timofte R，De Smet V，Van Gool L.Anchored neighborhood regression for fast example-based super-resolution[C]∥IEEE International Conference on Computer Vision，2013：1920-1927

[11] Zhang L，Wu X L.Color demosaicking via directional linear minimum mean square-error estimation[J].IEEE Transactions on Image Processing，2005，14（12）：2167-2178

[12] Wu J J，Anisetti M，Wu W，et al.Bayer demosaicking with polynomial interpolation[J].IEEE Transactions on Image Processing，2016，25（11）：5369-5382

[13] Kiku D，Monno Y，Tanaka M，et al.Minimized-Laplacian residual interpolation for color image demosaicking[J].Proceedings of SPIE，2014，9023（1）：2304-2308

[14] Kim Y，Jeong J.Four-direction residual interpolation for demosaicking[J].IEEE Transactions on Circuits and Systems for Video Technology，2016，26（5）：881-890

[15] Ye W，Ma K K.Image demosaicing by using iterative residual interpolation[C]∥IEEE International Conference on Image Processing，2014：1862-1866

[16] Mairal J，Bach F，Ponce J，et al.Non-local sparse models for image restoration[C]∥IEEE International Conference on Computer Vision，2009：2272-2279