應用字典學習算法改善Bayer格式圖像彩色恢復效果

朱 波 汶德勝 王 飛 李 華 宋宗璽

①(中國科學院西安光學精密機械研究所 西安 710119)

②(中國科學院研究生院 北京 100049)

③(西安交通大學 西安 710049)

④(商洛學院 商洛 726000)

1 引言

基于單片探測器的彩色成像都是在探測器前加一片顏色濾波陣列(CFA)來實現，如應用最為廣泛的Bayer濾波陣列[1]。利用陣列中每一個像素與其周圍像素點的強度相關性來估算出缺失的另外兩種顏色，這種處理稱為彩色插值(color interpolation或demosaicking)。目前，彩色插值算法很多，從原理上可大體歸納為以下4類：第1類，將Bayer格式中每4個像素看作一個像素來處理，這種方法簡單，也利于硬件實現[2]；第2類，利用單一顏色通道，獨立的進行彩色插值，如：雙線性插值(b i l i n e a r interpolation)和雙3次插值(bicubic convolution interpolation)[3,4]；第3類插值算法考慮了各顏色通道之間的關系，利用梯度變化增加通道之間的相關性，因此插值結果偽彩色大大減少[3,5]；第4類，利用局部方向插值，一般比較常用的是由文獻[6]提出的二階Laplace變換，在選擇的方向上分別進行計算，再進行結果合并、優化，從而得到彩色圖像。盡管第4類插值算法已經取得了比較好的彩色復原效果。但是為了讓彩色圖像邊緣更加銳利，更好地滿足視覺效果，許多非線性插值技術被應用到了圖像處理上[4,7,8]。

本文借鑒文獻[9,10]的思想，利用局部方向插值對Bayer格式馬賽克圖像進行處理，提出了一種基于字典學習的非線性算法來增強插值得到的圖像的邊緣信息。因為方向信息是恢復邊緣的關鍵，首先，對圖像的R,B通道進行上下左右方向插值，獲取缺失的G顏色信息。再將R,B通道各個方向的插值結果根據方向梯度進行合并操作。接著利用高斯混合模型(GMM)分類方法對學習字典進行分類，對被估計的缺失分量進行學習，與被估計像素相似的像素就可以用來對估計值進行加強，而不是將濾波結果的平均值作為加權，這樣就得到了缺失的綠色分量，當分量得到后，利用類似方法就可以得到其它兩種缺失分量，最終，獲取整幅彩色圖像。

2 改進的插值算法

2.1 算法的理論基礎

由文獻[2,3,5]的理論分析和第3節的試驗結果可以知道，幾乎所有的線性插值算法在圖像偽彩色的消除上都不夠理想，因此文獻[11,12]提出了插值效果更好的非線性方法。如圖1(a)所示，文獻[11]算法在水平和垂直兩個方向分別進行局部插值，再對插值結果進行合并運算，取得了不錯的效果。

圖1 Bayer格式圖像

應用式(1)對4個方向進行合并計算，得到4個方向的計算加權系數為

2.2 分量估計算法

其中J(x)是正則項，τ是一個小的常數。由于自然界的圖像在一定的域里，比如小波域，是稀疏的，因此，x可表示為字典的形式，即x≈ψα，這樣，由y來估計x就可以轉化為求l1范數的最小化問題：

在基于字典的學習算法里，一般不會以整幅圖作為學習樣本，因為這樣會使樣本易變，而且會引進許多冗余錯誤。所以一般選取合適大小的圖像塊作為樣本，假設以R0為中心的圖像塊大小為s×s，這樣插值輸出的圖像就為y0=x0+v0，式(5)就相應地表示為

一旦最優化，估計值就可以由0=ψα0得到。

對式(6)，應用拉格朗日乘子[10,12,13,15]，有等式：

這樣，式(3)的插值計算就轉化成了對式(7)的優化問題。對該問題的求解，文獻[12]提出了非局部適應閾值(NAT)算法，文獻[15]提出了基于字典的算法，但是這些算法在分類相似圖像塊，即學習樣本時，應用的是類似于k-means分類方法，雖然計算量稍小，但是k-means分類不夠精細，而且如果取到不好的初始值，就會得到比較差的結果，從而不能保證全局的最優，所以，我們對算法進行了改進。

2.3 改進的分量估計算法

在對算法進行描述前，先介紹一下高斯混合模型(GMM)，及其分類原理。

(1)高斯混合模型(GMM)簡介 高斯混合模型(GMM)分類法現在已經廣泛應用于各種科學領域，如：模式識別、信號處理和圖像處理等[16,17]。GMM算法的思想是假設有N個觀測樣本，記為XN={x1,x2,…,xN}，這些樣本來自k*個高斯分布：

其中，每個觀測樣本xt(1≤t≤N)為列向量，即x1t, …,xdt。而p(xt|)就是第j個服從參數的高斯分布，其中，是第j個分量均值向量和協方差矩陣，是該分量的混合系數。GMM分類就是從N個觀測樣本中估計出參數記為其中k為分類數k*。這樣，就構成了如式(9)所示的最大似然(ML)函數：

對式(9)的求解即找到這樣一組參數，使似然函數取得最大值，這樣就完成了參數估計。顯而易見，GMM學習的結果是一些概率密度函數，也就是數據點被分配到每個組的概率，這就比k-means分類提供了更多的信息，因此，它的分類效果也就更好。圖2(a)為經過k-means分類法得到的點分類結果，而圖2(b)為經過GMM分類法得到的點分類結果，可以很清楚地看出，GMM分類法得到的結果邊緣更加清楚，即GMM算法在細節分類方面明顯優于k-means方法。

(2)改進算法實現過程 為了獲取好的插值結果，對于式(7)的求解，本文采用字典學習算法來實現。首先要構建一個圖像塊字典庫，即選取一系列高品質的標準圖像，并從這些圖像中截取大量的圖像塊來實現。圖像塊的選擇原則是不能太小，比如3×3，雖然比較精細，但是插值結果會帶來偽彩色并使圖像平滑處出現錯誤，而圖像塊選的太大又會使分辨率降低，因此，本文圖像塊的大小選擇為7×7。假設選取M個圖像塊S=[s1,s2,…,sM]，一般情況下，對于一個局部估計，這些圖像塊是冗余且大部分是不相關的，這樣不僅使計算量增加，多余的信息也會帶來偽信息，表現為插值結果中的偽彩色。為了克服這些不足，本文利用GMM將S分為K類{Φk}，也就是將S分為K組，這樣，就將具有相同樣式的圖像塊進行了字典分類，相對于之前過多的圖像塊，不僅在數量上減少，而且子字典都是同類型，這就便于學習，從而得到高質量的恢復效果。而且，這種學習樣本是基于圖像塊，而不是單個像素，因此，學習的結果就更接近真實圖像。同時，為了減少運算量并有效地去除噪聲，應用PCA技術來提取字典的主要分量，去除冗余成分，使字典學習更加高效[15,18]。本文算法的具體實現過程如下：

圖2 應用k-means和GMM分類法得到的點分類結果

(1)輸入參量：

(a)Bayer格式的馬賽克圖像X；

(b)高品質的字典圖像塊S；

(2)對X的R,B通道進行上下左右局部方向插值(LDI)，并進行合并計算；

2.4 ,分量插值算法

參考2.1節的做法，我們可以得到R0處的B分量0=G0+，其中為R0處B-G梯度的估計值。同理，得到R1處的B分量其中為R1處B-G梯度的估計值。有了和就可以仿照分量的插值過程，進行R通道B分量的彩色插值恢復，得到相應的輸出結果。再利用同樣的方法，我們可以插值得到B通道的R分量，G通道的B分量和G通道的R分量了。

3 試驗結果與評價

為了驗證算法的效果，本文進行了標準圖像和實際拍攝圖像的試驗。字典庫圖像選取了若干幅McMaster圖像庫中的高品質圖片。試驗結果的評價分整體主觀目視評價和客觀峰值信噪比(PSNR)評價。

3.1 標準圖像試驗

標準圖像試驗樣本，我們使用了Kodak圖像集和 McMaster圖像集中的部分具有代表性的圖片，如圖3所示。

首先，將圖3的標準圖像按照Bayer格式轉換成相應的馬賽克圖像，然后應用幾種插值算法分別進行彩色恢復，整體效果和局部特寫如圖 4和圖5所示。

圖3 試驗用標準圖像

圖4 幾種算法對圖3(b)彩色恢復效果

圖5 幾種算法對圖3(f)彩色恢復效果

由圖4和圖5可以看出，視覺效果方面，本文算法插值得到的圖像偽彩色較少，邊緣銳利，整體效果最好。客觀評價方面，幾種算法對圖3的Bayer格式圖像插值得到的彩色圖像R,G,B通道的PSNR數值如表1所示。

3.2 實際拍攝的圖像試驗結果

除了對標準圖像進行試驗，我們還對實際拍攝的近景和遠景圖像進行了彩色恢復。圖6(a)，圖7(a)為應用DALSA公司IA-G3彩色CMOS探測器設計的某相機拍攝的Bayer格式馬賽克圖像，圖6(b)，圖7(b)為應用本文算法得到的相應彩色圖像，從結果可以看出，圖像色彩逼真，邊緣銳利，整體效果令人滿意。

表1 幾種算法對圖3圖像插值結果的PSNR數值統計(dB)

圖6 實際拍攝的5 m近景圖像彩色恢復效果

圖7 實際拍攝的遠景圖像彩色恢復效果

4 結束語

本文提出了一種基于字典學習的非線性 Bayer格式彩色圖像恢復算法，將插值過程由水平和垂直兩個方向改為上下左右4個方向進行，并應用了分類效果更好的GMM來構建字典，從而使獲取的彩色圖像效果更好。通過對Kodak和McMaster標準圖像和實際拍攝的圖像進行試驗表明，視覺效果良好，偽彩色較少，單通道PSNR最高達到41 dB，整體性能優于許多現有插值算法。但是，由于字典學習過程是基于循環、查找等操作，再加上PCA變換等技術的運用，所以本算法復雜度高，計算量比較大，以插值500×500的McMaster圖像為例，在Intel Core2 Duo CPU T9550 2.66 GHz電腦上使用Matlab2008a軟件，需要的時間大概是10 min左右，所以，下一步的工作是對本算法進行優化，降低算法的時間復雜度。

[1]Bayer B E. Color imaging array[P]. 美國專利, 3971065, 1975.

[2]王暕來, 楊春玲. 基于最大類間方差法的圖像分割系統的設計與實現[OL]. www.altera.com.cn/education/univ/local/events/articles/july08-3.pdf, 2008, 6.

Wang Jian-lai and Yang Chun-ling. Implementation of image segmentation system based on Otsu method[OL]. www.altera.com.cn/education/univ/local/events/articles/july08-3.pdf,2008, 6.

[3]Pei Soo-chang and Tam Io-kuong. Effectivse color interpolation in CCD color filter arrays using signal correlation[J].IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13(6): 503-513.

[4]Li Xin and Orchard M T. New edge-directed interpolation[J].IEEE Transactions on Image Processing, 2001, 10(10):1521-1527.

[5]Malvar H S, He Li-wei, and Cutler R. High-quality linear interpolation for demosaicing of Bayer-patterned color images[C]. IEEE International Conference on Acoustics,Speech and Signal Processing, Quebec, Canada, 2004:485-488.

[6]Adams J E and Hamilton J F. Adaptive color plane interpolation in single color electronic camera[P]. 美國專利,5506619, 1996.

[7]Wallach D, Lamare F, and Kontaxakis G. Super-resolution in respiratory synchronized positron emission tomography[J].IEEE Transactions on Medical Imaging, 2012, 31(2):438-447.

[8]Ma Jiang-lin, Chan Cheung-wai, and Canters F. An operational superresolution approach for multi-temporal and multi-angle remotely sensed imagery[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(1): 110-123.

[9]Charles A S, Olshausen B A, and Rozell C J. Learning sparse codes for hyperspectral imagery[J].IEEE Journal of Selected Topics in Signal Processing, 2011, 5(5): 963-978.

[10]Mu Guang-wu, Gao Xin-bo, Zhang Kai-bing,et al..Single image super resolution with high resolution dictionary[C].IEEE International Conference on Image Processing, Brussels,Belgium, 2011: 1141-1144.

[11]Zhang Lei and Wu Xiao-lin. Color demosaicking via directional linear minimum mean square-error estimation[J].IEEE Transactions on Image Processing, 2005, 14(12):2167-2178.

[12]Zhang Lei, Wu Xiaolin, Buades A,et al.. Color demosaicking by local directional interpolation and nonlocal adaptive thresholding[J].Journal of Electronic Imaging, 2011, 20(2):203016(1-16).

[13]Chang Edward, Cheung Shiu-fun, and Pan D Y. Color filter array recovery using a threshold-based variable number of gradients[C]. SPIE Conference on Sensors, Cameras and Applications for Digital Photography, San Jose, California,1999: 36-42.

[14]楊清山, 郭成安, 金明錄. 基于Gabor多通道加權優化與稀疏表征的人臉識別方法[J].電子與信息學報, 2011, 33(7):1618-1624.

Yang Qing-shan, Guo Chen-gan, and Jin Ming-lu. Face recognition based on Gabor multi-channel weighted optimization and sparse representation[J].Jounal of Electronics&Information Technology, 2011, 33(7):1618-1624.

[15]Dong Wei-sheng, Zhang Lei, and Shi Guang-ming. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J].IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[16]Zeng Hong and Cheung Yiu-ming. A new feature selection method for Gaussian mixture clustering[J].Pattern Recognition, 2009, 42(2): 243-250.

[17]Zhang Kai-bing, Gao Xin-bo, and Li Xue-long. Partially supervised neighbor embedding for example-based image super-resolution[J].IEEE Journal of Selected Topics inSignal Processing, 2011, 5(2): 230-239.

[18]Zhang Lei, Lukac R, Wu Xiao-lin,et al..PCA-based spatially adaptive denoising of CFA images for single-sensor digital cameras[J].IEEE Transactions on Image Processing, 2009,18(4): 797-812.

[19]Menon D, Andriani S, and Calvagno G. Demosaicing with directional filtering and aposterioridecision[J].IEEE Transactions on Image Processing,2007, 16(1): 132-141.