一種CMOS相機色彩還原算法

張 濤，王成龍，趙新宇

（中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033）

1 引 言

光電經緯儀［1］在現代靶場光學測量中得到了廣泛應用，隨著被測目標向高速、小型化、低可探測性方向發展，光電經緯儀所搭載的傳感器也開始向高分辨率、多光譜、彩色成像方向發展。為了更好的測量目標特性和取得更真實、鮮艷的目標圖像，靶場對彩色圖像的需求日益增加。

以往為了取得彩色圖像，一般采用3CCD彩色相機，這種相機具有色彩真實鮮艷、對比度高、動態范圍大等優點，但同時也有光學系統復雜、裝調維護困難、幀頻低（廣播級3CCD相機一般為24Hz或25Hz）、總像素有限、數據處理困難等缺點［2］，所以用于實況記錄更多而用于跟蹤與測量較少。而普通的CCD和CMOS相機光學系統簡單、幀頻高、總像素數高，適用于跟蹤和測量而不適合作為實況記錄。因此研究出一種能兼顧跟蹤測量和實況記錄的色彩還原系統就有了非常重要的意義。

2 Bayer濾波原理及還原算法

2.1 Bayer濾波

如果在黑白CCD或CMOS成像器件表面覆蓋一層微小的光學濾鏡，使器件的每個像素僅能對RGB三色中的一個分量感光，這樣整個成像器件產生的圖像有類似馬賽克的效果，在針對單個像素計算其真正的顏色時，需要獲取其鄰接像素的感光信息，然后進行白平衡計算再進行色彩還原。這種方法被稱為彩色濾波陣列［3－4］（Color Filter Array，CFA）。CFA算法可用于黑白成像器件，如果算法合適，則既能利用CCD和CMOS器件的高幀頻高像素數，又可獲取彩色圖像。

在CFA算法中，Bayer濾波［5－7］應用廣泛且效果良好，其基本結構如圖1所示。其中R、G、B分別代表紅、綠、藍三色分量。

圖1 Bayer濾波結構Fig.1 Construction of Bayer filter

從圖1可看出，在Bayer濾波中，R、G、B三個分量總數不同。考慮到人眼視覺對綠色更敏感，分辨能力更強，而且綠色在可見光中占據了更寬的光譜范圍，所以G分量占了總數的一半。因此對R和B分量進行計算時，可以G分量為基準。

2.2 雙線性插值法及其改進

在Bayer濾波的色彩還原中，雙線性插值算法［5］是對單個分量進行獨立插值的經典算法，以圖1的CFA為例，取坐標（3，2）點，對R分量感光，則計算其G和B分量的公式為：

由式（1）易知，雙線性插值法的優點是算法簡單，濾波器設計容易，計算量小，非常適用于實時處理。但缺點也很明顯，首先是濾波器大小始終為3×3，忽略了圖像細節，更重要的是這種算法在單個顏色分量間獨立插值，忽略了3個顏色分量之間的相關性。

可以預見該算法在圖像中的平滑區域內效果較好，但在圖像的邊緣處，由于像素取值具有方向性，如果顏色反差大，則用雙線性插值會產生很大誤差，在圖像邊緣呈現鋸齒狀效果，稱為拉鏈效應［8－9］。由上所述G 分量在圖像中總數更多，則拉鏈效應更明顯，所以在插值運算中應更精確地恢復G分量，改善色彩還原效果。

基于雙線性插值法的缺點和G分量的重要性，考慮在恢復G分量時使用梯度算法［7］，即通過計算梯度來檢測邊緣的方向，進而選擇合適的插值方向，使計算過程不跨越邊緣，從而減少拉鏈效應。

仍以圖1為例，假設Δh和Δv分別是該像素在水平方向和垂直方向的梯度，則有：

若Δh＜Δv，即認為水平方向有邊緣的概率大于垂直方向，則插值在水平方向進行，反之若Δh＜Δv，則在垂直方向進行，若Δh＝Δv，則該像素仍在平滑區域，在兩個方向都進行插值。可將式（1）中計算G分量的算式優化為：

而對于B分量，對于坐標（3，2）因為并不是水平和垂直鄰接的像素，則計算時無法直接判斷邊緣是否在兩個方向，需要對（2，1）、（2，3）、（4，1）、（4，3）4個對B分量感光的像素進行判斷。則有如下判據，設

而對R分量其值保持不變。

式（2）、（3）、（4）、（5）聯立求解同樣可以得到還原參數，這種方法和式（1）對比可以看出兩種算法可以的算法復雜度和計算量并沒有顯著的增加。

3 硬件設計

CMOS相機采用Dalsa公司的1M120，使用的工作模式為1024（H）×1024（V），幀頻100 Hz，數據位寬8bit，該相機靈敏度高、動態范圍寬，像元大小適中，可兼顧捕獲和測量功能。

在以往的光測設備中，為了滿足實時跟蹤的要求，圖像處理硬件平臺多選用DSP＋FPGA的模式，但隨著PC硬件處理能力的快速發展，使用PC平臺＋工業級數字圖像采集卡的模式也可以滿足實時性的要求。

數字圖像采集卡使用Dalsa公司出品的X64－Xcelera－full，該卡支持 Camera－Link full標準，接口為PCI－E×4，硬件的結構和數據流圖如圖2所示，處理軟件從采集卡緩存讀入圖像，進行處理后得到目標脫靶量和還原的彩色圖像，將脫靶量輸出至串行通信卡，將彩色圖像輸出至顯卡，顯卡有數字和模擬接口，再分別輸出給相應的傳輸和顯示設備。

圖2 硬件數據流圖Fig.2 Flow chart of hardware

4 軟件設計

采用 VC＋＋進行軟件設計［10－11］，同時利用采集卡提供的Sapera開發庫簡化一些如接收、發送、控制相機等底層操作。同時考慮到一幀數據量比較大，采用乒乓算法，在軟件中為圖像處理開辟兩個緩存區，首先寫滿第一個緩存區，然后進行計算，讀入的數據寫入第二個緩存區以備使用，第一個緩存區的數據計算完畢后清空，計算第二個緩存區中數據，同時將讀到的數據再寫入第二個緩存，如此往復，以提高軟件運行效率。軟件的關鍵流程圖如圖3所示。

圖3 軟件流程圖Fig.3 Flow chart of software

5 效果評價

在圖像處理中評價重構圖像質量常用兩種方法：均方根誤差（Mean Square Error，MSE）和最高峰值比［12］（Peak Signal－to －noise Ratio，PSNR）。這兩種計算方法分別如下：

式中：M和N 分別代表圖像尺寸的行列數，f0（i，j）和fr（i，j）分別代表原始圖像和恢復后圖像的第（i，j）個像素的強度分量。在式（7）中，PSNR是某個分量的值，即真彩色圖像可以分成R、G、B三個分量獨立的比較，反映了原始圖像和恢復后的圖像相似的程度，PSNR越大，則越相似。表1給出了本文所論述方法和雙線性插值算法對實驗圖像進行處理后的PSNR值以進行定量對比。

表1 算法PSNR比較Tab.1 Comparison of algorithms

從表1中可以看出，檢測邊緣而后插值的算法PSNR比雙線性插值法更高，平均提高了14%左右，性能有較大幅度提升。

考慮到靶場光測的實時性需求，需要對處理算法的時間性能進行定量測量。同樣在相機的典型使用條件下進行測量。對100Hz，1024×1024的圖像進行還原，對快速運動和慢速運動圖像進行計算，每次計算10s數據，計算所有圖像的平均處理時間和最長一次的處理時間，結果如表2所示。

表2 算法時間性能比較Tab.2 Comparison of time performance of algorithms

由表2可以看出：

（a）相機工作于100Hz時，最長的一幀處理時間也小于9ms，可見兩種方法的處理時間均滿足實時性要求；

（b）在都滿足實時性要求的前提下，處理快速運動圖像時，檢測邊緣插值算法的平均處理時間比雙線性插值算法的處理時間長大約8%，處理慢速運動圖像時處理時間長大約2%左右，性能差距不是特別大，而考慮到PSNR提高了14%左右，在時間性能上的損失是值得的。

6 結 論

根據Bayer格式CFA的原理提出了一種改進的彩色圖像恢復算法，利用圖像的梯度信息進行邊緣檢測而后再進行插值，算法復雜度低的同時性能提高14%左右，可以用于100Hz，1024×1024的圖像實時彩色還原處理，達到了預期目的。如果增大邊緣檢測的鄰域范圍和使用卡爾曼濾波等算法，效果會更好，但同時算法復雜度會提高，時間性能會降低，如何在提高還原效果的同時保證實時處理所需要的時間性能則是下一步研究的重點。

［1］賈濤，吳能偉，陳濤.光電經緯儀組網測量位置估計的Cramer＿Rao限［J］.光電工程，2005，32（7）：4－6.Jia T，Wu N W，Chen T.Cramer－Rao lower bounds of position estimation in a photoelectric theodolite－based network［J］.Opto－Electronic Engineering，2005，32（7）：4－6.（in Chinese）

［2］甘波，魏延存，鄭然.CMOS圖像傳感器芯片的自動白平衡［J］.液晶與顯示，2011，26（2）：224－228.Gan B，Wei Y C，Zheng R.Auto white balance algoritm for CMOS image sensor chip ［J］.Chinese Journal of Liquid Crystal and Displays，2011，26（2）：224－228.（in Chinese）

［3］Funt B，Cardei V.Learning color constancy［C］／／Proc of the 4th Int，l conf on Color Imaging and Applications，［S.I］：IEEE Press，1996：58－60.

［4］孫立新.LCD顯示器的白平衡調整［J］.液晶與顯示，2011，26（2）：220－2223.Sun L X.LCD white balance adjustment［J］.Chinese Journal of Liquid Crystal and Displays，2011，26（2）：220－2223.（in Chinese）

［5］趙興梅，劉建偉，李孝強.數字相機色差空間雙線性插值算法的實現［J］.電子科技，2009，2（4）：57－59.Zhao X M，Liu J W，Li X Q.Realization of bilinear interpolation method in color difference space for digital camera［J］.Electronic Science and Technology，2009，2（4）：57－59.（in Chinese）

［6］Pei S C，Tam I K.Effective color interpolation in CCD color filter array using signal correlation［J］.IEEE Trans.Circuit and System for Video Technology，2003，13（6）：503－513.

［7］尹勇，胡磊.一種改進的Bayer圖像彩色恢復差值算法［J］.計算機科學，2010，37（4）：278－280.Yin Y，Hu L.Improved Interpolation algorithm for demosacing Bayer pattern images［J］.Computer Science，2010，37（4）：278－280.（in Chinese）

［8］楊永明，李清軍，李文明，等.基于Bayer濾波的彩色面陣 CCD調制函數［J］.光學精密工程，2012，20（7）：1611－1618.Yang Y M，Li Q J，Li W M，et al.Modulation transfer function for color area CCD based on Bayer filter［J］.Optics and Precision Engineering，2012，20（7）：1611－1618.（in Chinese）

［9］Kimmel R.Image reconstruction from CCD samples［J］.IEEE Trans，Image Processing，1999，8（9）：1221－1228.

［10］冉峰，楊輝，黃舒平，等.面陣CCD彩色視頻圖像實時采集系統的設計［J］.光學精密工程，2010，18（1）：273－280.Ran F，Yang H，Huang S P，et al.Design of real－time color video capture system for area array CCD ［J］.Optics and Precision Engineering，2010，18（1）：273－280.（in Chinese）

［11］俢吉宏，黃浦，李軍，等.大面陣彩色CCD航測相機的輻射定標［J］.光學精密工程，2012，20（6）：1365－1373.Xiu J H，Huang P，Li J，et al.Radiometric calibration of large area array color CCD aerial mapping camera［J］.Optics and Precision Engineering，2012，20（6）：1365－1373.（in Chinese）

［12］羅瀟，孫海江，陳秋萍，等.Bayer格式圖像的實時彩色復原［J］.中國光學與應用光學，2010，3（2）：182－187.Luo X，Sun H J，Chen Q P，et al.Real－time demosaicing of Bayer pattern images［J］.Chinese Journal of Optics and Applied Optics，2010，3（2）：182－187.（in Chinese）