基于Hibbard算法的改進型插值算法

張爍晨

(西安交通大學 陜西 西安 710049)

彩色相機的發展已經有幾十年的歷史，早期的彩色相機的成像過程是在鏡頭前加裝三原色濾光片，依次拍3張照片，然后合成1張彩色照片。但這種方法具有成像模塊體積較大，三色圖片難以完全匹配等缺陷，如今只有航空航天等少數領域還在使用這種成像方式。隨著成像技術的進步，相機的體積顯著縮小，同時為了滿足攝像的便攜性，也必須采用一次成像的方法得到圖像，早期的光學彩色相機已經不適合應用于商業。于是出現了適應一次成像的照相方式，其成像原理類似于生物視網膜，即將三原色的感光單元密布在一張底片上，同時獲取3個顏色的信息[1]。一個點的位置只能放入一個感光單元，因此只能記錄一個顏色的值。而倘若直接把鄰近位置的顏色放在一起，就會產生相差，因此需要通過一定的手段來消除相差[2]。數碼相機出現后，出現了數字化的處理方式，即利用計算機對相鄰點進行插值處理，以還原像素點內缺失的顏色通道值[3]。隨著近年來數碼相機的發展，數字化處理設備的普及，人們獲取彩色照片的方式越來越便捷，數字化的成像技術已經發展成為了一門成熟的產業，與之相關的軟硬件開發層出不窮。

受到縮小成像模塊體積與減小成本等因素的限制，當今的彩色相機一般都只有一個感光片。感光片上密布著可以感知光強的小傳感器，通過在感光片表面覆蓋一張具有特定色彩排列的濾光片（Color Filter Array，CFA）得到原始圖像[4]。這樣得到的原始圖片中，每一個像素點內只能記錄一種顏色的光強。這種原始圖片其實是一張由三色像素交錯構成的矩陣陣列。不同排列格式的CFA如圖1所示。

圖1 不同的CFA陣列

通過對鄰域內包含特定顏色的像素進行插值，進而還原某一像素點內缺失通道的色彩值，這種過程稱為去馬賽克（Demosaicing）處理[5]。不同CFA 陣列的適合場合不同，在同一場合的表現也各有優劣。如今主流的CFA 采用的是具有Bayer 陣列的濾光片。針對不同陣列的Demosaicing 算法有很多，也不盡相同；基于Bayer陣列的插值算法有雙線性插值算法、樣條插值算法、Cok算法、Hibbard算法等[6]。

由于Demosaicing 算法的性能直接影響了最終圖像的還原效果，因而在硬件條件不變的情況下，研究更優秀的、更適合圖片的算法則可以有效地提升成像的質量。現行的算法在遇到色彩值劇烈變化的區域，以及圖像的邊緣處，普遍會出現不同程度的顏色失真和拉鏈效應，使圖片出現噪點[7]。本文提出了一種基于Hibbard算法的改進型插值算法，對RGB三通道先取對數處理，再進行插值，得到總亮度的修正量，最后對Hibbard算法進行亮度修正。相較于原算法，本文的改進算法對于圖像色彩暗淡部分的恢復更加清晰，適用于對不明亮圖片的還原，且改進算法的結構較簡單，具有一定的應用價值。

1 對數插值算法

傳統的Hibbard 算法對G 通道的還原采用梯度判別法，對梯度較小的通道使用線性插值方法。而線性平均應用于某些亮度較小的區域后，邊界像素的還原值會被暗色背景拉低，導致很多細節處的亮度偏小[8]。而對數函數在其定義域上斜率很小，能夠在一定程度上消除暗色背景對總亮度恢復的影響。如果先取對數再求平均，則邊界亮度的還原值將會比線性平均更高，具體情況詳見圖2。

而在高亮度部分，由于通道顏色值較大，因而在取對數后，均值與原值的差異將不會很顯著。

基于Hibbard 算法，對RGB 三通道均進行取對數處理，如式（1）所示：

如果單純取對數再求平均，此時相當于取幾何平均。注意到對數函數在其自變量值過小時反而斜率很大，因此可以預見對暗色部分進行還原時，反而會產生較大的偏差。而通道顏色值的取值范圍是0～255，因而這種情況完全有可能發生[9]。所以引入一定的偏移量（本文采取+e3，以確保數據處于平緩區間），再進行插值，如式（2）所示（以行方向為例）：

此時對數函數在其定義域上就是相當平緩的，求平均值時可以使兩點色彩值的貢獻更接近，避免出現陰暗背景干擾邊界插值的情況。

Hibbard算法在還原時具有一定色差，這是算法的固有問題[10]。實驗結果表明：單獨采用對數插值時，Hibbard 算法原有的色差會被一定程度上放大。這說明對數插值雖然在亮度的還原上具有優勢，同時也具有放大色差的副作用。

為消除這一副作用，同時保持還原效果，本文采用將對數插值算法和Hibbard 算法相融合的方法。具體思路為：分別采用對數插值和Hibbard算法對圖片進行還原，生成兩張圖像；再用對數插值圖片在每一個像素點的總亮度值替換Hibbard 算法對應像素點處的總亮度，得到合成圖片的通道色彩值。由于對數插值并未改變Hibbard算法的基本結構，即G通道插值方向的選取，以及R，B通道以G通道為基準進行還原；只是將具體的插值公式進行改變，因而圖片在每個像素點僅有亮度與色差的差別，對應的像素點在匹配度上則沒有任何差異[11]。因此可以只保留對數插值圖片的總亮度值（記為Ω0），而不采用其顏色比例。再用得到的總亮度去修正Hibbard算法對應像素點處的總亮度，同時不會產生像差，如式（3）所示（以G通道為例）：

式（3）中，G'(i,j)為合成圖片在某一像素點處的綠色通道的值，G(i,j)為Hibbard算法在該點處綠色通道的值，Ω與Ω0分別為Hibbard 算法與對數插值在該點處的總亮度值，總亮度由式（4）計算得到。

這樣就得到了顏色比例與Hibbard算法一致，但總亮度值與對數插值算法一致的合成圖片。在實際應用時應當注意避免分母Ω過小的情況，即在賦值前須事先規定Ω大于一個小量（如取Ω>1）時才能進行賦值。同時也可以這樣理解：當Ω非常小時，說明該區域是近乎沒有亮度的，即黑色區域，因而去掉這些無信息的像素點對圖像恢復不會產生影響。融合算法既保留了對數插值在亮度還原上的優勢，又保留了Hibbard算法在顏色比例的還原上的優勢，沒有出現色差放大的情況。

2 實驗結果與分析

為檢測算法的還原程度，本研究采用均方誤差（Mean-Square Error，MSE）的方法來評價還原圖像與原圖的差異水平。如果一張圖片規格為M×N，其均方誤差的值為SMSE，則SMSE的定義為

其值越大，說明圖像與原圖的偏離度越大。如果選取待檢偏差值為綠色通道的顏色值，此時f[m,n]的定義為：

表示原圖像在特定通道的顏色值。而如果選取待檢值為總亮度，則f[m,n]即為

f?[m,n]的定義類似，表示還原圖像在該通道的顏色值。

本文選取了10張背景較暗且細節較豐富的圖片，分別計算雙線性插值算法、Hibbard算法與對數插值算法的總亮度SMSE值，數據具體見表1。

表1 不同算法總亮度的MSE對比

在表1 中未列入融合算法的總SMSE值，因為融合算法正是保證了總亮度和對數插值一致，故二者SMSE相同。可以觀察到，對數插值算法在大多數情況下，對亮度的還原效果要顯著優于雙線性算法。在一些細節較多的圖片中，對數插值算法對亮度的還原要明顯優于Hibbard 算法，而在一些色彩值變化不顯著的地方，也與Hibbard算法的還原結果相近。

為評價算法對圖像顏色還原的偏離程度，本文使用R、G、B 三色通道SMSE之和的值來衡量，數據如表2所示。

表2 不同算法的三色MSE總和對比

從表2可以觀察到，在大多數情況下，融合算法對顏色還原的效果要明顯優于Hibbard 算法。這主要是因為Hibbard算法在還原時只采用了線性插值方法，因而損失了一定的亮度值。融合算法在并未改變顏色配比的情況下，SMSE總和的值仍然低于Hibbard 算法，說明Hibbard 算法對圖片的還原過程中確實是損失了一定的亮度值的。此次實驗還發現，在一些主題為星空的圖片中，融合算法普遍能夠比Hibbard 算法的MSE值提升10%～20%，主要是因為圖片所含的白色小點較多。這些只有幾個像素大小的小點的還原，是很多以線性插值為基礎的算法的劣勢，背景對亮度的拉低作用將會十分明顯。而本算法在處理這些細節時有一定的優勢，圖片所包含的這種點越多，SMSE的提升越明顯。本次實驗使用的10張圖片如圖3所示。

圖3 本次實驗使用的圖片

綜合表1、表2 可以看出，融合算法對于亮度的恢復效果是比較明顯的，可以說同時兼顧了對數插值算法和Hibbard 算法的優勢。由于亮度值和對數插值算法一致，因而總體SMSE和對數插值相等；同時顏色的還原比例又與Hibbard算法相同，因而不會放大色差。下面以一張細節較多的星空背景圖片為例，放大某一局部，可以對比一些細節的還原結果，具體結果見圖4。

圖4 本文改進算法與Hibbard算法還原細節的對比

圖5（a）是Hibbard算法的還原結果，圖5（b）是對數插值算法的還原結果，圖5（c）是融合算法的還原結果。對比觀察可以發現：對于低亮度部分，對數插值算法在細節處的還原比Hibbard算法更清晰，主要是因為對數插值使得色彩值都向均值中心集中，還原后亮度值相比Hibbard算法要更高，但色差的放大也相當明顯，可以看到圖片整體發紅。而融合算法則無這一缺陷，可以看到融合算法的亮度相較于Hibbard算法有所強化，但同時又保留了原始Hibbard算法的顏色還原比例，因而并未出現色差放大這一副作用。效果上低亮度部分的細節處看起來更亮，觀感上更清晰；而在高亮度的局部，本算法的插值結果則和Hibbard算法相近，圖像在整體上仍然保持了較好的還原效果，如圖5所示。

圖5 不同算法對高亮度圖片的還原結果對比

3 討論

在Hibbard算法對圖片進行還原時，會產生一定的色差。這是兩個因素共同作用的結果：一是由色彩值的劇烈變化所致，這是Hibbard算法在處理大梯度色彩值時的固有缺陷；二是由于基準顏色選取為綠色，對其他兩個顏色通道的還原存在一定的誤差[12]。大多數算法都不可避免地存在色差，一般而言，算法所使用的插值函數越復雜，就越容易放大色差，因此必須考慮減小色差或者消除額外色差的問題。本算法由于并未改變Hibbard算法的基本結構，于是也存在一定的色差。當單純采用對數插值時，由于低亮度通道的顏色值得到了強化，因而色差也被一定程度上強化了。例如：很多以綠色為基準顏色的算法，還原圖片就容易產生偏暖色的色差，而在進行取對數操作后就看起來會更紅。本文采取的將Hibbard算法與對數算法融合后，則兼具了對數插值的高亮度優勢和Hibbard 算法的低色差優勢，副作用較小。另外，Hibbard 算法在插值時是選取梯度最小的方向進行插值，因而可以避免很多雙線性算法容易產生的拉鏈效應。但是同時也會產生很多額外的噪點，主要是因為單方向的插值不能避開單像素長度的梯度。如果另一個方向的梯度也較大，此時算法就無法分辨，容易繞過邊緣插值，從而形成噪點。

4 結語

本文基于Hibbard算法，提出了一種利用對數平均強化亮度的改進型插值算法，對暗色圖片的還原效果有所改善。實驗結果表明：本算法可以有效提高圖片在細節處的還原亮度。然而本算法在顏色比例的還原上依然沿用Hibbard 算法的思路，以綠色為基準色，在單方向上進行插值，因而并不能改善Hibbard算法固有的色差問題。同時本算法對圖片高亮度部分的改善效果不明顯，不能提高還原結果的清晰度。另外，本算法在恢復的過程中進行了兩次插值，分別恢復了亮度和顏色比例，計算開銷較大。進一步改進的方向具體有：（1）分析三通道梯度值的大小，選取不同的基準色進行插值，以減小色差；（2）采用更高效的亮度恢復算法，減小計算量。然而算法總是優劣并存，任何算法都既有適用場合，也存在固有缺陷。只要針對不同的場景，合理地選擇適用的算法，就可以揚長避短，將恢復效果最優化。