優化多項式回歸的四帶圖像偏色校正算法①

陳曉文,鄭 華,2,3,4,5,蔡堅勇,2,3,4,5,林爍爍,程 玉

1(福建師范大學 光電與信息工程學院,福州 350007)

2(福建師范大學 醫學光電科學與技術教育部重點實驗室,福州 350007)

3(福建師范大學 福建省光子技術重點實驗室,福州 350007)

4(福建師范大學 福建省光電傳感應用工程技術研究中心,福州 350007)

5(福建師范大學 智能光電系統工程研究中心,福州 350007)

1 引言

大部分攝像頭采用的是RGB 圖像傳感器,加上相應的光學系統,而在光學系統中都會使用一個紅外光截止濾鏡,即IR-CUT;它的作用就是防止IR 串擾RGB 光線在RGB 圖像傳感器上的成像.四帶圖像偏色校正算法就是要探究在移除IR-CUT 之后,受IR 串擾的四帶偏色圖像如何恢復自然色彩的問題,使得校正后的四帶圖像更接近正常的RGB 三帶圖像.

目前的四帶圖像偏色校正算法有:晏嫚[1]利用白點反射的白平衡算法對四帶圖像中特殊物體的特殊區域進行校正,但只對四帶圖像進行局部校正,未考慮特殊物體外其他區域的偏色校正;林李金等[2,3]通過四帶圖像的數據分析,得到四帶圖像不同區域的校正算法來進行偏色校正,而由于分割精度問題,使得不應該被分割進來的區域被劃到一起,導致錯誤校正;石慧玲[4]是從四帶圖像全局進行初步校正,再通過改進的Frankle-McCann Retinex 算法對四帶圖像進行最終偏色校正,此方法克服了局部校正的局限性,但對不同場景的四帶圖像偏色校正效果不一致;童飛揚[5]把前人相應的四帶圖像偏色校正算法應用到視頻流中,并未對四帶圖像偏色校正算法做任何優化;曾兆濱等[6]是在實驗環境下,通過24 色卡建立三元一次多項式回歸算法來對四帶圖像進行偏色校正,此法無需對圖像場景進行分割識別和局部校正,且初步解決了同色溫環境下,不同場景照片校正效果不一致的問題,但其校正后樹葉等綠色植物場景色彩恢復不夠自然.

本文基于曾兆濱等[6]算法的思想局限性,從訓練樣本、樣本數據類型和算法校正模型入手,有效提升了四帶圖像的偏色校正效果.

2 多項式回歸算法的構建與優化

本節介紹了三元一次四帶圖像偏色校正算法;在此基礎上,通過增加訓練樣本量、優化數據類型和校正模型實現校正效果的提升.

2.1 多項式回歸算法的建立

首先獲取實驗環境下的24 色卡的三帶圖像和四帶圖像;如圖1 所示,用(R3i,G3i,B3i)表示24 色卡RGB 圖像的各顏色塊三通道均值量,(R4i,G4i,B4i)表示24 色卡四帶圖像的各顏色塊三通道均值量,其中i=1,2,3,···,24,表示顏色塊.獲得的數據分別組成三帶矩陣Y3和 四帶矩陣X4,它們之間的關系[6,7]如公式(1)所示:

其中,

圖1 三帶圖像(左)與四帶圖像(右)

CT為校正矩陣C的轉置矩陣.將式(1)展開為:

然后根據離差平方和思想[8]來估計校正矩陣的系數,由離差平方和公式:

得到CT的表達式:

最后將得到的校正矩陣代回式(1),即完成了多項式回歸的四帶圖像偏色校正模型建立.

2.2 樣本優化

在有監督的機器學習中,在建立相應算法前,都需要大量的訓練數據,增大訓練數據量,可使得算法更加健壯;根據《應用回歸分析》[9],訓練數據要為解釋變量的10 倍以上.本文所采用的多項式回歸算法,是機器學習的一種,相對整塊色卡,原來是取每個色塊平均值,有24 色塊,3 通道,共有72 對訓練數據,但相對每個色塊而言只有3 對訓練數據,進行24 次訓練.根據這一點,我們通過擴大數據量來訓練算法,最終得到以色塊質心為中心點的2×2 像素區域作為每塊顏色數據,那么對于每個色塊共有12 對訓練數據,對于整塊色卡有288 對訓練數據,需要進行96 次訓練.最后通過t檢驗[9]來判斷解釋變量的數據量是否對因變量具有解釋能力,t檢驗如式(5)所示.

其中,βi為校正系數,為回歸標準差.

2.3 數據類型優化

本文在彩色數字圖像的色彩校正過程中,采用有符號浮點型的數據類型來優化表達像素值.這是由校正矩陣的校正系數決定的,其數據類型為有符號浮點型,為使整個校正模型的數據類型統一,計算精度高,最后校正得到的像素值更可靠,將訓練樣本以及校正樣本一律采用有符號浮點數據類型進行計算.

2.4 三元二次校正模型

實際的彩色成像系統并不是線性的,獲取光信號后,會經過攝像頭內部圖像信號處理模塊,進行白平衡、Gamma 校正、降噪等一系列處理[10],這使得RGB 三通道間的關系并不是線性的.為了提高校正能力,將校正模型中的多項式改為三元二次多項式.將以上校正式(1)改寫為:

其中,

其中,n為像素點次序.改為三元二次后,以上j和x4變為:

根據以上優化思想,最終得到優化的四帶圖像校正算法,如圖2 流程圖所示.

3 實驗結果與分析

先進行3.1 節的基礎實驗,驗證兩種優化方法的可用性;然后在優化的基礎上進行三元一次和三元二次校正實驗,即實驗3.2;將每種算法的色差值記錄下來,最終進行色差值比較,得到最佳校正算法,即優化的三元二次校正算法.其中色差計算根據CIE 色差公式進行計算[11].

圖2 優化的四帶圖像偏色校正算法

3.1 三元一次校正模型實驗

基于三元一次的四帶圖像偏色校正算法,進行數據類型和訓練樣本的優化實驗,得到三元一次校正模型的24 色卡色差比較圖,如圖3;以及相應四帶圖像24 色卡的色差均值比較表,如表1 所示.

從實驗數據可知數據類型優化的三元一次校正算法校正效果最好,其色差均值為3.0722;其次是訓練數據優化的三元一次校正算法,其色差均值為6.7567;最后未經優化的三元一次校正算法,色差均值為7.116.從優化校正后的色差均值來看,數據類型優化的三元一次校正算法效果明顯;而訓練數據優化的三元一次校正算法在原來基礎上略有提高.

圖3 三元一次校正模型的24 色卡色差比較

表1 實驗1 四帶圖像24 色卡的色差均值比較

3.2 三元二次校正模型實驗

將優化后的三元一次多項式回歸四帶圖像偏色校正算法模型中的多項式改為三元二次,同時使用基于白平衡的灰度世界法進行24 色卡色差校正實驗.得到優化后的三元一次與三元二次校正算法的24 色卡色差比較圖,如圖4 所示;表2 是優化后的三元一次與三元二次校正算法的24 色卡色差均值比較表.

圖4 優化后的三元一次與三元二次校正算法的24 色卡色差比較

表2 優化后的三元一次與三元二次校正算法的24 色卡色差均值比較

由實驗數據可知,優化的三元二次校正算法優于優化的三元一次校正算法,并且都比灰度世界法校正24 色塊的四帶圖像效果好.

3.3 室外四帶圖像偏色校正

采取優化的三元一次和三元二次四帶圖像偏色校正算法分別對室外紅外強度較弱情況下的四帶圖像進行校正.

首先在相應場景下獲取24 色卡的三帶和四帶圖像,如圖5.

圖5 室外環境24 色卡的三帶圖像(左)和四帶圖像(右)

然后獲取色塊訓練數據,構建優化的三元一次和三元二次校正算法,對比圖見圖6～圖9.分別對圖6 和圖8 的四帶圖像進行校正,得到圖7 和圖9,以及相應的誤差均值比較表,如表3 和表4 所示.

圖6 操場的三帶圖像(左)和四帶圖像(右)

圖7 操場四帶圖像經優化的三元一次(左)和三元二次(右)校正算法校正后圖像

圖8 草坪的三帶圖像(左)和四帶圖像(右)

圖9 草坪四帶圖像經優化的三元一次(左)和三元二次(右)校正算法校正后圖像

表3 操場四帶圖像校正前后色差均值比較

表4 草坪四帶圖像校正前后色差均值比較

通過比較發現,優化的三元一次校正算法對操場和草坪的四帶圖像校正有一定的效果,但人眼還是可以明顯看出偏色,與相應的三帶圖像相比,差別較大;而優化的三元二次校正算法的校正效果優于前者,其校正的效果接近于三帶圖像.

4 結論與展望

本文針對三元一次多項式四帶圖像回歸偏色校正算法的不足,結合機器學習和彩色圖像的特性,優化三元一次校正算法的訓練數據及處理的數據類型,降低了校正后圖像的色差均值;在此基礎上,根據RGB 圖像灰階表達的非線性特性,使用三元二次校正算法,使得校正效果進一步得到提高.本文的研究結果可以為從事紅外數字濾波和彩色圖像偏色校正領域的研究人員提供參考.