彩色分焦平面偏振圖像配準方法

王榮昌,王 峰,祖鴻宇,王 勇,任帥軍

(1.中國人民解放軍陸軍炮兵防空兵學院信息工程系,安徽 合肥 230031；2.偏振光成像探測技術安徽省重點實驗室,安徽 合肥 230031)

1 引 言

作為光的基本特性,偏振信息可以提供更加豐富的目標特征信息,包括目標的構成材料、表面特性和結構特性等。目前,偏振成像被廣泛用于水下檢測[1-2]和遙感[3]等領域。目前的偏振成像系統主要分為四類:分時型[4]、分振幅型[5]、分孔徑型[6-7]、分焦平面型[8-9],其中彩色分焦平面偏振相機將0°、45°、90°和135°四個方向的偏振信息集成到每一個“偏振像元”中,并在此基礎上將4個偏振像元按照拜爾排布規則,組成(4×4)大小的“彩色偏振像元”,能同時獲取目標的四個偏振方向的彩色三通道(RGB)強度圖,但存在分辨率損失和像元錯位的問題[10-11]。目前大多采用插值的方法解析偏振圖像從而提高分辨率,常用的插值方法有雙線性內插、雙三次內插和基于梯度的插值方法等[12-16],在這些常用的插值方法基礎上,還有根據強度相似性和偏振相似性在對角線方向上實現插值的方法[17]；通過計算分塊的方差來表示分塊的局部光滑性[18]從而平衡雙線性插值和雙三次插值算法的方法；基于張量分解重構的圖像塊反向映射獲得全分辨率的偏振圖像的方法[19]等。

雖然傳統插值方法已經能達到較高的偏振圖像解析精度,但都沒有考慮到由分焦平面相機偏振像元陣列排布特點導致的像元錯位問題,即原始圖中每個偏振像元中的4個像素點的位置始終存在著一定的偏差,因而下采樣后插值得到的偏振方向圖之間會存在像元錯位的問題,用這樣的4幅偏振方向圖計算偏振參量或者進行其他關聯性計算時,都會造成一定的誤差。

本文在插值算法的基礎上提出一種彩色分焦平面偏振圖像配準方法。首先將配準與未配準得到的彩色偏振參量圖分別與標準偏振參量圖進行對比評估；然后增加了傳統圖像配準方式進行對比；最后進行了彩色偏振圖像解析效果對比。結果表明:應用本文提出的配準算法后得到的偏振參量圖精度高于未配準得到的結果和傳統配準方法得到的結果。

2 彩色分焦平面偏振成像原理

圖1所示為彩色分焦平面偏振像元陣列排布示意圖,其排布規則為:像元陣列由彩色偏振像元組成,每個彩色偏振像元由(4×4)個基礎像素點組成,其中由 0°、45°、90°和135°四個偏振方向的像元組成一個偏振像元,在此基礎上將4個偏振像元按照拜爾排布規則,組成一個彩色偏振像元。通過該偏振成像系統獲得的原始圖,通過解析處理可以得到4個偏振方向的彩色三通道強度圖,進而計算得到彩色三通道偏振參量圖。

圖1 彩色分焦平面偏振像元陣列排布示意圖Fig.1 Diagram of color DOFP polarization pixel array arrangement

彩色分焦平面偏振相機獲取的原始圖解析得到彩色RGB偏振方向強度圖后計算偏振參量的過程中R、G和B三個通道互不影響,單獨取偏振方向圖的一個通道(此處取R通道)進行描述,計算偏振參量的公式為:

(1)

3 彩色分焦平面偏振圖像解析及配準方法

3.1 彩色分焦平面偏振圖像解析

彩色分焦平面偏振圖像解析流程如圖2所示,彩色分焦平面偏振相機獲取的原始圖(灰度)首先經過下采樣得到4幅偏振方向強度圖(灰度)；然后對這4幅圖分別進行基于拜爾排布的彩色圖像解析得到4幅彩色RGB偏振方向強度圖(現階段這個解析過程的算法已經十分成熟,根據濾光片排布情況直接調用相應的OpenCV庫函數即可,故而不做過多描述)；再然后對4幅彩色RGB偏振方向強度圖進行插值使其變為原始圖大小(對每幅彩色RGB偏振方向強度圖的R、G和B三個通道分別進行插值,插值后進行通道融合,三個通道之間互不影響),最后通過計算得到彩色RGB偏振參量圖(4幅彩色RGB偏振方向強度圖計算偏振參量的過程中R、G和B三個通道之間互不影響,分別對每個通道的偏振方向圖進行計算得到該通道的偏振參量圖,然后進行通道融合得到彩色RGB偏振參量圖)。為簡化算法描述,后續只取彩色RGB偏振方向圖中的一個通道進行描述。

圖2 彩色偏振圖像解析流程示意圖Fig.2 Diagram of color polarization image parsing process

在上述流程的插值過程中,插值后的4幅偏振方向圖存在像元錯位的問題,以圖2中插值后得到的0°偏振方向圖(4×4)為例,插值后無法得到最左一列和最上一行的與其他三幅偏振方向圖正確對應(相較于原始圖中每個偏振像元中的4個不同偏振方向的像素點位置)的像素點,同理,其余三幅偏振方向圖也分別存在兩處無法與其他偏振方向圖一一對應的邊緣像素點。下一小節將具體分析產生這種“錯位邊緣”的原因,并描述本文提出的配準方法。

3.2 彩色分焦平面偏振圖像配準方法

根據分焦平面偏振像元陣列的特點,對原始圖進行下采樣并插值處理后,給每幅偏振方向圖的像素點添加坐標,如圖3所示。以原始圖中的(0,0)坐標的偏振像元為例,該偏振像元由4個不同偏振方向的像元組成,分別是0°(1,1)、45°(0,1)、90°(0,0)和135°(1,0),原始圖經過下采樣和雙三次內插處理后,得到了相同大小的4幅偏振方向圖,其中,每幅偏振方向圖左上角的一個像素點的坐標分別為:0°(1,1)、45°(0,1)、90°(0,0)和135°(1,0)(此處標注的坐標是基于原始圖中(0,0)坐標的“偏振像元”為基準),將4幅偏振方向圖相同位置的像素點一一對應計算得到各偏振參量圖,取計算得到的偏振參量圖左上角的一個像素點,該點的像素值計算結果如式(2),可以看出,如果以未經處理的偏振方向圖進行偏振參量的計算,由于分焦平面偏振像元陣列中每個偏振像元的4個偏振方向對應的像元位置不同,必將產生像元錯位現象,因此計算得到的偏振參量,也必將產生誤差。彩色分焦平面偏振圖像的解析誤差則是由三個通道的解析誤差共同引起的。

圖3 像元坐標示意圖Fig.3 Diagram of pixel coordinates

(2)

根據上述問題,本文采用“切邊法”,即分別“切除”4幅方向圖中的錯位邊緣,使得4幅方向圖可以在進行偏振參量計算時,彼此間同一位置的像素點不再受分焦平面偏振像元陣列排布特點造成的像元錯位影響。具體的思路是:選定圖3中的0°偏振方向圖為基準圖,0°偏振方向圖左上角的像素點坐標為(1,1),45°偏振方向圖最左上角的像素點坐標為(0,1),相較于0°偏振方向圖,45°偏振方向圖中該像素點的橫坐標值少了1,為了使45°偏振方向圖與0°偏振方向圖中每個像素點坐標一一對應,需要切除45°偏振方向圖最上邊的一行邊緣像素；同理,對90°偏振方向圖而言,相較于0°偏振方向圖,90°偏振方向圖中像素點橫坐標值和縱坐標值都少了1,需要切除對90°偏振方向圖最上邊的一行邊緣像素和最左邊的一列邊緣像素；同理,對于135°偏振方向圖而言,相較于0°偏振方向圖,135°偏振方向圖中像素點縱坐標值少了1,需要切除135°偏振方向圖最左邊一列邊緣像素。其中,90°偏振方向圖切除了最上邊一行和最左邊一列的邊緣像素,為了使4幅偏振方向圖像素點完全一一對應,0°偏振方向圖需要切除最右邊一列和最下邊一行的邊緣像素,45°偏振方向圖除了需要切除最上邊的一行邊緣像素,還需要切除最右邊的一列邊緣像素,135°偏振方向圖需要額外切除最下邊的一行邊緣像素。當4幅偏振方向圖分別完成切邊操作后,像元錯位問題就得以解決,如圖3所示,中間3×3區域為已配準區域,已配準的4幅偏振方向圖之間的像素點是一一對應的,因此,后續進行偏振參量計算或者其他方向圖之間的關聯操作時,得到的結果精度會有所提高。

4 實驗及結果分析

4.1 實驗環境

為對比配準和未配準對彩色分焦平面偏振圖像解析的像素還原效果,采用分時偏振成像系統獲取彩色偏振方向標準圖,搭建的分時偏振成像系統如圖4所示,由灰度相機、負責彩色濾光片轉輪(獲取R、G和B三個波段信息)和偏振波片轉輪(獲取0°、45°、90°和135°四個偏振方向信息)組成,通過該系統獲取不同場景的彩色偏振方向標準圖(每個場景對應12張灰度圖片,其中包含0°、45°、90°和135°四組偏振方向圖,每組偏振方向圖包含R、G和B三個通道的三張偏振方向圖),隨機抽取實驗數據集中8個的0°彩色偏振方向強度圖(R、G和B三個通道融合得到)如圖5所示。

圖4 分時偏振成像系統Fig.4 Time sharing polarization imaging system

圖5 8組實驗數據的0°彩色偏振方向強度圖Fig.5 0° polarization images of 8 groups of experimental data

4.2 實驗流程

彩色分焦平面偏振圖像高效配準方法驗證實驗流程如下:

步驟1:將分時偏振成像系統獲取的0°、45°、90°和135°四組(12幅)偏振方向標準圖直接按照式1計算得到I、Q、U和P四組(12幅)偏振參量標準圖(假設偏振方向標準圖大小為M×N),然后將每組偏振參量標準圖進行通道融合得到I、Q、U和P四幅彩色偏振參量標準圖；

步驟2:將分時偏振相機獲取的0°、45°、90°和135°四組(12幅)偏振方向標準圖分別按照圖2所示的偏振像元中對應偏振方向像素點的位置進行下采樣(具體操作如圖6所示,以0°偏振方向圖(包含R、G和B三個通道)為例,提取分時偏振相機獲取的0°偏振方向標準圖中對應中0°偏振像素點位置的像素點,得到尺寸變為四分之一大小的0°偏振方向圖。),然后對新的四組(12幅)偏振參量方向圖分別進行雙三次內插處理,使插值后的尺寸與偏振方向標準圖相等,然后按照式(1)計算得到四組偏振參量圖,然后將每組偏振參量圖進行通道融合得到IUn-Rs、QUn-Rs、UUn-Rs和PUn-Rs4幅彩色偏振參量圖；

圖6 彩色偏振方向標準圖下采樣過程Fig.6 The sampling process of color polarization direction standard graph

步驟3:在步驟2中下采樣得到的四組(12幅)偏振方向圖的基礎上,分別進行雙三次內插,為了使切邊后的尺寸與標準圖相等,此處插值后的尺寸取為(M+1)×(N+1),然后按第3節提出的切邊方法,切除四組(12幅)偏振方向圖的錯位邊緣(同一組偏振方向圖中R、G和B三個通道的切邊方式相同),將切除邊緣后的四組(12幅)偏振方向圖按式1計算得到四組偏振參量圖,然后將每組偏振參量圖進行通道融合得到IRs、QRs、URs和PRs4幅彩色偏振參量圖；

步驟4:將步驟1得到的彩色偏振參量標準圖分別與步驟2和步驟3得到的彩色偏振參量圖對比,計算得到未配準的均方根誤差(RMSEUn-Rs)和配準的均方根誤差(RMSERs),然后對比分析RMSEUn-Rs和RMSERs。此處參照OpenCV庫函數彩色圖像灰度化的處理方法,通道均值化處理,即取R、G和B三個通道的誤差的均值。

4.3 評價指標

本文采用兩種圖像評價指標,一種是均方根誤差(RMSE)[20],用以評估配準前后對比圖與標準圖誤差情況,公式如下:

(3)

其中,MSE代表對比圖與標準圖的均方誤差;xd(i,j)為對比圖坐標(i,j)處的灰度值;xb(i,j)為標準圖坐標(i,j)處的灰度值;M、N為圖像的寬和高;RMSE數值越小,代表對比圖與標準圖之間的誤差越小,圖像質量越接近標準圖。

另一種是峰值信號比(PSNR)[21],用以評估應用不同配準方法得到圖像的質量,公式如下:

(4)

其中,n為每個像素的比特數;本文中對應的n為255;PSNR數值越大,代表處理后的圖像失真越小,圖像質量越好。

4.4 實驗結果對比及分析

(1)配準與未配準方法誤差分析

將4.1小節中的8組偏振方向標準圖按照4.2中的步驟得到八組對比數據,統計結果如表1所示。

表1 均方根誤差統計結果Tab.1 The statistical results of RMSE

在表1中,數字“1”到“8”代表八組實驗編號；I、Q、U和P代表其對應的偏振參量；Error-Mean代表對應偏振參量(列)的八組RMSE在配準前后的均值；Error-Std代表對應參量的8組RMSE的標準差。對于Q、U和P圖,Error-Mean值反映了對應偏振參量的RMSE在不同實驗場景的平均分布情況。可以看出,未配準時計算得到的Q、U和P圖的Error-Mean分別為40.52、46.56和17.08,而應用本文提出的配準方法后的Error-Mean分別為17.17、19.51和9.88,配準后Q、U和P的Error-Mean比配準前分別降低了23.35、27.05和7.2,配準后各偏振參量的Error-Mean均降低了一半左右,這表明本文所提出的配準方法有效降低了偏振圖像解析時存在的誤差。而Error-Std反映了對應偏振參量的誤差在不同應用場景下的穩定性,Error-Std越小,誤差的穩定性越高。可以看出,未配準計算得到的Q、U和P圖的Error-Std分別為20.437、20.236和5.638,而應用配準方法計算得到的Error-Std分別為9.940、12.625和2.473,配準后Q、U和P的Error-Std比未配準時分別降低了51 %、38 %和56 %,這表明本文提出的配準方法提高了在不同場景下偏振圖像解析誤差的穩定性。經上述分析可得出結論:應用本文所提配準方法不僅能夠有效降低偏振圖像解析時存在的誤差,而且誤差的穩定性也得到了顯著提升。可見該配準方法能夠有效提升偏振圖像解析的精度。

然而,配準后的I圖的Error-Mean和Error-Std相較于配準前雖然有略微增加,但這種現象具有一定的偶然性。出現這樣的情況是因為本文提出的配準方法是在雙三次內插的基礎上進行的,偏振方向圖經過雙三次內插拉伸到原始圖尺寸后,存在著許多插值得到的像素點。參照圖3所示的配準區域示意圖,配準區域中的(1,1)坐標像素點的強度計算如式(5),其中I0(1,1)是原始像素點,I45(1,1)、I90(1,1)和I135(1,1)都是插值得到的像素點。雖然原始像素點和插值后的像素點計算得到的結果相較于標準圖會有細微偏差,但是這種細微偏差是由于雙三次內插存在誤差引起的,并不會影響配準后的偏振圖像解析精度得到提升的結論。

(5)

(2)不同配準方法的對比

選用圖5(g)代表的一組標準偏振方向圖,在此基礎上應用不同配準方法(增加了傳統圖像配準方法:FM(傅里葉變換)配準[22]、FH-FM(快速高精度傅里葉變換)配準[23]和SURF(Speeded-Up Robust Features)配準[24])然后分別計算PSNR,結果如表2所示。

表2 不同方法的峰值信噪比Tab.2 Different methods of PSNR

通過表2的數據可以得出結論:①數值上來看,對于I圖來說,本文所提配準方法相較于未配準和其他配準方法,PSNR有小幅度的減少；對于Q、U和P圖,本文所提方法與其他配準方法相比,PSNR有大幅度的增加；②采用傳統圖像配準方法對提升偏振參量圖像質量效果不佳。

接下來通過實際的視覺效果對比不同方法的差異性,圖7所示為在圖5的8幅0°偏振方向圖中選取的(g)圖,以(g)圖所屬的一組標準偏振方向圖為基礎,采用不同的配準方法得到不同的Q、U和P圖,選取同一局部區域,得到對比效果如圖所示(因I圖差異較小,視覺上難以區分效果,故而不列出對比)。

圖7 0°標準偏振方向圖及局部放大區域Fig.7 0° standard polarization image and local amplification region

圖8 Q,U和P圖局部區域對比Fig.8 Comparison of local areas in Q,U and P images

可以看出,相較于其他方法,采用本文提出的配準方法得到的Q、U和P圖局部區域細節更接近標準圖,傳統圖像配準方法效果較差,驗證了本文所提配準方法的合理性。

(3)配準與未配準方法的應用效果對比

本小節采用彩色分焦平面相機獲取了一幅模型車的彩色偏振原始圖,相機主要參數如表3所示。原始圖解析得到的RGB強度圖如圖9所示,分別得到配準和未配準對應的Q、U和P圖(由上一小節的對比可知傳統配準方法不適用于彩色分焦平面偏振圖像解析,故而此處不把這三種方法的效果圖加入對比),選取同一局部區域,得到對比效果如圖10所示(因I圖差異較小,視覺上難以區分效果,故而不列出對比)。

表3 彩色分焦平面相機參數Tab.3 The parameters of color DOFP camera

圖9 RGB圖及局部放大區域Fig.9 RGB image and local magnification area

圖10 彩色偏振參量局部圖對比Fig.10 Local image contrast of color polarization parameters

可以看出,通過配準后計算得到的彩色Q、U和P圖的局部細節部分的視覺效果比通過未配準計算得到的彩色Q、U和P圖要好,在應用層面驗證了本文所提配準方法的有效性。

5 結束語

本文從分析分焦平面偏振像元陣列排布特點的角度出發,提出了導致偏振方向圖之間存在像元錯位的主要因素,在插值算法基礎上提出了一種改進配準方法。通過對比實驗,對配準方法的合理性與有效性進行了驗證,得出結論:所提配準方法能夠降低試驗中的分焦平面彩色偏振圖像解析中存在的像元錯位問題對解析精度的影響,解析精度相較于未配準結果有明顯的提升。