基于局部色彩傳遞的多幀影視圖像扭曲校正

劉珈吟,金 鳳

(1. 武漢設計工程學院,湖北 武漢 430060;2. 國防科技大學信息通信學院,陜西 西安 710106)

1 引言

近年來,在圖像處理領域中多幀影視圖像的校正頗受關注,而常規灰色圖像因其過于匱乏的信息量[1],導致多幀影視圖像的研究與使用無法更深入。相對于灰色圖像而言,彩色圖像不僅具有更好的觀賞價值,而且在細節和內容方面也更具優勢。因此使多幀影視圖像彩色化在多幀影視圖像扭曲校正方面具有重要意義[2,3]。

參考圖像到灰度圖像的色彩傳遞是圖像彩色化的重要環節。色彩傳遞分為全局傳遞和局部傳遞,相對于全局傳遞,局部色彩傳遞能夠更好地保持圖像的連貫性和區分性。為使多幀影視圖像彩色化效果更佳,本文采用局部色彩傳遞方法中的Levin算法對多幀影視圖像進行彩色化處理。

局部色彩傳遞方法雖然優于全局傳遞,但是忽略了局部紋理特性,常常導致局部顏色混合、邊緣顏色越界等問題[4]。本文采用局部色傳遞的方法使多幀影視圖像彩色化后,用雙邊過濾方法對圖像進行優化,進而更好地完成多幀影視圖像扭曲校正。采集圖像后,對圖像進行自適應結構元網格線交叉點坐標提取、Biharmonic樣條曲面插值,實現對局部色彩傳遞的多幀影視圖像的扭曲校正。

2 多幀影視圖像扭曲校正

2.1 多幀影視圖像色彩化

2.1.1 Levin算法

采用Levin算法實現多幀影視圖像的局部色彩傳遞[5],其理念為若圖像中像素的亮度值大致相同,那么像素的顏色值也大致相同。Levin利用這一基本原理創造了一種二次能量函數,通過求解這個函數實現灰色圖像色彩化。這種方法以顏色線條理論為基礎,因而要求用戶必須提供初始顏色線條且此顏色是用戶要得到結果的顏色點。通過求取每一個像素和其相鄰像素的加權差、所有像素的平方和最小值進行顏色傳遞是Levin色彩傳遞的基本思想[6]。為了確保圖像彩色化最佳,應該使得二次能量函數值最低,U、V是兩種顏色通道的色度、飽和度,Y是亮度通道。通過Y的信息可以得到U、V的分布,改變的U、V與未改變的Y結合,通過數學推導,對U、V求解,可實現圖像彩色化。

Levin算法應用時首先要確定最小目標函數

(1)

式中,灰色像素點r的顏色值用U(r)代表,它的一塊領域用N(r)代表。U(s)表示第s個彩色化像素點的顏色值,歸一化函數為Wrs,圖像中全部灰色像素點用∑r()描述,歸一化函數用Wrs描述,根據像素點r、s間的距離可以計算出歸一化函數的值,前提是滿足∑s∈N(r)Wrs=1。Wrs函數值越小,說明兩個像素點顏色相似度越低,反之值越大顏色相似度也越高。

以兩個亮度值平方差Wrsαe-(Y(r)-Y(s))2/2σr2為基礎,其中Y(U)表示亮度值,第一步先將目標函數方程轉化為式(2):

J(U)=(AU)TAU=UTATAU

(2)

式中,權值矩陣用A代表,UT表示圖像速度分量轉化成的列向量,表示如式(3)所示。將式(3)帶入式(2)中,可將色度值的權重關系通過亮度值歸結為式(4),同時為確保圖像色彩化時人工標注色彩的穩定性還需要定義函數(5),式中b是代表原始信息的列向量。

UT=[u1,u2,…,un]

(3)

(4)

bTU=bTb

(5)

在滿足式(5)的情況下,求解最終圖像彩色化最優的問題實際上就是使式(1)所示的目標函數最小化,要想解決這個問題需要使用拉格朗日乘子,這時可求得最小化式(6),并對式(5)求導可得到式(7)

P(U)=UTAU+λ(bTb-bTU)

(6)

AU=b

(7)

式中,b是列向量bT=[b1,b2…,bn],A代表權值矩陣,U表示求解的顏色值轉化矩陣,對這個方程進行求解可使圖像的色彩化。

2.1.2 聯合雙邊過濾的圖像優化

Levin算法雖然能夠通過圖像分割處理使圖像色彩化,但在圖像邊緣和紋理較弱區域中存在不穩定因素,使得圖像色彩化有誤差存在[7],因而在Levin算法的基礎上,采用聯合雙邊過濾技術對基于Levin算法的局部色彩傳遞多幀影視圖像進行優化。優化處理流程示意如圖1。

圖1 優化處理流程示意圖

1)雙邊過濾

采用雙邊濾波對圖像像素周圍的局部像素值進行加權平均處理,得到的二維高斯濾波則是圖像的像素值[8]。像素距離目標像素距離與其價值度具有反比例關系。雙邊過濾算法依據高斯分布對初步彩色化圖像的像素p進行計算,其計算如式(8),式(8)中的k(p)可表示為式(9)

(8)

(9)

若想得到空間域的權重,需要通過高斯函數gα計算對像素間距離進行運算實現[9]。修正參數σα、σγ實現寬度值的修正。

2)聯合雙邊過濾

把另一個圖像加入到雙邊過濾值域的權重計算中就是聯合雙邊過濾。把雙邊過濾權重計算中的初步彩色化結果替換成原始灰色圖形,則像素的計算為式(10),k(p)變化為式(11)

(10)

(11)

原始灰度圖像幾乎無噪聲,因而把參數σγ設置成較小值可以保證邊緣停止函數gr(Fp-FP′)選擇正確權重。

3)細節傳遞

聯合雙邊過濾對局部色彩傳遞的多幀影視圖像雖然進行了優化,但是不能增加影視圖像初步彩色化圖像中的細節。相反的原始圖像卻能將更多表面細節呈現出來。為達到對原始圖像細節進行傳遞的目的,先要用式(12)計算原始灰度圖像的一個細節層

(12)

式中,FBase代表原始圖像雙邊過濾結果。為了降低圖像中某些信號值產生的影響,設置參數ε,計算各RGB通道的ε值,捕捉圖像F的局部細節變化。從計算機視覺角度出發,一般將其叫作比值圖像(商像)。將聯合雙邊過濾圖像乘以該比值圖像AFinal,可實現細節傳遞。彩色化圖像最終計算方法如下

AFinal=(1-M)ANRFDetial+MABase

(13)

其中,M為選擇控制條件,在檢測陰影、高光區域如果圖像彩色化像素沒出現,取值為0,否則為1。

2.2 圖像扭曲校正

2.2.1 獲取自適應結構元網格線交叉點坐標

1)膨脹與腐蝕

對圖像進行處理要以膨脹、腐蝕為基礎。其中圖像中目標變粗、生長的過程就叫膨脹[10]。結構元素形狀控制著目標的生長、變粗程度。膨脹公式可以定義為

A⊕B={z|()z∩A≠φ}

(14)

其中,結構元為B;φ是空集;A⊕B描述A被B膨脹。

為過濾原物體周圍的邊界點,要對圖像進行腐蝕操作,同樣的腐蝕公式可以定義為

E=B?S={x,y|Sxy?B}

(15)

其中,二值圖像E是S腐蝕B形成的全部點(x,y)的集合;若B中含有全部的S,則要求S平移到點(x,y)。

2)結構元

結構元是膨脹、腐蝕最基本的部分。一般情況下,它具有以下特征:數值是1、0組成的矩陣;大小形狀任意且小于處理的圖像很多;原點指定待處理像素范圍且數值為1的點決定膨脹、腐蝕時領域像素參與計算與否。

2.2.2 圖像扭曲校正

Biharmonic樣條曲面插值圖像校正方法作為一種全局校正方法,它的優點是可靈活操作、整體平滑局部性能好,且對控制點的分布與數量無要求[11];便于實驗者增加、刪除特征點的數量和調整特征點位置。與其它全局方法的不同之處在于:插值結果具有最小曲率;不同維度的Biharmonic方程的解就是不同維度的Green函數;插值結果與不精確數據點不匹配。

用矩陣X2,Y2、x1,y1和四個列向量x1,y1、x2與y2存儲多幀影視圖像扭曲網格線交叉點橫、縱坐標值。理想圖像坐標值是(X2,Y2),提取的扭曲網格線交叉點橫、縱坐標相對應的理想圖像的交叉點坐標值(x2,y2)。之后用x1,y1、x2與y2擬合出x2=f1(x1,y1)、y2=f2(x1,y1)兩個曲面。

在理想圖像中,通過映射扭曲變形多幀影視圖像的任意坐標就可以實現多幀影視圖像的扭曲校正[12]。在校正多幀影視圖像扭曲的過程中,需要不斷輸出和運算圖像像素位置,因此該過程是一種向后映射過程。

差值X1、Y1矩陣需要通過Biharmonic樣條曲面插值方法獲取,兩種矩陣同扭曲圖像對應的坐標值分別是X2和Y2。通過雙線性插值算法計算矩陣X1、Y1中的坐標點,得出圖像校正后的像素灰度值。

3 實驗與論證

3.1 數據采集

本文采用南京普愛射線影像裝備有限公司的7200型號C臂CT機對多幀影視圖像進行采集,C臂CT機參數如表1。

表1 C臂CT機參數

3.2 多幀影視圖像彩色化驗證

應用本文方法對多幀影視圖像彩色化效果進行驗證,圖2、圖3分別給出本文方法的兩組實驗結果圖,其中圖2中的圖像為白天拍攝,圖3中的圖像為夜晚拍攝。圖2(a)為白天拍攝到的初始顏色線條圖,圖2(b)是應用本文方法的Levin算法進行局部色彩傳遞得到的圖像,圖2(c)是應用本文方法的聯合雙邊過濾優化得到的圖像;圖3(a)為夜晚拍攝得到的初始顏色線條圖,圖3(b)應用本文方法的Levin算法進行局部色彩傳遞得到的圖像,圖3(c)是應用本文方法的聯合雙邊過濾優化得到的圖像。

圖2 白天拍攝圖像

圖3 夜晚拍攝圖像

從圖2和圖3可以看出,對比初始顏色線條圖2(a)、圖3(a),本文應用Levin算法得到的多幀影視圖像圖2(b)、圖3(b)不僅具有很好的觀賞價值,而且在細節和內容方面也更具優勢。但是通過Levin算法得到的多幀影視圖像局部色彩存在模糊現象,降低了圖像視覺效果;而本文方法應用聯合雙邊過濾優化得到的多幀影視圖像圖2(c)、圖3(c)圖像更清晰,不存在局部色彩模糊現象,處理結果較為理想,視覺效果也更佳,說明本文方法的多幀影視圖像彩色化效果顯著,彩色化處理后圖像細膩,視覺效果更加理想。

3.3 扭曲校正驗證

3.3.1 交叉點坐標提取結果

應用本文方法對C臂CT機采集的圖像進行實驗,交叉點坐標提取步驟見圖4。從中可以看出通過提取膨脹結構元以及腐蝕結構元,可以得到網格交叉點坐標。其中膨脹結構元是交叉點臨近兩組網格線寬度均值的25%,而腐蝕結構元是膨脹后網格交叉點兩組網格線寬度均值的50%。

圖4 坐標提取過程

分析圖4可知,從采集到原始圖像(a)可以看出,圖像中網格線存在明顯的扭曲現象,扭曲程度較重。圖4(b)是膨脹時正方形結構元邊長是4、腐蝕時正方形結構元邊長設置成8提取的結果。從圖4(b)可看出,膨脹時若結構元邊長過小,會導致部分區域腐蝕過度,無法提取所需交叉點;圖4(c)是膨脹時將正方形邊長設置成5、腐蝕時將正方形邊長設置成8提取的結果。同樣從圖4(c)可看出,膨脹時結構元邊長設置過大,腐蝕后還能看到某些網格線。圖4(d)是用自適應結構元處理得到的結果。從圖4(d)可看出應用本文方法的網格交叉處充滿了要提取的點,說明本文方法應用坐標提取算法,能有效保留網格交叉點,可有效提取圖像坐標,為圖像扭曲校正提供可靠依據。

表2是應用本文方法的兩種交叉點坐標提取結果。

表2 交叉點坐標

從表2可以看出,采用本文方法的自適應結構元提取的網格交叉點坐標精度域理想交叉點坐標之間的誤差極小,完全可滿足圖像扭曲校正時所要求的控制點坐標值精度。

3.3.2 圖像扭曲校正

采用本文方法應用的Biharmonic樣條插值方法對圖4(a)進行圖像扭曲校正,得到的校正結果見圖5。

圖5 圖像校正結果

從圖5分析可得,原始圖像中扭曲的網格線已經明顯變直,驗證了本文方法對局部色彩傳遞的多幀影視圖像扭曲校正的可行性。

4 結論

本文提出基于局部色彩傳遞的多幀影視圖像扭曲校正方法,應用Levin算法和聯合雙邊過濾方法對多幀影視圖像原始灰度圖像進行局部色彩傳遞及優化,在此基礎上,采用Biharmonic樣條多幀影視圖像扭曲校正方法,通過自適應結構元網格線坐標提取網格線交叉點坐標,并用Biharmonic樣條對局部色彩傳遞的多幀影視圖像扭曲校正。經實驗驗證,本文方法的多幀影視圖像彩色化處理效果好,且能夠通過提取交叉點坐標有效校正局部色彩傳遞的多幀影視圖像。