避免顏色越界的各向異性擴散圖像彩色化

陳 穎 王朔中

?

避免顏色越界的各向異性擴散圖像彩色化

陳 穎*①②王朔中①

①(上海大學通信與信息工程學院 上海 200072)②(上海應用技術學院計算機科學與信息工程學院 上海 201418)

圖像彩色化是根據(jù)人工描繪的局部初始顏色用計算機為灰度圖像著色。該文提出一種各向異性的非線性擴散圖像彩色化方法，該方法能夠克服顏色越界問題。首先建立基于偏微分的擴散方程，通過設置自適應的張量函數(shù)，使顏色在平滑區(qū)域快速均勻擴散，在顏色交界處按各向異性方式擴散，能夠有效增強邊緣顏色的連貫性。算法采用有限差分法實現(xiàn)擴散方程的數(shù)值求解，與當前流行的彩色化技術相比，該方法能得到更加清晰自然的彩色化圖像和更高的圖像質量。

圖像彩色化；張量；各向異性；有限差分

1 引言

圖像彩色化是用計算機給灰度圖像加上顏色的處理過程，是數(shù)字圖像處理的一個熱點問題[1]，可廣泛應用于影視制作、舊照片加工、廣告設計、視頻編輯等領域。

常見的圖像彩色化方法是一種局部顏色擴散法，該方法事先給灰度圖像賦予一些初始顏色，將顏色從局部擴展到全局。Levin等人[2]用手工在圖像各區(qū)域涂上適當?shù)牟噬€條，利用待著色像素與周圍鄰域像素的亮度關系列出彩色化方程，通過求解方程實現(xiàn)顏色擴散。Sapiro[3]借鑒圖像修復方法引入偏微分方程(PDE)，在描繪初始彩色線條后，由亮度梯度決定的引導場將顏色擴展到整幅圖像中。Kawulok等人[4]用手工涂上部分初始顏色后，用自適應競爭的方法選擇顏色傳播路徑，再通過色度混合進行圖像彩色化。隨后的研究者提出了多種方法，例如基于圖的半監(jiān)督學習的圖像彩色化[5]，應用再生核空間理論實現(xiàn)的灰度圖像彩色化[6]，輸入反映語義的檢索詞從互聯(lián)網(wǎng)獲得參考圖像來實現(xiàn)的彩色化[7]，利用紋理合成技術的彩色化[8]，利用視覺線索的顏色轉移方法[9]等。

現(xiàn)有方法往往不能很好地定位圖像邊緣，產(chǎn)生顏色越界現(xiàn)象，造成局部圖像質量不佳。各向異性擴散是一種對圖像紋理和邊緣具有自適應能力的處理方法，Bertalmio曾將其用于圖像修復[10]，Tripathi等人[11]研究了基于各向異性擴散的圖像增強方法。為改進彩色化效果，解決邊緣區(qū)域因越界擴散導致的顏色模糊問題，本文提出了一種各向異性擴散圖像彩色化方法。該方法通過定義一個適當?shù)臄U散張量函數(shù)，導出用于圖像彩色化的非線性各向異性擴散方程，并給出有限差分算法來求解該方程。該方法的特點是：顏色在平滑區(qū)域按各向同性方式擴散，在邊緣區(qū)則按各向異性方式擴散，從而有效避免了顏色越界。實驗結果表明，本文方法得到的彩色化圖像色彩自然清晰，明顯改善了不同顏色邊界處的彩色化效果。

2 各向異性擴散圖像彩色化算法

2.1 圖像彩色化中的各向異性擴散

在圖像平滑區(qū)，鄰近像素的亮度相近，顏色值也相近，這就要求顏色梯度的2范數(shù)在平滑區(qū)域接近于零。考慮求解如式(1)的最小化問題。

泊松方程式(2)相當于各向同性擴散達到平衡時的情況，這里未考慮不同顏色交界處的復雜情況，很容易產(chǎn)生顏色越界。為了解決這一問題，必須對色度分量進行非均勻各向異性擴散，也就是在邊緣附近沿亮度變化緩慢的方向擴散，而不越過邊緣。Weickert在研究圖像濾波時討論了式(3)的各向異性擴散方程[12]：

其中是擴散方程中的加權因子。加權因子采用不同的形式會得到不同的擴散結果。當加權因子為標量常數(shù)時，是均勻各向同性擴散；加權因子是與位置有關的標量函數(shù)時是非均勻各向同性擴散；當加權因子是與位置有關的張量時，是非線性各向異性擴散，或自適應各向異性擴散。

以圖像降噪為例，各向同性擴散在降噪同時平滑了圖像的邊緣；非均勻各向同性擴散能識別邊緣，對邊緣區(qū)不進行平滑；非均勻各向異性擴散可識別邊緣，又能改變平滑方向，沿邊緣進行平滑以取得良好的效果。

本文通過非線性各向異性擴散來解決圖像彩色化問題，關鍵在于根據(jù)亮度分量的梯度確定合適的擴散張量，然后對色度分量進行擴散。灰度圖像彩色化算法可通過求解式(4)來實現(xiàn)：

式中是待求圖像的色度，U和U分別表示沿和方向的偏導數(shù)，div是散度算子，是擴散張量。與式(3)的不同之處在于，這里的并非直接與待求函數(shù)有關，而是由亮度分量確定的。采用合適的擴散張量函數(shù)可克服顏色越界現(xiàn)象，對得到效果良好的彩色化效果至關重要。

2.2 阻止顏色越界的各向異性擴散張量

文獻[13]中定義了如式(5)的各向異性擴散中的結構張量：

基于結構張量導出如式(6)的各向異性擴散方程[14]：

其中()稱為擴散系數(shù)。方程式(6)的性質主要取決于擴散張量，因此選擇合適的是解決具體問題的關鍵。

將灰度圖像的顏色空間從RGB空間轉換到YUV空間，其中表示亮度分量，和為色度分量。對進行高斯平滑以減低噪聲和中小尺度起伏的影響。計算的梯度?=[YY]T，根據(jù)式(5)對每一像素(,)得到大小為2′2的結構張量：

此處高斯卷積的作用之一是平滑濾波，使結構張量具有抗噪聲能力，增強魯棒性；二是引入空間相關性，一個像素的結構張量包含其周圍的信息，可體現(xiàn)局部結構信息。也就是說，平滑后任一像素的結構張量均受到周圍像素的影響。的特征值為和，對應相互正交的特征向量為1和2。

為了防止在圖像邊緣處發(fā)生顏色越界，要求沿邊緣的擴散強度大于垂直于邊緣的擴散強度。如上所述，1指向幾何結構的最大對比度方向，即指向垂直于邊緣的方向，2的方向與1的方向垂直，即沿著邊緣的方向。是較大的特征值，較小。為了實現(xiàn)沿邊緣的擴散，我們令擴散系數(shù)()與特征值成反比：

將式(10)代入式(4)，得到顏色分量滿足的非線性各向異性偏微分方程，同樣也可得到顏色分量滿足的方程。由于張量的作用，使顏色在圖像平滑區(qū)按各向同性擴散，而在邊緣處按照各向異性方式擴散，從而有效避免顏色越界，克服了泊松方程引起的邊界顏色模糊問題。對于在平滑區(qū)域和邊緣附近的作用分析如下：

(1)圖像平滑區(qū)往往是相似顏色區(qū)域內部，若亮度分量完全均勻，Y和Y的值為零，則結構張量所有元素值為0，特征值==0，特征向量1=[1 0]T,2=[0 1]T，因此擴散張量為

此時不會產(chǎn)生各向異性加權作用，因而顏色沿所有方向均勻快速擴散。常數(shù)的取值與擴散速度有關，當大時擴散慢，會導致擴散不足，造成圖像部分區(qū)域沒有染上色；小能提高擴散速度，但容易出現(xiàn)顏色溢出的現(xiàn)象，造成圖像部分區(qū)域顏色模糊不清；在本文實驗中，取=0.01，獲得了良好的實驗效果。

(2)在圖像邊緣區(qū)域即不同顏色交界處，亮度值值有較大變化，Y和Y取非零值，因此結構張量中有非零元素出現(xiàn)，擴散張量產(chǎn)生各向異性的加權效果，顏色按各向異性方式傳播，避免了圖像邊緣處嚴重的色彩混合，使邊緣顏色過渡更自然。

2.3 彩色化的算法實現(xiàn)

本文采用有限差分法求解式(4)的偏微分方程。設擴散張量如下：

式(4)右邊可展開如下：

用差分近似表示偏微商：

將式(13)代入式(12)，則式(4)可轉化為如式(14)的迭代表達式：

(14)

基于上述討論，實現(xiàn)圖像彩色化的算法步驟如下：

(1)用人工方法在黑白圖像的主要區(qū)域賦予初始顏色；

(2)將圖像從RGB顏色空間轉換到YUV空間，原黑白圖像的灰度分布就是亮度分量；

(3)按式(9)計算得到擴散張量；

(5)按式(14)進行迭代計算，得到彩色化圖像的分量，用同樣的方法計算得到分量；

(6)將亮度和得到的色度,合并，轉換到RGB空間，輸出彩色化結果。

3 實驗結果和討論

實驗1 采用本文算法對不同的灰度圖像進行彩色化實驗，得到的彩色化結果如圖1所示。圖1(a)列是4幅原始灰度圖像，圖1(b)列為初始染色情況，圖1(c)列是用上述方法得到的彩色化結果。由圖1可見，用本文的方法對植物、動物、人物等不同類型的圖像進行彩色化，都可得到清晰自然的彩色化圖像，視覺效果良好。

實驗2 為驗證算法穩(wěn)定性，對同一幅灰度圖像賦予不同的初始染色，用本文算法進行彩色化，結果如圖2所示。圖2(a)列是對一幅灰度圖像的兩種初始染色情況，圖2(b)列是獲得的彩色化結果。本文方法可在圖像梯度較大處阻止擴散越界。圖2中右下圖所示實驗結果中的黃色略有溢出，是由于相鄰的郁金香初始顏色中含有較多黃色成分(=0,=91,=80)，在與小花交界處黃色分量梯度較小，發(fā)生了少量越界。而圖2上面的例子中，初始顏色的黃色成分少(=27,=89,=19)，因而沒有越界。采用文獻[3]和文獻[4]的方法對該圖進行實驗，越界現(xiàn)象更為明顯，如圖3所示，可見本文方法在邊緣較弱時也有優(yōu)勢。

實驗3 對同一幅灰度圖像采用同樣的初始染色，比較不同迭代次數(shù)所得結果，如圖4所示。圖4(a)是初始染色圖像，圖4(b)是迭代500次的彩色化結果，圖4(c)是迭代1500次的結果，圖4(d)是迭代2000次的結果。如圖所示，當?shù)螖?shù)較少于500次時，顏色擴散還不夠充分；當?shù)?500次以上時顏色擴散充分，圖像彩色化結果良好。迭代500次所需要的時間約為3 s，迭代1500次所需要的時間約為5 s，迭代2000次所需要的時間約為8 s，可見在較短時間內即可獲得良好的彩色化圖像。

圖1 本文方法彩色化實驗結果

圖2 本文對不同初始染色的彩色化結果

圖3 文獻[3]和文獻[4]的方法用于圖2所得的彩色化結果

圖4 本文方法不同迭代次數(shù)的彩色化結果

實驗4 將本文方法與文獻[2]，文獻[3]和文獻[4]的方法進行比較，考慮視覺效果和定量指標兩方面。對同一幅灰度圖像，用同樣的初始染色用上述方法和本文方法進行彩色化，圖5所示為其中兩幅圖像的實驗結果。3種文獻的方法均有不同程度的顏色越界，本文方法效果最優(yōu)。文獻[2]基于相似灰度的像素點具有相似顏色的假設，在不同顏色交界處若灰度相近就會得到相似的顏色，容易產(chǎn)生顏色模糊。文獻[3]和文獻[4]分別采用基于泊松方程的各向同性擴散和自適應競爭，在邊緣附近效果較差。本文方法在交界處能自適應改變擴散方向和強弱，避免顏色越界，得到自然清晰的彩色化效果。

相對于原始彩色圖像，計算彩色化圖像的峰值信噪比(PSNR)：

表1 4種方法的峰值信噪比(dB)

4 結束語

本文引入了自適應的擴散張量函數(shù)，建立了用于圖像彩色化的非線性各向異性擴散方程。采用有限差分法求解方程，得到了計算效率高、彩色化效果優(yōu)良的算法。該算法在圖像平滑區(qū)域可實現(xiàn)快速的各向同性擴散，在邊界區(qū)自適應控制擴散方向，可避免顏色越界造成的模糊。與其它同類方法相比，本文提出的方法能明顯改善彩色化效果，不僅在同種顏色區(qū)域取得良好效果，而且在不同顏色交界的邊緣處能保持顏色細節(jié)，得到清晰自然的彩色化圖像。

圖5 4種算法的彩色化結果比較

[1] Ding X W, Xu Y, and Deng L. Colorization using quaternion algebra with automatic scribble generation[J]., 2012, 7(3): 103-114.

[2] Levin A, Lischinski D, and Weiss Y. Colorization using optimization[C]. Proceedings of ACM SIGGRAPH, New York, 2004: 684-689.

[3] Sapiro G. Inpainting the colors[C]. IEEE International Conference on Image Processing, Genoa, 2005: 698-701.

[4] Kawulok M and Smolka B. Competitive image colorization [C]. IEEE International Conference on Image Processing, Hong Kong, 2010: 405-408.

[5] Liu B B and Lu Z M. Image colourisation using graph-based semi-supervised learning[J].,2009, 3(3): 115-120.

[6] Minh H Q, Sung H K, and Triet M L.Image and video colorization using vector-valued reproducing kernel hilbert space[J]., 2010, 37(1): 49-65.

[7] Chia Y S, Zhou S J, Gupta R K,Semantic colorization with internet images[C]. Proceedings of the 2011 SIGGRAPH Asia Conference, Hong Kong, 2011: 1115-1121.

[8] Wang X H, Jia J, Liao H Y,Affective image colorization[J]., 2012, 27(6): 1119-1128.

[9] Song M L, Tao D C, Chen C,Color to gray: visual cue preservation[J]., 2010, 32(9): 1537-1552.

[10] Bertalmio M, Sapiro G, and Caselles V. Image inpainting[C]. Proceedings of 27th Annual Conference on Computer Graphics and Interactive Techniques, New York, 2000: 417-424.

[11] Tripathi A K and Mukhopadhyay S. Single image fog removal using anisotropic diffusion[J]., 2012, 6(7): 966-975.

[12] Weickert J. Anisotropic diffusion in image processing[D]. [Ph. D. dissertation], University of Copenhagen, 1998.

[13] Weickert J. A scheme for coherence-enhancing diffusion filtering with optimized rotation invariance[J]., 2002, 13(1): 103-118.

[14] Tschumperlé D and Deriche R. Vector-valued image regularization with PDEs: a common framework for different applications[J]., 2005, 27(4): 506-517.

陳 穎： 女，1974年生，副教授，博士生，研究方向為圖像處理、多媒體技術.

王朔中： 男，1943年生，教授，博士生導師，研究方向為圖像處理、多媒體信息安全和水聲學.

Image Colorization without Edge Crossover of Colors Based on Anisotropic Diffusion

Chen Ying①②Wang Shuo-zhong①

①(,,200072,)②(,,201418,)

Image colorization is to create a color picture from gray image automatically according to manually added scribbles. A colorization algorithm based on anisotropic diffusion is proposed to overcome the problem of edge crossover of colors. By defining an adaptive diffusion tensor, a nonlinear anisotropic diffusion function based on Partial Differential Equation (PDE) is established. Colors are diffused uniformly and quickly in smooth areas, while anisotropic diffusion takes place near edges, which effectively improves color transition by suppressing unwanted crossover. Numerical solution of the PDE based on a finite difference method gets satisfactory colorization effects and better quality in edge regions compared with the popular techniques.

Image colorization; Tensor; Anisotropic; Finite difference

TN911.73

A

1009-5896(2014)02-0271-06

10.3724/SP.J.1146.2013.00558

陳穎 cheny8262@163.com

2013-04-21收到，2013-10-08改回

國家自然科學基金(61071187, 61103181)資助課題