基于自適應噪聲模型和線積分卷積的鉛筆畫模擬

劉 磊， 陳 越， 盛 蘊， 張桂戌

(華東師范大學信息科學技術學院計算機科學技術系, 上海 200241)

基于自適應噪聲模型和線積分卷積的鉛筆畫模擬

劉 磊， 陳 越， 盛 蘊， 張桂戌

(華東師范大學信息科學技術學院計算機科學技術系, 上海 200241)

提出一種鉛筆畫模擬的方法。和傳統的鉛筆畫步驟類似，經過輪廓提取和色調合成，產生鉛筆畫模擬圖像。輪廓提取通過L0平滑后，用四向索貝爾算子提取邊界，借助線積分卷積實現色調合成。與現存方法不同的是，給出一種自適應噪聲模型，根據源圖像產生自適應的噪聲，將其作為線積分卷積的輸入圖像。實驗證明提出的方法可以用來產生具有藝術效果的鉛筆畫模擬圖像。

非真實感圖像繪制；鉛筆畫模擬；線積分卷積；自適應噪聲

非真實感圖像繪制是一種通過計算機模擬各種藝術形式圖像的渲染技術，如鉛筆畫和油畫等。這種技術已成為連接計算機科學和藝術表達之間的橋梁。與傳統的計算機圖形學不同，非真實感圖像繪制可運用各種方法將一幅數字圖像轉換為具有藝術效果的圖像。

鉛筆畫模擬是非真實感圖像繪制的一個重要分支，現存的鉛筆畫模擬方法主要可以分為兩大類[1]：基于圖像的渲染和基于三維模型的渲染。與基于三維模型的渲染相比，基于圖像的渲染只需考慮二維圖像藝術化[2]。在基于圖像的渲染中，輪廓和色調是兩個重要的元素。輪廓即圖像的主要邊緣，通過對輸入圖像計算梯度可以得到[3-5]。色調在鉛筆畫中，就是用線條來營造畫面的空間立體感。

Son等[6]提出了基于似然函數估計的提取 2D圖像中輪廓線的方法。該方法先計算梯度信息得到圖像的邊界，再從邊界中提取特征點，然后通過似然函數局部擬合成輪廓曲線。而Zhao等[7]提出的方法是用數學形態學對輪廓線進行細化，然后用深度優先搜索尋找相鄰的邊界點，將像素點轉換為線條的路徑，最終將輪廓曲線變成多個線段達到抽象化的目的。對于邊界復雜的圖像，這種計算會變得復雜。Doug和Santella[8]提出用對源圖像進行顏色分割后所得到的邊緣進行粗化，再用一個感知模型渲染來產生抽象的輪廓圖像。

在色調合成上，Li和Huang[9]提出了先根據顏色信息將輸入圖像分割成區域，根據區域的幾何特征和區域的紋理特性來生成相應的向量場，使用線積分卷積產生色調。除此之外，Yamamoto等[10]和Chen 等[3]也都使用線積分卷積(line integral convolution, LIC)產生色調。文獻[10]提出的是先將輸入圖像按灰度值進行分割，分為三種區域，對其用三個方向不同的向量場來進行 LIC。文獻[3]的方法中沒有提到分割，但也是根據灰度值的不同選擇不同方向的向量場，本質上與文獻[10]的方法類似。

LIC是一種常用的色調產生方法[11]，常通過在給定向量場方向卷積帶有白噪聲的輸入圖像來產生鉛筆色調。但用白噪聲產生的色調無法根據輸入圖像模擬筆觸明暗漸變的效果，其結果缺乏藝術感。Lu等[1]人提出從真實鉛筆畫色調作映射可以得到很好的色調合成結果，然而這種方法需要真實的鉛筆畫色調紋理，并不是純粹依靠計算機產生的。

本文提出分步的輪廓提取方法。先對輸入圖像進行L0平滑去掉不必要細節，同時保留主要邊緣信息。為了得到更強烈的邊緣響應，還提出采用四向的索貝爾算子提取邊界。在色調合成過程中，本文使用了 LIC進行色調模擬。為了解決白噪聲在LIC中的問題，本文提出自適應的噪聲模型，對源圖像加上自適應的高斯噪聲代替白噪聲作為LIC的輸入圖像，從而更好地模擬鉛筆畫藝術效果。

1 輪廓提取

1.1 L0平滑預處理

L0平滑是 Xu等[12]提出的一種邊界保留平滑方法。傳統圖像平滑方法大多是基于局部的低通濾波，而L0是基于圖像梯度零范數的全局平滑。L0的思想是：使得平滑后的圖像梯度的零范數更小，其優化的目標函數如式(1)：

其中，I為輸入圖像，S為平滑后的圖像，C ( S)為平滑后圖像的零范數，即：

第一項為保真項，第二項為正則項，λ控制平滑的程度。圖1顯示了L0平滑的結果，從圖中可以看出，很多細節被平滑了，同時主要的邊緣依然保留下來。

圖1 L0平滑結果圖

1.2 邊界提取

在圖像處理中一種常用的梯度提取算子是二向的索貝爾算子。為了加強邊緣響應，可將索貝爾算子拓展到四向，即計算每個像素點在四個方向的一階差分，并將其相加。

其中，x1 ， …，x 4分別代表平面上四個間隔為 45°方向。輸入圖像經過L0平滑后，細節已經被去掉了。對其使用四向的索貝爾算子，就可以得到輸入圖像的主要邊緣。

圖 2顯示了輪廓提取的結果。比較圖 2(b)和2(c)，可以看出L0平滑能夠去掉不必要的細節。圖2(d)是用四向索貝爾算子提取出的邊界，與圖2(c)相比，邊緣信息更加豐富。

2 色調合成

2.1 色調轉換

根據灰度直方圖的統計，普通數字照片和鉛筆畫圖像的色調分布是不同的。普通數字照片由于不同的場景和拍攝時不同的光照效果，色調分布沒有一定的規律。而對于鉛筆畫圖像，色調分布通常符合一定的規律。因此，在進行色調合成之前，需要對輸入圖像進行色調轉換。

圖2 輪廓提取結果圖

本文提出一種色調分布模型，由一個高斯分布和一個均勻分布組成，如圖 3所示。本文使用的色調分布模型為：

圖3 色調分布模型圖

其中， p( v)是像素值等于v時出現的概率， u1是均勻分布和高斯分布的分隔點， u2是高斯分布的均值，是高斯分布的方差。圖4顯示了色調轉換的結果。得到該結果時采用u1= 198, u2= 228, σ0= 0.048。該數據經過實驗計算而來，因此被用于本文其他鉛筆畫模擬結果的產生。

圖4 色調轉換結果圖

2.2 線積分卷積

LIC[6]是由 Cabral和 Leedom[11]提出的一種基于向量場的紋理可視化技術。它的結果和鉛筆畫的紋理很相似，所以常被用來模擬鉛筆畫的色調。通常以一個二維向量場和一幅白噪聲圖像作為輸入，然后通過在白噪聲圖像中進行低通濾波，即對向量場流線對應的像素點進行低通濾波，產生可視化的向量場圖像。整個LIC的結果表示為：

其中， (,)F x y為LIC的輸出結果， ()F I是曲線上的像素值，ih表示沿著向量場正方向上的卷積結果，ih′表示沿著向量場反方向的卷積結果。

一般情況下，將白噪聲作為 LIC的輸入圖像，在事先定義好的向量場上進行線性卷積。LIC的示意圖如圖5所示，WN代表白噪聲輸入圖像，V代表向量場，LIC表示線積分卷積。

圖5 線積分卷積示意圖

2.3 自適應噪聲

在真實色調繪制過程中，畫面中較暗的區域會產生強的視覺效果，而較亮的區域會產生弱的視覺效果。為了模仿真實繪畫的特性，需要本方法具有自適應性。

傳統的 LIC是以白噪聲為輸入。白噪聲是完全隨機的噪聲，因此不具有自適應性。在本文中提出對輸入圖像加上自適應的高斯噪聲來替換白噪聲。該噪聲可以用加性噪聲表示：

其中，ω是控制噪聲的權重，關于對應像素值的函數。I( x, y)是像素點(x, y)原始像素值，G N( x, y)是通過原始像素值產生的噪聲，符合高斯分布：

其中 μ= 0， σ2= f( I( x, y ))。

為了使噪聲具有自適應性，提出一個模擬像素值和噪聲方差之間關系的模型。方差應隨著像素值的增大而單調遞減，即越亮的區域噪聲越少。且像素值越接近于 255時，即越接近白色，方差的遞減趨勢也減緩。使用邏輯斯蒂函數來模擬這種關系。

α和β為模型的系數，該模型的函數圖像如圖6。

圖6 方差關于像素值的函數圖像

圖7 線積分卷積結果圖

有了式(6)～(8)，自適應噪聲可根據色調轉換后的圖像計算出來。圖 7顯示的是給一幅圖像加上自適應噪聲再進行LIC。從結果中可以看出，顏色較黑的區域產生的噪聲幅度較大，而較色較淺的區域產生的噪聲幅度較小。

3 實驗結果

將輪廓提取的結果和色調合成的結果做點積運算，就可以產生最終的鉛筆畫模擬圖像。將本文的結果和其他的方法產生的結果進行比較。圖8顯示的是本文的結果和文獻[10]的結果對比圖，矩形區域內是局部放大的效果圖。從局部放大的對比中可以看出，文獻[10]用白噪聲產生的色調結果在不同灰度值的區域產生的筆觸效果是相同的，而本文在不同灰度值區域的筆觸效果有明顯的差異。在圖像越暗的區域，產生的筆觸效果越明顯。該特性使得本文方法能夠更好地模擬真實鉛筆畫的效果。圖 9顯示的是將本文結果和文獻[1]和文獻[13]的結果比較。文獻[1]使用的是從真實鉛筆畫的色調紋理進行映射的方法，文獻[13]用一種混合擦除模型產生的效果，而本文是采用基于自適應噪聲和LIC的色調合成方法。

本文的方法不僅可以用在灰度圖像的處理，同樣可以用于彩色圖像的處理。將輸入圖像轉為YUV通道后，只對亮度通道進行處理，可以得到彩色結果。圖10顯示了一組輸入圖像原圖像和彩色結果。

圖8 結果比較

圖9 結果比較

圖10 更多結果

4 結 論

本文提出了一種鉛筆畫模擬的方法，在輪廓提取時，首先通過L0平滑去掉輸入圖像中的一些細節，為了得到較強的邊緣響應，本文使用四向的索貝爾濾波器提取邊緣。在色調合成過程中，提出了一個由均勻分布和高斯分布組成的色調分布模型。另外，為了使得模擬結果具有自適應性，還提出了自適應的噪聲模型，產生的噪聲圖像作為 LIC的輸入圖像。實驗證明，本文提出的方法可以產生具有較好藝術效果的鉛筆畫模擬圖像。下一步將進行以下研究工作：首先，在色調合成時，本文使用的 LIC的向量場較為單一。在真實作畫中，色調的筆觸方向應隨著畫面中物體的形狀、光照方向等因素的改變而改變。解法之一是根據輸入圖像的梯度切線方向調整向量場的方向，從而增強渲染的藝術效果[14]。其次，在輪廓提取方面，可將現在得到的結果再進行曲線擬合，得到更抽象的線條，從而增加輪廓表現力。

(在論文寫作過程中，香港中文大學Lu Cewu耐心解答很多重要問題，在此表示感謝！)

[1]Lu Cewu, Xu Li, Jia Jiaya. Combine sketch and tone for pencil drawing production [C]//Proceedings of the Symposium on Non-Photorealistic Animation and Rending, Annecy, France, 2012： 65-73.

[2]Kyprianidis J E, Collomosse J, Wang Tinghuai, et al. State of the 'art'： a taxonomy of artistic stylization techniques for images and video [J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 19(5)：866-885.

[3]Chen Zhenyu, Zhou Jingye, Gao Xingyu, et al. A novel method for pencil drawing generation in non-photorealistic rendering [C]//Advances in Multimedia Information Processing-PCM, Tainan, 2008： 931-934.

[4]Wang Jin, Bao Hujun, Zhou Weihua, et al. Automatic image-based pencil sketch rendering [J]. Journal of Computer Science and Technology, 2002, 17(3)：347-355.

[5]Zhou Jin, Li Baoxin. Automatic generation of pencilsketch like drawings from personal photos [C]// Proceedings of the Symposium on Multimedia and Expo, Amsterdam, 2005：1026-1029.

[6]Son M J, Kang H, Lee Y J, et al. Abstract line drawings from 2D images [C]//Proceedings of the 15th Pacific Conference on Computer Graphics and Applications, Maui, 2007： 333-342.

[7]Zhao Jingxiu, Li Xinghua, Chong Feng. Abstract line drawings from 2D images based on thinning [C]// Congress on Image and Signal Processing, Sanya, China, 2008： 466-470.

[8]Doug D C, Santella A. Stylization and abstraction of photographs [J]. In ACM Transactions on Graphics (TOG), 2002, 21(3)： 769-776.

[9]Li Nan, Huang Zhiyong. A feature-based pencil drawing method [C]//Proceedings of the 1st International Conference on Computer Graphics and Interactive Techniques, 2003： 135-ff.

[10]Yamamoto S, Mao Xiaoyang, Imamiya A. Enhanced LIC pencil filter [C]//Proceedings of the Computer Graphics, Imaging and Visualization, Aachen, Germany, 2004： 251-256.

[11]Cabral B, Leedom L C. Imaging vector fields using line integral convolution [C]//Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques, 1993： 263-270.

[12]Xu Li, Lu Cewu, Xu Yi, et al. Image smoothing via L0 gradient minimization [J]. ACM Transactions on Graphics (TOG), 2011, 30(6)： 174.

[13]Sousa M C, Buchanan J W. Observational model of blenders and erasers in computer-generated pencil rendering [C]//Graphics Interface, San Francisco, 1999：157-166.

[14]Kang H, Lee Seungyong, Chui C K. Coherent line drawing [C]//Proceedings of the 5th International Symposium on Non-photorealistic Animation and Rendering, San Diego, 2007： 43-50.

Pencil Drawing Simulation Based on Adaptive Noise Model and Line Integral Convolution

Liu Lei, Chen Yue, Sheng Yun, Zhang Guixu
(Department of Computer Science, School of Information Science Technology, East China Normal University, Shanghai 200241, China)

A method for pencil drawing simulation is proposed in this paper. As the conventional procedure of pencil drawing, our method performs line drawing followed by tonal drawing. Line drawing is implemented by L0smoothing and four-directional Sobel gradient operators, while tonal drawing is simulated by using of a line integral convolution method. Unlike the existing methods, an adaptive noise model is given, which can be added to the source image replacing white noise as the input to line integral convolution. The experimental results show that the proposed method can closely imitate real pencil drawing with artistic effects.

non-photorealistic rendering; pencil drawing simulation; line integral convolution; adaptive noise

TP 391

A

2095-302X(2015)01-0077-06

2014-08-11；定稿日期：2014-08-20

國家自然科學基金青年科學基金資助項目(61202291)；中央高校基本科研業務費專項資金資助項目

劉 磊(1991-)，男，安徽蕪湖人，碩士研究生。主要研究方向為非真實感圖像繪制、圖像分割等。E-mail：qingshi5230@163.com

盛 蘊(1979-)，男，湖南長沙人，副教授，博士。主要研究方向為三維幾何重建、三維人臉及動畫合成、非真實感圖像繪制。E-mail：ysheng@cs.ecnu.edu.cn