提示筆刷的數字油畫畫布自動生成

陳佳舟， 胡文文， 何 棟， 繆永偉

（浙江工業大學計算機學院，浙江 杭州 310023）

提示筆刷的數字油畫畫布自動生成

陳佳舟， 胡文文， 何 棟， 繆永偉

（浙江工業大學計算機學院，浙江 杭州 310023）

傳統的數字油畫畫布由區域邊界線條和指定顏料數字構成，繪畫者僅需在每個區域內部涂上與數字對應的顏料即可完成自己的手繪作品，是一種流傳廣泛的新藝術形式。然而，這些畫布不僅需要專業人員花費大量時間設計，且無法提示筆刷的方向和大小，影響繪畫的效果。為此，提出一種提示筆刷的自動生成方法，將任意圖像轉換為數字油畫畫布的同時，利用方向場流線合理提示出筆刷的寬度、長度和方向。實驗結果表明，該方法生成的數字油畫畫布線條封閉光滑，數字清晰可辨，筆刷提示流線對繪畫效果有明顯的改善。

數字油畫；圖像聚類；方向流線；線條提取；非真實繪制

傳統的油畫是在一張空白的畫布上完成的，需要輪廓勾勒、顏料調配、筆刷繪制等步驟，專業性極強，只有長期地學習才能掌握。近年來出現了一種新穎的油畫藝術形式——數字油畫，這種油畫形式不僅提供給繪畫者標有顏色、輪廓提示信息的畫布，還為繪畫者事先調配好所需顏料，可使那些愛好油畫卻不具備繪畫基礎的人能輕松地完成自己的繪畫作品，如圖1所示。數字油畫繼承了兒童填色畫的簡單直觀，避免了傳統油畫的專業限制，具有較高的觀賞性和體驗性，深受廣大業余繪畫者的喜愛，自發明以來，迅速流行于世界各地。

圖1 數字油畫的繪畫過程

但是，目前的數字油畫畫布仍需要由具有專業繪畫基礎的技術人員設計完成，不僅費時費力，且油畫內容也比較局限，市場上常見的數字油畫絕大部分都以特定的風景畫作為主。通過觀察發現，這種數字油畫畫布的設計確實并非想象中那么簡單，每個步驟都依賴于設計者的繪畫經驗和美感：先要將整個場景中顏色接近的各個區域都用線條逐一勾勒區分開來，接著選出一組具有區域代表性的顏色，再在每個區域上標注出需要填入的顏色編號。一個內容豐富的場景通常都包含了數量眾多的區域，這也使得畫布設計的工作量大大增加。因此，亟需一種數字油畫畫布的自動生成方法，打破其專業設計的局限，進一步提高個性化定制的體驗性。

近年來隨著計算機技術的不斷發展和數碼成像設備的逐漸普及，采用基于圖像的數字油畫畫布自動生成方法為解決上述困難提供了技術條件。用戶只需提供一幅數碼照片，計算機便可將其自動轉換為帶有區域線條和顏料數字編號的油畫畫布設計圖。基于計算機技術的數字油畫設計方法避免了專業、繁瑣的設計過程，實現了數字油畫的全程個性化定制。通過對數字油畫畫布的觀察，不難發現，要將一幅圖像自動轉換為一幅數字油畫畫布，主要存在以下3個方面的挑戰：

(1) 輸入圖像需要被劃分為顏色接近且便于填色的若干個封閉子區域。可以實現這種區域劃分的圖像分割算法有很多種，例如圖分割方法[1]、Mean-Shift方法[2]、分水嶺法[3]和區域增長方法[4]等。這些分割方法雖然能有效地將顏色接近的像素分割到同一區域，但它們得到的子區域形狀都不太規則，往往存在過于細長或其邊緣帶有較多鋸齒的情況。圖像處理領域中的圖像邊緣提取算法[5-6]雖然能獲得較為光滑的線條，但無法保證它們能形成封閉的區域。

(2) 雖然數字油畫有現成的顏料提供，但一般數字油畫只提供 6～30種顏料，其數量遠遠無法達到場景中呈現的顏色數量。為了克服該局限性，可以采用聚類的方法，在設計畫布的過程中把輸入圖像的所有顏色聚類成少量幾種具有代表性的顏色，進而給這些聚類出來的顏色進行編號，并在每一個子區域內部標注出它們所對應的顏色編號。目前，較為通用的聚類算法有：基于層次的聚類[7]、K均值算法[8]、基于密度的聚類[9]等。然而，子區域中標注的顏色編號要求清晰呈現，且盡可能不與邊界線條相交——這其實并不容易。為清晰顯示，數字編號需保證一定的大小，但這又很容易造成與區域邊界的重疊，反而降低其可辨度。

(3) 最為重要的是，藝術家在繪制油畫過程中，除了顏料的顏色，每一次運筆的筆刷大小和方向也頗為講究[10-12]。一般而言，在背景等面積較大的區域往往使用較大的筆刷，而在需要表現細節的區域中使用較小的筆刷；筆刷的方向則是主要沿著區域的邊界或區域內紋理的走向。目前的數字油畫畫布只提示了顏料的使用區域和顏色，忽略了筆刷大小和方向等其他重要因素，缺乏繪畫經驗的人容易產生筆觸雜亂的問題或如同兒童填色畫一樣缺乏層次感。因此，亟需一種在畫布上提示筆刷的大小和方向的方法，進一步改善數字油畫的藝術效果。

為克服上述困難，本文提出了一種提示筆刷的數字油畫自動生成方法，能夠將任意圖像自動轉換為數字油畫畫布，且添加了帶有筆刷提示信息的流線，改進了現有數字油畫的不足。首先，介紹一種統計濾波方法，去除Mean-Shift圖像分割[2]產生的邊界鋸齒，獲得光滑的邊界線條；其次，采用K均值聚類[8]選出代表性顏色，并提出一種數字顯示的調整方法，保證數字顯示清晰可見、不與邊界重疊；然后，計算圖像空間的方向場，生成能夠提示筆刷大小和方向的流線；最后，合成上述邊界線條、顏色數字和筆刷流線，生成與輸入圖像內容一致的數字油畫畫布。

1 數字油畫畫布自動生成算法

1.1 邊界線條

數字油畫的繪畫者主要完成的是一個顏料填涂的過程，因此需要事先將一幅圖像劃分成一個個封閉的子區域，每個子區域僅可填入一種顏料。為了實現區域劃分，本文采用Mean-Shift圖像分割算法[2]來分割輸入圖像，利用位置-顏色空間的五維向量v=(αx,αy,R,G,B)來完成初始樣本的構建，該五維向量表示p=(x,y)位置上的像素顏色為R,G,B。由此，Mean-Shift圖像分割算法可以定義為一個搜索中心點位置的迭代過程：

Mean-Shift分割算法依賴于一定的參數調節。其中，參數δ 主要是控制分割子區域的大小，分割區域的面積隨著參數δ 的增加而增加，而分割區域的數量隨著參數δ 的增加而減少，它是本文方法需調節的參數之一。為避免分割產生面積過小的區域，本文將該算法的最小區域面積參數設為其中w表示圖像的長，h表示圖像的寬。參數α主要控制位置空間和顏色空間之間的尺度比例，本文方法將該參數值設定為一個自適應值

雖然Mean-Shift分割能得到封閉的區域，但其邊界往往帶有鋸齒，不僅影響油畫效果，也為繪畫者帶來了不便，如圖2(c)所示。為此，本文提出一種基于局部統計的濾波方法，去除鋸齒效應。對于像素p（其所屬區域編號為λp），統計該像素局部鄰域內全體像素的所屬區域編號并用出現次數最多的區域編號λq代替當前像素p的區域編號。其中，參數s是一個代表濾波范圍的整數，用于控制邊界的光滑程度，s越大，邊界線條越光滑。如圖2(d)、(e)、(f)所示，該統計濾波方法不僅可以有效地解決邊界鋸齒問題，而且不會破壞圖像的整體分割結果。

需要指出的是，去除邊界鋸齒的傳統解決方法是首先矢量化邊界線條（一般表示為多邊形），然后對線條進行分段光順處理，最后用原有的編號填充每個區域。這類方法不僅無法并行計算、效率低，且穩定性較差，分割產生的鋸齒邊界容易導致矢量化失敗。而本文的基于統計濾波方法，區域編號濾波可以并行處理，能夠有效去除復雜的鋸齒，濾波的結果只需要一個簡單的 4-鄰域判斷即可獲得邊界像素，避免了復雜的邊界像素矢量化和區域填充。

圖2 光滑邊界線條的生成

1.2 數字編號

數字油畫為繪畫者提供所需的全部顏料，但出于成本考慮，其數量總是有限的，只是提供幾種具有代表性顏色的顏料。為此，需要把圖像中的所有顏色聚類成若干種代表性顏色，不妨設為M種，分別用{i}(1≤i≤M)表示。根據Mean-Shift算法分割后的圖像，可以利用K均值算法對每個子區域的平均顏色{cj}(1≤j≤N，N為子區域數量，遠遠大于M)進行聚類分析。該分析是一個迭代求解的過程：在第k次迭代中，計算所有cj與代表顏色的距離并將cj歸類到距離最近的代表顏色所在的類中。根據上述歸類，重新計算每一個代表顏色的值，即對歸類到i的所有顏色求平均并進入下一次迭代。

在每次迭代后都要計算聚類結果的誤差，從而保證迭代過程具有較好的收斂性。誤差的計算公式如下：

完成聚類后，每一個區域將獲得了一個與顏色序號相對應的數字。但由于分割區域形狀各異、大小不一，簡單地直接顯示這些數字，往往無法保證它們在畫布上清晰可見，從而造成視覺混淆。如圖3(a)～(c)所示，一般的方法是計算每個區域的中心位置，即該區域內所有像素的平均位置。其中，圖3(a)是顏色聚類后的結果，圖3(b)是每個區域顯示數字編號的大小和位置，圖3(c)是數字編號顯示的結果。從圖3(c)中不難發現，有些數字在面積較小的區域內與邊界線條重疊在一起。此外，非凸區域的平均位置有可能在區域外部，從而導致出現數字編號顯示到了其他區域的問題。

針對數字編號沒有顯示在區域內部的問題，本文方法沿著其中心位置的上、下、左、右 4個方向進行搜索，假設在其中一個方向首先遇到該區域內的像素 p1，繼續沿著該方向搜索，直至找到離開該區域的位置或圖像邊界 p2，然后將數字的中心位置設為Ok=(p1+p2)/2。比如，圖3(c)中的背景區域（數字編號為1）是中空的，其平均位置不在區域內部，而在其他區域內。本文的方法能夠重新找到相應的區域內位置，即圖3(f)中背景區域中編號為1的數字。

為克服數字編號在面積較小的區域內與區域邊界重疊的問題，本文提出一種調整數字顯示大小的方法。假設給定最大允許的數字顯示半徑為 R，面積較大的區域按照該半徑大小顯示；而在面積較小的區域，縮小該半徑顯示數字。換而言之，需要保證數字顯示中心Ok與區域邊界線的距離大于R；當做不到時，適當縮小 R，從而保證該數字與邊界不重疊。為此，首先采用一種類似于Mean-Shift分割的迭代方法將顯示中心搬離邊界線（至少R距離）：

該迭代通過計算局部鄰域內區域編號相同的像素的平均位置，使得中心位置Ok逐漸遠離區域邊界，如圖 3(d)中紅點所示。當區域包含了所有局部鄰域，或者當迭代次數多于10次，此迭代過程就結束。而對于面積很小或形狀細長的區域，可能放不下大小為R的數字符號。為了不使數字與邊界重疊，需要對數字符號的尺寸進行適當地縮小，如圖3(e)所示。圖3(f)展示了最終的數字符號顯示效果。

1.3 筆刷流線

傳統的數字油畫幫助繪畫者解決了顏料的調配和在畫布上的使用區域等問題，但卻沒有提示如何用筆刷來使用這些顏料，即筆刷的大小和方向。由于數字油畫的使用者往往缺乏繪畫基礎，并不清楚筆刷的正確使用，隨意的筆刷放置容易產生筆觸雜亂無章的問題。一般而言，在背景等面積較大的區域往往使用較大的筆刷，而在需要表現細節的區域中使用較小的筆刷；筆刷的方向則是主要沿著區域的邊界或區域內紋理的走向等。

本文基于上述傳統油畫筆刷放置的簡單規律，為數字油畫添加提示筆刷大小和方向的流線信息。

首先，計算方向場。假設輸入圖像為 I，統計濾波后的圖像為 F，分別計算其 Sobel梯度▽I和▽F，然后構建張量場▽IT·▽I+▽FT·▽F，高斯模糊該張量場后，分析其特征值，對應的特征向量即為梯度和切向方向，實現細節請參閱文獻[13]。圖4(a)利用線積分卷積展示了切向方向場。

其次，通過卷積的方法生成切向流線：其中，t(xk)是在xk處的單位切向量。由于xk往往不在整數像素位置上，可以采用雙線性插值的方法計算t(xk)。每一次卷積，都可以獲得表示為多邊形的一條流線{xk}。

本文在圖像空間撒1 000個隨機點，逐一從這些點出發進行卷積。假設筆刷的長度和寬度分別是l和w，當卷積的長度超過l，或者遇到區域邊界、數字符號或已經卷積過的位置時，卷積終止。此外，每次卷積后，都需要在圖像空間做相應的記錄，即以流線上的點{xk}為圓心、以w為半徑的圓逐一進行標記，以保證流線之間的距離大于w。需要強調的是，筆刷的長度和寬度與所處區域的面積有關，即l=lmax×β，w=wmax×β，其中s取2.5， A為歸一化的區域面積，如圖4(b)所示。

圖4(c)是本文方法的最終結果，合成了邊界線條、數字符號和提示流線的數字油畫畫布。為了避免提示流線對區域邊界產生干擾，特用灰色的細線繪制流線，而用黑色的粗線繪制邊界線條，并加粗顯示數字符號。

圖4(f)是本文利用計算機對油畫效果的模擬。為了逼真地模擬油畫在光照下的物理呈現效果，采用Hertzmann[12]的基于筆刷的繪制方法，根據每一條流線的長度和寬度信息放置顏色筆刷如圖4(d)和高度筆刷圖4(e)，并利用表面法向計算和Phone模型光照計算，模擬油畫結果，見圖4(f)所示。

圖3 顏色聚類與數字顯示（右上角的小圓圈代表數字編號與顏料之間的對應關系）

圖4 提示筆刷信息的流線

2 實驗結果與討論

本文提出了一種提示筆刷的數字油畫畫布自動生成方法。大量的實驗證明，該方法可以自動地將任意圖像轉換為數字油畫畫布，能夠保證邊界光滑、數字編號顯示清晰，且帶有提示筆刷信息的方向流線，極大地方便和改進了現有的數字油畫畫布設計。

圖5展示了調整數字編號的顯示位置和大小的重要性。圖 5(a)～(c)結果發現，初始的結果在可辨性上面效果較差。圖 5(d)～(f)在數字編號清晰度和流線的美觀性方面有了較大地改進。

從圖5(g)和(h)中可見，通過平均位置計算得到的顯示位置可能不在區域內部，數字編號為1和2的顯示位置重疊在一起，其原因是編號1對應的背景區域是中空的。而本文的位置調整方法能夠將其重新調整到正確的位置。此外，數字符號的初始位置有時靠近區域邊界，不利于顯示，即使調整大小也難以避免與邊界的重疊，如圖5(h)。通過對數字符號位置和大小的合理調整，絕大部分數字符號都能做到清晰可見，比如圖5(j)所示的編號7。

圖5 數字符號位置、大小調整前后的比較(R=10)和自適應筆刷寬度前后的比較

圖 5(g)～(j)展示了本文方法通過筆刷調整來控制流線的長度和間距產生的效果比較。以筆刷寬度為例，如果對每個區域都采用相同的筆刷寬度，不管如何調整該寬度值都無法達到滿意的效果。如圖5(k)和(l)所示，筆刷寬度較大時，面積較小的區域流線太少；而筆刷寬度較小時，面積較大的區域流線過多，增加了使用者的繪畫負擔，也不符合繪畫習慣。本文采用筆刷寬度調整方法，根據區域的面積大小，自動控制筆刷的寬度，并避免與數字符號重疊，如圖5(n)所示。

圖6給出了3個案例及其中間結果，包括邊界線條的生成、顏料編號的顯示、最終生成的數字油畫畫布，以及利用這些數字油畫畫布繪制出來的數字油畫計算機模擬。所采用的顏料數量都是11種。

圖6 本文方法的更多結果

本文利用GPU進行加速，算法中的濾波、邊界提取、方向場計算、油畫筆刷合成都是基于GLSL的腳本實現的，在NVIDIA GeForce 9800 GT的顯卡上僅占0.05～0.20 s。由于避免了邊界像素的矢量化和區域填充，其他計算量在 CPU上也不大，主要集中在Mean-Shift分割算法和K均值聚類上，根據圖像大小的不同，基本需要0.1～0.5 s之間。上述時間是在Intel ? Core?2 DuoE 6550 @ 2.33 GHz的電腦上統計得到的。

本文的方法雖然能夠全自動地生成數字油畫畫布，但其效果有賴于5個重要的參數（其他參數大都采用固定值，對結果影響較小）：①圖像分割中的δ 可用于控制區域的數量；②統計濾波中的 s可以調整邊界線條的光滑程度；③顏色聚類K指定代表性顏色的數量；④R調整數字符號的最大尺寸；⑤lmax和wmax指定筆刷的最大長度和寬度。由于本文方法計算效率較高，整個算法達到了交互速度，包括油畫畫布和模擬在內的效果均可以在用戶修改參數后立即獲得，在一定程度上緩解了因為參數調節帶來的用戶負擔。

3 結 論

本文提出一種提示筆刷的數字油畫生成方法，通過一種基于局部統計的圖像濾波，去除分割區域的邊界鋸齒；針對數字編號的位置和大小進行合理調整，保證其清晰可見；自適應長度和寬度的方向流線，有效地提示了筆刷這一重要信息。實驗結果表明，該方法能夠將任意圖像轉換為數字油畫畫布，不僅避免了傳統數字油畫設計的耗時費力，所生成的數字油畫畫布邊界線條光滑、數字顯示清晰、且帶有提示筆刷大小和方向的流線，對提高油畫質量具有顯著的輔助作用。

今后的工作包括如何提高數字油畫的藝術表現力，為此需要在畫布生成過程中引入更多的藝術夸張效果，包括形狀夸張和顏色夸張等。另一項工作是對分割算法和顏色聚類算法進一步加速實現[14-15]，做到實時計算。

[1] Boykov Y, Funka-Lea G. Graph cuts and efficient N-D image segmentation [J]. International Journal of Computer Vision, 2006, 70(2): 109-131.

[2] Comaniciu D, Meer P. Mean shift: a robust approach toward feature space analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[3] Vincent L, Soille P. Watersheds in digital spaces: an efficient algorithm based on immersion simulations [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598.

[4] Nock R, Nielsen F. Statistical region merging [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(11): 1452-1458.

[5] Canny J. A computational approach to edge detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 12(6): 679-698.

[6] Kang H, Lee S, Chui C K. Coherent line drawing [C]// Proceedings of the 5th International Symposium on Non-Photorealistic Animation and Rendering, San Diego, CA, USA, 2007: 43-50.

[7] Sibson R. SLINK: an optimally efficient algorithm for the single-link cluster method [J]. The Computer Journal, 1973, 16(1): 30-34.

[8] Kanungo T, Mount D M, Netanyahu N S, et al. An efficient k-means clustering algorithm: analysis and implementation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 881-892.

[9] Kriegel H P, Kr?ger P, Sander J, et al. Density-based clustering [J]. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 2011, 1(3): 231-240.

[10] Zeng Kun, Zhao Mingtian, Xiong Caiming, et al. From image parsing to painterly rendering [J]. ACM Transactions on Graphics, 2009, 29(1): 1-11.

[11] Hays J, Essa I. Image and video based painterly animation [C]//Proceedings of the 3rd International Symposium on Non-Photorealistic Animation and Rendering, Annecy, France, 2004: 113-120.

[12] Hertzmann A. Painterly rendering with curved brush strokes of multiple sizes [C]//Proceedings of the 25th Annual Conference on Computer Graphics and Interactive Techniques, Orlando, FL, USA, 1998: 453-460.

[13] Kyprianidis J E, D?llner J. Image abstraction by structure adaptive filtering [C]//Proceedings of EG UK Theory and Practice of Computer Graphics, Manchester, UK, 2008: 51-58.

[14] 蘇清華, 黃樟燦, 汪金水. 數字油畫制作中的加速 K均值顏色聚類算法[J]. 武漢大學學報: 理學版, 2014, 60(2): 173-177.

[15] 李海洋, 文永革, 何紅洲, 等. 基于隨機權重粒子群和K-均值聚類的圖像分割[J]. 圖學學報, 2014, 35(5): 755-761.

Automatic Generation of Digital Oil Painting Canvas with Hinting Brushes

Chen Jiazhou, Hu Wenwen, He Dong, Miao Yongwei

(College of Computer Science, Zhejiang University of Technology, Hangzhou Zhejiang 310023, China)

A traditional digital oil painting canvas consists of lines that represent region boundaries and digits that represent specified pigments. It becomes a new popular art because amateurish users can easily draw their own oil painting by brushing provided pigments into each region. However, it costs professional artists much labor and time to design, and reduces the painting quality due to the lack of brush hints, such as their orientation and width. In this paper, we propose an automatic generation method with brush hints. It not only converts an arbitrary image into a digital oil painting canvas, but also provides effective brush hints on the canvas. Experiments demonstrate the smoothness of boundary lines, the legibility of color digits and the significant improvement of painting quality contributed by the hint of brush streamlines.

digital oil painting; image segmentation; field streamline; line extraction; non-photorealistic rendering

TP 391

A

2095-302X(2015)03-0331-08

2015-01-26；定稿日期：2015-02-11

國家自然科學基金資助項目(61303138，61272309)；浙江大學CAD&CG國家重點實驗室開放課題資助項目(A1428)

陳佳舟(1984-)，男，浙江湖州人，講師，博士。主要研究方向為計算機圖形學、表達式繪制。E-mail：cjz@zjut.edu.cn