基于直方圖匹配與圖像修復的圖像風格化

葉紅娟，彭宏京，杜振龍

(南京工業大學 計算機科學與技術學院，江蘇 南京 211800)

0 引 言

目前，圖像風格化技術[1-4]大體上可分為基于實例和不基于實例兩大類型。

不基于實例的圖像風格化技術主要包括基于筆刷的風格化渲染和濾波渲染技術等。

基于實例的圖像風格化技術主要包括基于紋理和基于顏色兩個方面。Hertzmann等[5]提出圖像類比的方法，通過得到輸入圖像對A和A′之間的關系，使得源圖像B具有這一關系，從而得到最終結果B′。但實際上很難得到A和A′這一圖像對。Wei等[6]基于Efros提出的圖像縫合的方法，并通過馬爾可夫隨機場模型進行圖像風格化處理。王洋等[7]基于非線性濾波提取圖像紋理信息并結合Efros等提出的紋理合成思想，實現圖像風格化效果。Li等[8]在基于之前提出的傳統的統計值的基礎上增加了源圖像和目標圖像的轉移權重這一參數，更加高效且使得結果在視覺上更加有可信度，但該方法并沒有實現整體風格的轉換。趙源萌等[9]提出基于直方圖統計的方法進行色彩傳遞，減少了時間的消耗。Shitala等[10]基于直方圖傳輸并結合圖像分割方法進行處理，然而這一方法得到的效果并不令人滿意。

本文通過圖像分割技術，并結合直方圖匹配的思想和圖像修復技術實現圖像風格化。首先，將源圖像和參考圖像進行超像素分割，然后通過給定的匹配算法找出源圖像和參考圖像之間的最佳匹配塊，再對最佳匹配塊進行直方圖匹配，最后對匹配之后的圖像進行圖像修復，減少塊拼接之后產生的噪聲，從而實現最終的風格化效果。本文方法以塊為單位進行處理，能夠大大減少了運行時間。通過給定的描述圖像以塊為單位的匹配信息進行匹配傳輸，能夠取得很好的效果。

1 系統概述

為了得到用戶所需的圖像風格化效果，本文首先通過SLIC[11](simple linear iterative clustering)超像素分割，將源圖像和參考圖像進行分割，然后通過給定的匹配算法找出源圖像和參考圖像之間的最佳匹配塊，再對每對最佳匹配塊進行直方圖匹配，最后對匹配之后的圖像進行BSCB(Bertalmio,Sapiro,Caselles,Ballester 這4位圖像專家的首字母的縮寫)圖像修復，減少塊拼接之后產生的噪聲，從而實現最終的風格化效果，整體算法流程如圖1所示。

圖1 系統流程

1.1 SLIC圖像超像素分割

SLIC即為簡單線性迭代聚類，算法過程是將輸入的彩色圖像轉化為5維特征向量，包括LAB顏色空間的3個通道和XY坐標，然后對這3個通道和XY坐標構建距離度量標準，最后將該圖像的像素局部聚類。SLIC基本算法過程可分為初始化種子點和相似度衡量兩個步驟，具體算法過程請參見文獻[11]。

算法過程考慮的距離計算方法如下

(1)

(2)

(3)

如圖2所示，圖2(a)表示標準的k-means在整個圖像中搜索；圖2(b)表示SLIC在圖像限定區域范圍中搜索。

圖2 搜索區域

本文應用SLIC圖像超像素分割算法，根據圖像中像素點的特征，能夠將圖像分割成不規則的塊，并且每塊內的像素點具有相似特征。因此以分割后的塊為單位進行傳輸，相比于以像素點為單位進行傳輸，大大提高了運行效率，而且選定合適的分割超像素個數，可以使每個塊內的像素點具有相似特征，減少匹配誤差。

1.2 BSCB圖像修復

BSCB算法的主要思想是：首先，沿等照度線的方向將待修補區域周圍的信息迭代傳輸到待修補區域內，然后，為避免等照度線出現交叉，算法再進行若干次各向異性擴散的過程。按此重復多次，直至完成整個破損區域的圖像修復任務。BSCB模型的圖像修復算法的兩個步驟如下：

(1)傳輸過程如下所示

(4)

(5)

(2)各向異性非線性擴散過程計算過程如式(6)所示

(6)

式中：K(i,j)(直線的曲率為0)表示的是等照線在點(i,j)的曲率。

本文使用BSCB圖像修復算法，可以減少匹配后塊與塊產生的拼接噪聲，并且不會對圖像整體內容產生影響。

2 算法設計

2.1 SLIC超像素分割算法及標記過程

本文先對輸入圖像和參考圖像進行超像素分割，并設定分割的超像素個數K。然后，沿著水平和垂直掃描線掃描分割后的圖像，同時對圖像中的每一塊進行標記。最后，根據標記的結果對每一塊進行分類并排序。

圖像分割結果如圖3所示(K=3000)。其中圖3(a)為輸入圖像，圖3(b)為圖像分割后的邊界圖，圖3(c)為輸入圖像分割后的結果圖。

圖3 圖像分割結果

將源圖像和參考圖像分割后，沿著水平和垂直掃描線掃描分割后的圖像。如圖4所示，為掃描分割后圖像的過程，源圖像和參考圖像做同樣的處理。

圖4 掃描過程

由圖3(b)可知，圖像分割邊緣的像素值為255(白色)，塊部分的像素值為0(黑色)，因此，在掃描過程中，當得到像素值p=0時，標記該像素點為1，直到得到像素值p=255，繼續掃描，當再次得到像素值p=0時，標記該像素點為2，直到得到像素值p=255，按照這個規律依次進行，將每個塊標記為1，2，3…。

2.2 匹 配

對源圖像塊和參考圖像塊進行標記后，需要找到源圖像中每一塊對應參考圖像中的最佳匹配塊，再將每對最佳匹配塊進行直方圖匹配。這樣就能將參考圖像的風格轉換到源圖像中，并保留源圖像的整體內容。

本文運用均值、標準差、色調以及平滑度來尋找最佳匹配。具體計算方法如式(7)所示

(7)

式中：μ1和μ2分別表示源圖像和參考圖像分割后每塊像素的平均值，σ1和σ2分別表示源圖像和參考圖像分割后每塊像素的標準差，hv和hu分別表示源圖像和參考圖像分割后每塊的色調均值，R1和R2分別表示源圖像和參考圖像分割后每塊的平滑度。本文取參數ε1=ε2=0.5,ε3=0.5。平滑度R的公式如下所示

R=1-[1+σ2/(L-1)2]-1

(8)

式中：L表示可區分的灰度等級數量。

色調由HSV顏色空間所得，將源圖像和參考圖像RGB顏色空間轉換為HSV顏色空間。本文設定，找兩個圖像的最佳匹配塊時要考慮兩個塊的色調是否基本一致。本文將H通道分成18塊，即18種色調類別。

根據式(7)，當d達到最小時，定義此時的兩個塊為最佳匹配塊。

利用函數得到每對最佳匹配塊的直方圖，再根據直方圖匹配，將參考圖像塊的風格轉換到源圖像塊，使得結果塊具有參考圖像的風格。公式如下所示

(9)

式中：fi為標記的第i塊。

由圖3(b)可知，圖像分割邊緣即像素值為白色部分占比很大，如果不考慮這些邊緣部分，對輸出的結果圖像有很大影響。在直方圖匹配之前，本文對這些邊緣部分做了預處理。本文使用掃描線掃描已經標記后的源圖像塊與參考圖像塊，當p=0(邊緣區域)時，將該像素點分類到靠近它的左上方已標記的非邊緣區域。

為了減少匹配噪聲，當源圖像的第一塊根據最佳匹配原則找到最佳匹配并匹配風格后，掃描到的下一個塊先考慮其與源圖像的左、上兩個塊的顏色是否近似，若近似，則直接與左邊塊或上邊塊匹配，如不近似，則繼續根據最佳匹配原則在參考圖像中尋找最佳匹配塊，并匹配。

2.3 圖像修復

由于經過直方圖匹配重新轉換后，塊與塊之間會產生明顯的接痕，本文通過BSCB圖像修復，去除拼接接痕，提高圖像風格化效果。

在修復之前需要確定圖像待修復區域。本文已經對源圖像和參考圖像的每一塊進行了標記，邊緣部分也進行了分類，此時的待修復區域可通過掃描線進行確定。使用掃描線掃描，一開始，當塊的標記由1轉變為2時，此時的像素點位置為第一個待修復區域位置，再進行掃描，當塊的標記由2轉變為3時，此時的像素點位置為第二個待修復區域位置，依次進行可以得到所有的待修復區域位置。最后根據BSCB圖像修復原理修復這些區域，降低輸出圖像的噪聲。圖5為圖像修復的結果，對比可以發現，圖5(a)中圖像塊與塊之間的連接邊界很明顯，經過圖像修復過程，圖5(b)中基本修復了邊界的連接痕跡，大大減少了圖像噪聲，圖5(c)和圖5(d)為放大圖像部分區域修復前后的對比。

圖5 圖像修復結果

3 實驗結果及分析

3.1 實驗結果對比

圖6為設定不同的最佳匹配系數得到的不同的輸出結果，對比框線可知，系數ε1和ε2的值設置越大或越小，都會增強輸出結果的噪聲，因此，本文設置系數ε1=ε2=0.5。

圖6 不同的匹配系數

圖7為設定不同的超像素個數得到的不同的輸出結果，可知，設置的超像素個數越小，會模糊一些細節部分，使得輸出圖像從整體上看來并不理想，設置的超像素個數越大，會增強輸出圖像的噪聲，甚至不能運行出結果。本文設置超像素個數為2000，效果最好。

圖7 不同的超像素個數

3.2 不同風格化效果

圖8的3組圖片顯示了根據不同繪畫風格的參考圖像得到的不同的風格化效果。

圖8 不同繪畫風格的風格化效果

3.3 與其它算法對比

本文選取具有典型風格化效果(水墨畫和油畫)的文獻進行對比。

圖9顯示了本文算法與文獻[3]的算法對比的結果。文獻[3]主要研究水墨畫的風格化效果。本文隨機選擇一幅水墨畫(無偽彩色)作為參考圖像生成了水墨畫效果圖，如圖9(c)所示，與圖9(b)相比，其整體效果更能體現出水墨畫風格。

圖9 與文獻[3]對比

圖10顯示了本文算法與文獻[5]和文獻[6]的算法對比的結果。文獻[5]和文獻[6]都是根據參考圖像生成的風格化效果，且文獻[5]是根據圖像類比的思想，需要得到輸入圖像對A和A’之間的關系，而實際上很難得到這一圖像對，實現比較困難。對比可以看出，運用文獻[5]和文獻[6]的算法得到的結果只有參考圖像的風格效果，而運用本文的算法得到的結果不僅有參考圖像的風格效果，也有參考圖像整體的顏色基調，更加符合參考圖像的整體風格，且對比文獻[5]，運用本文的算法實現過程較簡單，只需輸入源圖像與參考圖像即可。

圖10 與文獻[5]、文獻[6]對比

4 結束語

本文提出了一種基于直方圖匹配和圖像修復的圖像風格化處理方法，能將輸入的源圖像轉換為任意與參考圖像相同風格的風格效果。本文通過SLIC圖像超像素分割算法將源圖像和參考圖像分割成塊，并對每塊進行標記，然后根據本文定義的最佳匹配算法找到源圖像標記塊在參考圖像標記塊中對應的最佳匹配，根據直方圖匹配將參考圖像的風格根據最佳匹配原則以塊為單位轉換到源圖像中，最后根據BSCB圖像修復算法修復塊與塊的拼接處。本文以塊進行處理，可以大大減少處理時間，更高效，并且本文使用了圖像修復算法，能夠減少輸出圖像的噪聲，效果更好。雖然本文實現了基于參考圖像的風格化處理，但當選擇有規則紋理的圖像作為參考圖像時，效果并不是很理想。本文今后將針對這一問題通過優化思想進一步完善該方法，使結果更加真實、高效，并擴大應用范圍。