基于局部二值模式的抽象繪畫方向檢測

白茹意 郭小英 耿海軍 賈春花

(山西大學軟件學院 山西 太原 030013)

0 引 言

抽象繪畫是由繪畫者通過其主觀思想，用點、線、面、顏色、肌理的組合視覺形式來表達的，通常被理解為不描述自然的藝術[1]。抽象畫中通過色彩，圖像的組合來表達人內心熱烈的情感，被稱為“熱抽象”；不表達情感，而是通過圖形和色彩的組合來表達結構，被稱為“冷抽象”。如圖1所示。本文的研究包括冷抽象和熱抽象。當創作一幅抽象畫時，藝術家會根據他們的審美觀念，做出正確的方向選擇，但是對于非專業領域的觀賞者來說，在沒有明確提示的情況下，抽象畫(特別是冷抽象)的正確懸掛方向是不明顯的。

圖1 抽象畫示例

心理學研究[2-5]表明繪畫方向是一個與審美評價有關系的因素，抽象繪畫的原始懸掛方向更易于獲得較高的審美評價，即專業的藝術家或非專業的觀賞者對正確方向的欣賞程度遠遠高于其他懸掛方向的審美程度。因此，在沒有明確提示的情況下，自動識別抽象畫的正確懸掛方向是十分必要的。

近年來，隨著圖像處理技術的發展，涌現出很多關于圖像方向檢測算法的研究。Safonov等[6]在假設圖像下半部分的紋理比其他區域的紋理多的情況下，使用AdaBoost算法判斷戶外圖像的方向。Lumini等[7]對6 000多幅真實照片方向進行自動檢測，采用的特征包括顏色矩陣、哈里斯角點、相位對稱和邊緣方向直方圖，并使用Borda count組合不同的分類器，包括支持向量機、AdaBoost、子空間分類器。Lyu[8]從多尺度多方向圖像分解(如小波)中收集了一組圖像統計信息，采用多二進制支持向量機分類器確定了18 040幅自然圖像的方向。Cingovska等[9]提出了一種自動檢測圖像方向的算法，對5 400幅用戶圖像進行方向檢測，其先根據圖像所包含的語義線索(如天空、光線或人臉的存在和不存在)，將圖像按層次預先分類為不同的組，再對每組進行獨立的SVM分類器訓練。Zhang等[10]分別對室內外圖像的朝向進行了估計，實驗結果表明室外圖像的準確率(85%)遠遠高于室內圖像(48%)。Borawski等[11]提出一種確定圖像方向的方法，該方法對圖像降尺度，定位包含天空的圖像子部分，計算其絕對頻譜的對數，將得到的表示轉換為極坐標，確定圖像的方向，實驗發現在100幅實驗圖像中僅有6幅失敗。Ciocca等[12]結合低層特征和人臉，利用人臉方向來識別圖像方向。Luo等[13]在貝葉斯框架中使用低層和語義特征，在此基礎上開發了一種概率方法來研究圖像的方向。Ciocca等[14]提出了一種基于LBP-LRR的圖像方向自動檢測方法。該算法已經被廣泛應用于超過10萬幅的場景圖像方向檢測中。此外，還總結了目前最先進的一些圖像方向檢測方法及其準確率。Hollitt等[15]使用圖像的功率譜密度估計攝像系統的滾動方向，找到圖像中大量的垂直紋理，并利用Hough變換確定圖像中線的方向。Cao等[16]設計了一個局部旋轉算子來計算最優輸出和局部方向，作為圖像方向估計的低層特征，并引入了一個特征篩選器來篩選大量無用的低級特征。實驗結果表明，該方法對全局圖像定位具有快速、可靠等優點。Swami等[17]通過使用低水平視覺特征，采用CNN對大量圖像進行方向檢測，結果表明，該方法顯著優于目前最先進的文獻[14]方法，其準確率達95%；同時還展示了圖像局部區域的可視化，分析了哪些區域會影響分類結果。

以往對方向檢測的研究主要針對自然和場景圖像，且識別率都比較滿意。然而，對于抽象畫圖像而言，其內容和語義相對于自然圖像比較含蓄、不明顯，因此對抽象畫的方向檢測會比較困難，近幾年的相關工作也比較少。Liu等[18]基于抽象藝術理論，運用樸素貝葉斯和BP神經網絡對抽象畫的方向進行分類，其平均分類準確率僅為74%。

為了提高抽象畫的方向檢測準確率，本文采用一種基于非旋轉不變等價LBP(nri-uniform-LBP)描述符和AdaBoost算法的自動檢測方法，將抽象畫分為“向上”(“up”)和“不向上”(“non-up”)兩類。本文框架如圖2所示。

圖2 本文框架

1 LBP模式

局部二值模式(Local Binary Pattern，LBP)是由Ojala等[19]在1994年提出的一種用來描述圖像局部紋理特征的算子。由于具有對光照條件的不變性和對圖像噪聲的魯棒性，其在很多不同領域都有廣泛應用[21]，例如：人臉識別、多目標跟蹤和場景分類等。上述應用主要利用的是LBP的旋轉不變特性。而本文則利用LBP的旋轉特性實現抽象繪畫的方向檢測。

LBP描述符[22]被定義為圖像中每個像素周圍的局部模式的直方圖。這個模式是通過某個像素的灰度與其鄰域像素的灰度進行閾值化來計算的。給定鄰域半徑R和像素個數P(鄰域R上的采樣點數)，每個像素的LBPR,P計算如下:

(1)

式中：gc是當前像素的灰度級;gn是其領域的灰度級;s(x)是一個符號函數。

(2)

圖3所示為P=8、R=1時某像素的LBPR,P碼的形成過程。設定3×3的正方形窗口，把窗口中心像素的灰度值作為閾值，將該值與其8鄰域像素的灰度值進行比較，若鄰域像素的灰度值大于中心點像素，則將該像素點的值置1，反之置0，隨后產生一個8位的二進制數，即為LBPR,P碼。

圖3 LBP1,8碼的形成過程

經過不斷探索，研究人員對原始的LBP算法提出了如下幾種優化和改進策略。

1) LBP圓形算子。原始LBP算子的最大劣勢是它只研究了半徑為1的正方形窗口覆蓋的小區域。因此，在位移(Rcos(2πn/P),Rsin(2πn/P))處對圖像灰度進行插值，能滿足不同尺度和頻率采樣的需要，如圖4所示。

圖4 不同尺度的LBP算子

2) LBP旋轉不變模式是對LBP圓形算子的進一步擴展。將中心像素作為軸心，不斷旋轉圓形鄰域，在旋轉過程中得到一系列的LBP值，將其中的最小值作為中心像素的LBP值。然而，本文決定不采用LBP方法的這個特性，因為旋轉不變性顯然會丟棄關于圖像方向的重要信息。

3) LBP等價模式。一個LBP算子可以產生多種二進制LBP編碼，例如采樣點為P的LBP圓形算子會產生2P種編碼。很明顯，編碼種類會隨著采樣點數的增多而急劇遞增，因此需要對原始的LBP模式進行降維，提高運算速度。為了解決該問題，“等價模式”被提出，其限制二進制序列從0到1或從1到0的跳變次數不超過2次，跳變次數小于等于2，則各自代表一類，大于2的所有情況歸為一類。經過這樣的優化之后，LBP編碼的種類大大減少，由原來的2P減少為2+P(P-1)，而且不會丟失任何信息。

表1 不同LBP模式的編碼種類

2 Adaboost算法

AdaBoost[23]是一種集成迭代的自適應增強算法，能夠很好地應用于分類問題。該算法原理如圖5所示。

圖5 AdaBoost算法原理

(1) 設置訓練數據的初始權值：假設訓練集中有N個樣本，將每個樣本的初始權值統一設置為1/N。

(2) 訓練弱分類器:在訓練過程中，如果某個樣本已經被準確地分類，那么在構建下一個訓練集時，它的權重就會減少；反之，其權重就會增加。更新權值后的樣本集被用于訓練下一個分類器，不斷迭代整個訓練過程。

(3) 合成強分類器:將訓練得到的多個弱分類器按照一定規則合成一個強分類器，其中規則就是誤差率低的弱分類器在最終分類器中占較大的比例，反之較小。

該算法流程如算法1所示，其中：wi,j表示樣本權重;G表示分類器。

算法1AdaBoost算法

輸入：訓練集D={(x1,y1)},(x2,y2),…,(xN,yN)}，xi表示數據，yi表示數據所屬的類;弱分類器Gm;訓練輪數M。

1.D1(x)=(w11,w12,…,w1i,…,wiN),w1i=1/N,i=1,2,…,N

2. form=1,2,…,Mdo

3.Gm(x):χ→{-1,1}

5. ifem>0.5 then break

9.Dm+1=(wm+1,1,wm+1,2,…,wm+1,i,…,wm+1,N)

10. end for

3 算法流程

步驟1灰度變換：將一幅彩色繪畫圖像(RGB模式)轉成灰度圖像。

步驟2旋轉圖像：本文探討的是抽象畫的正確懸掛方向，然而對于大多數繪畫來說，其懸掛方向不會是斜的，因此本文只考慮了(0°,90°,180°,270°)四個方向。使用PIL庫中的“圖像模塊”將上述灰度圖像逆時針旋轉三個方向(90°,180°,270°)，最終得到四幅方向不同的抽象畫，并且旋轉后的圖像尺寸不發生變化，如圖6所示。

圖6 按不同度數旋轉后的抽象畫

步驟3圖像分割：將灰度圖像分別進行水平和垂直平均分割，得到6塊水平子圖和6塊垂直子圖，共12塊，如圖7所示。

圖7 圖像分割示意圖

(1) LBP值：首先將檢測窗口劃分為16×16的小區域，即P為16，R為2，對子圖中的每一個像素求出每個像素對應的LBP2,16值；

(2) 直方圖：采用“非旋轉不變等價模式”，計算每幅子圖的直方圖(橫坐標為243種LBP編碼方式，縱坐標為每個樣本出現的頻率)，然后對該直方圖進行歸一化處理；

(3) LBP特征：將上一步得到的每幅子圖的直方圖縱坐標的值組合起來，作為整幅圖的LBP特征，特征總數為12×243=2 916。

步驟5分類：采用AdaBoost分類器對繪畫圖像進行方向識別，分為“向上”和“不向上”兩類。

4 實 驗

4.1 實驗數據

此算法運行的軟件環境為Anaconda 3，編程語言為Python，系統環境為Windows 7和6 GB RAM內存。為了驗證本文算法的有效性,本文隨機選取500幅抽象畫，來自于Wikiart。其中隨機選取400幅繪畫作為訓練集原始圖像，100幅繪畫作為測試集,因此，原始圖像通過旋轉后得到最終的訓練集樣本為1 600幅，測試集樣本為400幅。為了得到更準確的分類結果，本文采用十折交叉驗證評估該分類模型。

4.2 分類結果分析

本文采用AdaBoost算法將抽象畫分為“向上”和“不向上”兩類。由于數據集中的正負樣本數量不等，因此很多文獻會采用不同手段將正負樣本平衡表示。但是，本文傾向于保持數據集的不平衡，因為這樣更能代表實際應用中所發生的情況。

在使用LBP進行繪畫圖像特征提取時，不同的鄰域半徑和采樣點個數會導致不同的特征描述，實驗中比較不同半徑R=1,2,3對應的鄰域像素個數P=8,16,24的LBP特征，以及該參數對應不同的弱分類器個數時，得到的分類準確率，具體的分類結果如表2所示。可以看出，當鄰域半徑為2，鄰域像素為16,弱分類器為30時，分類準確率最高達78.75%。根據實驗結果和計算成本，本文實驗選取LBP2,16算子進行方向特征的提取。

表2 不同鄰域半徑和鄰域像素數對應不同弱分類器數的分類精度

表3 不同分類器的分類精度

為了評估本文算法的分類性能，使用分類精度和CPU運行時間作為評價標準，如表4所示。實驗結果顯示，當弱分類器個數為10時，分類準確率較低，但是運行時間較短；之后隨著弱分類器個數不斷增加，分類準確率也逐漸提高，并且運行時間也逐漸變長，這是由于錯分樣本在多次訓練后，權重會增加；但是，當弱分類器個數達到40時，運行時間成倍地增加，而分類準確率提高很少，這是由于錯分樣本的權重不可能無限地增加。因此本文選擇30個弱分類器進行實驗。

表4 不同弱分類器個數的分類精度和運行時間

表5 不同圖像分割模塊的分類精度和運行時間

在三種不同的顏色模式(灰度圖像、RGB、HSI)下，采用LBP特征得到的分類準確率如表6所示，實驗結果表明，采用不同的顏色模式，對本文算法影響不大。

表6 不同顏色模式的分類精度

由于目前對抽象繪畫方向檢測的研究比較少，并且為了驗證本文算法的有效性，在同一數據庫下，將本文算法與文獻[18]算法的分類精度進行比較，結果表明其精度高于后者，如表7所示。

表7 算法分類精度比較

通過對抽象畫圖像方向的研究可以發現，內容清晰的抽象畫的方向對于眼睛和分類模型都是很明顯的，更容易被區分，如圖8所示。從表6中可以看出，與自然圖像的方向識別率相比識別率不是很高，那是因為還有一些內容抽象且含蓄的抽象畫，它們的方向無論是眼睛還是模型都很難判斷(如圖8(b)所示)。對于這些抽象繪畫方向的識別研究是我們今后著重研究的方向。

圖8 抽象畫圖像示例

5 結 語

本文提出的檢測抽象繪畫方向算法的優勢在于：(1) 許多情況下為方便研究，對大量圖像的處理需要統一其大小，但是繪畫的大小(長和寬)是畫家設定好的，如果修改了繪畫的大小，就會失去繪畫內容的真實性。本文采用“等價LBP模式”，恰好可以在圖像大小不一致的情況下，得到相同數量的特征(243個)。因此，可以在不統一繪畫大小的基礎上進行方向檢測。(2) 在同一數據庫下，與目前流行的繪畫方向檢測方法相比，本文方法的分類精度比較高。(3) 本文算法的總運行時間(模型訓練+測試)為57.9 s，在實際應用過程中能夠滿足人們的實時體驗。

然而，從實驗結果可見，由于抽象畫的內容相對含蓄，因此分類準確率不是特別高，在未來的研究中，特別針對內容含蓄的冷抽象繪畫，可以從以下幾方面進行進一步研究，從而提高分類精度：(1) LBP描述了圖像的紋理特征，今后可以提取基于顏色、布局、語義或與方向相關的特征。(2) 本文采用Adaboost 分類算法，今后可以考慮將多種分類算法進行融合，取長補短，得到更強的分類器。(3) 可以增加抽象畫樣本的數量，采用深度學習算法(例如CNN等)實現更快速有效的分類。