基于特征融合的小樣本抽象畫圖像情感預測

白茹意，郭小英，賈春花

（山西大學軟件學院，太原030013）

0 引言

繪畫是由繪畫者用點、線、面和顏色等組合的形式來表達他們的主觀思想，通常被理解為不描述自然的藝術［1］。抽象畫大致包含熱抽象和冷抽象兩類，其中：熱抽象偏重于主觀感情，表達某種意趣或情感；冷抽象則形式上趨于簡單化，不受主觀感情和表象制約，大多顯得安靜。抽象畫示例如圖1所示。

在圖像處理和計算機視覺領域中，情感計算是一個熱門的研究方向，而抽象畫圖像作為一種內(nèi)容和表達的情感都很含蓄的藝術作品，針對它的情感研究一直是一個研究難點。抽象畫主要來源于博物館或繪畫藏館，攝影圖片不容易獲得，因此，目前針對小樣本抽象畫圖像情感預測的研究文獻較少，而且大都采用基于通用低層特征（顏色、紋理等）或基于藝術理論特征的機器學習方法。Yanulevskaya 等［2］招募受試者對抽象繪畫進行1～7 的情感評分，其中1 表示最消極，7 表示最積極，然后提取圖像的LAB 色彩空間（LAB color space）和尺度不變特征轉(zhuǎn)換（Scale-Invariant Feature Transform，SIFT）特征，并采用支持向量機（Support Vector Machine，SVM）對繪畫進行“積極/消極”分類；Sartori 等［3］在文獻［2］的基礎上，加入對繪畫的語義描述作為特征，并采用schatten p-norm 模型和SVM 實現(xiàn)分類；之后，Sartori 等［4］又采用極限學習機（Extreme Learning Machines，ELM）提取圖像的perlin 參數(shù)作為圖像的整體紋理特征，通過 SVM 實現(xiàn)情感分類；Sartori 等［5］充分利用顏色特征，提出了基于sparse group lasso 的繪畫情感識別方法，也取得了很好的分類效果；李博等［6］提取顏色和紋理特征，采用加權(quán)K 近鄰算法實現(xiàn)對抽象畫的情感分布預測。此外，一些情感研究中也運用了藝術理論的內(nèi)容。Sartori等［7］運用統(tǒng)計分析和藝術理論，設計了一個識別專業(yè)和業(yè)余抽象藝術作品正負情緒的系統(tǒng)；趙思成［8］提取基于藝術的情感特征原則（平衡、和諧和層次等），采用依據(jù)這些原則量化的特征對圖像情感進行分類與評估；Machajdik 等［9］運用心理學和藝術理論的概念來定義圖像特征，并將其用于圖像情感分類。以上方法大都采用低層特征或藝術理論特征的機器學習方法，而本文基于低層與高層特征，并采用當下流行的深度學習方法對抽象畫圖像進行預測。

圖1 抽象畫示例Fig.1 Abstract painting examples

深度學習作為當圖像情感研究的新熱點，大多數(shù)情況下，它的訓練需要在大量樣本的基礎上進行，因此目前采用深度學習對圖像進行情感分類主要基于攝影得到的大量自然圖像或場景圖像［10-12］，并且獲得了非常好的分類效果。然而抽象畫的公開研究數(shù)據(jù)集較少，如果直接采用深度學習方法，小樣本會直接影響模型中的網(wǎng)絡，很容易發(fā)生過擬合，測試效果不佳。鑒于以上原因，本文提出了一種將基于抽象藝術理論獲得的低層特征和基于深度學習得到的高層特征進行融合的小樣本抽象畫圖像情感預測方法。

本文方法的框架如圖2所示。

圖2 本文方法的整體框架Fig. 2 Overall framework of the proposed method

與現(xiàn)有抽象畫圖像情感識別的方法相比，本文方法的優(yōu)勢在于：1）現(xiàn)有研究中采用的特征大都是基于圖像處理基本原理的低層特征，而本文以“抽象藝術理論”為依據(jù)，通過分析組成抽象畫的基本要素（“點”“線”“面”和“顏色”）與情感的關系，并對其中的原理進行量化得到抽象畫圖像的低層特征，這樣的特征更加接近人類的審美；2）基于深度學習在機器視覺中的突出表現(xiàn)，本文采用了在小樣本分類中表現(xiàn)出更多優(yōu)勢的遷移學習方法，對已經(jīng)在大量數(shù)據(jù)集上進行預訓練的網(wǎng)絡，在小樣本上進行微調(diào)，以滿足小樣本抽象畫圖像分類的需求，并將所得結(jié)果作為圖像的高層特征；3）由于抽象畫圖像樣本量的不足，也為了避免深度學習與低級視覺特征之間不可避免的語義鴻溝，本文將低層特征與高層特征進行融合，不僅從低級與高級語義兩方面更全面地表達了抽象畫情感，而且提高了分類準確率。

1 基礎理論

1.1 抽象藝術理論

瓦西里·康定斯基是現(xiàn)代抽象藝術理論與實踐的奠基人。他的著名著作《點、線和面——抽象藝術的基礎》［13］中分析了構(gòu)成繪畫的幾何元素，即“點、線和面”，以及它們對觀察者的內(nèi)在影響。他認為抽象繪畫是靠不同的點、線和面在繪畫上的組合來傳達情感，是具有其基本的美學含義的。

“點”在外形上是最簡潔的，它的外輪廓決定了它的外在表情，它的形狀、比例和大小又決定了它的內(nèi)在性格、基本語言與感情色彩。

“線”有直線與曲線之分。文獻［13］中提到，一幅畫的基調(diào)是由水平線和垂直線決定的，水平線會產(chǎn)生一種平靜而冷淡的基調(diào)，而垂直線則產(chǎn)生一種平靜而溫暖的基調(diào)；斜線則不穩(wěn)定，代表著活力。而且文獻［2］中也證實，直線或光滑的曲線會讓人產(chǎn)生積極的情緒；反之，即使顏色鮮亮，粗糙的雜亂的線條也會產(chǎn)生消極的情緒。這些觀點使本文更加關注與繪畫情感有關的線。

“面”的每一部分都有一個適當?shù)那楦猩剩绊懼鴮⒁L制在其上的圖形元素的色調(diào)。平面的上邊和左邊對應著松散和輕盈，下邊和右邊則喚起凝縮和沉重。此外，在平面構(gòu)圖的基本規(guī)律中，“平衡”和“對稱”是人類在長期生活中形成的一種視覺和審美習慣。

此外，“顏色”也是影響人類情感重要的因素之一，會讓人們產(chǎn)生最直觀和最強烈的視覺心理感知。文獻［2］中通過眼動實驗和反向投影技術證實：暗顏色使人們產(chǎn)生負面的情緒，而紅色、黃色和藍色往往喚起人們積極的情緒；低亮度和高飽和度給人以沉重的印象，而高亮度和低飽和度給人以明亮的印象。本文將依據(jù)以上這些抽象藝術理論的基本原理定義抽象畫圖像的低層特征。

1.2 遷移學習

遷移學習［14］的原理是，首先在源任務中對網(wǎng)絡進行預先訓練，再將訓練結(jié)果遷移到新任務中。因此，該方法非常適用于小樣本數(shù)據(jù)的研究。具體來說，源任務中擁有較大的樣本量，在大量帶標簽的數(shù)據(jù)集上對模型進行訓練，之后在新任務與源任務相似的情況下，模型把從源任務學習到的特征遷移到小樣本任務（即新任務）中，從而實現(xiàn)小樣本數(shù)據(jù)的分類。其中，“微調(diào)網(wǎng)絡權(quán)重”是遷移學習中最主要的方法之一。本文遷移學習示意圖如圖3所示。

圖3 本文遷移學習示意圖Fig. 3 Schematic diagram of the proposed transfer learning

2 基于特征融合的情感預測

2.1 基于抽象藝術理論的低層特征

本文依據(jù)抽象藝術理論中“點”“線”“面”和“顏色”與情感的關系，對這些理論進行量化。

1）“點”，梯度分布。

設抽象畫原始圖像為G(x，y){x= 0，1，…，M- 1，y=0，1，…，N- 1}，其中：M表示圖像的高度，N表示寬度。灰度化后得到灰度圖像GRAY_G(x，y)，采用sobel算子得到梯度圖像GRAD_G(x，y)，將GRAD_G歸 一 化 到［0，128］區(qū) 間 ，Max_GRAD_G表示GRAD_G(x，y)中的最大值。然后統(tǒng)計不同梯度的像素點個數(shù)，即為梯度直方圖特征，共128維。

2）“點”，顏色分布。

由于色彩是描繪繪畫心理情感的最基本組成部分，所以在描述藝術時，它也是一個需要關注的屬性。不同的顏色會產(chǎn)生不同的情感［15］，如表1 所示。將繪畫圖像由RGB 顏色空間轉(zhuǎn)換成HSV 模型（色調(diào)（H），飽和度（S），明度（V）），抽象畫與攝影圖像相比，明度（V）的比重很小，因此將H-S 空間分為16 個色調(diào)和8 個飽和度，統(tǒng)計128 種顏色的像素個數(shù)作為繪畫的顏色直方圖特征。

表1 文獻［15］中顏色與情感的對應關系Tab. 1 Corresponding relationship between color and emotion in literature［15］

3）“線”，線條分布。

文獻［13］中的“線”理論指出，不同方向的線（垂直線、水平線和斜線）會產(chǎn)生不同的情感。依據(jù)這些理論，通過小波分解［16］提取抽象畫圖像的水平、垂直和對角高頻分量，將小波系數(shù)歸一化后計算“能量”（表示小波系數(shù)中所有值的平方和）和“方差”，并將這6個值定義為圖像特征。

4）“線”，靜態(tài)線/動態(tài)線。

橫線代表著平靜、祥和和放松；豎線清晰直接，代表著尊嚴和永恒；斜線代表著活力。線越長、越粗、越占優(yōu)勢，誘發(fā)的心理效應越強。采用文獻［15］的方法，利用Hough 變換檢測圖像中的顯著直線，如圖4 所示。根據(jù)測線的傾角θ，將測線分為靜態(tài)線和動態(tài)線：如果一條線的傾角θ∈ (-15°，15°)或θ∈ (75°，105°)為靜態(tài)線，否則為動態(tài)線。計算靜態(tài)線和動態(tài)線的條數(shù)和平均長度作為圖像特征。

圖4 抽象畫中的顯著直線Fig. 4 Salient lines in abstract painting

5）“面”，復雜度。

根據(jù)平面理論，在一幅畫中，上面和左邊的部分是松散和輕盈的，而下面和右邊的部分則喚起了凝縮和沉重的感覺。本文定義了“復雜性”來描述紋理復雜性的程度。基于這些理論，將繪畫平分為上、下、左和右四部分，分別表示為（A，B，L，R），如圖5所示。

復雜性基于最大梯度圖像Gmax。在RGB 顏色空間中，由式（2）求出RGB 色通道中的最大梯度，作為圖像G的梯度圖像Gmax。

圖5 圖像分割示意圖Fig. 5 Schematic diagram of image segmentation

根據(jù)文獻［17］的方法，將圖像G的復雜度定義為Gmax的平均值，其中pixelnum(G) 是圖像G的總像素數(shù)。complexity(G)的值越高，圖像部分G就越復雜。按照此方法分別計算出上、下、左、右和整幅圖像五部分的復雜度。

6）“面”，相似度。

從“面”理論出發(fā)，定義特征來描述繪畫不同部位的紋理相似性。在繪畫中，上半部分和左半部分比上半部分和右半部分更相似，而下半部分和右半部分比下半部分和左半部分更相似。按照5）中的分割方法，計算每兩部分AB、AL、AR、BL、BR、LR之間的相似度。

為了計算相似度，本文使用了方向梯度直方圖金字塔（Pyramid Histogram of Oriented Gradients，PHOG）來計算自相似性。通過將圖像G視為一個具有8 個方向的單元，計算每個通道(R，G，B)的HOG 特征，單元的標準化值表示每個方向的方向強度。兩幅圖像之間的相似度通過式（4）計算，其中，G1，G2∈ RGB，H1和H2分別是圖像G1和G2的對應歸一化直方圖，m是HOG特征中存在的單元數(shù)。

最后得到的相似度特征維度為6 × 3= 18。

7）“面”，Itten對比。

Itten 對比［18］是藝術理論中的一個重要概念，對色彩在藝術中的運用進行了廣泛的研究，通過對比，將色彩組合的概念形式化，不同的組合產(chǎn)生不同的情感效果。Itten 的顏色模型由12個色調(diào)級、3個飽和度級和5個亮度級組成。

Itten通過色彩的對比屬性，確定了以下七種對比：飽和度對比、亮度對比、延伸對比、互補對比、色調(diào)對比、冷暖對比和同時對比。使用文獻［8］中定義的方法對這7 個對比進行量化。以亮度對比為例，將圖像進行分水嶺分割產(chǎn)生不同的區(qū)域Ri(i= 1，2，…，n)，表示該區(qū)域中像素的個數(shù)。

亮度的量化方式采用模糊隸屬度函數(shù)。對于亮度，計算 屬 于 5 種 模 糊 亮 度｛‘very dark（VD）’，‘Dark（D）’，‘middle（M）’，‘light（L）’，‘very light（VL）’｝的歸屬函數(shù)，于是得到一幅圖像每個區(qū)域Ri的亮度為5 維向量（Bi），亮度對比定義為所有區(qū)域的亮度隸屬度函數(shù)的標準差。

其中j= 1，2，…，5，其余對比度計算與此方法類似。將以上量 化后的值作為抽象畫圖像情感預測的低級特征，如表2所示。

表2 特征描述Tab. 2 Feature description

2.2 基于遷移學習的高層特征

由于目前研究中的抽象畫數(shù)據(jù)集較少，因此本文借助擁有大數(shù)據(jù)集的自然圖片，采用遷移學習進行高層特征學習。為了得到高層特征，利用深度學習網(wǎng)絡進行特征學習，采用由Krizhevsky等［19］提出的網(wǎng)絡模型，在文獻［11］中的大規(guī)模圖像數(shù)據(jù)庫上進行預訓練，并將訓練后的參數(shù)遷移至目標網(wǎng)絡模型，然后通過小樣本抽象畫圖像對目標網(wǎng)絡參數(shù)進行微調(diào)，促使深度學習在小樣本下也能發(fā)揮一定的優(yōu)勢。采用這樣的網(wǎng)絡結(jié)構(gòu)優(yōu)勢在于：1）文獻［19］中的網(wǎng)絡模型是目前已有圖像分類模型中較為簡潔的一個網(wǎng)絡結(jié)構(gòu)，便于我們在此基礎上進行進一步的拓展研究；2）文獻［11］中的圖像數(shù)據(jù)庫是一個包含2萬多個樣本的大規(guī)模用于情感識別的自然圖片集，并且圖片的情感標注（8類）與本文一致，這樣更有助于特征的遷移學習。本文小樣本遷移學習網(wǎng)絡結(jié)構(gòu)如圖6所示，過程如下：

1）將原圖的尺寸縮放到224 × 224 × 3，將該圖像矩陣作為網(wǎng)絡的輸入。

2）采用文獻［19］中的網(wǎng)絡模型，包括5 個卷積層，激活函數(shù)采用ReLU，3 個2×2 的最大池化層和3 個全連接層。具體如下：第1 層為卷積層，卷積核個數(shù)為96，大小為11×11，步長為4；第2 層為卷積層，卷積核個數(shù)為256，大小為5×5，步長為1；第3 層為卷積層，卷積核個數(shù)為384，大小為3×3，步長為1；第4 層為卷積層，卷積核個數(shù)為384，大小為3×3，步長為1；第5 層為卷積層，卷積核個數(shù)為256，大小為3×3，步長為1；第6～8層為全連接層，分別包含4 096、4 096和352個輸出。其他參數(shù)設置：batch_size為 128，學習率為 0.001，Dropout為 0.5，優(yōu)化器為隨機梯度下降（Stochastic Gradient Descent，SGD）。將該網(wǎng)絡在文獻［11］的數(shù)據(jù)集上對該網(wǎng)絡進行預訓練，得到每層的參數(shù)。

3）為了適應本文的方法思想，由于后面要對特征進行融合，避免特征信息冗余，因此遷移學習得到的特征維度不宜過高，所以借助文獻［20］的網(wǎng)絡擴展思想，增加了5 層全連接層，最后一層的激活函數(shù)為Softmax，目標模型如圖6所示。用小樣本抽象畫圖像對目標網(wǎng)絡進行微調(diào)，微調(diào)過程為：

①將2）中模型的前5 層卷積層和第6 層全連接層的網(wǎng)絡參數(shù)作為目標模型的參數(shù)，新增全連接層（7～11 層）的參數(shù)采用隨機初始化。

②由于小樣本抽象畫與預訓練圖片的情感標注是一樣的，樣本類型很相似，因此只對新增5 個全連接層層的參數(shù)進行微調(diào)，大大降低了計算量。

此外，本文采用SGD 進行參數(shù)更新，該方法每次隨機選一個樣本對網(wǎng)絡參數(shù)進行更新，使得網(wǎng)絡輸出層誤差函數(shù)達到最小，從而實現(xiàn)微調(diào)，并且算法能夠很快收斂。例如，包含N個樣本的數(shù)據(jù)集，采用SGD 進行參數(shù)更新，每層wi和bi的計算公式如下：

其中：ρ為學習率；xi表示輸入；ti表示輸出；yi表示類別標簽，yi∈ {1，2，…，k}，k是類別個數(shù)；學習率設為0.005；損失函數(shù)為交叉熵損失函數(shù)。微調(diào)結(jié)束后，將網(wǎng)絡第9層的512維向量作為圖像高層特征。

圖6 本文遷移學習網(wǎng)絡結(jié)構(gòu)Fig. 6 Network structure of proposed transfer learning

2.3 基于特征融合的分類模型

為了提高分類準確率，將依據(jù)抽象藝術理論得到的304維低級特征與遷移學習得到的512 維高級特征進行串行融合，采用二叉樹多分類SVM 算法，對小樣本抽象畫圖像情感進行分類，具體流程如圖7所示。能，并且考慮到高級特征維度和算法復雜度，本文探討了目標模型中高層特征維度的選取對分類效果的影響，并在文獻［2］的數(shù)據(jù)集上進行了測試，實驗結(jié)果如表4 所示，高層特征的維度對情感分類結(jié)果影響不大。雖然采用維度為2 048 和4 096比維度為512 的分類準確率略高，但是考慮到準確率與算法復雜性，本文考慮特征個數(shù)采用512。

圖7 特征融合示意圖Fig. 7 Schematic diagram of feature fusion

表3 數(shù)據(jù)集情感分布Tab. 3 Emotional distribution of datasets

圖9 三個數(shù)據(jù)集的分類準確率和混淆矩陣Fig.9 Classification accuracy and confusion matrix of three datasets

表4 不同高層特征維度的分類準確率Tab. 4 Classification accuracies of different dimensions of high-level features

二叉樹多分類SVM 的基本思想是：選取N(N≥2)類中的N/2（或(N+ 1)/2）類作為第一大類，剩余的類作為第二大類，構(gòu)建第一個二類分類器；然后再分別對這兩個大類進行單獨分類，各取出其中的N/2 類作為第一大類，將剩余的看作第二大類，再構(gòu)建一個二類分類器。按照此方法往下依次建立二類分類器，如圖8 所示。該分類模型的優(yōu)點是：①其中包含的二類分類器較少；②不會出現(xiàn)屬于多個類別或無法分類的樣本；③二叉樹模型簡潔，訓練和分類速度較快。本文采用的核函數(shù)為徑向基函數(shù)，sigma= 0.5，C= 50。

圖8 二叉樹多分類SVM示意圖Fig. 8 Schematic diagram of binary tree multi-class SVM

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)集

本文依據(jù)心理學領域中的類別情感狀態(tài)（Categorical Emotion States，CES），將情感分為“激動、愉悅、滿意、敬畏、害怕、厭惡、悲傷和生氣”八種，并按照這八種情緒對抽象畫進行情感預測。本文算法運行的軟件環(huán)境為Anaconda3，編程語言為python。為了驗證提出算法的有效性，選用三個不同的抽象畫數(shù)據(jù)集進行實驗，分別是：隨機選取意大利畫館WikiArt 的500 幅抽象畫；文獻［9］中的Abstract 抽象繪畫集，共228 幅；文獻［2］使用的500 幅繪畫。各數(shù)據(jù)集情感分布如表3 所示。選取數(shù)據(jù)集中的80%作為訓練集，剩余20%為測試集，采用多分類SVM 作為分類器，使用10 倍交叉驗證評估分類模型。

3.2 結(jié)果分析

針對三個不同的數(shù)據(jù)集，對八種不同的類別分別計算了分類準確率，如圖9 所示。從圖中可以看出，對于三個不同的數(shù)據(jù)集，對不同情感的分類準確率基本一致，大致在68%～75%，平均準確率為71%。為了更好地評估分類模型，本文還計算了三個數(shù)據(jù)集的平均混淆矩陣。

為了更好地保證遷移網(wǎng)絡模型對小樣本圖像的分類性

特征的選擇對圖像情感分類至關重要，接下來討論不同特征組合對分類準確率的影響，并在文獻［2］的數(shù)據(jù)上進行了測試，實驗結(jié)果如表5 所示。在小樣本數(shù)據(jù)集下不采用遷移模型，而直接采用深度學習的分類效果不好；單獨使用抽象藝術理論得到的低層特的分類效果也不是很理想；而通過遷移學習得到的高層特征與低層特征相比，分類準確率明顯提高；最終本文采用低層與高層特征進行融合的方式，得到的準確率最高，為71.47%。

為了進一步驗證所提方法的有效性，將本文方法與現(xiàn)有采用相同數(shù)據(jù)集（表3中）的文獻方法進行了比較，結(jié)果如表6所示。文獻［2-4］方法在兩種情感（“積極”與“消極”）分類中效果都不錯，但是文獻［6-9］方法在八種情感分類中效果不佳，而本文采用將低層與高層特征進行融合的方法，得到了比較好的效果。

每幅抽象畫經(jīng)過多分類SVM 計算后，會得到屬于不同情感的不同概率，將識別結(jié)果率最高的情感定義為該抽象畫的最終情感，抽象畫情感識別結(jié)果示例如圖10所示。

表5 不同特征組合的分類準確率單位：%Tab. 5 Classification accuracies of different feature combinations unit：%

表6 不同方法分類結(jié)果比較Tab. 6 Comparison of classification results of different methods

圖10 抽象畫情感識別結(jié)果示例Fig. 10 Examples of emotion recognition result of abstract paintings

4 結(jié)語

針對目前抽象畫來源少、樣本量小，其情感分析大多數(shù)采用的是圖像低層特征，而且準確率不高的問題，本文提出了一種基于特種融合的抽象畫圖像情感預測方法。首先，依據(jù)抽象藝術理論量化出抽象畫圖像的低層特征；然后，采用遷移學習算法，在小樣本數(shù)據(jù)上對預訓練網(wǎng)絡模型進行微調(diào)，得到圖像高層特征；最后，將低層與高層特征進行線性融合，采用多分類支持向量機實現(xiàn)抽象畫圖像的情感預測。本文在三個小樣本抽象畫數(shù)據(jù)集上進行了實驗，并與采用相同數(shù)據(jù)集的文獻方法（大都采用低層特征）進行了比較，分類效果顯著。

但是，繪畫，特別是抽象繪畫的情感研究，目前還處于初級階段，仍有許多關鍵問題需要解決。未來，我們將從以下幾方面進行進一步研究：

1）多特征融合是目前分類研究的一個熱點，可以提取繪畫圖像多方面的特征，將這些特征進行有效的融合，能更準確地表達繪畫的內(nèi)涵與情感；

2）近年來，深度學習在圖像情感計算中應用廣泛，由于每幅繪畫的長與寬都不一樣，因此我們需要選擇合適的深度學習算法，應用于大批量的繪畫圖像中；

3）目前的情感計算方法主要依靠人工標注的情感標簽，未來我們可以依據(jù)互聯(lián)網(wǎng)上豐富的上下文信息實現(xiàn)繪畫圖像的無監(jiān)督分析。