湛穎,高妍,謝凌云
(中國傳媒大學 媒介音視頻教育部重點實驗室,北京100024)
圖像美感自動分析與識別是近年興起的研究熱點之一。較早的圖像模式識別研究集中在目標識別任務(如人臉識別)等層面,這些研究關注物體的底層視覺特征,通過邊界、形狀等美術元素的統計關系構建客觀世界與機器學習的橋梁。隨著目標識別應用的普及,業界對圖像分類的需求不再滿足于基本的目標識別,而是轉向情感、審美等方面。尤其隨著人工智能研究的發展,如何利用計算機分析和學習人類主觀審美感知,以之作為人工智能的重要輔助功能,也吸引了眾多研究人員的關注。
本文的主要貢獻如下:①以中國國畫的美感評價與分類為研究對象,建立了一個用于國畫視覺美感分析的數據庫,包含超過500張各種風格的國畫圖片,所有畫作包含5種美感風格和總體美感強度的量化標注;②基于該數據庫,篩選了適合國畫美感評價的若干特征,經過對多種主流分類算法的綜合評析,初步搭建了國畫美感評價與分類框架;③分析了客觀特征與美感相關的美術元素之間的映射關系,嘗試給出影響國畫美感自動分類效果的美學因素解釋。
西方實驗美學領域率先對美感展開了一系列定量研究。Joshi和Datta建立了一個美感-情感圖像數據庫,對圖像進行了10個因子8個強度等級的美感標注[1];Murray等建立了一個大型美感數據庫,對255000張圖片進行了美感的語義和強度標注,它的特點是每張圖所標注的因子都不同[2];Luo等對上萬張圖片做了二元美感標注(binary aesthetic labels),并按場景將它們分為7類[3];Li和Chen設計了一系列全局、局部特征,進行美術作品圖像美感的二元分類[4]。近兩年也有更多基于藝術內容(如油畫)的數據庫出現,如WikiArt Emotions[5]和The Rijksmuseum Challenge[6]等。
基于以上美感數據庫,也出現了許多對于圖像質量和美感的分類研究。Ke等基于邊界空間分布、顏色分布、色調計算和模糊度等高層特征,并加上底層視覺特征,提出了采用樸素貝葉斯分類器(naive Bayes classifier)的攝影美感評價方法[7];Luo和Tang提出了基于視覺主要區域(subject region)評價攝影和視頻美感的方法[8];Wu等采用概率后處理(probabilistic post processing)方法,進行了基于支持向量機(SVM)的審美多元標簽評價[9]。
以上相關研究均在西方美感研究體系下進行,而在不同文化背景的影響下,審美傾向會出現差異,因此,針對不同文化背景和藝術內容的審美研究有其必要性。為探討中國傳統文化背景下的審美特點,近年,國內學者就中國國畫的特點展開了國畫圖像分類研究。陳俊杰等提取顏色空間和形狀特征,對國畫的山水、花鳥內容進行了基于支持向量機的二分類研究[10];劉曉巍等采用調色板冗余、Kolmogorov有序度、香農熵有序度和作品復雜度4個參數,對中國國畫與西方油畫的藝術特點做了量化統計和比較分析[11];王征等基于HSV(Hue-飽和 度、Saturation-飽 和 度、Value-明 度)顏色直方圖、紋理特征、邊緣尺寸直方圖和Gabor小波特征,用稀疏分組套索方法對6位畫家國畫作品進行模式分類[12];盛家川和李玉芝提取小波紋理特征,對5位畫家的國畫作品進行了分類[13];高峰等構建了包含1 718幅古代、現代、當代國畫大家作品的數據集,采用級聯分類策略,融合國畫的點、線特征,實現對國畫藝術家標簽的模式分類[14];李玉芝等使用卷積神經網絡(CNN)提取國畫視覺特征,采用改進嵌入式學習算法對10位國畫藝術家作品進行分類[15];張佳婧等采用人工評估與回歸分析,對60幅齊白石的繪畫建立審美模型[16]。
已有的國畫分類研究分類標簽多為繪畫的具體內容(如山水和花鳥)、繪畫技法(如工筆和水墨)或作者,欠缺對于國畫美感直接評價和分類。本文建立了國畫數據庫與其美感特征分析方法,并基于特征重要性系數進行了美感自動分類與美術元素對應關聯的分析,總體分析框架如圖1所示。先對圖像進行了一定的預處理來均衡國畫因保存介質、攝影方式等原因造成的信號失真;然后提取諸多圖像特征,采用遞歸式特征消除來篩選,以獲得最有效特征集,并對它們進行相關美術元素的映射標注;用篩選特征進行模式分類,對不同分類模型結果進行比較分析,同時對美感分類與美術元素間關聯性進行分析。該方法有望對美感的數量建模提供參考,對計算機視覺美感計算方面有所幫助。

圖1 美感特征分析總體框架Fig.1 Framework of aesthetic feature analysis
數據庫的國畫數據是通過各種渠道收集的共511幅國畫圖像。其美感類別的定義是從文獻[17-27]中收集美感形容詞匯后,經過篩選、系列范疇法評價[28]和因子分析[29],獲得適合描述國畫美感的5個類別:氣勢美、清幽美、生機美、雅致美和蕭瑟美,該數據庫已經在Github上公開,鏈接地址為 https://github.com/leiyu943/Chinese-painting-aesthetic-database-from-CUC-2019-1,實驗過程詳見文獻[30]。
美感標注實驗共有20名被試,11名為女性,9名為男性。數據庫中的每張圖畫,將先由被試標注美感類別(在上述5個美感類別中選擇),然后再對該類別下的美感強度進行評分,按1~9的整數等級評定打分。
依照20名被試所選人數最多的一類美感作為一幅畫作的主要美感。美感分類結果如表1所示,5類美感的實例見圖2。

表1 圖畫美感分類數量Table 1 Number of paintings in each aesthetic classification

圖2 不同美感的繪畫內容案例Fig.2 Painting content examples of different aesthetics
畫家的個性化表達和繪畫的藝術風格是2個影響繪畫審美的重要因素。參考以往西方圖像分類,與國畫研究中畫家標簽、風格標簽的相關分類研究,底層視覺特征(如色彩)、高級視覺特征(如視覺注意)都影響到繪畫的美感感知,因此在特征選取上采取底層特征和高層特征相結合的方式。
對于已有特征,出于運算量和便于分析考慮,需要對特征進行篩選,從而用較少維度的特征有效表征圖像美感,故對所提圖像特征進行了篩選和降維。在特征篩選基礎上,進一步進行美術元素和跨文化藝術特征分析。最后進行了中西方美術元素對比分析。
國畫圖像的收集渠道不一,在顏色、亮度和尺寸參數上有較大差異性,通過觀察和統計庫中圖像,對這些圖像進行以下調整:
1)黃色校正。顏色偏黃由紙張老化和攝影、掃描時打光不同導致,具體表現為黃色或紅色飽和度過高。如圖像色相均值落于0.06~0.16之間,則對黃色進行校正,將H通道的所有像素點值加0.02。
2)亮度調整。亮度偏亮由攝影或掃描的光條件和紙張本身光吸收不同導致。數據庫中所有圖像亮度均值為0.705,以此為基準,將過亮、過暗圖像向此靠攏。亮度均值大于0.85的圖片V通道所有像素點值減0.02,小于0.5的圖片V通道所有像素點值加0.02。
3)尺寸縮放。將所有圖像縮放成227×227×3的尺寸。許多圖像尺寸過大,影響特征提取效率,因此做縮小處理;本文所提特征多為統計量,因此不太受尺寸影響,故縮放可行。
預處理算法流程如圖3所示。
從諸多已有研究中,匯合及篩選有效特征,獲得對國畫美感分類可能有效的初步特征集。
1)暗通道直方圖
暗通道(dark channel)是一種經典圖像去霧算法提到的概念[31]。統計發現,圖像中云霧較多部分暗通道呈灰色,并可以此為基準進行圖像去霧。暗通道是亮度特征的另一種表達,與傳統亮度特征綜合使用可以有效提高分類精度。
提取每幅畫的暗通道圖樣,求10 bin(柄)的直方圖,得到10維的特征D1~D10。
2)邊界復雜度及空間分布
邊緣是圖像不同屬性區域的交接處,是區域屬性發生突變的地方,包含著豐富的信息。邊緣圖像是對原始圖像的邊緣像素進行判定后,得到的二值圖像,是一個二維布爾矩陣。定義邊緣像素點占所有像素點的比例為邊界復雜度E。
將RGB原圖畫轉化為灰度圖像,使用Canny算子[32]檢測圖像邊緣。按圖4區域劃分提取邊界復雜度E1~E5(分區方案出自文獻[33])。同時按區域求比值,計算邊界的空間分布為
如此構造邊界復雜度的對稱性特征。加上圖像全部區域的邊界復雜度E10,構成10維邊界特征向量。

圖4 邊界區域劃分Fig.4 Partition of edges
3)HSV顏色直方圖
顏色直方圖是廣泛使用的顏色特征[8]。該方法將RGB圖像轉換到HSV空間,將H通道和V通道的值分別均勻量化成16個和8個,進行相應的直方圖統計,獲得色相和亮度的直方圖統計特征H1~H16與V1~V8,共24維。
4)顏色簡明度
顏色簡明度特征由文獻[7]提出。將H通道16維直方圖最大值的0.01倍作為閾值,大于此閾值的bin的個數作為顏色簡明度特征Hs。
5)RGB顏色直方圖與亮度直方圖
將圖像RGB 3個通道的值分別均勻量化成10個,計算直方圖R1~R10、G1~G10和B1~B10,共30維;將灰度圖像的值均勻量化成16個,計算直方圖Gr1~Gr16,共16維。
6)直線段個數
對邊緣圖像使用霍夫變換(Houph transform)進行直線段檢測[10],計算直線段的個數作為特征量L。
7)鄰域差異描述子
鄰域差異描述子(neighborhood difference descriptor)計算邊界點周邊的像素與邊界點本身的相似性,以此來描述國畫筆法的鋒利程度和邊界點周圍的漸變,類似于圖像處理中的銳度。文獻[14]用它描述工筆畫和寫意畫在繪畫技法上的差別,共25維,記為N1~N25。
8)顯著性圖樣
顯著性圖樣(saliency map)是由Koch和Ullman提出的視覺注意力模型[34]。顯著性圖樣表示圖像的視覺注意情況。求一幅畫的顯著性圖樣,然后求均值,記為S。該特征表征圖中的顯著性分布與強度,S的大小反應顯著性強弱。
9)模糊度
圖像模糊度(blur)是Ke等提出的度量圖像模糊程度的方法[7],它基于高斯模糊假設對圖像的模糊程度進行建模,從而計算出圖像模糊的程度。圖像模糊度值記為B。
10)對比度
圖像對比度特征的計算方法見文獻[7]。分別計算RGB 3個通道的256 bin直方圖Hr、Hg和Hb,將它們相加得到

計算Ha包含中間98%能量的橫軸寬度,如圖5所示[6]。圖中橫軸為對比度的分布區間,縱軸為其概率分布p(x)。此寬度值記為對比度C。

圖5 對比度區間[6]Fig.5 Interval of contrast[6]
3.2節中提到特征共120維,對于美感分類,其中或有冗余。為提高算法運行效率,及更進一步抽象出國畫藝術美感所依賴的高級物理特征,需要進行特征篩選。
3.3.1 特征篩選
遞歸式特征消除(recursive feature elimination)是一種代表性的特征選擇方法,它對分類器進行初始特征集的訓練[35],并通過相關性等屬性來計算特征的重要性。它將依次從每次循環中剔除最不重要的一個或幾個特征,然后將這個過程在特征集上遞歸重復,直到獲得能保證較高識別率的最佳特征數。
采用該方法,使用SVM 作為基礎分類器,從3.2節提取的120個特征中篩選得到33個適用于國畫美感評價的特征。篩選過程見圖6,其橫軸為選用的特征數,縱軸為分類準確率,可見特征數為33時是分類準確率的峰值位置。將篩選出的33個特征與美術元素對應,列于表2中。

圖6 特征篩選過程Fig.6 Process of feature filtering

表2 有效特征及原理Table 2 Effective features and theories
3.3.2 特征與美感關聯分析
根據表2,所篩選出的特征相關的美術元素主要為線條、筆觸、顏色、亮度和視覺注意等。以下對表2中的特征要素與美感的關系進行簡要的定性分析:
1)顏色方面,RGB直方圖有效特征集中在值較高的位置,對應較鮮艷的顏色(R7、R10、G6、B10);色相 直 方 圖 顯 示,橙 色(H4)、黃-綠 之 間(H9)、藍-紫之間(H14)顏色的分類效果顯著;顏色簡明度(Hs)和對比度(C)表明顏色豐富的程度影響國畫美感感知。
2)亮度是重要的美術元素。盡管亮度特征可以直接提取,但特征篩選的結果表明間接特征(灰度、暗通道)與亮度結合可以有效提高分類精度。
3)線條(L)與筆觸(N)的相關特征對視覺感知有直接影響。直線條使得繪畫棱角鋒利,工筆勾勒與水墨氤氳也導致國畫觀感有巨大不同。
4)空間分布(E9)與視覺注意(S)與構圖直接相關,因此構圖也會影響國畫的美感感知。
表2中的分析基于5類特征篩選進行。所得結果較為綜合、簡略,如能對每類美感有關特征進行逐一分析,則能獲得更精確詳細的結果。為了獲得每類美感各自的分類重要特征,采取遞歸式特征消除方法,對每個美感完成“是否屬于該美感”的二分類任務,從而篩選出對每類美感適用的特征,見表3。
此處的篩選結果與表2有較大差異。對比各美感剩余特征發現:①對于區分是否為生機、雅致二類美感,所需的特征相對多且復雜,涉及顏色、亮度、筆觸和線條等多個圖像原理;②對于區分畫作是否處于清幽美,紅色直方圖特征影響很大;③對于區分蕭瑟美,畫作的筆觸因素微乎其微;④對于區分氣勢美,線條、筆觸因素相對更重要。

表3 各美感有效特征及原理Table 3 Effective features and theor ies for each item of aesthetics
基于第2節國畫美感數據庫,使用Extra-Trees、SVM、線性判別分析、隨機森林、KNN、樸素貝葉斯、邏輯回歸和多元感知機(MLP)8種具有代表性的分類模型,就本文提出的國畫美感特征集進行分類和評析。
采用 k折交叉檢驗(k-fold cross validation)[36]作為分類器性能的評價方式。交叉檢驗將數據平分為k等份,依次將每等份作為測試集,剩余部分作為訓練集進行參數訓練,最后對每一等份評測結果求平均來評估分類模型的效果。
將查全率(recall)和查準率(precision)[36]作為分類的正確率指標。假設一次分類任務中的真正例數為TP,假正例數為FP,真反例數為TN,對查全率R和查準率P有

使用不同分類器就本文提出的國畫美感特征進行分類,采用10折交叉驗證,各算法對于5類美感的查全率和查準率結果見表4。
表4分類結果中,各類主流分類器在美感分類任務中的表現相近,其中Extra-Trees、SVM、線性判別分析、邏輯回歸和多元感知機相對來說效果較好。
平均來看,大多數算法的查準率都略高于查全率。樣本數量較多的氣勢、雅致和生機3類美感總能保持相對較高的預測精度;一旦出現在數量較少的蕭瑟和清幽2類美感,查準率幾乎都顯著高于查全率,且這2類美感的預測精度都大幅降低。其中,隨機森林、KNN、樸素貝葉斯和多元感知機在數量最少的蕭瑟美的識別上,出現了極低的準確率,可見類別數量不均對于分類效果有較大影響。

表4 不同分類器下的美感自動分類結果Table 4 Automatic classification results of aesthetics in different classifiers
以下以SVM分類器為例,對各類美感的分類偏誤分別進行分析。各美感的誤識案例見表5,表中每個橫欄為誤識畫作原本所屬美感,縱欄為畫作被誤識的美感。觀察發現:①在主觀評價中結果中,被試間判斷較分散的畫作更容易被誤識;②被誤識為氣勢的畫作,藝術更有張力;③被誤識為清幽美的畫作,畫面稍顯空曠;④被誤識為蕭瑟美的畫作傾向于呈現更有顆粒感的紋理;⑤被誤識為雅致美的畫作水墨技法占多數。

表5 美感分類偏誤分析Table 5 Error analysis of aesthetics classification
依照Extra-Trees分類器[37]給出特征重要系數(feature importance)。將它們由高至低排列,見表6。結果顯示,顏色簡明度、邊界復雜度和直線段個數是對美感分類影響最顯著的3個因素。相對來說,顏色、線條和亮度的有關特征排名更靠前。
按表2有效特征分類,將表6中同類美術元素特征的重要性系數相加,可得到各類美術元素對美感分類的影響,見圖7。結果顯示,對國畫美感分類影響最大的美術元素是顏色;其次,筆觸、亮度和線條的影響幾乎相同;構圖對國畫美感分類幾乎沒有影響。

表6 國畫美感特征重要性系數Table 6 Importance coefficient of aesthetic features in Chinese traditional painting

圖7 國畫美感分類的美術元素重要性Fig.7 Importance of artistic element in aesthetic classification of Chinese traditional painting
為對傳統國畫的審美進行量化分析和自動分類,本文進行如下工作:
1)建立了一個對國畫的藝術美感進行類別與強度標注的圖像數據庫。
2)基于該數據庫,進一步提出一系列適用于國畫美感自動分類的圖像特征,對特征集與美感之間關聯做了定性分析。
3)進行特征篩選后的國畫美感自動分類,結果顯示,對國畫美感進行量化分析與自動分類具有一定可行性。
4)進行了國畫的分類誤識分析與重要特征分析,通過對特征進行美學標注來建立客觀特征與主觀美感之間的量化聯系。
當然對于國畫美感的發掘遠不止于此,由于美感本身的模糊性和多義性,基于國畫圖像的多標簽分類也有較高的實用價值,這也是下一步的研究方向。此外,美感數據庫還需要進一步地擴充,以解決類別不均衡問題。