基于注意力機(jī)制的個(gè)性化圖像美學(xué)質(zhì)量評(píng)估

江佳俊，蔣 旻*，楊曉雨，郭 嘉

(1.武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，湖北 武漢 430065； 2.智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室(武漢科技大學(xué))，湖北 武漢 430065)

0 引 言

圖像美學(xué)質(zhì)量評(píng)估是利用計(jì)算機(jī)模擬人類對(duì)美的感知和認(rèn)知，自動(dòng)評(píng)價(jià)圖像的“美感”[1]。圖像美學(xué)質(zhì)量評(píng)估是計(jì)算美學(xué)與計(jì)算機(jī)視覺(jué)、心理學(xué)、虛擬現(xiàn)實(shí)等領(lǐng)域的學(xué)科交叉新方向，其在圖像推薦、圖像編輯美學(xué)等行業(yè)具有良好的應(yīng)用前景。

在圖像美學(xué)質(zhì)量評(píng)估的研究歷史中，大部分美學(xué)圖像評(píng)估方法都試圖用量化指標(biāo)對(duì)圖像美感進(jìn)行評(píng)估，根據(jù)量化指標(biāo)的不同，大部分美學(xué)質(zhì)量評(píng)估方法可以被劃分成以下三類：(1)基于分類的方法，圖像美學(xué)質(zhì)量評(píng)估結(jié)果被分成“高質(zhì)量”、“低質(zhì)量”和“普通質(zhì)量”三種類別；(2)基于評(píng)分的方法，圖像評(píng)估結(jié)果為一個(gè)量化的分值，通常在1～10之間；(3)基于分布的方法，評(píng)估結(jié)果用各美學(xué)評(píng)分分值的概率分布來(lái)表達(dá)。由于近年來(lái)提出的大部分美學(xué)評(píng)分方法采用第二種方式，所以文中也選用基于評(píng)分的方式評(píng)估圖像美學(xué)。

早期較傳統(tǒng)的圖像美學(xué)評(píng)價(jià)方法是根據(jù)與攝影相關(guān)的視覺(jué)特征(例如對(duì)稱性、構(gòu)圖布局、顏色、紋理、清晰度、對(duì)比度等)來(lái)進(jìn)行圖像美學(xué)質(zhì)量評(píng)估。這些特征往往是用一些手工設(shè)計(jì)的視覺(jué)特征描述子來(lái)表達(dá)。雖然手工設(shè)計(jì)的特征可設(shè)計(jì)性范圍很廣，但是由于設(shè)計(jì)特征時(shí)需要具備攝影中的美學(xué)規(guī)則的相關(guān)經(jīng)驗(yàn)，計(jì)算量較大、很少考慮特征之間的關(guān)系和很難涵蓋所有的美學(xué)規(guī)則等因素的存在，所以基于手工設(shè)計(jì)的特征的方法往往效率較低且輸出結(jié)果不穩(wěn)定。

為了改善傳統(tǒng)方法中手工設(shè)計(jì)特征的低效和魯棒性差的缺陷，近年來(lái)，研究人員逐漸將深度學(xué)習(xí)技術(shù)引入審美評(píng)估，但是大部分基于深度學(xué)習(xí)的審美評(píng)估方法存在一些共同的缺陷：

(1)一幅圖像除了考慮構(gòu)圖布局外，往往存在需要突出的主體(主題)部分。大部分基于深度學(xué)習(xí)的方法往往只從圖像整體角度進(jìn)行評(píng)估，沒(méi)有考慮主體的突出性和位置合理性。

(2)對(duì)于同一幅圖像，不同人的美學(xué)評(píng)價(jià)可能不盡相同，甚至相去甚遠(yuǎn)。通用的美學(xué)質(zhì)量評(píng)估方案一般沒(méi)有考慮不同用戶審美間的差異。如何將個(gè)人審美主觀偏好建立在評(píng)估系統(tǒng)中，實(shí)現(xiàn)個(gè)性化美學(xué)質(zhì)量評(píng)估，成為一個(gè)有挑戰(zhàn)性的問(wèn)題。

文中以個(gè)性化圖像評(píng)估為研究對(duì)象，利用視覺(jué)顯著性技術(shù)將主體的突出性和位置合理性等因素引入審美評(píng)估過(guò)程，提出了一種新的基于注意力機(jī)制的個(gè)性化美學(xué)質(zhì)量評(píng)估方法。該方法在Rodriguez-Pardo等人提出的個(gè)性化殘差網(wǎng)絡(luò)PAA[2](personalised-aesthetic-assessment-using-residual-adapters)的基礎(chǔ)之上引入了注意力機(jī)制，既保持了圖像內(nèi)容個(gè)性化偏好(個(gè)人美學(xué)質(zhì)量評(píng)估的主觀偏好)，又將個(gè)人對(duì)圖像構(gòu)圖的偏好(即主體的突出性)因素加入評(píng)分過(guò)程。在Flickr[3]數(shù)據(jù)集上的實(shí)驗(yàn)表明，該方法相較于PAA方法在評(píng)估準(zhǔn)確率上提升了約3%。

1 相關(guān)工作

1.1 注意力機(jī)制

注意力機(jī)制的本質(zhì)在于讓網(wǎng)絡(luò)能夠?qū)W會(huì)忽略無(wú)關(guān)信息而關(guān)注重點(diǎn)信息。從作用角度而言，注意力機(jī)制主要分為空間注意力和時(shí)間注意力兩類，文中采用的是空間注意力非局部操作non_local模塊。

圖1 文中算法網(wǎng)絡(luò)結(jié)構(gòu)

1.2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)主要用于解決深層網(wǎng)絡(luò)退化問(wèn)題和梯度爆炸問(wèn)題。一條主路徑和跳層連接組成殘差塊，若干個(gè)殘差塊組成殘差網(wǎng)絡(luò)。

1.3 研究背景

近些年來(lái)，圖像美學(xué)質(zhì)量評(píng)估成為了一個(gè)研究熱點(diǎn)。傳統(tǒng)的美學(xué)質(zhì)量評(píng)估方法一般是通過(guò)圖像的對(duì)稱性、三分法則和物體顯著性等原則進(jìn)行圖像評(píng)估，這類方法往往需要大量的人工標(biāo)定和專業(yè)化手工設(shè)計(jì)特征。Yan Ke等人[4]提出了一種評(píng)估方法，包含圖片簡(jiǎn)潔性、清晰度、顏色、對(duì)比度和平均亮度(曝光度)等特征描述，實(shí)現(xiàn)了基于分類的美學(xué)質(zhì)量評(píng)估。Datta等人在文獻(xiàn)[5]中將底層特征(顏色、紋理、形狀、圖片大小等)和高層特征(景深、三分法則、區(qū)域?qū)Ρ榷?結(jié)合起來(lái)作為圖像美學(xué)特征，得到了較好的效果。Luo等人在文獻(xiàn)[6]中提出將前景和背景進(jìn)行分離，得到前-背景對(duì)比度特征，該方法最后采用的美學(xué)特征包括清晰度、對(duì)比度、亮度對(duì)比度、顏色的簡(jiǎn)潔性、和諧度和三分法則的符合程度等。其在DPChallenge數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，具有93%的分類準(zhǔn)確率。Wong等人[7]在Luo方法的基礎(chǔ)上進(jìn)行了改進(jìn)，采用基于顯著度的方法提取前景，還融合了Yan Ke[4]和Datta[5]等人提出的一些特征，豐富了特征內(nèi)容，取得了較好的實(shí)驗(yàn)結(jié)果。Marchesotti等人[8]直接用尺度不變特征變換(SIFT)、Fisher變換和局部顏色描述來(lái)進(jìn)行美學(xué)圖像評(píng)估，其在MRSA數(shù)據(jù)集上的實(shí)驗(yàn)表明，該方法評(píng)估性能顯著提升。

上述基于手工設(shè)計(jì)特征進(jìn)行圖像質(zhì)量評(píng)估的方法，由于需要專業(yè)化手工設(shè)計(jì)特征，存在因手工設(shè)計(jì)特征不完備性造成評(píng)估效率低且魯棒性不高等缺陷。為了改善傳統(tǒng)方法的缺陷，許多學(xué)者提出了一些基于深度學(xué)習(xí)的圖像質(zhì)量評(píng)估方法。與傳統(tǒng)手工特征提取方法不同的是，這類方法不使用手工設(shè)計(jì)特征，而是采用基于監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型來(lái)進(jìn)行質(zhì)量評(píng)估，從實(shí)驗(yàn)效果來(lái)看，與基于手工特征的方法相比，這類方法普遍提高了評(píng)估的準(zhǔn)確度。Kong S等人[9]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)圖像美學(xué)排名方法，該方法的評(píng)分模型中包含了圖像屬性和內(nèi)容，可以預(yù)測(cè)1到5級(jí)美學(xué)的屬性和等級(jí)。該方法在AVA[10]數(shù)據(jù)集上的實(shí)驗(yàn)取得了較好的分類效果。Talebi等人[11]提出了一種深度CNN模型(NIMA)用于圖像美學(xué)質(zhì)量評(píng)估。NIMA模型沒(méi)有采用基于分類或者基于評(píng)分的美學(xué)量化指標(biāo)，而是根據(jù)美學(xué)質(zhì)量評(píng)估模型評(píng)估任意給定的圖像的評(píng)分等級(jí)分布。NIMA給每幅圖像在1到10的范圍內(nèi)每一個(gè)可能的分?jǐn)?shù)的可能性都進(jìn)行賦值，輸出一個(gè)分?jǐn)?shù)分布直方圖。這種方法能更好地表達(dá)美學(xué)評(píng)分問(wèn)題本身具有的模糊性，所以在某種程度上提高了圖像美學(xué)質(zhì)量評(píng)估的精確度，實(shí)驗(yàn)表明，該算法在公共數(shù)據(jù)集AVA上獲得了良好的性能測(cè)試結(jié)果，在AVA數(shù)據(jù)集中的極端美學(xué)品質(zhì)圖像表現(xiàn)更優(yōu)。

考慮到圖像的整體布局和內(nèi)容相關(guān)性，Liu D等人[12]認(rèn)為圖像中視覺(jué)元素之間存在相互依賴關(guān)系，將圖像合成信息建模為其局部區(qū)域的相互依賴更為合理，所以應(yīng)該將圖像劃分為局部區(qū)域的組合，并在這些區(qū)域上計(jì)算美學(xué)特征。基于這種思想，他們提出了一種基于組合感知的網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)視覺(jué)元素之間的相互依賴關(guān)系，在AVA數(shù)據(jù)集上的測(cè)試得到了較好的結(jié)果。

面對(duì)同一幅圖像，不同的人可能會(huì)有不同的美學(xué)評(píng)價(jià)。圖像美學(xué)質(zhì)量評(píng)估往往帶有大量的個(gè)人感情色彩，大部分美學(xué)質(zhì)量評(píng)估方法一般是試圖建立一個(gè)通用美學(xué)模型，沒(méi)有考慮個(gè)人主觀偏好。但是近年來(lái)個(gè)性化圖像美學(xué)也逐漸受到學(xué)者們的關(guān)注[2,13]。Rodriguez-Pardo等人[2]采用一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的方法對(duì)具有不同類型的用戶特定偏好進(jìn)行建模，并利用該模型PAA(personalized aesthetic assessment using residual adapters)進(jìn)行個(gè)性化的美學(xué)質(zhì)量評(píng)估。該模型使用了殘差適配器對(duì)特定用戶的偏好進(jìn)行建模。殘差網(wǎng)絡(luò)的加入不僅在一定程度上解決了網(wǎng)絡(luò)退化問(wèn)題和梯度彌散問(wèn)題，而且大大加快了網(wǎng)絡(luò)的效率。在Flickr數(shù)據(jù)集[3]上的實(shí)驗(yàn)體現(xiàn)了該方法基本能夠?qū)崿F(xiàn)個(gè)性化美學(xué)質(zhì)量評(píng)估的功能。J Ren等人[13]提出了一種主動(dòng)學(xué)習(xí)算法，并使用一個(gè)由所有者評(píng)定的真實(shí)個(gè)性相冊(cè)的小數(shù)據(jù)集來(lái)優(yōu)化網(wǎng)絡(luò)。J Ren提出的網(wǎng)絡(luò)主要包括三部分:(1)通用美學(xué)模型；(2)圖像屬性特征網(wǎng)絡(luò)；(3)圖像內(nèi)容屬性網(wǎng)絡(luò)。將(2)、(3)提出的圖像特征進(jìn)行融合，作為美學(xué)圖像評(píng)估的偏置來(lái)調(diào)整網(wǎng)絡(luò)，實(shí)驗(yàn)表明，該方法能有效的自主學(xué)習(xí)個(gè)性化偏好，且在定量比較方面優(yōu)于現(xiàn)有方法。由于真實(shí)個(gè)性化數(shù)據(jù)集難以收集，文中最終決定在PAA網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn)。

一幅圖像在進(jìn)行美學(xué)質(zhì)量評(píng)估時(shí)，除了需要考慮到圖像本身的屬性特點(diǎn)和結(jié)構(gòu)外，還需要考慮圖像的主體內(nèi)容對(duì)圖像評(píng)估結(jié)果的影響，但大部分評(píng)估方法只從圖像本身特征和整體布局進(jìn)行評(píng)估，沒(méi)有考慮到圖像主體的突出性及其位置的合理性對(duì)美學(xué)質(zhì)量評(píng)估的影響。一般來(lái)說(shuō)，視覺(jué)顯著性最高的區(qū)域或者顯著物體對(duì)應(yīng)著圖像中最重要的內(nèi)容，即圖像主體內(nèi)容，所以顯著性分析也被用于美學(xué)質(zhì)量評(píng)估。Tu Y和Niu L等人在文獻(xiàn)[14]中使用一個(gè)全卷積網(wǎng)絡(luò)來(lái)生成能同時(shí)感知照片構(gòu)圖和物體顯著性的美學(xué)評(píng)分圖，其模型在實(shí)驗(yàn)中展現(xiàn)出了較好的性能。但是，該方法在進(jìn)行圖像顯著性分析時(shí)，只考慮到了視覺(jué)顯著性最高的區(qū)域，而忽略了其他區(qū)域，導(dǎo)致評(píng)估結(jié)果不夠全面。

綜上，文中提出了一種基于注意力機(jī)制的個(gè)性化圖像美學(xué)質(zhì)量評(píng)估方法。該方法在個(gè)性化殘差網(wǎng)絡(luò)的基礎(chǔ)之上加入注意力機(jī)制來(lái)進(jìn)行顯著性分析，按顯著性的高低對(duì)圖像區(qū)域分配對(duì)應(yīng)權(quán)重，這樣不僅考慮了圖像主體的突出性(顯著性)，而且還保留了圖像顯著性低的區(qū)域的影響力，使得各個(gè)區(qū)域?qū)υu(píng)估結(jié)果影響更加合理。文中提出的方法既考慮了圖像內(nèi)容偏好(個(gè)人美學(xué)質(zhì)量評(píng)估的主觀偏好)，又考慮到對(duì)圖像構(gòu)圖的偏好(即主體的突出性)，在Flickr數(shù)據(jù)集上實(shí)驗(yàn)表明，與Rodriguez-Pardo提出的PAA方法[2]相比，文中方法取得了更好的評(píng)估準(zhǔn)確率。

2 基于注意力機(jī)制和個(gè)性化的網(wǎng)絡(luò)模型

為了實(shí)現(xiàn)上述目標(biāo)，文中對(duì)Rodriguez-Pardo提出的PAA方法[2]進(jìn)行了擴(kuò)展，提出一種基于注意力機(jī)制的個(gè)性化殘差網(wǎng)絡(luò)。算法模型中融入個(gè)性化模塊和注意力模塊。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。該網(wǎng)絡(luò)以ResNet18為基線[15]，除了在每個(gè)Basic block都加入個(gè)性化模塊外，還在layer2和layer3之間，以及l(fā)ayer3和layer4之間加入了注意力模塊。每個(gè)Basic Block的結(jié)構(gòu)相同，如圖2所示，均是在ResNet18原始Basic block模塊中的基礎(chǔ)模塊Ci上加入了個(gè)性化(建模)模塊。

圖2 含個(gè)性化建模的Basic Block模塊的結(jié)構(gòu)

圖3 注意力機(jī)制模塊內(nèi)部結(jié)構(gòu)

文中用非局部操作non_local[16]模塊實(shí)現(xiàn)注意力模塊，其內(nèi)部結(jié)構(gòu)如圖3所示。引入注意力機(jī)制主要是為了增強(qiáng)圖像構(gòu)圖對(duì)最終美學(xué)質(zhì)量評(píng)估的影響。考慮到深層網(wǎng)絡(luò)主要包含圖像高層語(yǔ)義信息，位置信息量較少，而最淺層網(wǎng)絡(luò)圖像信息較為駁雜稀疏，所以文中設(shè)置兩個(gè)注意力模塊，分別放置在較淺層卷積層(layer2和layer3)之后。注意力模塊將輸入特征信息進(jìn)行分塊處理，采用特征矩陣逐乘的方式，得到每個(gè)位置像素的權(quán)重，從而實(shí)現(xiàn)權(quán)重的重新分配，對(duì)圖像評(píng)估影響較大的位置區(qū)域的像素分配較大的權(quán)重，影響力較小的位置分配較小的權(quán)重。經(jīng)過(guò)該模塊處理后的特征如圖1中的熱力圖所示，經(jīng)第二個(gè)注意力模塊處理得到的熱力圖信息更為詳細(xì)，主體信息更為明確。

在layer4后網(wǎng)絡(luò)又經(jīng)過(guò)三個(gè)全連接層和兩個(gè)正則化層，在最后一層全連接層后輸出歸一化后的美學(xué)審美評(píng)分。其中穿插了隨機(jī)丟棄(dropout)部分神經(jīng)元的方法，在一定程度上降低了過(guò)擬合的幾率。此外，文中在訓(xùn)練過(guò)程中將卷積與其緊接的批標(biāo)準(zhǔn)化(batch normalization)進(jìn)行折疊封裝。由于一般卷積后接BN層是沒(méi)有偏差(bias)的，這樣將兩部分折疊，加快了前向傳播的速度，也不會(huì)影響最終的實(shí)驗(yàn)結(jié)果。文中網(wǎng)絡(luò)使用的損失函數(shù)是均方誤差MSE，定義如下：

(1)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

為了對(duì)圖像進(jìn)行美學(xué)質(zhì)量評(píng)估，前人構(gòu)造了許多美學(xué)質(zhì)量評(píng)估數(shù)據(jù)集，包括FLICKR[3]、AVA[10]、CUHKPQ[17]等，這些數(shù)據(jù)集中的圖片大多數(shù)來(lái)自于網(wǎng)絡(luò)上的圖像分享網(wǎng)站DPChallenge、Photo.Net等。文中使用Flickr數(shù)據(jù)集進(jìn)行相關(guān)測(cè)試。Flickr數(shù)據(jù)集屬于社交數(shù)據(jù)集，包含1億+張圖片，其中除了圖像的評(píng)分外，還包含各個(gè)用戶之間的關(guān)系和共屬的興趣小組等信息，在進(jìn)行個(gè)性化建模前需要將數(shù)據(jù)集按用戶進(jìn)行整理，整理得出多個(gè)個(gè)性化數(shù)據(jù)集，每個(gè)個(gè)性化數(shù)據(jù)集包括某用戶id、該用戶評(píng)估的所有圖像id及其評(píng)分分值。考慮到圖像的大小可能并未統(tǒng)一規(guī)格，需對(duì)數(shù)據(jù)集進(jìn)行統(tǒng)一處理，將圖像縮放至256×256大小，然后對(duì)圖像進(jìn)行隨機(jī)水平翻轉(zhuǎn)，并將圖像隨機(jī)裁剪為網(wǎng)絡(luò)模型輸入大小224×224，然后進(jìn)行正則化處理，隨機(jī)裁剪和翻轉(zhuǎn)增加了數(shù)據(jù)集的多樣性，可有效避免過(guò)擬合。為了加快訓(xùn)練過(guò)程中數(shù)據(jù)集的讀取速度以及防止數(shù)據(jù)集散列存放占用大量?jī)?nèi)存空間，將數(shù)據(jù)集處理好之后以TFRecord格式進(jìn)行存儲(chǔ)。TFRecord格式采用二進(jìn)制編碼，占用空間小(只占用一個(gè)內(nèi)存塊)，加載數(shù)據(jù)集時(shí)，只需要一次性加載這個(gè)二進(jìn)制文件即可，簡(jiǎn)單、快速。對(duì)Flickr這種大型數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，可以將數(shù)據(jù)分成多個(gè)TFRecord文件，來(lái)提高處理效率。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置

另外考慮到圖像評(píng)估階段中個(gè)性化的問(wèn)題，在圖像特征提取階段中加入了殘差塊，通過(guò)殘差塊保存少量的用戶偏好信息，將瓶頸層(bottleneck)與殘差塊相融合，從而達(dá)到個(gè)性化評(píng)估的效果。

3.3 實(shí)驗(yàn)設(shè)計(jì)

文中使用torch在具有6 GB GPU內(nèi)存的NVIDIA GeForce GTX 1060Ti上的Python環(huán)境中訓(xùn)練和測(cè)試該算法，使用Adam優(yōu)化器來(lái)進(jìn)行參數(shù)學(xué)習(xí)以及網(wǎng)絡(luò)優(yōu)化，Batchsize設(shè)置為30，epochs設(shè)置為200，總共迭代次數(shù)為22 200次。在Flickr數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，分別對(duì)殘差塊和注意力機(jī)制模塊的有效性進(jìn)行對(duì)比評(píng)估。Flickr數(shù)據(jù)集總共包含40 500幅圖像，210個(gè)用戶參與評(píng)分。文中選取37個(gè)用戶作為測(cè)試集，共4 739幅圖像，剩下的所有數(shù)據(jù)作為訓(xùn)練集。為保證實(shí)驗(yàn)過(guò)程中單一變量原則，所有實(shí)驗(yàn)中的學(xué)習(xí)率統(tǒng)一設(shè)置為0.1，并在每訓(xùn)練10輪epochs后降低90%。在訓(xùn)練開(kāi)始時(shí)，使用較大的學(xué)習(xí)率能使得網(wǎng)絡(luò)快速收斂，隨著訓(xùn)練的進(jìn)行，逐漸降低學(xué)習(xí)率有助于找到最優(yōu)解。為了得到穩(wěn)定的模型，并兼顧效率，文中選擇三折交叉驗(yàn)證進(jìn)行個(gè)性化的實(shí)現(xiàn)。以第i個(gè)用戶為例，第i個(gè)用戶的個(gè)性化數(shù)據(jù)集Di會(huì)在實(shí)驗(yàn)中依據(jù)三折交叉驗(yàn)證原則進(jìn)行劃分，分為訓(xùn)練集合和測(cè)試集合。

文中使用的美學(xué)質(zhì)量評(píng)估指標(biāo)為SRCC[18](Spearman等級(jí)相關(guān)系數(shù))范圍為[-1，1]，定義如下：

(2)

3.4 實(shí)驗(yàn)結(jié)果與分析

對(duì)比實(shí)驗(yàn)在Flickr數(shù)據(jù)集上進(jìn)行，文中與PAA(personalized aesthetics with residual adapters)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果如表1所示。

表1 與PAA網(wǎng)絡(luò)在Flickr數(shù)據(jù)集實(shí)驗(yàn)結(jié)果對(duì)比

由表1可以看出，在同一數(shù)據(jù)集Flickr上，PAA網(wǎng)絡(luò)取得SRCC均值為0.631的結(jié)果。文中以ResNet18網(wǎng)絡(luò)為基線網(wǎng)絡(luò)，在該網(wǎng)絡(luò)基礎(chǔ)上融入了殘差塊并集成了注意力機(jī)制，并通過(guò)選取ResNet18預(yù)訓(xùn)練模型前四層權(quán)重對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練擬合，引入注意力機(jī)制增強(qiáng)了特征提取過(guò)程中提取特征的有效程度，相當(dāng)于權(quán)重的重新分配。通過(guò)對(duì)圖像評(píng)估影響較大的區(qū)域分配較大權(quán)重，從而提高了美學(xué)質(zhì)量評(píng)估的準(zhǔn)確度，同時(shí)文中網(wǎng)絡(luò)相較于PAA，穩(wěn)定性略有增加。

另外進(jìn)行了消融實(shí)驗(yàn)，文中在Flickr數(shù)據(jù)集上依次驗(yàn)證了殘差塊和注意力機(jī)制對(duì)最終的美學(xué)質(zhì)量評(píng)估的改進(jìn)，對(duì)比實(shí)驗(yàn)結(jié)果如表2所示。

表2 在Flickr數(shù)據(jù)集消融實(shí)驗(yàn)結(jié)果對(duì)比

文中的基線網(wǎng)絡(luò)使用的是ResNet18網(wǎng)絡(luò)，使用ResNet18預(yù)訓(xùn)練模型對(duì)模型進(jìn)行訓(xùn)練后，在AVA上展現(xiàn)的性能為SRCC均值為0.561。

在基線網(wǎng)絡(luò)上加入殘差塊后，由于殘差塊用來(lái)學(xué)習(xí)用戶的特定偏好，而Flickr數(shù)據(jù)集中用戶量較大，每個(gè)人的偏好不盡相同，這就造成了雖然評(píng)估效果有了一定的改善，但是SRCC值波動(dòng)依舊較大。另外考慮到圖像構(gòu)圖本身(主體的位置、布局等)對(duì)圖像質(zhì)量評(píng)估有影響，為了在特征提取過(guò)程對(duì)美學(xué)質(zhì)量評(píng)估影響較大的部分特殊關(guān)注，在基線網(wǎng)絡(luò)上加入注意力機(jī)制模塊，為這部分區(qū)域分配較大的權(quán)重，提高此區(qū)域?qū)ψ罱K美學(xué)質(zhì)量評(píng)估的影響力，以便提升結(jié)果的可信度。從在Flickr數(shù)據(jù)集上的表現(xiàn)來(lái)看，評(píng)估效果有了較大的提高。最終，文中在基線網(wǎng)絡(luò)上融合了注意力機(jī)制和殘差塊，在Flickr數(shù)據(jù)集上取得了SRCC值為0.659的結(jié)果，通過(guò)SRCC(std)來(lái)看該模型有了比較穩(wěn)定的表現(xiàn)。

由在Flickr數(shù)據(jù)集上的消融實(shí)驗(yàn)表明，殘差塊和注意力機(jī)制的引入在一定程度上改善了圖像質(zhì)量評(píng)估效果。

表3 與NIMA網(wǎng)絡(luò)在AVA數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果對(duì)比

另外文中網(wǎng)絡(luò)模型在AVA數(shù)據(jù)集上也做了測(cè)試，雖然AVA數(shù)據(jù)集中缺乏用戶與評(píng)估圖像間的關(guān)聯(lián)信息，文中網(wǎng)絡(luò)無(wú)法發(fā)揮出其個(gè)性化優(yōu)勢(shì)，所以將文中算法作為通用美學(xué)評(píng)估方法和最流行的通用美學(xué)評(píng)估方法NIMA進(jìn)行了對(duì)比(如表3所示)。從AVA數(shù)據(jù)集上的測(cè)試結(jié)果顯示，文中方法取得了SRCC均值為0.637的結(jié)果，比AVA稍好。從網(wǎng)絡(luò)評(píng)估的穩(wěn)定性而言，文中網(wǎng)絡(luò)在AVA數(shù)據(jù)集上的表現(xiàn)比NIMA網(wǎng)絡(luò)在AVA數(shù)據(jù)集上的表現(xiàn)來(lái)說(shuō)要穩(wěn)定。整體上看，文中網(wǎng)絡(luò)表現(xiàn)稍優(yōu)于NIMA的網(wǎng)絡(luò)。

綜合以上兩個(gè)實(shí)驗(yàn)對(duì)比，文中在基線網(wǎng)絡(luò)ResNet18上融合注意力機(jī)制和殘差塊后，網(wǎng)絡(luò)性能有了明顯的改善。

4 結(jié)束語(yǔ)

文中提出了一種基于注意力機(jī)制和個(gè)性化的圖像美學(xué)質(zhì)量評(píng)估網(wǎng)絡(luò)，該網(wǎng)絡(luò)主要以ResNet18為基線網(wǎng)絡(luò)，在其基礎(chǔ)上進(jìn)行改進(jìn)，在每個(gè)layer層中融入了殘差塊，并在第二個(gè)layer層和第三個(gè)layer層后加入了注意力機(jī)制模塊，每個(gè)layer層的輸出都是經(jīng)過(guò)當(dāng)前層處理(包括殘差塊)后與當(dāng)前l(fā)ayer層輸入相加后的結(jié)果，這樣能更好地保證特征提取的合理性。實(shí)驗(yàn)結(jié)果表明，模型在對(duì)圖像進(jìn)行質(zhì)量評(píng)估時(shí)保留了個(gè)人偏好，對(duì)個(gè)人的審美有了較大的改善，其次注意力機(jī)制的引入使得圖像評(píng)估指標(biāo)有了較大提升，相比于現(xiàn)有方法，文中提出的模型性能稍強(qiáng)，仍有很大的改進(jìn)空間。文中只是在基線網(wǎng)絡(luò)ResNet18上做了簡(jiǎn)單的改進(jìn)，可以考慮將基線網(wǎng)絡(luò)替換為Inception網(wǎng)絡(luò)或者是其他網(wǎng)絡(luò)，ResNet18只是對(duì)最終的結(jié)果進(jìn)行了激活，而Inception在每次卷積后都進(jìn)行了激活，這樣提高了神經(jīng)網(wǎng)絡(luò)對(duì)模型的表達(dá)能力，與此同時(shí)，Inception卷積后對(duì)通道數(shù)進(jìn)行了疊加，提升了模型的擬合能力。另外可考慮擴(kuò)充數(shù)據(jù)集，現(xiàn)有的數(shù)據(jù)集缺乏對(duì)個(gè)人偏好的整理，可自己去收集整理出有關(guān)個(gè)人偏好的數(shù)據(jù)集。