圖像整體與局部區域嵌入的視覺情感分析

蔡國永 賀歆灝 儲陽陽

摘 要：目前多數圖像視覺情感分析方法主要從圖像整體構建視覺情感特征表示，然而圖像中包含對象的局部區域往往更能突顯情感色彩。針對視覺圖像情感分析中忽略局部區域情感表示的問題，提出一種嵌入圖像整體特征與局部對象特征的視覺情感分析方法。該方法結合整體圖像和局部區域以挖掘圖像中的情感表示，首先利用對象探測模型定位圖像中包含對象的局部區域，然后通過深度神經網絡抽取局部區域的情感特征，最后用圖像整體抽取的深層特征和局部區域特征來共同訓練圖像情感分類器并預測圖像的情感極性。實驗結果表明，所提方法在真實數據集TwitterⅠ和TwitterⅡ上的情感分類準確率分別達到了75.81%和78.90%，高于僅從圖像整體特征和僅從局部區域特征分析情感的方法。

關鍵詞：社交媒體;情感分析;圖像局部對象檢測;深度學習;神經網絡

中圖分類號：?TP181

文獻標志碼：A

Visual sentiment analysis by combining global and local regions of image

CAI Guoyong， HE Xinhao*， CHU Yangyang

Guangxi Key Laboratory of Trusted Software （Guilin University of Electronic Technology）， Guilin Guangxi 541004， China

Abstract：?Most existing visual sentiment analysis methods mainly construct visual sentiment feature representation based on the whole image. However， the local regions with objects in the image are able to highlight the sentiment better. Concerning the problem of ignorance of local regions sentiment representation in visual sentiment analysis， a visual sentiment analysis method by combining global and local regions of image was proposed. Image sentiment representation was mined by combining a whole image with local regions of the image. Firstly， an object detection model was used to locate the local regions with objects in the image. Secondly， the sentiment features of the local regions with objects were extracted by deep neural network. Finally， the deep features extracted from the whole image and the local region features were utilized to jointly train the image sentiment classifier and predict the sentiment polarity of the image. Experimental results show that the classification accuracy of the proposed method reaches 75.81% and 78.90% respectively on the real datasets TwitterⅠand TwitterⅡ， which is higher than the accuracy of sentiment analysis methods based on features extracted from the whole image or features extracted from the local regions of image.

Key words：?social media; sentiment analysis; image local object detection; deep learning; neural network

0 引言

當前，越來越多社交媒體用戶喜歡用視覺圖像來表達情感或觀點，相較于文本，視覺圖像更易于直觀表達個人情感，由此，對圖像的視覺情感分析引起了人們的廣泛關注和研究[1-2]。視覺情感分析是一項研究人類對視覺刺激（如圖像和視頻）做出的情感反應的任務[3]，其關鍵挑戰問題是情感空間與視覺特征空間之間存在的巨大鴻溝問題。

早期的視覺情感分類主要采用特征工程的方法來構造圖像情感特征，如采用顏色、紋理和形狀等特征[4-6]。深度神經網絡學習因其能夠進行魯棒且準確的特征學習，近年來在計算機視覺領域取得了巨大成功[7-9]。特別是卷積神經網絡（Convolution Neural Network，CNN）能夠自動地從大規模圖像數據中學習穩健的特征且展示了優異的性能，在圖像分類以及目標檢測等圖像相關任務上得到了廣泛應用，因此基于CNN的方法也被提出用于預測圖像情感[10]。盡管基于深度神經網絡相關的模型已經取得了不錯的效果，但是現有方法基本是從圖像整體提取特征來預測視覺情感，對圖像中局部情感突出的區域并沒有區別對待，因此情感分類效果還有提升空間。

針對現有研究中通常只利用整張圖像學習情感表示而忽略了圖中情感突出的局部區域的問題，本文提出了一種新穎的嵌入包含對象的局部區域特征到圖像整體特征的視覺情感分析方法。該方法首先利用目標檢測模型探測對象局部區域，然后利用深度神經網絡和遷移學習從局部區域抽取局部區域視覺特征并嵌入圖像整體情感特征來訓練情感分類器。

1 相關工作

視覺情感分析方法的特征工程主要基于特征選擇或特征抽取方法。如呂鵬霄[11]基于尺度不變特征變換（Scale-Invariant Feature Transform， SIFT）引入具有表征感情色彩的顏色特征，分別提取RGB三個顏色通道的SIFT特征，串聯在一起形成384維的顏色尺度不變特征變換（Color SIFT， C-SIFT）特征來預測圖像的情感。

Yanulevskaya等[12]通過提取圖像的紋理特征，然后使用支持向量機將情感圖像進行分類從而預測圖像情感。文獻[13]中構建了一個由1200個形容詞名詞對（Adjective Noun Pair， ANP）組成的大型視覺情感本體庫，同時在該本體庫的基礎上分別提出了情感銀行（Sentiment bank， Sentibank）和視覺情感本題庫（Visual Sentiment Ontology， VSO）的情感探測器來提取輸入圖像的中層表示，并把這些中層表示視為圖像特征來學習情感分類器。

文獻[2]中采用了與文獻[13]相似的策略，區別在于使用102個預定義場景屬性取代了ANP作為中層表示。

近年來，隨著社交網絡上的視覺內容不斷增加，傳統方法難以應對大規模數據的伸縮性和泛化性問題[14]，研究者開始采用深度模型自動地從大規模圖像數據中學習情感表示，且效果良好。如文獻[14]中研究了視覺情感概念的分類，并在文獻[13]中給出的大型數據集上進行訓練得到了SentiBank的升級版本DeepSentiBank。

You等[15]定義了一個CNN架構用于視覺情感分析，而且為解決在大規模且有噪聲的數據集上進行訓練的問題，他們采用逐步訓練的策略對網絡架構進行微調，即漸進卷積神經網絡（Progressive CNN， PCNN）。

Campos等[16-17]利用遷移學習和來自于預訓練的權重與偏置，通過用Flickr數據集微調分類網絡，然后再用于圖像情感分類。

盡管上述方法都取得了一定的效果，但是基本都是考慮從圖像整體抽取特征，很少有人關注到圖像局部區域情感信息表達的差異性。文獻[18]中利用深度學習框架自動發現包含物體并攜帶大量情感的局部區域用于視覺情感分析，Li等[19]則提出了一種兼顧局部和局部 整體的上下文情境感知分類模型。不同于已有研究，本文的關注點是：1）獲得定位精確的攜帶情感對象的局部區域;2）在深度網絡結構中，利用特征嵌入的方法同時考慮整體圖像與局部區域。即將圖像整體特征和局部區域特征嵌入到一個統一的優化目標中，使整合后的特征具有更好的判別性。

2 方法描述

為了從圖像中誘發情感的顯著對象局部區域和整體圖像中學習具有判別性的情感表示，本文方法的整體框架如圖1所示，包括以下四個部分：1）圖像整體特征提取;2）目標檢測模型預訓練;3）圖像中包含對象的局部區域特征提取;4）整體與局部區域特征整合及視覺情感分類。

其中，利用Simonyan等[20]提出的VGGNet-16提取來自整張圖像的全局特征表示（如圖1（a））。

目標檢測模型Faster R-CNN[21]作為時下流行且性能出色的目標檢測框架，利用全卷積網絡將對象定位和對象分類兩個任務整合到一個端到端的深層網絡架構中，通過共享網絡模型參數以增強特征映射的魯棒性同時減少定位對象所花費的時間，能極大地提高目標檢測效果。 這里上下文的邏輯在哪

為了提取局部區域特征，本文首先利用目標檢測數據集預訓練目標檢測模型，獲得模型參數（如圖1（c））;隨后利用情感圖像數據集再次訓練目標檢測模型，從而獲得更好的、能檢測出圖像中攜帶情感的物理對象區域，并學習包含對象的局部區域情感表示（如圖1（b））;最后結合圖像整體特征與局部區域特征，并用于訓練情感分類器（如圖1（d））。

2.1 圖像局部區域特征提取

局部區域特征通常包含圖像中對象的細粒度信息，本文關注檢測社交網絡圖像中出現頻率高且能突顯情感的多個對象，并對這些包含對象的局部區域提取深層特征。假定一張圖像中探測到的某一個局部區域表示為特征向量 L fi，則檢測到的所有局部區域可表示為特征向量集{ L f1， L f2，…， L fm}，m為檢測到的局部區域個數。局部特征提取基于目標檢測模型進行，即首先將圖像輸入該模型后生成一個多通道的特征映射，利用一個滑動窗口遍歷已生成的特征映射獲得一系列候選框;然后通過對比各個候選框與目標檢測圖像真實標簽的交疊率來判定候選框內是否存在檢測對象，從而獲得本文所需的局部區域;最后再利用深層神經網絡提取該局部區域情感特征。本文利用遷移學習的策略來克服目標檢測數據集與圖像情感數據集之間的差異。首先利用Faster R-CNN模型在目標檢測數據集PASCAL VOC 2007上進行預訓練，然后將已經學習好的模型參數遷移到情感分析的目標區域檢測中。下面首先介紹如何利用Faster R-CNN生成目標區域候選框。

2.1.1 候選框生成

候選框生成網絡的輸入是任意大小的圖像，輸出是一組矩形候選框。假設輸入圖像尺寸為M×N，圖像經過一系列卷積層變換之后得到卷積特征映射 F ∈ R w×h×n，其中：w和h為卷積特征映射的寬度和高度，n表示卷積特征映射的通道個數。設卷積特征映射 F 大小為（M/16）×（N/16），即輸入圖像與輸出特征映射的寬和高均縮放到1/16。為生成候選框，Faster R-CNN在卷積特征映射上利用了一個兩層的CNN，第一層包含c個大小為a×a的濾波器 g ∈ R a×c，濾波器 g 在輸入的卷積特征映射上進行滑動，生成一個較低維的特征 F ′∈ R w′×h′×l，計算式如式（1）：

F ′=δ（ g ?F +b）?? （1）

其中：是卷積操作;b∈ R 是一個偏置項， R 為實數集;δ（·）是一個非線性激活函數。對于 F ′上的每一個位置考慮k種可能的候選框尺寸以更好地檢測出不同大小的對象，假設 F ′的寬度和高度分別為w′、h′，即 F ′的尺寸為w′×h′，則可得到w′h′k個候選框。隨后該特征 F ′被送入兩個并列的全連接層：一個用于分類，即判定候選框中是否存在對象;另一個用于回歸，即預測候選框的中心點坐標以及尺寸，如圖1（c）中最右側的兩個分支所示。因此，對于k個候選框，分類層輸出2k個評估候選框是否存在對象的概率得分，即對應二分類問題：候選框存在對象或不存在;回歸層輸出4k個候選框對應坐標值，即輸出為候選框中心點二維坐標以及候選框的寬度和高度。分類層與回歸層損失函數的加權表達式如下：

L（{pi}，{ti}）=? 1 Ncls ∑ k i=1 Lcls（pi，p*i）+λ 1 Nreg ∑ k i=1 p*iLreg（ti，t*i）??（2）

其中：pi表示第i個候選框的預測結果。p*i表示第i個候選框的真實標簽：p*i=1則為正樣本，即候選框內存在對象;反之p*i=0則為負樣本，即候選框為背景。Ncls表示一個Minibatch產生的所有候選框數量，因為判斷候選框內是否存在對象屬于二分類問題，所以Lcls采用常用于二分類問題的對數損失函數Log Loss，計算公式如式（3）。

Lreg采用衡量預測值與真實標簽偏差程度的常見的損失函數Smooth L1 Loss，計算公式如式（4），其中ti表示候選框的大小尺寸，t*i則是ti對應的真實標簽，Smooth L1 Loss計算公式如式（5）。λ為超參數。

參數所處級別不一致，導致公式 解釋的位置怎么放都有點問題;4、5這兩個公式 在這里到底表達什么？

l（θ）=p*ilnpi+（1-p*i）ln（1-pi）??（3）

Lreg（ti，ti）=∑smoothL1（ti-ti）??（4）

smoothL1（x）= 0.5x2，???? ?| x | <1 | x | -0.5， 其他? （5）

2.1.2 候選框特征提取

假設L={r1，r2，…，rn}為生成的包含對象的候選框集合，將矩形框集合L投影到卷積特征映射 F ∈ R w×h×n上再進行局部區域特征提取，從而避免對矩形框進行裁剪或縮放導致的圖像信息缺失，同時可以減少大量卷積運算花費的時間[22]。候選框集合中的任意一個元素ri={（ x i，yi）}ni=1作為情感圖像中生成的候選框樣本，如圖2（a）中的矩形框ri所示。其中 x i通常表示為四維向量，分別表示候選框的中心點坐標和寬高;yi∈{0，1}表示候選框內對象對應的情感標簽。對于每一個候選框樣本，為獲取矩形框內多個層次的語義信息，對候選框進行m種不同粒度的劃分，如圖2（b）中所示。隨后對劃分的每一子塊bj進行最大池化操作得到一系列具有區分性的特征映射{ f 1，? f 2，…，? f d}，d表示劃分后的子塊個數，計算式如式（6）：

f i=Gmax（bj）?? （6）

其中：bj表示劃分后的某一子塊;? f i表示子塊bj對應的特征映射;Gmax（·）表示最大池化操作。最后將所有子塊的特征映射相加從而得到固定維度的局部區域特征向量，具體表示如式（7）：

L fi=∑ d i=1? f i?? （7）

本文考慮對候選框同時設置3種劃分尺寸，分別為{3×3，2×2，1×1}，最大池化過程中的步長和窗口由輸入的矩形框決定。

2.2 整體圖像特征提取

整體圖像特征是與圖像的情感表示相關的重要因素，通常包含圖像整體外觀信息和圖中對象周圍的上下文信息。本文采用如圖3所示的VGGNet-16框架提取整體圖像特征。VGGNet-16由5個卷積塊和3個全連接層組成，作為牛津大學和DeepMind公司共同研發的深層神經網絡，它比普通的卷積神經網絡擁有更深層的網絡結構和統一的網絡配置，使得它在減少參數的同時能進行更多的非線性變換，從而具備更加出色的特征提取能力。

具體地，從VGGNet-16的最后一個全連接層fc7提取圖像整體特征，得到一個4096維的特征向量，記為 G f，如圖3所示。

2.3 圖像整體與局部區域嵌入的情感分類

深度圖像整體特征和包含對象的局部區域特征通過對應的網絡架構提取到的特征表示分別為 G f和{ L f1， L f2，…， L fm}，選擇檢測到的前m個對象來表示重要的局部區域信息，因此每張圖像最終可被表示為一組情感信息更加豐富的特征向量 U ={ G f， L f1， L f2，…， L fm}。為了將圖像整體特征與局部區域特征相結合，本文采用特征拼接的方法對兩種特征進行融合，具體表示如式（8）：

φ（ U ）= G f⊕ L f1⊕ L f2⊕…⊕ L fm

（8）

其中⊕表示整體特征和局部特征的拼接。

對于視覺情感分類而言，情感標簽在訓練過程中的作用不容忽視。本文選擇一種較為簡單的處理方法，即對相應圖像中檢測到的局部對象區域均賦予與原圖一致的情感極性。在獲得拼接好的聯合特征向量φ（ U ）之后，將其送到全連接層，并通過softmax分類到輸出類別中。為衡量模型損失，本文使用交叉熵定義損失函數，softmax層解釋聯合特征向量φ（ U ）到輸出的類別中且分配一個相對應的概率分數qi，若輸出的情感類別的數量為s，則：

qi=exp（φ（ U ）i） / ∑ s i=1 exp（φ（ U ）i）?（9）

l=-∑ s i=1 hi ln（qi）?（10）

其中：l是網絡的交叉熵損失;hi為圖像的真實情感標簽。

3 實驗結果及分析

本章主要評估本文所提出的方法，并對比其他通過整體圖像特征進行情感分類的方法，以驗證本文方法對于視覺情感分析的有效性。

3.1 數據集

在2個公共數據集TwitterⅠ、TwitterⅡ上對本文方法進行評估。TwitterⅠ是從社交軟件Twitter中收集的881張包含兩類情感極性（積極和消極）的圖像及其對應的基于群智策略的人工標注的情感標簽;TwitterⅡ由文獻[15]提供，包含1269張同樣來自于Twitter中的圖像，由5名亞馬遜勞務眾包平臺（Amazon Mechanical Turk， AMT）

為對應的圖像標注兩類情感極性標簽。這兩個數據集均采用隨機劃分的方式將80%的樣本作為訓練集，剩下的20%作為測試集。

3.2 實驗設置

實驗開發環境為Linux-Ubuntu14.04， Python 2.7， Tensorflow 1.3.0，開發工具為PyCharm。TwitterⅠ和TwitterⅡ數據集均在Tesla P100-PCIE GPU工作站上完成。提取圖像整體特征采用的網絡架構為CNN框架VGGNet-16，與Faster R-CNN模型生成卷積特征映射的網絡架構一致，這是為后續進行特征向量拼接做準備。輸入圖像尺寸為224×224，選擇MomentumOptimizer優化器對模型進行優化， Momentum表示動能優化，非變量，是代碼中的概念名稱 Momentum設為0.9，學習率設為0.001。模型采用Dropout策略，Dropout值設為0.5。選用交叉熵作為模型損失函數，并利用L2范式防止過擬合，訓練迭代次數共100個epochs。提取局部區域特征則利用Faster R-CNN模型，采用大規模檢測數據集PASCAL VOC 2007進行預訓練并初始化模型權重，接著利用ImageLab標注工具對情感圖像數據集中的人、車等5類對象進行目標檢測標簽標注，此時數據集既包含情感標簽也包含目標檢測標簽（包含對象的矩形框的中心點坐標和寬高）。利用該數據集對已訓練好的Faster R-CNN模型進行微調，從而獲得包含對象的局部區域。Faster R-CNN的初步特征提取網絡同樣選擇VGGNet-16，調整其候選框區域池化層，池化核采用3×3，2×2，1×1，以適應本文數據集。

3.3 對比方法

為驗證本文方法的有效性，將本文方法與特征工程方法和基于CNN框架提取圖像整體特征的方法進行對比，包括

SentiBank模型、DeepSentiBank模型以及ImageNet數據集微調的AlexNet和VGGNet-16模型。對比方法均在本文的兩個情感圖像數據集TwitterⅠ、TwitterⅡ上進行測試評估，輸入圖像尺寸均為224×224。此外，本文考慮忽略整體圖像的情況，僅采用局部對象區域特征提取網絡進行情感二分類實驗。具體說明如下：

SentiBank：通過組建形容詞名詞短語對（ANP）提取圖像中的視覺概念中層表示，該表示被視為圖像特征來學習情感預測分類器[12]。

DeepSentiBank：利用深度卷積神經網絡在大型數據集上訓練的視覺情感概念分類器，即SentiBank的改良版[14]。

ImageNet-AlexNet：利用遷移學習的思想，將AlexNet在ImageNet數據集上進行預訓練并在情感數據集上進行微調，用于視覺情感分析[23]。

ImageNet-VGGNet-16：與ImageNet-AlexNet模型思路相同，區別在于網絡換成了更深層的VGGNet-16[20]。

Local regions-Net：忽略圖像整體特征提取，利用Faster R-CNN直接捕捉圖像中的局部對象區域，然后通過全連接網絡學習局部對象區域的情感表示，將該表示作為圖像情感特征訓練情感分類器。

3.4 結果分析

表1是本文方法與對比方法在兩個真實數據集TwitterⅠ、TwitterⅡ上得到的分類準確率。由表1可知：本文方法在數據集TwitterⅠ和TwitterⅡ上的分類準確率分別達到了7581%和78.90%，而對比方法SentiBank模型在數據集TwitterⅠ和TwitterⅡ上的準確率僅為66.63%和65.93%;同時，本文方法在數據集TwitterⅠ、TwitterⅡ上的分類效果相比DeepSentibank模型分別提高了4.56個百分點和8.67個百分點。這表明本文方法在視覺情感分析中能夠學習更具區分性的表示。

如圖4所示，本文方法對來自TwitterⅡ數據集中的驗證樣例進行情感極性預測，通過檢測圖中突顯情感的物理對象來加強視覺情感分類的效果。圖4（a）通過檢測微笑的人臉，提取該區域特征然后結合圖像整體特征和局部對象區域特征以加強情感表示，最后預測圖像情感極性為積極，與圖像原始標簽一致，即正確樣例;圖4（b）檢測出圖中舉手示意的人，但忽略了圖中背景中燃燒的火焰，最后預測圖像情感為積極，即錯誤樣例。

此外，本文還對比了微調之后的深度神經網絡AlexNet和VGGNet-16架構，在相同的參數設置下，微調后的VGGNet-16在數據集TwitterⅠ、TwitterⅡ上準確率均提高了約10個百分點。實驗結果驗證了結合局部對象區域表示的有效性。

同樣還對比了僅考慮局部區域提取網絡，仍采用相同的參數設置，它們在數據集TwitterⅠ、TwitterⅡ上的情感分類準確率同樣低于本文方法，且同樣低于特征工程方法和基于CNN框架提取圖像整體特征的方法。

本文方法還與基于CNN框架提取圖像整體特征的方法進行了算法效率比較，如表1最后一列所示，該列表示本文方法與對比方法在TwitterⅠ數據集上進行迭代訓練時的收斂速度。可以看到，本文方法在進行80次迭代后即達到收斂，且準確率達到75.81%，而ImageNet-AlexNet模型和ImageNet-VGGNet-16模型分別需要進行150次和100次的迭代訓練才能達到收斂，且分類準確率要低于本文方法。這表明本文方法能夠更快速地學習具有判別性的情感表示，同時能獲得更好的分類效果。

最后，我們對利用情感圖像訓練目標檢測模型的遷移參數策略進行了收斂實驗分析，選擇目標檢測數據集PASCAL VOC 2007迭代70000次訓練后的Faster R-CNN模型參數作為模型初始化參數，然后利用情感圖像再次訓練Faster R-CNN，訓練得到的平均準確率為62.8%，而Faster R-CNN模型在PASCAL VOC 2007測試集上的平均準確率為68.5%。考慮到目標檢測圖像比情感圖像要多4倍左右，且目標檢測真實標簽更加精確，因此6個百分點左右的差距是可以接受的，同時也說明利用參數遷移策略是行之有效的。

4 結語

視覺情感分析正在獲得越來越多的關注，考慮到圖像的情感不僅僅來自于圖像整體，圖像中包含對象的局部區域同樣能誘發情感，本文提出了一個新穎的圖像整體與局部區域嵌入的方法以加強圖像情感表示并用于視覺情感分析。該方法首先利用Faster R-CNN模型檢測圖像中的對象，通過深層神經網絡學習圖像局部區域的情感表示，并將其與圖像整體特征進行融合，從而獲得更具有判別性的情感表示。在兩個真實數據集TwitterⅠ和TwitterⅡ上評估驗證了本文方法的有效性，且實驗結果表明本文提出的圖像整體與局部區域嵌入的視覺情感分析方法要優于僅從圖像整體和僅從局部區域學習情感表示的方法。

然而在本文研究中僅考慮利用圖像中包含對象的局部區域情感來加強視覺情感分析，并沒有考慮捕捉圖像中能誘發情感的其他區域。因此在未來的工作中將考慮通過弱監督學習等方法更精確地發現視覺圖像中的情感區域，設計更合理的特征提取網絡以進一步提高視覺情感分析的效果。

參考文獻 （References）

[1]? JIN X， GALLAGHER A， CAO L， et al. The wisdom of social multimedia： using flickr for prediction and forecast [C]// Proceedings of the 18th ACM International Conference on Multimedia. New York：ACM， 2010： 1235-1244.

[2]? YUAN J， MCDONOUGH S， YOU Q， et al. Sentribute： image sentiment analysis from a mid-level perspective [C]// Proceedings of the 2nd International Workshop on Issues of Sentiment Discovery and Opinion Mining. New York： ACM， 2013： Article No.10.

[3]? YANG J， SHE D， LAI Y， et al. Weakly supervised coupled networks for visual sentiment analysis [C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2018： 7584-7592.

[4]? WANG X， JIA J， HU P， et al. Understanding the emotional impact of images [C]// Proceedings of the 20th ACM International Conference on Multimedia. New York： ACM， 2012： 1369-1370.

[5]? CHENG Y， CHEN S. Image classification using color， texture and regions [J]. Image & Vision Computing， 2003， 21（9）： 759-776.

[6]IQBAL Q， AGGARWAL J K. Retrieval by classification of images containing large manmade objects using perceptual grouping [J]. Pattern Recognition， 2002， 35（7）： 1463-1479.

[7] ?KARPATHY A， TODERICI G， SHETTY S， et al. Large-scale ?video classification with convolutional neural networks [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 1725-1732.

[8]? CHEN M， ZHANG L， ALLEBACH J P. Learning deep features for image emotion classification [C]// Proceedings of the 2015 IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2015：4491-4495.

[9]? SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC：IEEE Computer Society， 2015： 1-9.

[10] YOU Q， LUOO J， JIN H， et al. Building a large scale dataset for image emotion recognition： the fine print and the benchmark [J]. arXiv E-print， 2018： arXiv：1605.02677.

Proceedings of the 13th AAAI Conference on Artificial Intelligence. Barcelona： AAAI Press， 2016： 308-314.沒查到這個信息

[11] 呂鵬霄.圖像情感分類研究[D].秦皇島：燕山大學，2014：1-15. （LYU P X. Research on image emotion categorization [D]. Qinhuangdao： Yanshan University， 2014：1-15.）

[12]? YANULEVSKAYA V， van GEMERT J C， ROTH K， et al. Emotional valence categorization using holistic image features [C]// Proceedings of the 2008 15th IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2008： 101-104.

[13]? BORTH D， JI R， CHEN T， et al. Large-scale visual sentiment ontology and detectors using adjective noun pairs [C]// Proceedings of the 21st ACM International Conference on Multimedia. New York：ACM， 2013： 223-232.

[14]? CHEN T， BORTH D， DARRELL T， et al. DeepSentiBank： visual sentiment concept classification with deep convolutional neural networks [J]. arXiv E-print， 2014： arXiv：1410.8586.

[EB/OL]. [2018-10-18]. https：//arxiv.org/pdf/1410.8586.pdf.

[15]? YOU Q， LUO J， JIN H， et al. Robust image sentiment analysis using progressively trained and domain transferred deep networks [C]// Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI， 2015： 381-388.

[16]? ?CAMPOS V， SALVADOR A， GIRO-I-NIETO X， et al. Diving? deep into sentiment： understanding fine-tuned CNNs for visual sentiment prediction [C]// Proceedings of the 1st International Workshop on Affect and Sentiment in Multimedia. New York： ACM， 2015： 57-62.

[17]? CAMPOS V， JOU B， GIRó-I-NIETO X. From pixels to sentiment： fine-tuning CNNs for visual sentiment prediction [J]. Image & Vision Computing， 2017， 65： 15-22.

[18] SUN M， YANG J， WANG K， et al. Discovering affective regions in deep convolutional neural networks for visual sentiment prediction [C]// Proceedings of the 2016 IEEE International Conference on Multimedia and Expo. Piscataway， NJ： IEEE， 2016：1-6.

[19] LI B， XIONG W， HU W， et al. Context-aware affective images classification based on bilayer sparse representation [C]// Proceedings of the 2012 ACM International Conference on Multimedia. New York： ACM， 2012： 721-724.

[20] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [J]. arXiv E-print， 2018： arXiv：1409.1556.?[EB/OL]. [2018-11-15]. https：//arxiv.org/abs/1409.1556.

[21]? REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks [C]// Proceedings of the 2015 International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015： 91-99.

[22]? HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37（9）：1904-1916.

[23]? KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. North Miami Beach， FL： Curran Associates Inc.， 2012： 1097-1105.