圖像感知引導CycleGAN 網絡的背景虛化方法

葉武劍，林振溢，劉怡俊，劉成民

（1. 廣東工業大學 集成電路學院，廣東 廣州 510006；2. 廣東工業大學 信息工程學院，廣東 廣州 510006）

1 引言

背景虛化技術也稱為淺景深技術［1］，是一種常用的攝影表現手法。在早期智能移動設備硬件條件較為落后的情況下，常常需要通過單反相機來獲得背景虛化圖像，但由于其操作性強、價格高昂，許多人難以獲得令人滿意的背景虛化圖像，因此人們依賴圖像后處理技術來滿足需求。現代智能移動設備的硬件和性能得到了顯著的提升和改善，例如光場相機通過一次曝光即可獲得當前場景的四維光場信息［2］，從而實現圖像的重聚焦，即可對不同主體進行背景虛化處理。盡管與傳統的單反相機相比，光場相機降低了用戶的操作難度，但由于在圖像的后處理過程中需要儲存具有不同光線信息的圖像，導致其處理效率不高。而對于諸如嵌入式小型移動設備、智能手機、平板電腦等，其前置單目攝像頭難以獲取多種圖像感知信息，導致這些設備無法實現有效的背景虛化處理。基于上述問題，圖像背景虛化技術具有較大的研究價值。

隨著科學技術的發展，光學計量學已成為制造業、基礎研究和工程應用中解決問題的有效手段之一。［3］自1981 年Potmesil 等人［4］發表第一篇有關景深效果繪制的研究論文以來，圖像背景虛化愈來愈引起了諸多研究學者的關注。在傳統的背景虛化方法中，Lee 等人［5］利用針孔成像的光學原理構建適合虛擬現實的背景虛化效果。Xie 等人［6］利用二次光線的相干性聚類方案，實現不同自由度的背景虛化。由于在背景虛化的過程中存在效率低下的問題，Xin 等人［7］通過透鏡的光學中心以及分布在鏡頭上的幾個外圍視點來繪制一組稀疏視圖，從而高性能地合成具有不同自由度的高質量背景虛化圖像。為了完成高質量畫面的渲染，通常需要用到高端的計算設備，因此對計算資源有較高的要求，運行效率也顯得不足。Li 等人［8］基于單目深度估計的方法，提出分層虛化技術，利用深度信息實現圖像分層，以實現有效的背景虛化。

近年來，隨著深度學習算法的不斷改進，利用卷積神經網絡（Convolutional Neural Networks，CNN）實現的背景虛化處理技術也在不斷提升。早期Shen 等人［9］在探索基于CNN 的背景虛化處理技術中，提出一種高性能的自動人像分割圖像方法，創新性地引入位置和形狀兩種輸入通道，以提升全卷積網絡（Fully Convolutional Network，FCN）的性能，從而將人像區域精確地摳取出來。Mok 等人［10］利用基于殘差網絡Resnet［11］的圖像分割技術和高斯模糊應用于單目移動設備上，從而實現實時背景虛化。遺憾的是，這些工作關注于人像照片，先用卷積神經網絡將人從圖像中分割出來，然后處理剩余的圖像背景，導致最終效果不夠豐富且缺乏場景應用性。

為了解決上述工作存在的弊端，Wadhwa 等人［12］提出一個可在手機上計算合成的背景虛化圖像處理系統，通過結合人像分割網絡和自動定焦技術，實現對人像的背景虛化處理，并將僅限于人物的場景擴展到寵物、食物等其他的場景中。此外，在對背景的景深處理中，該系統結合圖像的深度信息，以豐富生成的背景虛化效果。Purohit 等人［13］提出一種用于景深效果渲染的深度引導密集動態濾波網絡方法，由具有金字塔池化模塊的高效密連編解碼骨干結構組成，在空間感知模糊過程中，利用了聯合強度估計和動態濾波合成的特定任務效能。在2020 年的Advanced Intelligent Mechatronics 挑戰賽中，Ignatov等人［14］提出直接從高端單反相機的照片中學習一種真實的背景虛化方法，能夠在多目標的情況下呈現出自然真實的背景虛化效果。這部分工作不再只關注人像，在擴展應用場景多樣性的同時，也增強了深度方面的感知。在非人臉方面的相關工作也在不斷發展。Dutta 等人［15］采用堆疊深層多尺度分層網絡，提高了背景虛化感知質量。Liu 等人［16］利用圖片感知信息分割得到的輔助圖，實現不同區域的深度計算，以完成自動背景虛化。Zheng 等人［17］設計了一個用于單圖像景深渲染的多尺度預測濾波網絡，引入了約束預測濾波器來保持顯著區域，得到了視覺效果更佳的背景虛化圖像。Jeong 等人［18］使用光柵化對強高光進行密集采樣，而使用常規散焦模糊渲染對規則對象進行稀疏采樣，兼顧了動態可見性和精確性。Luo 等人［19］提出了一個散焦到聚焦（D2F）框架，通過將散焦先驗和全聚焦圖像融合并在分層融合中實現輻射先驗，學習真實的物體渲染。

對于基于生成對抗網絡的背景虛化方法，其處理過程頗為簡便，在場景應用上也不會受到任何約束。Isola 等人［20］提供了通用的框架以完成圖像到圖像間的轉換，無需特定的算法和損失函數，通過U-Net 網絡將圖像的特征進行細化提取，使生成的圖像質量更高。通常情況下，在缺乏相互匹配數據集組的情況下，是無法對GAN 網絡進行訓練的，因此Zhu 等人［21］通過引入循環一致性損失，完成非匹配的圖像轉換任務，包括背景虛化、季節轉換、風格遷移、光增強調節等多個任務。Qian 等人［22］利用級聯式雙U 型網絡結構并結合基于GAN 網絡和感知損失的方法，以逼近真實的景深渲染效果。Pizzati 等人［23］引入了一個新的功能實例歸一化層和殘差機制，采用模型引導的方式，將圖像轉換連續化，得到在視覺上獨特的背景虛化圖像。

一些未應用于背景虛化但專注圖像處理的工作也值得關注。Wang 等人［24］提出了一種基于雙焦點透鏡陣列的深度增強積分成像顯示器，能夠生成兩個中心深度平面并在深度上縫合兩個重建3D 圖像，極大地提高了景深。Xie 等人［25］設計了能在整個深度范圍內平衡顯示質量的光學衍射元件并構建了預濾波卷積神經網絡，在不嚴重降低圖像清晰度的情況下有效擴展深度范圍。Situ［26］詳細討論了全息影像技術的先進成果及其與神經網絡的有機結合。Luo 等人［27］提出了一種無需計算機、各向異性的圖像重建方法，可以以光速穿透隨機漫射器。

雖然基于生成對抗網絡的圖像間轉換方法已經在端到端的網絡優化上表現相當出色，但仍有一定的不足：當景深中的物體顏色與周圍背景顏色相似時，該網絡無法很好地工作，出現這種現象的原因可能在于模型沒有獲得足夠的感知信息，導致在主體的識別定焦上容易出錯。

針對上述工作存在的問題，本文提出了一種圖像感知引導CycleGAN 網絡（Cycle-Consistent Generative Adversarial Network）的背景虛化方法。本文創新性地將注意力信息和景深信息引入CycleGAN 網絡，能夠更好地區分前后景并減少圖像失真。實驗結果表明，本文方法能實現更好的背景虛化效果，相比現有的SOTA 方法，本文方法更具優越性。

2 基本原理

2.1 系統框架

為減少制作樣本數據帶來的困難，本文選用循環一致性生成對抗網絡（CycleGAN）作為基礎框架，使得在無配對數據集的情況下，也可以完成不同圖像域之間的轉換。受文獻［28］的啟發，結合圖像感知設計了一個性能更優的CycleGAN網絡。其中，圖像感知包括注意力模塊［29］與景深模塊［30］，注意力模塊包括CBAM（Convolutional Block Attention Module）注意力機制和CAM（Channel Attention Module）注意力機制。前者引導生成器更好地關注圖像需要凸顯的區域，后者引導鑒別器關注兩組圖像間特征差異最大的區域，以區分前后景區域。景深模塊用于增強整體網絡的性能，使圖像前景目標的感知信息得以增加，以提升生成的背景虛化效果。

圖1 是本文提出方法的系統框架圖。為了實現不同圖像景深域之間的轉換，本網絡基于GAN 網絡的原理設置兩組完全對稱的生成器和鑒別器，第一組由CBAM 注意力引導的生成器G將X域的圖像（深景深x）轉換成Y域的圖像（淺景深G（x）），而由CAM 注意力引導的鑒別器DY則將生成器生成Y域的圖像（淺景深G（x））與真實Y域的圖像（淺景深y）區分開。同樣地，第二組由CBAM 注意力引導的生成器F將Y域的圖像（淺景深y）轉換成X域的圖像（深景深F（y）），而由CAM 注意力引導的鑒別器則負責將生成X域的圖像（深景深F（y））與真實X域的圖像（深景深x）區分開。

圖1 整體網絡結構圖Fig.1 Structure diagram of overall network

為了使不同圖像景深域間的轉換變得有意義并提升生成效果質量，本網絡遵循CycleGAN的原理，引入兩個循環一致性損失，分別為圖像循環一致性損失和景深循環一致性損失。前者防止網絡出現X域（Y域）中的多張圖像只與Y域（X域）的同一張圖像形成多對一的映射關系；為了凸顯前景目標，后者通過增強原有圖像前景目標的感知信息，以加強生成圖像效果的真實感。其中，循環一致性為：原圖x（X域）經生成器G轉換為圖像G（x）（Y域），再經生成器F復原為圖像F（G（x））（X域），該過程中同屬于X域的原圖x和圖像F（G（x））應保持一致。

2.2 生成器網絡結構

本文設計的生成器網絡結構如圖2 所示，主要分為3 個模塊：（1）特征編碼模塊，由3 個負責特征初步提取的下采樣層組成；（2）特征轉換模塊，由9 個負責提取深層次特征信息的殘差塊拼接而成；（3）特征解碼模塊，由3 個與下采樣層對應的上采樣層組成。

圖2 生成器網絡結構圖Fig.2 Network structure diagram of generator

2.2.1 特征編碼模塊

特征編碼模塊通過融入CBAM 模塊以達到更好的特征提取效果。CBAM 是一個輕量級通用模塊，如圖3 所示，其包括通道注意力模塊及空間注意力模塊兩部分，從通道和空間兩個維度推理注意力圖，并將注意力圖乘以輸入特征圖以進行自適應特征細化，可提高CNN 的表征能力。

圖3 CBAM 結構圖Fig.3 Structure diagram of CBAM

生成器的工作過程為：首先，輸入的深景深圖進入特征編碼模塊進行初步的特征提取。如圖4 所示，該模塊中將卷積、CBAM 模塊、實例歸一化、ReLU 激活函數依次組合，作為下采樣層的結構。為了更好地提取圖像特征，在第一個下采樣層進行卷積操作前，沒有選擇傳統的0 填充方式，而是采用鏡像對稱填充的方式對特征圖進行處理。接著在卷積提取完特征后，利用CBAM模塊從通道和空間兩個維度對特征進一步提取，使網絡從最開始就關注到圖像中較為顯著的區域；而實例歸一化僅從通道維度對特征做歸一化操作，可以加速訓練時模型的收斂進程。最后經過ReLU 激活函數對數據進行激活，從而過濾上一層輸出特征矩陣中的負值，以減少網絡的運算量并提高網絡的表達能力。

圖4 特征編碼模塊結構圖Fig.4 Structure diagram of feature coding module

在上述特征編碼模塊中，每個下采樣層對應的具體結構及參數如圖4 所示，其中k表示卷積核大小，s表示步長，p表示填充尺寸，i表示輸入通道數，o表示輸出通道數，若結構層的某個參數為空則不標注（下面采取同樣的標注方式）。

2.2.2 特征轉換模塊

經過特征編碼模塊的初步特征提取后，為進一步提取更深層次的特征，必須加深網絡的深度。但隨著網絡的加深，容易造成諸多不可逆的信息損失，即網絡擁有的恒等映射能力變差。為了在網絡不出現退化的情況下提取深層次的特征，本文在生成器的特征轉換模塊中利用He 等人［11］所提出的殘差塊進行組合設計。該模塊由9 個結構及參數完全一致的殘差塊拼接而成以提高生成器網絡的深度，同時可以保證網絡的恒等映射能力。其中每個殘差塊由兩個“卷積-實例歸一化-ReLU 激活函數”組合塊組成，其結構及參數如圖5 所示。

圖5 特征轉換模塊的殘差結構塊結構圖Fig.5 Structure diagram of residual block in feature conversion module

2.2.3 特征解碼模塊

為了恢復特征的原有尺寸并輸出高分辨率的效果圖，在特征轉換模塊后進行特征解碼操作。特征解碼模塊與特征編碼模塊相互對應，通過設置3 個上采樣層實現生成器網絡的對稱性。特征解碼模塊的結構及參數如圖6 所示。

圖6 特征解碼模塊的結構圖Fig.6 Structure diagram of feature decoding module

2.3 鑒別器網絡結構

對于鑒別器，本文借鑒U-GAT-IT 鑒別器［28］的結構，但與U-GAT-IT 不同的是：本文沒有采用“全局+局部”的雙分支模式，而是在全局鑒別器中僅引入CAM 注意力機制進行輔助鑒別，使網絡基于CAM 輔助模塊輸出的輔助判別權值矩陣對全局特征進行判別，判別權值越大的區域越可能被判別為重點前景區域，從而實現前后景的區分，并解決了由于局部鑒別器導致模型量變大的問題。其網絡結構包括參數共享模塊、CAM 輔助模塊、判別矩陣模塊3 部分，如圖7所示。

圖7 鑒別器網絡結構圖Fig.7 Network structure diagram of discriminator

2.3.1 參數共享模塊

參數共享模塊由4個下采樣層組成，每個下采樣層由卷積、實例歸一化、LeakyReLU 激活函數依次組成，通過下采樣對特征逐次提取，并將提取的特征供CAM 輔助模塊使用，可實現網絡的參數共享。由于GAN 網絡的原理是通過生成器與鑒別器之間的動態博弈，兩者的性能更迭提升，因此鑒別器的性能也將影響到生成器的性能。而通過將常用的ReLU 激活函數替換成LeakyReLU激活函數可解決部分“神經元死亡”的問題，從而提升鑒別器網絡的性能，但同時也導致網絡運算量變大。由于本文設計的鑒別器沒有采用“全局+局部”的模式，在模型參數量上具有一定的優勢，因此下采樣層選用LeakyReLU 激活函數對神經元進行激活操作也不會增加過多的計算量。參數共享模塊的結構及參數如圖8 所示。

圖8 參數共享模塊結構圖Fig.8 Structure diagram of shared parameter module

2.3.2 CAM 輔助模塊

CAM 輔助模塊借鑒CBAM 注意力機制中的通道注意力，該模塊有GAP 和GMP 兩個分支：GAP 分支由自適應平均池化層、全連接層、實例歸一化組成；GMP 則將GAP 中的自適應平均池化層替換為自適應最大池化層。其中，GMP幫助鑒別器網絡找到圖像的重點區域，GAP 則更精確地將區域定位在一定范圍內。該模塊通過將參數共享模塊提取的特征分別送入GAP 和GMP 兩個分支，從空間維度對特征圖進行壓縮。經過逐元素求和操作，得到兩個不同的輔助判別權值矩陣。接著將兩個矩陣進行拼接并輸出，送入后續的下采樣層進行特征提取，使鑒別器關注到權值更大的重點前景區域，從而有效分辨整體圖像的前后景。CAM 輔助模塊的結構及參數如圖9 所示。

圖9 CAM 輔助模塊結構圖Fig.9 Structure diagram of CAM auxiliary module

2.3.3 判別矩陣模塊

判別矩陣模塊由兩個下采樣層組成，其中第一個下采樣層結合了卷積和LeakyReLU 激活函數，第二個下采樣層則在卷積和LeakyReLU 激活函數之間加入了實例歸一化，目的是進一步對特征進行提取，并擴大最終輸出特征的感受野。

所謂的感受野也就是特征圖上的每一個像素點能在輸入圖像上映射的范圍，如圖10 所示。假設原圖為7×7 的矩陣，經過3×3 的卷積核以0填充和步長為1 的逐次卷積處理之后，其感受野逐次遞增。

圖10 感受野示意圖Fig.10 Diagram of receptive field

該模塊通過將輔助判別權值矩陣與參數共享模塊提取的特征矩陣進行加權計算，接著進行兩次下采樣操作得到深層特征圖，使最終鑒別器網絡判斷重點前景區域的能力得到加強，進而間接令生成器生成圖像的質量得到提升。判別矩陣模塊的結構及參數如圖11 所示。

圖11 判別矩陣模塊結構圖Fig.11 Structure diagram of discrimination

2.4 圖像轉換網絡損失及優化目標

本文所提出的圖像轉換網絡的損失分為兩類：生成對抗損失及循環一致性損失。其中生成對抗損失包括X域→Y域（Y域→X域）的全局鑒別器生成對抗損失和Y域→X域（X域→Y域）的輔助鑒別器生成對抗損失，而循環一致性損失包括圖像循環一致性損失和景深循環一致性損失。通過優化這6 個損失可使網絡模型得到最優的轉換映射路徑。

2.4.1 生成對抗損失

為了使網絡模型從不同圖像景深域中獲取不同的樣本分布，需要生成對抗損失對該網絡進行約束。由圖7 可知，由于鑒別器最終輸出的判別矩陣有全局判別矩陣和輔助判別矩陣，因此兩者構成的生成對抗損失分別如下：

（1）全局判別矩陣構成的全局鑒別器生成對抗損失有兩部分：X域→Y域的前向映射損失和Y域→X域的反向映射損失，計算公式見式（1）和式（2）：

其中：Pdata(x)和Pdata(y)分別表示和的樣本分布，x～Pdata(x)和y～Pdata(y)表示隨機從和中取出的樣本數據，E表示數學期望。

該網絡的性能是通過生成器和鑒別器之間的博弈得到提升的，其中鑒別器DX(DY）應盡可能地將X域（Y域）的真實圖像與生成器F(G）生成的虛假圖像區分開，即DY(G(x))和DX(F(y))的值要趨于0，DY(y)和DX(x)的值要趨于1，也就是LGAN(G，DY，X，Y) 和LGAN(F，DX，X，Y) 越大越好；而生成器則應盡可能地生成與X域（Y域）樣本分布相近的虛假圖像，從而使鑒別器無法辨別真假，LGAN(G，DY，X，Y)和LGAN(F，DX，X，Y)越小越好。

（2）輔助判別矩陣構成的輔助鑒別器生成對抗損失的計算公式見式（3）和式（4），因與全局鑒別器生成對抗損失的原理相同，故不再贅述。

2.4.2 循環一致性損失

循環一致性損失的提出是為了避免網絡在訓練過程中出現X域（Y域）中的多張圖像只與Y域（X域）的同一張圖像形成多對一映射關系的情況，導致不同圖像景深域間的轉換失去實質性意義的問題，同時可提升生成效果質量。本文借鑒CycleGAN 的思想，引入圖像循環一致性損失和景深循環一致性損失以解決上述問題。

（1）圖像循環一致性損失主要針對圖像景深轉換過程中的映射關系問題，其計算方式見

式（5）。其中‖F(G(x))-x‖1表示在X域中，輸入的真實圖像x經由生成器G和生成器F兩次圖像轉換后，得到X域的虛假圖像F(G(x))與輸入的真實圖像x進行L1 范數求解得到的值，即虛假圖像與真實圖像之間的差異性。同理，‖G(F(y))-y‖1表示Y域中虛假圖像與真實圖像的差異性。

（2）景深循環一致性損失主要用于提升生成圖像的質量，通過增強原有圖像前景目標的感知信息以加強生成圖像效果的真實感，其原理與圖像循環一致性損失相似，計算公式見式（6）：

2.4.3 優化目標

將各損失進行加權之后，可得到本文所提出網絡的總損失，其表達式見式（7）。其中，φ=10，ω=1。

由于在不同圖像景深域之間的轉換過程中需通過生成器與鑒別器之間的動態博弈來學習兩個域之間的樣本分布，因此本文希望全局鑒別器DX、DY和輔助鑒別器μDX、μDY對真假圖像的分辨能力得以最大化，而生成器則應生成更加逼真的虛假圖像，使鑒別器的分辨能力得以最小化，即最小化虛假樣本分布與真實樣本分布之間的JS 散度。同時，為避免轉換過程中丟失過多的景深信息導致生成圖像效果質量降低，也需將循環一致性損失最小化。因此，本文的整體目標損失可優化為式（8）：

3 實驗結果與分析

3.1 實驗平臺與基準數據集

由于本文提出的圖像轉換網絡在訓練過程中涉及大量的矩陣運算且需要對網絡參數進行迭代更新，因此本文實驗使用型號為NVIDIA Tesla V100、顯存為32G 的GPU 對網絡進行迭代訓練以提高訓練效率。為進一步加速網絡計算效率，本文在CentOS 7 的操作系統上選擇Pytorch 1.7.1 作為網絡的計算框架，并結合Pytorch 內置的自動混合精度對網絡的計算效率進行提升。

與現有的大多數背景虛化處理研究工作一樣，本文選用2020 年的Advanced Intelligent Mechatronics 挑戰賽中采用的Everything is Better with Bokeh （EBB）數據集［14］對本文提出的背景虛化處理網絡進行訓練。該數據集由佳能7D 數碼單反相機在不同光線、不同場景、不同天氣條件下進行拍攝得到，其包含4 694 組用于模型訓練的圖像對（深景深?淺景深），深景深圖像由窄光圈（f/16）拍攝得到，淺景深圖像則用最高光圈（f/1.8）進行拍攝。此外還包含200 張用于評估模型的圖像及200 張用于測試最終模型的圖像（深景深）。在訓練過程中，我們將數據集中的圖像對隨機打亂，使之成為非配對的圖像集，并裁剪為256×256 的尺寸作為網絡的輸入，同時在訓練過程中將學習率設置為0.000 2。

3.2 消融實驗

為證明本文所設計的網絡框架能夠有效提升背景虛化處理的質量，本文進行了消融實驗。其實驗對比如圖12 所示，其中：

圖12 消融實驗對比實驗圖Fig.12 Comparative experimental diagram of ablation experiment

①Cycle 表示原生CycleGAN 網絡得到的背景虛化圖像；

②Cycle+CAM 表示在原生CycleGAN 網絡的基礎上，將CAM 注意力機制引入到鑒別器中；

③Cycle+CAM+CBAM 表示在原生Cycle-GAN 網絡的基礎上，將CAM 注意力機制引入到鑒別器中以及將CBAM 注意力機制引入到生成器中；

④Cycle+CAM+CBAM+Depth 表示在③的基礎上，引入前向景深循環一致性損失。

圖12 中有4 組效果對比圖，每組對比圖中的每張圖像有2 個細節區域，區域1 用于展示前景目標區域、區域2 用于展示背景區域的效果及狀態。對于前景目標區域，從A 組和B 組對比圖的細節區域1 中可以清晰地看到，在前景目標顏色較為艷麗的情況下，方法①和方法②會極大地改變前景目標的顏色，方法③對顏色影響較小，而方法④則基本不會對顏色產生影響。從C 組和D 組對比圖中的細節區域1 中可以看到，4 種方法在清晰度上均不會導致前景目標發生失真。對于背景區域，從A、B 組對比圖的細節區域2 可以看到，背景虛化效果的程度為：①＜②＜③≈④；在C、D 組對比圖的細節區域2 中可以看到，背景虛化效果的程度為：①＜②＜③＜④，程度越高，則越能凸顯圖像的主體，即前景目標越顯眼。

3.3 圖像感知信息對比實驗

為驗證本文所提的圖像轉換網絡在背景虛化處理的過程中，模型能增強原有圖像前景目標的感知信息，使生成圖像效果的真實感得到進一步提升，本實驗從可視化圖像的注意力信息、景深信息以及邊緣信息3 個維度對生成圖像進行測試評估。其中注意力信息、景深信息、邊緣信息分別由注意力可視化算法［31］、單目視覺景深估計算法［30］、邊緣檢測算法［32］得到，實驗對比如圖13 所示。

圖13 感知信息對比實驗圖Fig.13 Experimental diagram of perceptual information comparison

圖13 展示了2 組實驗對比，其中每組的第一行為使用不同方法得到的背景虛化圖像；第二、三、四行為背景虛化圖像的感知信息圖像，分別為表示景深信息的景深圖像、表示注意力信息的顯著圖像、表示圖像主體輪廓信息的邊緣信息圖像。從A、B 兩組實驗的第二行景深圖像可以看到，方法③和方法④能弱化背景區域的景深信息并增強前景目標的景深信息，從而凸顯前景目標，使處理后的背景虛化效果更加顯著；同樣地，從兩組實驗中的第三行顯著圖像中可以看到，方法③和方法④能更好地注意到圖像主體，有利于在圖像轉換過程中區分前后景；而對于第四行的邊緣信息圖像，方法③和方法④仍然優于其他方法。

由于上述的定性分析無法對比方法③、④的性能高低，為了進一步對比方法③和方法④的性能，本實驗選用結構相似性SSIM 指標進行定量比較。

結合圖13 和圖14，一方面，由于背景虛化處理過程中弱化了占比較大的背景區域的感知信息，虛化后圖像背景部分的景深信息更少，即虛化圖像呈現出了較好的效果，因此，虛化后的感知信息圖與原始感知信息圖差異較大，導致所有方法的平均SSIM 較低；另一方面，本文方法也同時強化了前景目標區域的感知信息，虛化圖像對于前景目標的關注更多，使前景區域在結構上也與原圖保持了更多的相似性。所以，與其他方法相比，本文方法④的SSIM 較高，呈現出的虛化效果更富有層次感。

圖14 平均SSIM 對比數據Fig.14 Average SSIM comparison data

3.4 與現有工作的對比

3.4.1 圖像轉換方法對比

為了展示本文所提出方法的優勢，本實驗與當前在圖像轉換領域表現出色的方法進行了比較，其中包括AGGAN［33］、Dual-SAG-CycleGAN［34］、Pix2Pix［20］等生成對抗式網絡。各方法的效果圖如圖15 所示。

圖15 不同方法效果對比圖。（a）老婦；（b）禁止左轉標志；（c）滑板車；（d）樹。Fig.15 Effect comparison diagram of different method. （a） Old woman；（b） No left turn sign；（c） Scooter；（d） Tree.

從圖15 中細節區域1、2 可以看到，AGGAN方法在部分圖像中難以分辨前后景，從而導致前景目標也進行了模糊處理，并在生成的背景虛化圖像中存在失真現象；Dual-SAG-CycleGAN 方法同樣存在難以分辨前后景和圖像失真的現象，并且在背景區域的虛化效果不夠明顯，難以凸顯前景目標；對于Pix2Pix 方法，雖然生成的圖像不會失真，但是與前兩者一樣存在難以分辨前后景的現象，如從圖15（a）、（d）圖像可以看出，前后景都進行了背景虛化處理；而從圖15（b）、（c）圖像可以看出，在前景目標是清晰狀態的同時，背景區域模糊程度較低。對于本文所提出的方法，其分辨前后景的能力與背景虛化處理效果的質量都是最優的，并且圖像不會產生失真的現象。

為了進一步驗證前述的實驗結果分析的合理性，本實驗欲采用定量數據進行分析。由于現有大部分工作主要是基于主觀評價指標對背景虛化效果進行評價分析［1，21］，因此本實驗以調查問卷的形式，讓多名調查對象比較現有SOTA 方法與本文所提方法的視覺效果差異，并在1～10 分的區間內進行評分。此次共有49 名對象參與實驗，其中碩士研究生35 名，本科生14 名，男女比例約為2∶1，參與者以主觀的審美意識評判圖像的背景虛化效果，給的分值越高表示效果越好，然后將參與者的評分結果進行匯總統計，獲得每個方法的意見平均分，其統計數據如圖16 所示。從圖16 可以看到，本文所提方法獲得的平均意見分是最高的，說明上述針對實驗結果的分析較為合理。

圖16 調查問卷數據Fig.16 Questionnaire data

此外，本實驗通過對比不同方法的模型大小和背景虛化圖像（分辨率為256×256）生成的時間，驗證了本文所設計的圖像轉換網絡在模型量和生成效率上的優勢。其中Dual-SAG-CycleGAN、Pix2Pix 以及本文方法包括生成器模型和鑒別器模型2 部分，AGGAN 則包括注意力模型、生成器模型、鑒別器模型3 部分。各方法模型大小數據如表1 所示。從表1 可以看出，本文方法在模型量上優于其他方法。

表1 各方法模型大小與圖像生成時間Tab.1 Model size and image generation time of each method

3.4.2 背景虛化方法對比

為了進一步驗證本文所提方法的有效性，本文選取專注于背景虛化工作的BGGAN［22］以及Stack_DMSHN［15］作為比較對象，各方法在同一副圖片上的背景虛化效果如圖17 所示。

圖17 不同背景虛化方法效果對比圖。A：柵欄；B：池塘。Fig.17 Effect comparison diagram of different method for background defocus. A： Fence；B： Pond.

從圖17 A 組可以看出，3 種方法對于中心物體的聚焦能力比較接近，但本文方法所生成的前景色澤及紋理最接近原圖，且從細節區域1 可以看出，BGGAN、Stack_DMSHN 所生成圖像會造成部分前景失真；從細節區域2 可以看出，本文方法虛化程度也更高。從B 組細節區域2 可以看出，相比其他兩種方法，本文方法對微小前景的聚焦程度更高，即區分前后景的能力更強。

為進一步比較3 種方法的有效虛化程度，同樣引入注意力可視化算法分別展示各方法在背景虛化方面的性能。從A 組的注意力可視化圖可以看出，本文方法最大程度地保持了對于前景目標的聚焦，有利于實現更有效的背景虛化。在B 組的對比中，BGGAN、Stack_DMSHN 兩種方法無法注意到微小的前景目標，即凸顯微小前景目標的能力不強，因此虛化效果不佳。通過注意力可視化圖的對比可知，本文方法對于前景目標的感知更加突出，即區分前后景的能力更強。

4 結論

現有生成對抗網絡在背景虛化處理過程中，往往是無差別地提取整張輸入圖像的特征，因此生成器在生成圖像時也容易丟失圖像原有的細節特征，導致圖像失真。為了解決這些問題并減少制作樣本數據帶來的困難，本文選用CycleGAN作為基礎網絡框架，通過引入景深循環一致性損失對網絡框架進行重新設計，同時結合CBAM注意力模塊和CAM 注意力模塊分別對生成器和鑒別器的結構進行改進，使其在背景虛化處理過程中能著重關注于前景目標，并在增強前景目標區域的感知信息的同時，提升網絡區分前后景的能力和生成圖像效果的質量。同其他方法相比，本文方法的背景虛化效果更佳且失真度更低，模型大小為56.10 MB，圖像生成時間為47 ms，相比現有模型也具有更大優勢。