基于雙專用注意力機制引導的循環生成對抗網絡

勞俊明，葉武劍，劉怡俊，袁凱奕

（1. 廣東工業大學 信息工程學院，廣東 廣州 510006;2. 廣東工業大學 集成電路學院，廣東 廣州 510006）

1 引 言

圖像到圖像的轉換任務一直以來都是人們的研究熱點，其目標是建立圖像源領域到目標領域的映射，被廣泛應用于圖像超分辨率重建［1］、風格遷移［2］、圖像著色［3］、圖像去霧［4］等多個領域。

2014 年，基于博弈思維的生成對抗網絡［5］開辟了一個新的研究領域，大為促進了圖像轉換領域的發展。此后，誕生了一系列優秀的圖像轉換算法，例如Pix2pix［6］、DualGAN［7］、DiscoGAN［8］、UNIT［9］、MUNIT［10］、DRIT［11］、CycleGAN［12］等算法。其中，Pix2pix 算法屬于有監督的圖像轉換算法，該算法需要匹配的圖像組才能完成圖像轉換的任務，然而，匹配的數據集制作難度較大、成本較高。為了實現無配對圖像之間的轉換，Dual?GAN、DiscoGAN 以及CycleGAN 等網絡模型引入了循環一致性約束。實驗結果表明，上述模型在無匹配的圖像轉換任務取得了較好的效果。盡管CycleGAN 等算法在無匹配的圖像轉換任務表現優越，但是，由于生成器既需要維持圖像背景區域不變，又要對目標前景進行轉換，從而導致生成器對目標圖像轉換的效率低下。

近年來，注意力機制在深度學習中的應用引起了研究人員的高度重視，為解決CycleGAN 網絡等算法存在的問題，研究人員相繼提出了基于注意力機制的無匹配圖像轉換算法UAIT［13］、Attention-GAN［14］、SAT［15］等，但上述算法將獨立的通用注意力結構加到生成器網絡中，使得模型的整體結構變得非常龐大，導致其訓練時間變長，而且也難以關注到圖中關鍵區域的所有細節。AttentionGAN［16］提出了專用注意力機制與生成器共享編碼器的結構，雖然能夠縮小整體的網絡結構大小，但是，由于鑒別器沒有注意力機制引導，從而引入背景元素的干擾，影響了生成圖像的質量。U-GAT-IT［17］提出了基于類激活CAM［18］注意力機制引導的生成器和鑒別器，雖然提升了成像質量，但整體網絡的判別器需要從2 個增加至4 個，不僅大幅增加了模型的復雜度，并且其提出的基于CAM 注意力機制引導的生成器不夠優越，仍然會對整體圖像進行修改，圖像轉換效率不高，圖像生成質量仍然有提升的空間。

2 基本原理

為解決上述存在的問題，本文提出了一種新的用于無匹配圖像轉換任務的循環生成對抗網絡（Dual-SAG-CycleGAN），采用不同的專用注意力模塊分別引導生成器和判別器，達到提升生成圖像質量同時降低模型復雜度的目的。

本文的貢獻具體如下：（1）提出了一種名為SAG 的改進專用注意力模塊來引導生成器工作，其中，生成器結構由內容圖生成子模塊與注意力掩碼圖生成子模塊組成，兩者高度共享參數權重。（2）為減少生成器對無關內容的生成以及削弱判別器對背景元素的判斷，本文引入了基于CAM 注意力模塊引導的鑒別器。（3）為了生成更加精準的掩碼圖來輔助圖像轉換，本文提出了背景掩碼循環一致性損失函數約束掩碼生成器的工作。圖1 所示為本文所提出的模型以及現有對比模型在馬轉斑馬任務上的生成效果圖。

圖1 不同模型在馬轉斑馬任務上的表現。（a）原圖；（b）CycleGAN；（c）UNIT；（d）MUNIT；（e）DRIT；（f）本文模型。Fig. 1 Performance of different models on the horse to zebra task.（a）Origin image；（b）CycleGAN；（c）UNIT；（d）MUNIT；（e）DRIT；（f）Ours.

2.1 整體框架

圖2 是本文所提出的基于雙專用注意力機制引導的循環生成對抗網絡的示意圖。本文在Cy?cleGAN 整體網絡框架的基礎上分別對生成器和判別器采用不同的注意力機制進行引導，其中，生成器采用本文提出的SAG 專用注意力機制進行引導，鑒別器使用了基于CAM 技術的專用注意力機制進行引導，兩者構成緊密的整體。SAG專用注意力機制引導生成器修改圖像的目標前景，而CAM 專用注意力機制則引導鑒別器關注兩組圖像之間差異最大的部分。

圖2 網絡示意圖Fig. 2 Network diagram

圖3 為本文的整體框架圖。在圖像與圖像轉換的任務中，通常有兩組不同的圖像領域，其目標是得到域與域之間的映射。為了達成該目標，網絡中需要兩組對稱的生成器與鑒別器，如圖3所示，一組生成器G的功能是將X域（馬）圖像生成至Y域（斑馬）圖像，該組的鑒別器DY則將生成器生成的G(Y) 域（斑馬）與真實的Y域（斑馬）區分開來。同樣，第二組生成器F的功能是將Y域（斑馬）圖像生成至X域（馬）圖像，該組的鑒別器DX則將生成器生成的F(X) 域（馬）與真實的X域（馬）區分開來。

圖3 整體框架示意圖Fig.3 Overall framework

為了防止網絡在轉換過程中，出現將X域（Y域）所有圖像都映射到Y域（X域）中同一張圖片的情況，本文與CycleGAN 一樣，引入了兩個循環一致性損失。所謂循環一致性損失就是X域的圖像經過生成器G轉換至Y域后，仍然可以通過生成器F恢復至原來的X域中，并且經過恢復的圖像與原圖之間差異不能過大，即前向映射x→G(x)→F(G(x))≈x。同樣，反向映射y→F(y)→G(F(y))≈y亦是如此，本文遵循了CycleGAN 的整體基本原理。

由于在前向或反向循環映射過程中，需要修改各自的目標前景相同，即各自的背景掩碼一致，故本文引入循環一致性損失函數約束掩碼生成器的工作，使其生成更加精準的掩碼圖來輔助圖像轉換。通過兩組對稱的生成器與鑒別器動態博弈，最終得到相對理想的X域與Y域之間的映射。

2.2 基于SAG 專用注意力引導的生成器

圖4 基于專用注意力機制引導的生成器G 結構Fig.4 Structure of generator G based on special attention mechanism-guide

與其他基于注意力機制引導的模型相比，本文設計的基于專用注意力引導的生成器高度共享模型參數的結構，模型計算復雜度更低，而且由于我們的內容生成子模塊卷積輸出27 維圖像矩陣，相較于其他模型直接輸出3 維圖像矩陣來說，可計算的映射路徑更多。對于復雜場景下的圖像，由于注意力機制的引入，使得網絡只需要專注于生成前景目標，所以映射更加簡單，網絡更容易收斂，其生成圖像細節更好。

2.3 基于CAM 專用注意力引導的鑒別器

為了防止判別器對生成圖像的背景元素進行判斷，減少生成器對無關或者虛假內容的生成，本文采用了U-GAT-IT 中的鑒別器結構，如圖5 所示，其利用了輔助鑒別器基于類激活圖CAM 的原理對前景目標進行權重加權，影響最終鑒別器的輸出，其中，卷積函數Conv 后的參數分別為特征輸出通道數、卷積核大小、步長、四邊填充行數。

圖5 基于專用注意力機制引導的鑒別器結構Fig.5 Structure of discriminator based on special attention mechanism-guide

鑒別器的整體由輔助鑒別器以及最終鑒別器組成，兩者同樣高度共享權重參數。其中，輔助鑒別器的構成與傳統的判別器一致，經過多層卷積提取特征后，通過池化層計算后，再通過全連接層后輸出大小為1×1×1 的判別結果矩陣，將兩個1×1×1 的判別結果矩陣拼接在一起，形成2×1×1 大小的輔助鑒別判斷矩陣輸出，從全局的方式去判斷圖像的真偽，維持生成目標的整體形狀。而最終鑒別器的構成則與Cy?cleGAN 的判別器相似，從局部的方式去判斷圖像中每一小塊的真偽，其最終輸出大小為30×30 的判斷結果矩陣，能夠保持生成目標紋理的高細節、高分辨率。

最終鑒別器通過輔助鑒別器的卷積層、池化層以及全連接層計算后，從全局的方式利用CAM 的原理來得出對目標前景加權的矩陣，再與相應的特征矩陣相乘后得到注意力特征矩陣，進而輸入到最終判別器進行進一步的特征提取，使得最終判別器進一步收斂至判斷前景目標而不是背景元素。

由圖5 可知，本文采用的基于注意力機制引導的鑒別器結構具有兩組輸出，其中，ηDX或ηDY為輔助鑒別器輸出，它能夠從全局的形式來判斷圖像的真偽，由輔助鑒別器構成的生成對抗損失函數的數學表達式由式（5）以及式（6）表示。其中，x和y是真實的圖像，Pdata(x)和Pdata(y)表示真實圖像的樣本分布，x～Pdata(x)和y～Pdata(y)表示樣本x、y隨機地從Pdata分布中取出，E則為求解數學期望。

要獲得相似的樣本分布，鑒別器D應當分辨出真實的圖像與生成器G、F生成的虛假圖像，也就是ηDY(G(x))及ηDX(F(y))的值要接近0，ηDY(y)及ηDX(x)接近1，即LCAM(G，ηDY，X，Y)越大越好；而生成器G則應當使生成的圖像盡量可以騙過鑒別器，即ηDY(G(x))及ηDX(F(y))的值要接近1，也即LCAM(G，ηDY，X，Y)越小越好，該最優值為0.5。

最終鑒別器輸出所構成的生成對抗損失函數與CycleGAN 一致，其數學表達式如式（7）和式（8）所示，類似的原理已在式（5）和式（6）處進行了詳細的解釋，故在此不再重復描述。

2.4 注意力引導下的循環一致性損失函數

2.5 優化目標

上文介紹了各部分的損失函數，而模型完整的損失函數方程由6 部分組成，如式（11）所示，分別為X域、Y域最終鑒別器的生成對抗損失；X域、Y域輔助鑒別器的生成對抗損失；整體圖像的循環一致性損失以及背景掩碼的循環一致性損失。

在圖像轉換任務中，要獲得相似的樣本分布，生成器G、F應當使生成的圖像可以騙過鑒別器，而最終鑒別器DX、DY以及輔助鑒別器ηDX、ηDY則應當準確分辨出真實的圖像與由生成器G、F生成的虛假圖像，因此，生成器與鑒別器形成了對抗的關系。對于鑒別器DX、DY、ηDX以及ηDY，本文希望其辨別真實圖像與生成器生成虛假圖像的能力得到最大的提升，即為最優的鑒別器。在最優鑒別器的條件下，生成器G、F的優化目標是最小化圖像的真實分布與模型生成圖像分布之間的JS 散度，以獲得最優的圖像轉換映射路徑，同時本文希望循環一致性損失函數值最小。因此，本文網絡的整體優化目標方程如式（12）所示：

3 實驗分析

3.1 基準模型

本文對兩大類無匹配圖像轉換算法進行對比，一類為無注意力機制引導的圖像轉換模型，包 括DualGAN［7］、DiscoGAN［8］、UNIT［9］、MU?NIT［10］、DRIT［11］、CycleGAN［12］、RA［19］；另一類為有注意力機制引導的圖像轉換模型，主要有UAIT［13］、Attention-GAN［14］、SAT［15］、Attention?GAN［16］、U-GAT-IT［17］、DA-GAN［20］、TransGa?Ga［21］等模型。

3.2 數據集

本文采用3 組無匹配的圖像數據集對模型進行訓練與測試，各個數據集的詳細情況如表1所示。

表1 各數據集詳細信息Tab.1 Details of each dataset

3.3 參數設置

3.4 評價指標

3.4.1 生成圖像質量評價

Kernel Inception Distance（KID）［22］指 標 通 過計算原始表征之間最大均值差異的平方來度量真實樣本與假樣本之間的差異，越低的KID 參數表示兩組樣本之間越相似。Frchet Inception Dis?tance（FID）［23］指標使用Inception V3 模型來提取圖像的高級語義信息，通過計算真實圖像與生成圖像提取特征向量后的均值以及協方差距離來衡量生成對抗網絡生成圖像的質量以及真假圖像的相似性。當生成的圖像與真實的圖像特征越相近時，FID 數值越小。

3.4.2 模型復雜度評價

浮點運算Floating Point Operations（FLOPs）以及乘加運算Multiply Accumulate Operations（MACs）是常用的模型復雜度統計指標，它們能夠統計數據通過網絡模型所需要計算量的大小，即啟用該模型時所需要的計算力。Parameters 模型參數量也是描述模型復雜度的指標之一，Times 為模型運行時實際消耗時間而Memory 為模型訓練時占用的實際顯存空間，三者的數值越小，代表模型越優越。

3.5 消融實驗

圖6 為有無本文專用注意力機制引導的生成器、鑒別器以及背景掩碼的循環一致性損失函數對生成圖像的影響。在上述選項中，無本文專用注意力機制引導的生成器、鑒別器分別表示使用CycleGAN 的生成器、鑒別器，而無背景掩碼的循環一致性損失函數則表示不引入本文所設計的背景掩碼的循環一致性損失函數。

圖6 有無本文生成、鑒別器以及背景掩碼循環一致性損失函數對生成圖像質量的影響。（a）原圖；（b）無專用注意力引導的生成器；（c）無專用注意力引導的鑒別器；（d）無背景掩碼循環一致性損失函數；（e）三者都有。Fig. 6 Effect of the generated image’s quality that with or without our generator，discriminator and cycle consistency loss function background mask. （a）Original image；（b）Generator without special at?tention-mechanism guided；（c） Discriminator without special attention-mechanism guided；（d）Without cycle consistency loss function of back?ground mask；（e）All of three factors.

由圖6（b）可以觀察到，當不使用本文的專用注意力引導的生成器時，圖像的背景會被大幅度地修改，且前景目標的生成質量非常低。而當不使用本文的專用注意力引導的鑒別器時，在訓練過程中，當鑒別器無法分辨生成器所生成的前景目標時，就會通過背景元素進行判斷，這時候鑒別器也會引導生成器生成背景元素，如圖6（c）所示，由于判別器對背景中的天空和海水進行判斷，所以引導了生成器生成虛假的內容。由圖6（d）觀察到，當不引入背景掩碼的循環一致性損失函數時，注意力掩碼器所生成的背景掩碼圖會不完整地覆蓋前景目標又或者覆蓋無關的背景區域，從而使得生成器生成虛假的背景元素又或生成不完整的前景目標。

由圖6（e）可以觀察到，使用本文的專用注意力機制引導生成器、鑒別器以及有背景掩碼循環一致性損失函數時模型生成的圖像質量最好。

表2 給出了有無專用注意力引導的生成器、鑒別器以及背景掩碼循環一致性損失函數以及對生成圖像質量的量化參數FID 的影響。在本項測試中，FID 越小代表圖像質量越高，并且生成的圖像與真實的圖像越相似，可以觀察到，當模型三者都擁有時能夠取得最小的FID 指數。

游戲板塊的選股并不容易。A股中的游戲公司經過幾輪下跌后，PE的角度看已經十分可觀，甚至作為一個輕資產行業，部分企業PB也有一定的吸引力。然而，市場對于A股游戲公司的財務狀況普遍存在不信任，認為行業財務舞弊風險較高，純內容產業面臨較大的業績不確定性，此外高商譽問題依舊存在。因此，投資者切勿以某只游戲股的PE或別的估值指標極低便選擇入場，這也是過去兩年時間國內游戲股深套一批投資者的重要原因。

表2 在馬轉斑馬任務上模型的消融研究Tab.2 Ablation studies of models on the horse-to-zebra task

圖7 給出了不同背景掩碼循環一致性損失函數的λ系數在馬轉斑馬任務上對生成圖像質量的影響。由圖7 可以觀察到，當λ=0.0 時，模型生成的前景目標以及背景掩碼不夠完整，又或者將背景元素引入到了生成圖像中，降低了圖像的質量；當λ=1.0 時，模型生成的前景目標以及背景掩碼最優，此時的生成圖像質量最好；當λ=10.0時，由于過大的權重，降低了模型生成圖像的清晰度以及產生了失真的色彩，并且使得模型生成了過大的前景目標掩碼圖。

圖7 不同的λ 系數在馬轉斑馬任務上對生成圖像質量的影響Fig. 7 Effect of different λ-factors on the quality of the generated images on the horse-to-zebra task

表3 給出了不同背景掩碼循環一致性損失函數的λ系數對模型生成圖像質量量化參數FID 的影響，其中，FID 參數越低越好。

由表3 可以觀察到，當λ=1.0 時，模型生成圖像的FID 參數最低，此時的圖像生成質量最優。

表3 不同λ 系數對圖像生成質量的影響Tab.3 Effect of different λ-coefficients on the quality of the generated images

圖8 和圖9 展示的是本文模型在不同的轉換任務上注意力掩碼圖生成器所生成的背景掩碼圖以及生成器生成的最終效果圖。

圖8 本文模型在蘋果轉橘子和橘子轉蘋果任務上生成的注意力掩碼以及生成效果Fig. 8 Attention mask and images generated by ours model on the apple to orange and orange to apple tasks

圖9 本文模型在馬轉斑馬和斑馬轉馬任務上生成的注意力掩碼以及生成效果Fig. 9 Attention mask and images generated by ours model on the horse to zebra and zebra to horse tasks

由圖8 和圖9 可以觀察到，本文模型能夠準確地識別到需要轉換的前景目標，做到修改前景目標的同時能夠維持原背景圖像不變，最大程度地提升了生成圖像的質量。

3.6 量化結果

圖10 是不同模型在馬與斑馬互相轉換任務上的效果圖。由圖10 可以觀察到，RA、Disco?GAN、UNIT、DualGAN、CycleGAN 等模型在生成前景目標的同時也對背景進行了轉換，這大幅降低了模型所生成的圖片質量。在復雜的無匹配圖像轉換任務上，這類模型所生成的圖像質量更低，而帶有注意力機制的模型，如UAIT、At?tentionGAN 等模型則只改變或者輕微改變背景元素，提升了生成圖像的質量。

圖10 不同模型在馬與斑馬互換任務上的表現。（a）原圖；（b）CycleGAN；（c）RA；（d）DiscoGAN；（e）UNIT；（f）DualGAN；（g）UAIT；（h）Attention?GAN；（i）本文模型。Fig. 10 Performance of different models on the horse-ze?bra interchange task.（a）Original image；（b）Cy?cleGAN；（c）RA；（d）DiscoGAN；（e）UNIT；（f）DualGAN；（g）UAIT；（h）AttentionGAN；（i）Ours.

由于UAIT 等模型引入了獨立的通用注意力機制結構，大幅增加了模型的復雜度。雖然AttentionGAN 模型提出的注意力機制與生成器共享參數層的結構，減少了模型的參數，但是，由于無基于注意力機制引導的鑒別器，使得生成器生成了許多虛假的幻紋，而本文提出的基于專用注意力機制引導的生成對抗網絡不僅能夠抑制和減少虛假的幻紋的生成，并且進一步縮小了模型的結構以及提升了生成圖像的質量。

圖11 是不同模型在自拍照與漫畫臉轉換任務上的效果圖，可以觀察到，本文的模型不僅能夠僅轉換前景目標區域圖像，亦可以修改整張圖像。由圖11（h）的臉型、頭發可以觀察到，本文的模型能夠最大程度地保留原有的語義信息的基礎上來對圖像進行轉換。

圖11 不同模型在自拍與動漫互換任務上的表現。（a）原圖；（b）CycleGAN；（c）UNIT；（d）MUNIT；（e）DRIT；（f）U-GAT-IT；（g）AttentionGAN；（h）本文模型。Fig. 11 Performance of different models on the selfie-anime interchange task.（a）Original image；（b）Cycle?GAN；（c）UNIT；（d）MUNIT；（e）DRIT；（f）U-GAT-IT；（g）AttentionGAN；（h）Ours.

表4 是不同模型在馬與斑馬以及蘋果與橘子轉換任務的KID 指標，表5 是不同模型在自拍與漫畫臉轉換任務的KID 指標，表6 是不同模型在馬與斑馬轉換任務上的FID 指標，其中，KID 與FID 的值越小，代表網絡生成的圖像與真實的圖像越相似，生成圖像質量越高，即數值越小越好。由表4～6 可知，本文的模型在不同的轉換任務上都能取得最優的KID 以及FID 參數，即本文模型生成的圖像與真實的圖像最接近。

表4 不同模型在不同任務上的KID×100±std. ×100 指標Tab.4 KID×100±std. ×100 metrics for different models on different tasks

表5 不同模型在自拍轉動漫任務上的KID×100±std.×100指標Tab.5 KID×100±std.×100 metrics for different models on selfie to anime task

表6 不同模型在馬與斑馬轉換任務上的FID 指標Tab.6 FID metrics for different models on horse to zebra task

表7為基于注意力機制引導的各個模型的復雜度指標。由表7可知，與文獻［14］相比，本文的網絡模型參數量降低近32.8%，訓練速度快34.5%。

表7 基于注意機制引導的不同模型復雜度分析Tab.7 Complexity analysis of different models guided by attention mechanism

得益于本文所提出的注意力掩碼生成子模塊與內容生成子模塊高度共享參數的生成器結構，本文的模型復雜度最小，占用硬件顯存資源最少，訓練速度最快。

4 結 論

本文提出了一種新的用于無匹配圖像轉換任務的基于雙專用注意力機制引導的循環生成對抗網絡（Dual-SAG-CycleGAN）。生成器由端到端的、基于專用注意力機制引導的前背景掩碼圖生成子模塊和內容圖生成子模塊所構成，兩者高度共享權重參數。其中，前景、背景掩碼圖生成子模塊的組成僅需要在原有的內容生成器結構中添加一個額外的卷積層以及Softmax 激活函數。為了引導前背景掩碼生成子模塊生成更加精準的掩碼圖以抑制生成器生成降低生成圖像質量的無關背景內容，我們提出了背景掩碼循環一致性損失函數并引入了基于CAM 專用注意力機制引導的判別器結構。

實驗證明，本文結構不僅能夠實現自動轉換圖像相關目標前景的功能，并且擁有更短的訓練時間、更低的硬件開銷、更好的生成圖像質量。本文方法與現有同類模型相比，網絡模型參數量降低近32.8%，訓練速度快34.5%，KID 與FID 最低分別可達1.13、57.54，擁有更高的成像質量。

但是，由于本文的基于CAM 專用注意力機制引導的判別器不能非常精確地關注到感興趣的區域，在某些復雜的場景上會以背景物作為判別依據，所以會導致生成器生成虛假的幻紋，這也是限制生成圖像質量進一步提升的重要因素，所以，在后續的工作中，我們會重新設計一種新的判別器結構，設計一種識別能力更加精準的注意力機制模塊來引導判別器，以提升判別器識別感興趣區域的能力，使得網絡生成圖像的質量有更進一步提升。