基于Transformer實現文本導向的圖像編輯

摘 要： 為方便非專業用戶修圖，提出一種基于Transformer的圖像編輯模型TMGAN，使用戶可通過自然語言描述自動修改圖像屬性。TMGAN整體框架采用生成對抗網絡，生成器采用Transformer編碼器結構提取全局上下文信息，解決生成圖像不夠真實的問題；判別器包含基于Transformer的多尺度判別器和詞級判別器兩部分，給生成器細粒度的反饋，生成符合文本描述的目標圖像且保留原始圖像中與文本描述無關的內容。實驗表明，該模型在CUB Bird數據集上，IS（inception score）、FID（Fréchet inception distance）以及MP（manipulation precision）度量指標分別達到了9.07、8.64和0.081。提出的TMGAN模型對比現有模型效果更好，生成圖像既滿足了給定文本的屬性要求又具有高語義性。

關鍵詞： Transformer； 圖像編輯； 自然語言； 生成對抗網絡

中圖分類號： TP391.41"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-048-1563-06

doi：10.19734/j.issn.1001-3695.2021.10.0455

Text-guided image manipulation with Transformer

Lan Hong， Chen Ziyi， Liu Qinyi

（School of Information Engineering， Jiangxi University of Science amp; Technology， Ganzhou Jiangxi 341000， China）

Abstract： In order to facilitate non-professional users to edit images， this paper proposed a Transformer-based image manipulation model TMGAN， which enabled users to automatically modify image attributes through natural language descriptions. The overall framework of the TMGAN model adopted generation adversarial network， the generator adopted the Transformer encoding structure to extract global context information which could solve the problem that the generated images were not realistic enough. The discriminator contained two parts： a Transformer-based multi-scale discriminator and a word-level discriminator， which gave fine-grained feedback to the generator， generated a target image that conformed to the text description， and retained the content of the original image that had nothing to do with the text description. Experiment shows TMGAN model on the public CUB Bird datasets， IS， FID and MP metrics reach 9.07， 8.64 and 0.081 respectively. The proposed TMGAN model is better than the advance models， the generated image not only meets the attribute requirements of the given text description but also has high semantics.

Key words： Transformer; image manipulation; natural language; generative adversarial network

0 引言

圖像編輯是一類對圖像進行分析、修復、美化、合成等處理的集成，使圖像看起來更加美觀清晰。本文研究了利用自然語言描述對圖像進行編輯的多模態問題，使用自然語言可以滿足用戶對圖像編輯的不同需求。

文本導向的圖像編輯可以通過輸入自然語言描述，自動地將圖像的各個方面從低級顏色/紋理［1，2］轉換為高級語義［3］，生成更符合用戶需求的圖像。文本導向的圖像編輯模型［4～6］可以根據給定的自然語言描述自動修改圖像屬性，通過簡單的自然語言有效地滿足用戶對圖像編輯的偏好。圖1展示了幾種模型通過自然語言描述實現圖像編輯的過程。模型首先給定一幅初始圖像，然后根據簡單的自然語言描述對圖像進行修改；通過對齊兩種模態的信息融合將文本描述和待修改的圖像屬性進行匹配，在保留與文本描述不相關內容的條件下生成新的圖像。文本導向的圖像編輯是一個含文本與圖像的多模態任務，其面臨的挑戰主要有以下兩方面：a）如何將文本的相關描述映射到圖像的相應區域，這要求其充分理解包含在圖像和文本信息中的語義；b）如何結合語義信息生成足夠真實的圖像。

針對上述問題，Dong等人［6］提出了一種基于GAN的編解碼器體系結構SISGAN，該模型為端到端神經架構，能同時適用于圖像和文本信息，通過對抗過程自動學習隱式損失函數生成匹配相應文本描述，同時保留給定原始圖像大部分特征的圖像。Nam等人［4］提出了TAGAN模型，該模型通過在GAN框架中引入文本自適應判別器為生成器提供特定的訓練信號來產生特定的視覺屬性;為了實現這一點，判別器使用單詞級的局部判別器獨立地對每個屬性進行分類，生成器從每個視覺屬性的每個局部判別器接收反饋生成與文本描述對應的圖像屬性，即只修改原始圖像中與給定文本相關的區域。Li等人［7］提出了ManiGAN模型，該模型以多階段GAN結構作為基礎，引入了文本圖像映射模塊和細節糾正模塊，文本圖像映射模塊選擇與給定文本相關的圖像區域，然后將這些區域與相應的語義詞進行關聯，同時對原始圖像特征進行編碼，幫助重構與文本無關原始圖像的內容，解決文本—圖像多模態問題；細節糾正模塊對不匹配的屬性進行校正，完善圖像中缺失的內容，使生成圖像更加真實且符合要求。

但上述模型僅采用卷積神經網絡或循環神經網絡作為基本結構，只能處理局部上下文，生成圖像往往存在不夠真實的問題。對此本文將Transformer引入GAN結構中，同時采用多尺度判別器以及詞級判別器，使得文本—圖像多模態和生成圖像不夠真實的問題能有效解決。

本文提出的模型Transformer manipulate generation adversarial network（TMGAN）將Transformer［8］引入到GAN中，利用Transformer的注意力機制更好地獲取全局信息。TMGAN生成器是編解碼器結構，輸入原始圖像并將其編碼為特征表示，然后結合文本語義表示解碼為輸出圖像，文本特征由預訓練的文本編碼器生成;判別器采用多尺度編碼結構，判斷輸入圖像是否真實。為了給生成器提供足夠的訓練反饋采用詞級判別器，詞級判別器可以解決生成圖像與給定文本描述不能完全對應一致的問題，詞級判別器可以根據輸入文本創建單詞級的判別器，獨立地對細粒度的屬性進行分類，保證關鍵詞與對應視覺屬性的一一映射，將每個單詞附加到特定的視覺屬性中，確保只修改特定的視覺屬性。

通過在CUB Bird［9］數據集上進行相關實驗證明了TMGAN模型的可行性和優越性，最終結果表明，本文模型在定性和定量上都優于TAGAN［4］和ManiGAN［7］模型。

1 相關知識

1.1 Transformer介紹

Transformer［8］最早應用于自然語言處理領域，已在各種自然語言處理任務中證明它是強大的深度學習的預訓練框架。例如，GPTs［10］以自回歸方式進行預訓練，可以在大量文本數據集中預測下一個單詞；BERT［11］在沒有明確監督的情況下從數據中學習，并根據上下文預測掩碼詞。Transformer完全基于自注意力機制［12］來提取內在特征，可以學習長期依賴關系且容易并行化。

由于Transformer強大的表現能力，其在計算機視覺領域應用廣泛，這些應用大致可以分為兩類：

a）在傳統的卷積神經網絡中引入自注意力機制，比如OCNet［13］將空間注意力引入到圖像分割中;DANET［14］提出了利用上下文信息結合空間注意力和通道注意力;文獻［15～17］通過自注意力增強模型提升性能。

b）利用自注意力塊代替傳統的卷積神經網絡，比如ViT［18］利用Transformer模塊實現圖像分類;DETR［19］利用Transformer模塊實現目標檢測，使用預訓練的GPTs模型實現生成和分類任務;SAN［20］實現基于Transformer模塊的圖像識別任務;文獻［21］運用Transformer逐像素地生成圖像;文獻［22］則通過添加歸納偏差的方式實現高分辨率圖像的合成;TransGAN［23］利用兩個Transformer構建標準GAN模型;DALL·E利用Transformer模型從給定的文本描述中生成高保真圖像。

文本導向的圖像編輯任務需要同時處理文本和圖像兩種模態數據，而Transformer在處理視覺任務時是將視覺特征以序列形式處理，所以其在多模態融合任務上具有天生的優勢。因此將Transformer模塊替代傳統卷積神經網絡引入到GAN中，實現文本導向的圖像編輯。

1.2 GAN模型介紹

生成對抗網絡（generation adversarial network）［24］是由生成器（generator）和判別器（discriminator）兩部分組成。生成器用于捕獲真實數據的分布，通過輸入真實樣本訓練參數來模仿真實數據分布；判別器用于判斷輸入的樣本是真實樣本還是生成樣本，輸出是一個來自真實樣本或生成樣本的概率的標量表示樣本。GAN的訓練采用交替訓練的形式，首先固定生成器訓練判別器，此后再固定判別器訓練生成器，往復循環，直至達到停止條件時結束訓練。

原始GAN的目標函數如下：

minG maxD V（D，G）=Ex～Pdata（x）［logD（x）］+

Ez～pz（z）［log（1－D（G（z）））］（1）

其中：x代表真實樣本服從Pdata（x）分布;z是隨機變量，服從先驗分布Pz（z）;G（z）則代表生成器生成的樣本;D（x）和D（G（z））分別為判別器對真實樣本和生成樣本對應輸出的概率，需滿足條件0≤D（x）≤1且0≤D（G（z））≤1。生成器要盡最大的努力去欺騙判別器，就需要最大化判別概率D（G（z）），即最小化log（1－D（G（z）））；判別器要盡可能地正確區分輸入樣本是真實還是虛假，就需要最小化判別概率D（G（z））的同時最大化判別概率D（x），即最大化log（1－D（G（z）））+logD（x）。

Mirza等人［25］提出了cGAN模型（條件GAN），該模型在生成器和判別器中都增加了約束條件；Zhang等人［26］基于cGAN提出了StackGAN模型，通過疊加多個GAN生成從粗到細尺度的高分辨率圖像；Xu等人［27］提出了AttnGAN模型，在生成器中引入注意力機制，通過關注自然語言描述中的相關詞實現對圖像不同子區域的細粒度細節的綜合；Li等人［28］提出了Control- GAN模型，通過在生成器中引入詞級和通道注意力分離圖像中不同的視覺屬性。GAN在圖像生成方面研究廣泛，可以通過標簽、文本、草圖［29］等生成指定的圖像，本文利用GAN框架，通過生成器和判別器對抗生成符合要求的圖像。

2 TMGAN模型構建

文本導向的圖像編輯任務是通過自然語言描述來修改圖像的部分屬性，同時保留與輸入文本不相關的原始圖像內容，因此模型在保證生成圖像真實性的同時還要求圖像與文本特征相匹配。本文提出的文本導向圖像編輯模型（TMGAN），使用Transformer構建提取圖像特征的編碼器以及重構圖像的解碼器，同時設計了一種基于Transformer的多尺度判別器;此外，為了給生成器提供細粒度的反饋增加了詞級別的匹配損失以及重構損失。TMGAN模型系統結構如圖2所示。

2.1 Transformer編碼器

Transformer由編碼器和解碼器構成，能利用注意力機制很好地獲取全局信息，在自然語言領域應用廣泛。本文提出的TMGAN模型引入Transformer編碼器來提取圖像特征，實現文本和圖像的多模態融合。Transformer編碼器的結構如圖3所示，它由多頭注意力層（multi-head attention）、全連接前饋網絡和addamp;norm組成。

多頭注意力層包含多個自注意力層，自注意力計算過程如圖4（a）所示，令X∈Euclid Math TwoRApn×d表示一個包含n個單詞的嵌入向量矩陣，其中d表示向量維度。利用輸入矩陣X（合并每個單詞的位置編碼positional embedding），再通過線性變換XWQ、XWK、XWV可以得到輸入到自注意力層的三個不同的特征矩陣Q（查詢）、K（鍵值）、V（值），其中WQ、WK、WV為可學習的權重矩陣。自注意力層根據全局上下文信息對每個單詞進行編碼來捕獲n個單詞之間的交互得到Z∈Euclid Math TwoRApn×dv，具體計算過程如式（2）所示。

Z=softmaxQKTdkV（2）

其中：QKT表示單詞之間的注意力強度;dk表示Q、K的列數，即嵌入維度，除以dk是防止內積過大得到更穩定的梯度;softmax計算每個單詞對于其他單詞的注意力系數，最后乘以V就可以得到最終輸出Z。

多頭注意力層如圖4（b）所示，通過拼接多個自注意力層輸出的向量Z，然后傳入線性層得到最終向量Z′。全連接前饋網絡是一個簡單的兩層全連接層，輸出矩陣與輸入矩陣X維度一致。addamp;norm是殘差連接和正則化，殘差連接解決多層網絡層與層之間的問題，使網絡只關注當前的差異部分，正則化使每層輸入均值方差一致加快收斂速度。

3 實驗及結果分析

本文利用CUB Bird［9］數據集同基線模型TAGAN［4］和ManiGAN［7］進行對比實驗。TAGAN同本文模型TMGAN一樣是基于GAN的編解碼結構，ManiGAN則是一種多階段的生成模型，它們都是廣泛使用的專注于文本導向的圖像編輯任務的模型。

3.1 數據集

CUB Bird［9］數據集包括8 855張訓練圖像和2 933張測試圖像，每張圖像有10個相應的文本描述。本文參照文獻［28］對數據集進行了預處理。

3.2 實驗設置

本文進行了基于PyTorch的模型構建。輸入原始圖像大小為256×256，在Transformer處理過程中需對圖像進行網格分割操作，將每個階段的圖像塊數量設置為512，編碼器第一個階段塊大小為16，后續階段塊大小以2倍率遞減，最后得到圖像的嵌入編碼為256×16×16，此時將每個元素作為一塊。

本文使用Adam優化器［30］訓練網絡，學習率為0.000 2，動量為0.5，批量大小為64;經過100個迭代，學習率降低0.5。同時使用隨機裁剪、翻轉和旋轉等數據增強技術?？紤]到視覺質量和訓練穩定性，損失函數中的超參數λ1、λ2、λ3分別設置為1、2、1。

3.3 定量實驗

生成圖像的質量是一個主觀問題，很難用客觀的度量來比較不同的模型。對于文本導向的圖像編輯任務，不僅需要評價生成圖像是否逼真，同時還要評價生成圖像的視覺屬性是否與給定的文本描述對齊，是否保留與文本無關的原始圖像的內容。

為此本文引用三個評價指標來評估不同模型生成圖像的質量。inception score（IS）［31］和Fréchet inception distance （FID）［32］作為評價圖像真實性的定量評價指標。IS表示測試圖像數據集的平均概率分布熵值，其值越大表示圖像真實性越高;FID計算真實圖像分布和生成圖像分布之間的距離，其值越小表明生成圖像保留的原始圖像內容越多，即圖像質量高、多樣性好;manipulation precision（MP）［7］作為評估文本—圖像匹配程度的定量評價指標，可以同時評估根據文本生成的新的視覺屬性以及對原始圖像內容的重建，其計算公式為

MP=（1-diff）×sim（6）

其中：diff表示原始圖像和對應的生成圖像之間的像素差值；sim表示文本和圖像的余弦相似度。

由于TAGAN［4］存在生成圖像不夠逼真的問題，本文利用多級判別器和詞級判別器給生成器更精細的反饋，使之生成語義更加真實的圖片，所以本文模型在IS指標上是TAGAN的2.7倍；相比ManiGAN［7］，本文模型通過引入Transformer來提取全局上下文信息解決ManiGAN提取文本—圖像兩種模態信息損失造成的背景模糊或指定細節缺失的問題，本文模型在FID指標上對比ManiGAN降低了11.38%，在MP指標上提高了12.5%。具體實驗結果如表1所示。

3.4 定性實驗

圖6展示了本文模型在CUB Bird［9］數據集上的實驗結果，第一行是從數據集中隨機抽取的經過預處理的原始圖像，第一列是從語料庫中隨機抽取的文本描述。從縱向看，對于任意給定的文本描述，輸出圖像保留了與文本描述不相關的內容，比如姿態和布局等信息;從橫向看，圖像視覺屬性可以根據文本描述準確的改變，比如顏色、背景和條紋等信息。這說明本文模型很好地實現了文本和圖像的多模態融合，同時還保留了與文本無關的原始圖像的內容。

圖7展示了本文模型TMGAN與TAGAN［4］、ManiGAN［7］的對比結果。從圖7中可以看出TAGAN和ManiGAN都保留了原始圖像的姿態和布局，并且可以根據文本描述修改相應的圖像視覺屬性，但這兩種基線方法的生成結果都有一定的缺陷，并沒有本文模型所生成的圖像那么細膩和真實。比如TAGAN［4］生成圖像質量較低、圖像不夠清晰；ManiGAN［7］則會生成一些無關的內容讓圖像看起來不夠真實，如鳥的花紋。

為了進一步驗證詞級判別器的有效性，將詞級判別器生成的注意力圖可視化，圖8顯示了top-5最受關注的單詞?？梢杂^察到詞級判別器對于不同的文本可學習到不同的注意力圖，對于每個單詞都有不同的關注區域，單詞a、this、bird等用來定位物體，顏色如white、blue、grey等以及部位如head、crown、belly等用來糾正細節屬性，使得生成圖像具有較好的語義一致性。

4 結束語

本文提出了一種基于GAN的文本導向的圖像編輯模型，引入Transformer使本文模型在文本—圖像兩種模態信息提取上更具有優勢，且能夠獲取全局上下文信息。為了解決生成圖片不夠真實的問題，TMGAN模型的判別器由基于Transformer的多尺度判別器和詞級判別器構成，給生成器提供足夠精細的反饋以提高生成圖片質量。通過大量的實驗證明，本文模型可以修改特定的視覺屬性，同時保留原始圖像中與給定文本不相關的內容。與其他基線模型相比，生成的圖像更加真實。

參考文獻：

[1]Zhang R， Isola P， Efros A A. Colorful image colorization［C］//Proc of the 14th European Conference on Computer Vision. Cham： Springer， 2016： 649-666.

［2]Gatys L A， Ecker A S， Bethge M. Image style transfer using convolutional neural networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Washington DC： IEEE Computer Society， 2016： 2414-2423.

［3]Liang Xiaodan， Zhang Hao， Lin Liang， et al. Generative semantic manipulation with mask-contrasting GAN［C］//Proc of the 15th European Conference on Computer Vision. Cham： Springer， 2018： 558-573.

［4]Nam S， Kim Y， Kim S J. Text-adaptive generative adversarial networks： manipulating images with natural language［C］//Proc of the 32nd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2018：42-51.

［5]Togo R， Kotera M， Ogawa T， et al. Text-guided style transfer-based image manipulation using multimodal generative models［J］.IEEE Access，2021，9：64860-64870.

［6]Dong Hao， Yu Simao， Wu Chao， et al. Semantic image synthesis via adversarial learning［C］//Proc of IEEE International Conference on Computer Vision. Washington DC： IEEE Computer Society，2017：5706-5714.

［7]Li Bowen， Qi Xiaojuan， Lukasiewicz T， et al. ManiGAN： text-guided image manipulation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：7880-7889.

［8]Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：6000-6010.

［9]Wah C， Branson S， Welinder P， et al. The Caltech-UCSD Birds-200-2011 dataset［EB/OL］.（2020-07-24）.http：//www.vision.caltech.edu/visipedia/papers/CUB_200_2011.pdf.

［10]Perez E， Kiela D， Cho K. True few-shot learning with language mo-dels［C］//Proc of the 35th Conference on Neural Information Proces-sing Systems.2021.

［11]Devlin J， Chang Mingwei， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics，2019：4171-4186.

［12]Parikh A， Tckstrm O， Das D， et al. A decomposable attention model for natural language inference［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg，PA：Association for Computational Linguistics，2016：2249-2255.

［13]Yuan Yuhui， Huang Lang， Guo Jianyuan， et al. OCNet： object context for semantic segmentation［J］.International Journal of Computer Vision，2021，129（8）：2375-2398.

［14]Fu Jun， Liu Jing， Tian Haijie， et al. Dual attention network for scene segmentation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：3146-3154.

［15]Liu Meng， Wang Zhengyang， Ji Shuiwang. Non-local graph neural networks［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2021，DOI：10.1109/TPAMI.2021.3134200.

［16]Chen Yunpeng， Rohrbach M， Yan Zhicheng， et al. Graph-based global reasoning networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2019：433-442.

［17]Zhang Songyang， Yan Shipeng， He Xuming. LatentGNN： learning efficient non-local relations for visual recognition［C］//Proc of International Conference on Machine Learning.2019：7374-7383.

［18]Dosovitskiy A， Beyer L， Kolesnikov A， et al. An image is worth 16×16 words： transformers for image recognition at scale［EB/OL］.（2021-06-03）.https：//arxiv.org/pdf/2010.11929.pdf.

［19]Carion N， Massa F， Synnaeve G， et al. End-to-end object detection with transformers［C］//Proc of the 16th European Conference on Computer Vision.Cham：Springer，2020：213-229.

［20]Zhao Hengshuang， Jia Jiaya， Koltun V. Exploring self-attention for image recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：10076-10085.

［21]Parmar N， Vaswani A， Uszkoreit J， et al. Image transformer［C］//Proc of International Conference on Machine Learning.2018：4055-4064.

［22]Esser P， Rombach R， Ommer B. Taming transformers for high-resolution image synthesis［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：12873-12883.

［23]Jiang Yifan， Chang Shiyu， Wang Zhangyang. TransGAN： two transformers can make one strong GAN［EB/OL］.（2021-02-14）.https：//arxiv.org/pdf/2102.07074v1.pdf.

［24]張營營.生成對抗網絡模型綜述［J］.電子設計工程，2018，26（5）：34-37，43.（Zhang Yingying. A survey on generative adversarial networks［J］.Electronic Design Engineering，2018，26（5）：34-37，43.）

［25]Mirza M， Osindero S. Conditional generative adversarial nets［EB/OL］.（2014-11-06）.https：//arxiv.org/pdf/1411.1784.pdf.

［26]Zhang Han， Xu Tao， Li Hongsheng， et al. StackGAN： text to photo-realistic image synthesis with stacked generative adversarial networks［C］//Proc of IEEE International Conference on Computer Vision.Washington DC：IEEE Computer Society，2017：5907-5915.

［27]Xu Tao， Zhang Pengchuan， Huang Qiuyuan， et al. AttnGAN： fine-grained text to image generation with attentional generative adversarial networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：1316-1324.

［28]Li Bowen， Qi Xiaojuan， Lukasiewicz T， et al. Controllable text-to-image generation［C］//Advances in Neural Information Processing Systems.2019：2063-2073.

［29]黃宏宇，谷子豐.一種基于自注意力機制的文本圖像生成對抗網絡［J］.重慶大學學報：自然科學版，2020，43（3）：55-61.（Huang Hongyu， Gu Zifeng. A generative adversarial network based on self-attention mechanism for text-to-image generation［J］.Journal of Chongqing University： Natural Science Edition，2020，43（3）：55-61.）

［30]Kingma D P， Ba J. Adam： a method for stochastic optimization［EB/OL］.（2015-02-27）.https：//arxiv.org/pdf/1412.6980v3.pdf.

［31]Salimans T， Goodfellow I， Zaremba W， et al. Improved techniques for training GANs［C］//Proc of the 30th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2016：2234-2242.

［32]Heusel M， Ramsauer H， Unterthiner T， et al. GANs trained by a two time-scale update rule converge to a local Nash equilibrium［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：6629-6640.