基于生成對抗雙網絡的虛擬到真實駕駛場景的視頻翻譯模型

劉士豪，胡學敏，姜博厚，張若晗，孔 力

（湖北大學計算機與信息工程學院，武漢 430062）

（?通信作者電子郵箱huxuemin2012@hubu.edu.cn）

0 引言

自動駕駛是人工智能的主要研究領域之一。目前，由于技術的不成熟和穩定性不夠等原因，自動駕駛的最新方法往往只能在虛擬場景中訓練和測試［1］，只有少數成熟的技術才能在實際場景中測試。然而，由于虛擬場景不同于真實場景，在色彩、紋理等方面和真實場景存在一定的差別，在虛擬場景中訓練的模型難以較好地適應真實場景，泛化能力較差，而在真實場景中訓練自動駕駛模型，成本較高且具有一定的風險。圖像翻譯是將圖像的內容從一種展現形式轉換成另一種展現形式，在圖像美化、風格遷移、場景設計和視頻特效等方面取得了較好的研究成果［2］。如果能將圖像翻譯技術應用于自動駕駛中虛擬場景到真實場景的視頻翻譯，不僅能解決自動駕駛模型訓練泛化能力差的問題，而且能有效減少訓練的成本和風險。因此，研究自動駕駛從虛擬場景到真實場景的視頻翻譯模型具有重要的學術意義和商業價值。

國內外的研究人員在圖像翻譯方面做了許多研究，并取得了一定的成果。傳統的圖像翻譯方法主要是基于模型框架的構建和細節紋理的合成。Efros 等［3］對輸入樣本的紋理采集，并進行紋理拼接，然后合成新的風格的紋理；Hertzmann等［4］采取多圖像訓練的方法，最終得到細節紋理生成模型，將模型應用于新的目標圖像，合成一個相似的圖像。這些方法能夠有效合成新的風格的圖像，但是這類非參數的圖像翻譯只能提取圖像的底層特征，并非高層抽象特征。當用于自動駕駛場景這類具有復雜信息的圖像時，如人、車道線等關鍵信息會有較多模糊和扭曲，難以滿足實際的需求。

近年來，隨著深度學習的興起，許多極具創新性的方法應用在圖像翻譯領域，并取得了突破性的進展，這些方法主要分為兩大類：第一大類是基于卷積神經網絡（Convolutional Neural Network，CNN）的方法，這類方法通常是采取卷積神經網絡對圖像進行內容特征提取和風格特征提取，然后再通過內容重塑和風格重塑，實現圖像的風格翻譯。Gatys 等［5］利用深度卷積神經網絡進行特征的提取，然后通過迭代優化的方式生成具有新風格的圖像；Luan等［6］在Gatys的基礎上改進損失函數，使其只改變圖像中目標物體的顏色，并不改變其他紋理特征。第二類是基于生成對抗網絡（Generative Adversarial Network，GAN）的方法，這類方法通常是基于GAN 及其衍生模型，旨在進一步提高控制圖像風格的能力和生成圖片的分辨率以及質量。Isola 等［7］提出的基于條件生成對抗網絡的方法pix2pix，可以實現任意風格圖片之間的翻譯；Wang 等［8］在GAN 基礎上提出的感知損失對抗網絡，將普通對抗損失和感知損失結合，生成更加真實的圖片。由于在訓練時必須使用成對的圖片來進行訓練，而虛擬到真實場景的成對的圖像數據集難以采集，所以無法用于駕駛場景的轉換。Zhu等［9］提出的Cycle-GAN、Yi 等［10］提出的DualGAN、Kim 等［11］提出的DiscoGAN 都實現了任意風格之間的相互轉換，且訓練時并不需要成對的風格不同的圖片，但由于模型沒有關聯前后幀的信息，使得在動態生成視頻時，存在前后幀的關鍵信息不一致的現象，因此難以應用于自動駕駛中虛擬到真實場景的視頻翻譯。

綜上所述，圖像場景翻譯方法應用到自動駕駛場景翻譯中存在的問題主要有兩個：一是成對的虛擬場景和真實場景的圖像樣本缺乏；二是現有方法都是基于圖像翻譯的方法，沒有考慮視頻中前后幀的連貫性問題。針對這兩種問題，本文提出一種基于生成對抗雙網絡（Generative Adversarial Dual Networks，GADN）的從虛擬到真實駕駛場景的視頻翻譯模型。該方法中，基于深度生成對抗網絡，提出一個“雙網絡”的結構，把語義分割圖像作為“橋梁”，將虛擬場景和真實場景連接起來，先將虛擬場景視頻翻譯成語義分割視頻，然后再將語義分割視頻翻譯成真實場景視頻，從而解決虛擬場景和真實場景成對的圖像數據集缺乏的問題。此外，本文在雙網絡中采用光流法，并在生成對抗網絡中設計圖像判別器和視頻判別器兩個判別器，關聯前后幀信息，解決視頻前后幀的連貫性問題。本文方法既解決了自動駕駛模型的訓練難題，又為視頻翻譯提供了新的解決方法。

1 虛擬到真實的駕駛場景視頻翻譯模型

為實現虛擬場景到真實駕駛場景的翻譯，本文首先將語義分割圖像作為中間橋梁，提出一種“雙網絡”的視頻翻譯框架。其中，前端網絡實現從虛擬場景到語義分割場景的視頻翻譯，后端網絡實現從語義分割場景到真實場景的視頻翻譯。然后基于該框架，利用深度生成對抗網絡，設計前端網絡和后端網絡的結構。

1.1 “雙網絡”的視頻翻譯框架

圖像的語義分割是對分割后的圖像加上語義標簽，一般是用不同的顏色代表不同類別的物體。圖1（a）是從Carla 自動駕駛模擬器［12］采集的駕駛場景的虛擬幀和其對應的語義分割圖，圖1（b）是從Cityscapes 數據集［13］中獲取的駕駛場景的真實幀和其對應的語義分割圖，并且對兩者用統一標準進行語義分割。從圖1 中可以看出，雖然駕駛的虛擬場景和真實場景之間在光線、色彩、紋理等方面存在著較大差異，但是如果對兩者進行語義分割處理，則處理之后的圖片具有一致的風格。并且，語義分割圖像中不包含光線、色彩和紋理等細節，但是又涵蓋了自動駕駛所需的道路、車輛、建筑、行人等目標內容，因此本文采用語義分割圖像作為虛擬場景和真實場景之間視頻翻譯的“橋梁”。

圖1 虛擬場景和真實場景的語義分割Fig.1 Semantic segmentations of virtual and real scenes

基于“虛擬場景-語義分割場景-真實場景”的思想，本文設計一種“雙網絡”的視頻翻譯模型，如圖2 所示。該網絡分為前端網絡和后端網絡兩部分，前端網絡負責將虛擬場景翻譯為語義分割場景，后端網絡負責將語義分割場景翻譯成真實場景。通過“雙網絡”模型，首先將虛擬場景視頻翻譯成語義分割場景視頻，然后將語義分割場景視頻翻譯成真實場景視頻，從而實現虛擬場景到真實場景的視頻翻譯。

圖2 虛擬到真實的視頻翻譯模型Fig.2 Video translation model from virtual to real scenarios

在前端網絡中，向網絡輸入虛擬駕駛場景的視頻幀序列Vn={v1，v2，…，vn}，通過卷積網絡提取每一幀的特征。為保障語義分割的前后幀之間的一致性，計算每相鄰兩幀之間的光流。生成當前幀時，前一幀的特征中融入前一幀到當前幀的光流，得到當前幀的特征，再通過反卷積網絡得到當前幀的語義分割圖。通過多幀的計算，生成語義分割場景視頻幀Sn={s1，s2，…，sn}。在后端網絡中，輸入生成的語義分割場景視頻幀Sn={s1，s2，…，sn}，通過卷積網絡提取每一幀的特征。為解決前后幀不一致問題，本文采用光流網絡計算相鄰兩幀之間的光流。生成當前幀時，將計算得到的光流與反卷積得到的幀融合，最后生成語義分割圖對應的真實場景圖。同樣通過多幀的計算，生成真實場景視頻幀。

1.2 從虛擬到語義分割場景的前端網絡

前端網絡的作用是將虛擬場景視頻翻譯成語義分割場景視頻。現有的針對視頻的語義分割往往是對視頻的每一幀圖像單獨進行語義分割，然而這種對每一幀都進行語義分割的方法計算量較大，同時也無法關聯前后幀之間的信息。由于本文提出的雙網絡框架是基于連續幀的視頻而非單幀圖像，故設計一種動態語義分割前端網絡，以實現快速高效的、前后幀一致的虛擬場景視頻語義分割。

利用光流計算前后幀之間的關系，是視頻分析的一種常用方法［14］。受到文獻［14］啟發，本文設計前端網絡的思想為：在視頻序列幀中選取一部分關鍵幀，在關鍵幀上采取直接通過常用的單幀圖像語義分割方法進行語義分割得到關鍵幀的語義分割圖；在當前幀上通過光流網絡計算當前幀和關鍵幀之間的光流，通過關鍵幀的特征圖和光流網絡來預測當前幀的特征圖，再反卷積生成當前幀的語義分割圖。

假設一段虛擬駕駛場景序列有N幀（設N為j的倍數），將每連續的j幀為一段，則有N/j段連續幀。設m=N/j，將每段中的第一幀作為關鍵幀，則一共有m幀關鍵幀。故關鍵幀的集合可以表示為。將關鍵幀設為vkn，其中n∈[1，N/j]，當前幀設為vkn+i，其中i∈[1，j]。如圖3 所示，通過關鍵幀和當前幀的虛擬圖像生成對應的語義分割圖。

圖3 視頻翻譯前端網絡Fig.3 Front-part network for video translation

在生成關鍵幀的語義分割圖時，通過卷積網絡Nf對關鍵幀vkn提取特征，再直接通過反卷積重建網絡Ns得到關鍵幀的語義分割圖skn。在生成當前幀的語義分割圖時，通過光流網絡fw計算關鍵幀vkn到當前幀vkn+i之間的光流，并利用卷積網絡Nf提取關鍵幀vkn特征，再融合兩者得到當前幀的特征，最后通過反卷積重建網絡Ns得到當前幀的語義分割圖skn+i。整個過程用公式可以表達為式（1）、（2）：

其中，i∈[1，j]，n∈[1，m]。W是將關鍵幀的特征與關鍵幀和當前幀之間的光流融合的函數，本文采用的是雙線性插值的融合方法。由于卷積、反卷積和光流計算已有成熟的網絡模型，故本文中的特征提取卷積網絡采用文獻［15］中提出的網絡，反卷積生成語義分割圖的網絡采用文獻［16］的網絡，光流網絡采用文獻［17］中提出的網絡。為便于采用卷積網絡，本文將處理的視頻幀尺寸統一縮放為256 × 256像素。

1.3 從語義分割到真實場景的后端網絡

本文提出的“雙網絡”中的后端網絡的目的是實現語義分割場景視頻為輸入，真實場景視頻為輸出，如式（3）所示：

為了更好地達到這個目的，本文采用文獻［18］中提到的條件生成對抗網絡的方法作為基礎模型。在原始GAN 中，生成器G和判別器D不斷博弈，生成器G學習到逼近真實樣本數據的分布。條件GAN是對原始GAN的一個擴展，生成器和判別器都增加額外信息y為條件，y可以是任意信息。條件GAN 的目標函數是帶有條件概率的極大極小值博弈。如式（4）所示：

本文中的條件y為語義分割序列圖Sn。由式（3）、（4）可以推導出后端網絡訓練的目標函數如式（5）：

其中：G是生成器；D是判別器；Rn是真實圖序列；Sn是語義分割圖序列。后端網絡整體框架如圖4 所示。為關聯前后幀之間的信息，采取將前后兩幀輸入生成器G，生成當前幀的真實圖，通過多幀的計算，生成真實場景序列幀。判別器方面，采用兩個判別器，圖像判別器DI和視頻判別器DV。圖像判別器用來判別單幀生成圖的真假，視頻判別器用來判別生成真實場景序列的一致性。

圖4 視頻翻譯后端網絡Fig.4 Back-part network for video translation

1）生成器設計。

在視頻預測中，獲得前一幀到當前幀的轉換函數，則可以基于前一幀來預測當前幀。受到文獻［19］的啟發，轉化函數可以由前一幀到當前幀的光流矢量來進行描述。因此，在總時間為N幀的序列中，時刻i的生成真實圖像可以由三個因素得到：第i時刻的語義分割圖si；過去k個時刻的語義分割圖si-k+1，si-k+2，…，si-1；過去k個時間由語義分割圖生成的真實圖。

依據以上分析，本文設計的生成網絡如圖5 所示。為使訓練更加穩定，同時減少GPU顯存的消耗，本文將k設為1，則第i幀生成的真實圖取決于這3 幅圖像。在整段總時間為N的序列中，第i時刻輸入第i幀的語義分割圖si，通過單幀翻譯網絡，直接生成初步真實場景圖ii。然后通過光流網絡計算第i-1 時刻和第i時刻的語義分割圖的光流矢量fi-1→i，再輸入第i-1 時刻生成的真實場景圖。在基礎上，通過光流矢量fi-1→i，計算得到扭曲圖wi，即利用光流場計算像素點在空間位置的偏移，得到經過像素點移位后的圖像［17］。由于扭曲圖wi是在真實場景圖基礎上扭曲生成，會產生一定的模糊［20］，這將使得最后效果不理想。此時，本文計算扭曲圖wi的模糊程度掩模作為權重δ，加權平均初步真實場景圖ii和扭曲圖wi，得到最后生成的當前幀的真實場景圖。整個步驟可以用式（6）來表達：

其中⊙為逐像素相乘運算符。為保證生成結果的真實程度，最后的生成結果由模糊程度掩模的值對扭曲圖和直接生成圖加權平均得出。當wi越模糊時，δ越大，則wi所占的比重越小，ii所占的比重越大，最后的生成圖更傾向于ii；反之，則更傾向于wi。由于文獻［7］提出的單幀圖像翻譯能夠有效地將一類圖像翻譯成另外一類圖像，因此本文采用文獻［7］中改進的U-net結構作為單幀翻譯網絡的框架，掩模計算網絡采用文獻［15］中提出的網絡。光流計算網絡與前端網絡一樣，采用文獻［17］中提出的FlowNet2。

圖5 后端網絡的生成器模型Fig.5 Generator model in back-part network

2）判別器設計。

普通的條件GAN 模型中只有單一的圖像判別器，但是單一的圖像判別器只能對單幀圖像進行判別，將其用到視頻翻譯中時，由于沒有考慮到前后幀之間的聯系，會出現前后幀不一致的現象。因此，為了保證圖像的真實性以及前后幀的一致性，本文將采用兩個判別器：圖像判別器DI和視頻判別器DV，兩個判別器都將采用條件判別器。

圖像判別器DI：設置DI旨在使得圖4 中生成的真實場景圖r'i更加真實。采用文獻［7］中的PatchGAN 結構，將生成的初步結果圖分割為很多小圖像塊Patch，然后判別圖像中N×N個圖像塊是否為真。這個步驟通過卷積層來實現，逐次疊加卷積層的最終輸出N×N的矩陣，最后通過平均所有的響應來得到最終輸出。由于是基于生成的真實場景圖來進行判別，故本文采用條件判別器，在每次判別時，從序列中隨機抽取語義分割圖和其對應的生成真實場景圖和真實場景訓練圖。因此，圖片損失函數如式（7）所示：

其中：DI為文獻［7］中的圖像判別器；r'i表示生成的真實場景圖；ri為實際的真實場景圖；si為對應的語義分割圖。

視頻判別器DV：設置DV旨在保證生成的連續幀之間的一致性。視頻判別器基于相同的光流矢量，判別原本真實場景圖和生成的真實場景圖。在判別時，從序列中隨機抽取出t幀的真實場景圖以及t幀真實場景圖中每相鄰兩幀之間的光流矢量圖（共計是t-1 幀光流矢量圖），還有這t幀對應的語義分割圖。因此視頻損失函數表達式為（8）：

其中：表示t幀的真實場景圖；表示這t幀對應的語義分割圖表示t幀真實場景圖中每相鄰兩幀之間的光流矢量圖；表示t幀的生成的真實場景圖。DV視頻判別器采用文獻［20］中提出的視頻序列一致判別器。

3）目標函數。

在普通的GAN 模型中，目標函數由判別器判別真實數據損失和判別由生成器生成的偽真實數據的損失組成。其中：G需要最小化，使得判別器難以判別生成的數據，D需要最大化，能夠鑒別出數據的真假。在本文中，存在一個生成器和兩個判別器，需要最小化G，最大化DI和DV。因此，本文提出的生成模型的優化目標函數最終設計為：

其中：G是生成模型中的生成器，用來生成連續幀的真實場景圖；LI是圖像判別器的損失；LV是視頻判別器的損失。為使得訓練更加穩定，采用最小二乘損失函數。在優化算法中，采用自適應矩估計（ADAptive Moment estimation，ADAM）法。

2 實驗結果與分析

本文進行實驗的硬件環境：CPU 為Core i7-8700K（四核4.7 GHz）、GPU 為NVIDA GTX 1080ti（顯存11 GB）、內存為32 GB。軟件環境：操作系統為Ubuntu、訓練測試平臺為PyTorch，編程語言為Python。

在數據集方面，本文使用從Carla自動駕駛模擬器平臺［12］采集的數據集以及Cityscapes 數據集［13］。其中Carla 自動駕駛模擬器平臺是Intel 公司開發的開源模擬器，模擬器場景中有各種街道、樹木、行人、車輛等；Cityscapes 數據集是一個大規模的公開數據集，記錄在50 個不同城市的駕駛時街道場景。所選取的數據集全部都是連續段的視頻幀序列，在Carla中采集虛擬圖和其對應的語義分割圖，在Cityscapes數據集中獲取連續的真實場景視頻幀和其對應的語義分割圖。從Carla 中采集的視頻幀尺寸為1024 × 512像素；Cityscapes 數據集中視頻幀尺寸為2 048× 1024 像素。訓練時，分別采集2 975 段連續序列用于單獨訓練前、后端網絡，同時將所有數據集尺寸調整到256 × 256。其中，前端網絡訓練集包含虛擬場景和對應的語義分割圖，后端網絡訓練集包含真實場景和對應的語義分割圖；測試時，額外采集300 段連續序列（全部為虛擬場景）用于測試。訓練和測試的每個片段包含30個視頻幀。

為驗證本文方法的有效性，本文對比兩種經典的基于GAN 的圖像翻譯模型：pix2pix［7］與Cycle-GAN［9］。Cycle-GAN可以實現任意兩類圖像的翻譯，因此采用翻譯視頻中每一幀圖像的方法進行對比；由于pix2pix 方法只能實現語義圖像到真實圖像的翻譯，因此本文采取“pix2pix+前端網絡”（以下簡稱為“pix2pix”）的方式進行虛擬到真實場景的翻譯。在評判標準方面，由于目前在圖像翻譯領域，若無兩種不同風格成對的數據集，則往往從人眼觀察的角度來進行效果對比［7-9，20］，因此本文將從圖像定性方面對比實驗結果。圖6～8選取的分別從不同場景、連續性和動態目標三個方面來對比的實驗結果。

從圖6～8中可以得出以下結論：

1）本文方法可以有效地將多種不同虛擬場景翻譯成真實場景，并且比現有方法更加清晰和準確。由于Cycle-GAN 方法沒有使用中間過渡而是直接翻譯，生成器無法針對細節進行準確處理。而pix2pix 方法與GADN 方法都采用了“雙網絡”框架，使場景中每一個事物對應的語義得到更好的翻譯，因此這兩種方法都能準確地翻譯每一個場景中的對應物體。如圖6 所示，在直行和T 字路口場景中，方框標出的區域是天空，在Cycle-GAN 方法的翻譯效果中卻是一片樹林；在L 型路口場景中，方框標出的是一片樹林，在Cycle-GAN 方法的翻譯效果中卻是一片樹林和房屋的混合體；在有行人的場景中，方框標出的為行人，在Cycle-GAN 方法的翻譯效果中行人十分模糊；在有小車的場景中，方框標出的是小車，在Cycle-GAN方法的翻譯效果中小車并沒有被準確翻譯出。

2）本文方法能實現前后幀圖像的連續翻譯，解決了傳統圖像翻譯方法在視頻翻譯時前后幀不一致的問題。由于本文采用了關聯前后幀的方法，在視頻序列幀生成時加入光流信息，所以對比現有方法，在視頻翻譯中具有明顯的優勢。圖7為一段連續視頻幀的翻譯對比結果，方框選取的目標為建筑房屋，在Cycle-GAN 的翻譯效果中并不準確，翻譯成了樹林；同時隨著時間的推移，目標物體不停地在變換，模糊不清，出現前后幀不一致現象。在pix2pix 與GADN 方法中房屋建筑的形狀和大小則翻譯地較為準確；但是由于pix2pix 方法中也沒考慮前后幀信息，因此隨著時間的推移，房屋的顏色和形狀在變換，前后幀并不連續；而只有在本文提出的GADN 方法中則表現最好，房屋建筑的顏色和形狀在前后幀之間的一致性較高。

圖6 不同靜態場景對比Fig.6 Comparative results in different static scenes

圖7 連續幀場景對比Fig.7 Comparative results in continuous frames

圖8 動態目標場景對比Fig.8 Comparative results in scenes with dynamic objects

3）本文方法能夠有效解決視頻翻譯中動態目標不完整以及突變的問題。由于本文方法采用語義分割作為中間過渡，同時在視頻序列幀生成時融入光流，所以本文的方法在有動態目標的場景中翻譯效果更好。如圖8 所示，本車和目標車輛（方框標出）分別通過右轉和左轉進入T 字路口車道。在Cycle-GAN 方法的翻譯效果中卻并沒有出現車輛；在pix2pix方法中，車輛目標雖然被翻譯出來，但是其形態并不完整，且在前后幀出現突變的情況，導致翻譯有誤。只有本文提出GADN 方法翻譯的真實場景中動態車輛障礙物相對比較完整，且沒有出現前后幀突變的情況，效果明顯好于前兩種方法。

3 結語

本文提出了一種基于生成對抗網絡的“雙網絡”模型，并利用該模型實現從虛擬駕駛場景到真實場景的動態視頻翻譯。在該方法中，在輸入端輸入虛擬的駕駛場景序列幀，采用語義分割場景作為中間過渡，同時計算前后幀之間的光流來關聯前后幀信息，實現在輸出端輸出真實駕駛場景視頻幀。實驗結果表明，本文提出的模型能有效地解決直接對視頻每一幀圖像翻譯中存在的翻譯圖像不準確、前后幀不一致以及動態目標不完整等問題，在虛擬到真實駕駛場景的動態轉換中具有較好的表現，適用于自動駕駛算法的訓練和測試。同時，本文方法也存在一定的不足。由于前后端網絡都需要用到光流網絡等已訓練好的網絡，所以對訓練要求較高。此外，本文方法主要是為自動駕駛強化學習中訓練和測試服務，因此未來的工作將會致力于將本文方法用于自動駕駛中，實現本文方法的最大利用。