一種基于漸進增長對抗生成網絡的火星樣本生成方法

代 磊，王 穎，李華偉*，李曉維

1.中國科學院計算技術研究所，北京 100190

2.中國科學院大學，北京 100049

0 引 言

火星行星探測中探測器自主實現避障、路徑規劃和環境檢測等關鍵功能越來越多利用深度學習作為可能的技術路徑[1-2].深度學習模型的效果極大程度取決于訓練數據，而訓練出優秀的模型更需要大量的數據.然而，探測地外環境的難度導致難以獲得足夠數量的樣本用于各類模型的訓練和測試.為滿足各種模型的訓練需求，需要探索依靠增強少量樣本來生成更多的樣本用于其它模型的訓練.通過對抗生成網絡GAN[3](generative adversarial network)來獲得更多樣本是解決訓練樣本不足的問題的一個非常有效的技術路線，將一定數量的地外行星樣本輸入GAN訓練得到專用生成器，該生成器即可生成更多的樣本用于其他網絡的訓練.

GAN通過生成網絡和判別網絡的相互對抗訓練最終達到均衡狀態，得到一個能夠生成樣本的生成器和能判別樣本真偽的判別器.對抗生成網絡在樣本生成領域潛力巨大[4-8]，但是它仍然存在難以訓練、模式坍塌和梯度消失等問題.近年來，有相當多的GAN網絡研究工作在改善生成效果方面取得進展.最小平方差GAN首先改進交叉熵損失函數為最小平方差函數，一定程度緩解梯度消失問題[9]；WGAN從JS散度和KL散度的角度指出原始目標函數的優化目標存在自我矛盾，因而提出了基于Wasserstein距離的目標函數[10]；WGAN-GP則進一步引入梯度懲罰等策略替代WGAN中的梯度裁斷進一步提升了訓練效果[11]；而CGAN和InfoGAN致力于能夠使用輸入信息影響輸出樣本，分別提出將控制向量連接輸入噪聲一起輸入網絡控制輸出及使用互信息作為額外損失函數使得輸入能夠控制輸出[12-13]；StackedGAN和StackGAN先后以不同的方式引入了分層分階段訓練的方式，StackedGAN將多級同構網絡串聯逐步訓練并引入熵損失、條件損失等損失函數[14]，而StackGAN分2階段由文本逐步生成清晰圖像[15].然而以上工作能夠生成的圖像分辨率普遍較低，在以上發展的基礎上，提出了漸進增長對抗生成網絡PGGAN[16](progressive growing GAN).

PGGAN通過逐級提升輸出分辨率分階段訓練的的方式穩定訓練，并引入平滑過渡、像素歸一化等方式進一步提升訓練效果，在人臉生成等任務中取得良好的效果，也已被用作多種網絡的基礎.然而，將PGGAN直接適用于火星樣本生成任務，仍存在一些問題，包括生成的樣本特征是多種地表特征的平均而導致特征不明顯，以及只能生成較少幾種簡單特征類別的樣本，存在模式崩塌問題.

本工作結合實驗分析了將PGGAN適用于火星樣本生成產生以上問題的原因，包括火星樣本特征噪聲較強區別于其它圖像，輸入數據區分度不足且數量受限，以及層級訓練的方式導致網絡后部層的輸入缺少足夠特征等.根據以上分析，本工作提出了一種基于PGGAN的火星樣本生成方法，相較于直接將PGGAN用作火星樣本生成的基線方法，生成樣本能夠包含更大規模及更多種類的特征.

在分析將PGGAN適用于地外行星樣本生成任務的優勢、約束及存在的問題的基礎上，該方法首先從數據角度進行優化，通過聚類得到偽標簽增強類別約束，以及開發樣本的尺度相似性與漸進增長遞進網絡相適應的特性用于增加樣本穩定訓練的方法；此外，從優化模型角度，該方法在分析認為問題來源于輸入信息過于平滑導致難以生成清晰多樣的樣本的基礎上，通過在中間層網絡層添加帶有可訓練網絡參數的噪聲擾動，提升生成效果.

1 漸進增長對抗生成網絡

PGGAN目前已經是很多有效的GAN研究工作的基礎[17-18]，其結構和訓練過程如圖1所示，縱軸方向為訓練進程，對應橫軸的每一對網絡為該階段對應的網絡結構.由圖1可以看出從低分辨率圖像開始，然后通過向網絡中添加層來逐步提高分辨率.這種網絡增長的訓練過程可以首先發現較大尺度上的少量特征，再逐步進入到更精細的特征的學習，逐步學習各個尺度的特征.此外，逐步訓練的過程還可避免全部層一起訓練情況下前部的層由于梯度消失問題難以訓練.實際操作過程中，漸進增長對抗生成網絡引進了包括在分辨率時平滑過渡、均衡學習率和小批量標準差等技術用于提升訓練效果.

圖1 漸進增長對抗生成網絡結構示意圖Fig.1 Architecture of progressive growing GAN

本工作將漸進增長遞進網絡作為本工作生成地外火星樣本的基礎網絡架構.然而地外火星樣本生成過程中仍然面臨著一些特別的限制，導致以上網絡架構直接應用無法取得良好效果，包括：

1)地外行星樣本來源有限，且已有的數據集合是無標注的原始數據集合；

2)地外行星樣本環境圖像噪聲較為強烈，和現有任務中人臉圖像等較平滑噪聲較弱圖像存在特征區別；

3)PGGAN網絡存在對類別約束的需求以提升生成樣本多樣性，原始方法輸入為精確標簽的樣本，而火星地表樣本之間相似度高，且樣本內容混雜，難以人工精確分類.

因為以上約束，導致直接將PGGAN應用于火星樣本生成任務難以取得良好效果.本工作首先進行了初步實驗直接應用PGGAN生成火星樣本，實驗結果表明，生成的樣本存在兩大問題：1)生成樣本特征不足，只能生成簡單的均勻的特征；2)能夠生成的特征類別較少，存在模式崩塌等問題.實驗章節基線方法生成樣本部分展示的樣本圖片顯示了以上問題.

進一步分析問題的原因，提出以上問題的來源包括火星樣本圖像噪聲較強、輸入數據缺乏區分度、訓練數據數量受限、以及網絡的輸入特征圖經多層訓練后的網絡處理后在輸入后層網絡時會變得過度平滑，以上各個原因將在下文結合功能模塊進行分析.

針對以上問題及原因，從改進數據和改善模型兩個角度來優化生成效果，基于漸進對抗生成網絡，提出了一種聚類-訓練-生成協同的火星樣本生成方法.

2 火星樣本生成方法

根據以上分析，從改進數據和改善模型2個角度來解決問題.

從數據角度，著力于發掘不同圖像之間的區分度，并將區分度信息輸入至網絡進行訓練過程的約束，使得網絡能夠更好區分不同圖像.在此基礎上，發掘了火星樣本的獨特尺度相似性并指出該相似性與逐步提升分辨率的訓練方式相適應，基于此特點，增加了網絡低分辨率部分的訓練樣本數量.

從網絡模型角度，針對后層網絡輸入特征圖因多級訓練過于平滑的問題，為中間層的網絡增加噪聲擾動增加網絡多樣性的來源，緩解了上述問題.

方法總體框架由增強數據和優化網絡結構2個主要部分，共包括1個輸入模塊和4個功能模塊，如圖2所示.

圖2 火星樣本生成方法框架圖Fig.2 Framework of Mars sample generation method

方法主要包括以下步驟：

第1步，模塊0輸入無標簽的火星樣本；

第2步，模塊1根據火星樣本的特點進行圖像特征提取及聚類后加偽標簽；

第3步，模塊2將加上偽標簽之后的樣本處理為多分辨率樣本，同時對低分辨部分樣本做增廣；

第4步，模塊3在得到增廣后帶有偽標簽的數據集之后，數據集輸入改進后的漸進增長對抗生成網絡進行訓練；

最后，模塊4中提取出模塊3中訓練好的生成器，輸入控制向量即可得到新的樣本.

2.1 聚類生成偽標簽模塊

聚類生成偽標簽模塊對應圖2中的模塊1，從損失函數對網絡訓練造成的影響及數據特征的角度分析引入該模塊的原因如下：

她是大老爺賈赦的填房，地位介于妻和妾之間。娶填房向來不如原配講究，因此，小戶人家出身的邢夫人得以烏鴉變鳳凰，一舉攀了賈府的高枝兒。

漸進增長對抗生成網絡判別器的損失函數由2部分組成，如式1所示：

Loss=LossWGAN-GP+lw×LossLabel

(1)

Loss為判別器的總的損失函數；LossWGAN-GP指WGAN-GP損失函數；LossLabel為標簽損失函數；lw為標簽損失的權重，默認情況為1.以上損失函數中，WGAN-GP損失函數主要用于判斷樣本真偽，且可以一定程度上解決梯度消失問題.標簽損失進一步給網絡施加生成更多種類的樣本的約束，缺少標簽損失函數部分導致網絡缺少一項約束，更容易產生模式坍塌的問題.

而已有的火星樣本數據集并無標簽，且由于地形的復雜的混雜特性，即使使用人工按照地形分類仍難以保證其分類的精確度.考慮到網絡的標簽損失是輔助約束，具有相當的容錯特性，本工作根據火星樣本的特性提出了特征提取再聚類的方式來給樣本生成偽標簽的方案，偽標簽只需要將差異很大的樣本類型區分開，而不需要將樣本精確分類.考慮到偽標簽的準確性不如真實標簽，在確定網絡的損失函數時降低了lw的值.

此外，由于火星樣本之間差異主要存在于地形和特征粗糙程度，而且地表樣本的粗糙特征類似于噪聲會影響聚類的準確性，考慮到聚類的分類維度主要應該是在地形層面，本工作在聚類之前將樣本進行模糊化，減小細粒度噪聲對聚類造成的影響.

該模塊工作流程為首先從原始樣本提取出特征圖用于聚類，聚類得到的標簽會標記到原始圖像，并在生成多尺度樣本過程中伴隨在生成的圖像中.特征提取及聚類的實現采用殘差網絡結構提取特征后進行小批量聚類的方式.

2.2 尺度一致樣本增廣

尺度一致樣本增廣模塊的設計考慮了2個相互適應的影響因素.1)火星樣本存在尺度相似性，即由于火星樣本的內容是由大小不同的巖石、石塊和沙礫等組成，將原始圖像截取之后和全局圖像具有很高的相似性，如圖3所示.2)漸進增長對抗生成網絡由于其逐步增加分辨率的訓練特性，在前面層的訓練過程中主要學習較為粗粒度的特征信息，在這些層中并不需要包含大量細節信息的高分辨率樣本.

圖3 火星樣本尺度一致性實例圖像Fig.3 Similarity between different scales of a Mars image

綜合考慮以上2點，本工作提出將原始樣本中特征明顯但比較較小樣本進行適當截取之后再進行下采樣，得到更多的低分辨框架圖像.相應地，在訓練過程中增加了對應網絡層的訓練迭代次數以充分利用增加的樣本.相應地，減小了后續中間位置層的迭代次數以免前部所有層訓練太好影響后部層的訓練優化空間.

2.3 網絡結構優化

在使用直接將PGGAN應用于火星樣本生成的初步實驗中，發現生成樣本的主要內容都是簡單的沙土小石塊圖像，而難以生成巖石等更多種類的細節.

分析網絡訓練的各個階段的樣本特征，發現訓練過程存在以下現象：在逐步提升分辨率進行訓練的過程中，較大尺度的特征在低分辨率階段占比較大，而隨著網絡層級增加，大尺度的特征所占比例逐步變小，最終圖像中的地形變得平坦.圖4展示了原始PGGAN網絡直接用于火星樣本生成的任務時，生成器在相同輸入不同的訓練階段的輸出樣例.從圖中可以看出，前部階段樣本圖像中與背景色不同的深色色塊占比相對較大，如階段1～3所示；而隨著分辨率隨著訓練階段增長，和主體背景不同的色塊逐漸減少，直到最后生成缺乏大尺度特征的均勻樣本，如階段6～8所示.

圖4 基線方法相同輸入生成效果隨訓練階段遞增變化示意圖Fig.4 Generated samples vary with the training stages from one input of baseline method

本工作通過分析認為，由于逐層級遞進的訓練方式，只在輸入位置輸入的控制信息，經過若干層經過一定程度訓練的網絡，后部層的輸入已經變得相當平滑.在過于平滑的特征圖上，生成包含更多細節的樣本的難度變得更高.據此，網絡結構的優化除了包括上面提到的因偽標簽降低標簽損失所占權重、調整前面層的訓練次數之外，本工作采取方案為：如圖2中模塊3中生成器部分所示，本工作在生成器中間各層的輸入特征圖上加上一定的隨機噪聲的擾動，這些的隨機噪聲可以作為生成更細節特征的信息來源.此外，隨機噪聲的比例難以人工確定，因而在將噪聲疊加到原始網絡的特征圖上之前，為每個噪聲加上一個可以學習的比例參數，用于控制噪聲的比例.

3 驗證情況

基于Keras和Scikit-learn實現了樣本聚類模塊，在開源的PGGAN的基礎上增加本工作的方法實現了新的網絡結構，數據集采用了來自于NASA的火星地表樣本數據集合[19-22].

實驗硬件環境為20核x86 CPU+4×1080Ti GPU硬件環境，采用的深度學習框架為tensorflow-1.2+cuda-9.0軟件環境，操作系統為linux14.04.

聚類模塊的具體實現在探索了原始圖像和多種深度神經網絡結構用于特征提取后，最終采用了InceptionResNet結構提取特征，小批量K均值聚類方案實現聚類[23].

3.1 生成樣本圖分析

如圖5所示，本工作對真實樣本、原始PGGAN網絡生成的樣本和本工作方法生成的樣本中各自采樣有代表性的樣本進行對比.由效果圖可以看出，無優化PGGAN網絡只能生成較為平坦、互相之間相似度較高、缺乏大尺度細節的沙地、小碎石地和土質地表等.

圖5 生成效果對比圖Fig.5 Sample comparison of different methods

相較而言，本工作的方法能夠在生成沙地、零散碎石地和土質地形等基本地形樣本之外，還能夠生成有較大尺度特征的大石塊突起地形、層疊狀巖層、巖塊和碎石坡地等地形樣本.

但與真實樣本做比較時，本方法生成的樣本仍有差距，主要表現在圖像內容邊緣線條多為弧線，不如原圖中棱角分明.

3.2 網絡收斂性分析

圖6展示了網絡訓練懲罰曲線.網絡訓練懲罰曲線是判別器最新迭代的懲罰與之前的懲罰加權求和得到的更平滑的懲罰函數.由圖分析可知，本文方法和原始網絡一致都能達到收斂，最終本文方法的穩定性在后期訓練中存在一定優勢.二者都還存在的問題是收斂后如繼續訓練懲罰曲線都存在變差的趨勢.

圖6 網絡訓練懲罰曲線 (藍線:原始網絡，紅線:本工作方法)Fig.6 Network training penalty graph (Blue:baseline,Red:our method)

3.3 生成樣本量化評分對比

表1對比了本工作的方法和原始網絡在收斂后所生成樣本的2個樣本效果評估指標得分，分別是FID(frechet inception distance)指標和SWD(sliced wasserstein distance)指標.FID指標使用殘差網絡圖像分類模型計算得到的圖像特征并統計測量統計量的相似度；而SWD指標則抽樣計算樣本集合之間的Wasserstein距離.二者都是分數越低越接近真實、從而代表圖像質量及樣本多樣性越好.表中可以看出本工作的方法比原始網絡在2項指標均有改善.

表1 生成效果各標準評分對比Tab.1 Samples’scores of different metrics

4 總結與展望

本工作提出了一種基于漸進增長對抗生成網絡的火星樣本生成方法，通過分析已有方法生成樣本特征尺度不足且缺乏多樣性等問題及其原因，提出了包括數據偽標簽、增廣較低分辨率樣本和優化網絡結構等在內的樣本生成方法.最終該方法能夠生成比原始網絡包含更大尺度特征及更多特征種類的樣本.

本工作對生成效果帶來了一定提升，但生成效果和真實樣本仍有差距，下一步工作將從穩定網絡訓練、增加約束使網絡細節更真實等方面繼續改進方法.