基于條件生成對抗網絡的圖像著色研究

羅敦浪，蔣 旻，袁琳君，江佳俊，郭 嘉

武漢科技大學 計算機科學與技術學院，武漢430065

圖像是人們日常信息傳遞過程中很重要的一部分，承載著巨大的信息量，但同一張圖像的灰度圖和彩色圖所包含的信息量是天差地別的，灰度圖像每個像素只有一個采樣顏色，只包含亮度表示，而彩色圖像包含了亮度、色度和飽和度等表達。直觀上說，人們可以通過觀察圖像中樹葉的顏色是綠色還是黃色推斷出場景所處的季節，根據不同花朵的顏色判斷出所屬的品種等等。由于早期的拍攝技術有限，存在著大量黑白照片和影像，嘗試將這些老舊照片著色還原有助于了解那個年代的事物，滿足人們的視覺需求，非常具有研究的必要。另一方面，隨著20 世紀80 年代初對黑白照片彩色化的不斷研究以及近些年來卷積神經網絡在圖像處理領域的不斷發展，圖像著色研究已經不僅限于將黑白照片彩色化。通過將深度學習強大的特征提取和建模能力應用到圖像著色研究上，圖像著色技術得到了進一步提高，在越來越多的領域中發揮著巨大的作用。

在圖像著色技術發展的早期，需要人為提供一些圖像的色彩信息來完成圖像著色，這時主要有基于最短距離和色度混合的彩色化算法[1]和基于優化擴展的彩色化算法[2]這兩種著色方法。Levin 等[3]提出了將灰度圖相近的像素認定為顏色也相近的假設，根據人為輸入顏色為條件，在顏色空間中找到距離最近的顏色對應，將圖像著色問題轉化成了圖像區域優化問題。這種算法本身只是簡單考慮了距離的因素，而沒有考慮到顏色聚類的因素，所以在面對細節相對復雜的圖像時，表現的并不是很好，只能運用在尺寸較小、較為簡單的圖像上。Qu等[4]和Luan等[5]在圖像的著色過程中，不僅僅考慮了灰度圖像素的相似性，還提出了圖像的紋理特征的相似性約束，這種通過加入圖像分割為代價的方法，很大程度上減少了人工標注的數量。

不同于上面提到半自動化著色方法，Welsh 等[6]提出了基于顏色轉移的圖像著色算法，這種算法最大的特點在于自動化，可以做到不需要任何人為的輸入，只需要一張與原始圖像內容相似的彩色圖像，通過特定的顏色匹配算法，將已知的彩色圖像中的顏色信息對應到原始圖像中，從而將彩色圖中的顏色信息轉移到灰度圖中，完成彩色化的目的。這種算法也存在著缺點，那就是不一定存在與目標圖像完全對應的彩色圖像，總會存在一些匹配不上的點，一般這些點就會效果比較差。Ironi等[7]通過預先分割參考圖像和灰度圖像，再分別進行細節特征的匹配，從而使得目標圖像在參考樣本中找到對應的著色方案，這種做法在圖像著色的準確性方面得到了一定的進展。Liu 等[8]提出了采用在線聯網檢索來匹配與需要著色圖像相似的圖像，通過匹配結果再參照著色，這種方法一定程度上增了匹配的范圍和準確度。

近來，隨著人工智能的熱潮，人們都看到了深度學習在圖像分類和特征提取方面的不俗表現，也開始有很多人將深度學習技術應用到了圖像著色領域中。Cheng等[9]通過聯合雙邊濾波的后處理技術和自適應圖像聚類技術對數據進行處理建模，以此來整合圖像全局信息，通過優化最小化目標函數來進一步提高著色質量，其算法總結下來就是一個簡單的優化分類問題，對比較為復雜的數據集，其表現比較受限。Lizuka等[10]將圖像著色問題轉換為了圖像分類問題，一方面將目標圖像做一個全局的分類，另一方面提取局部特征信息，最后將兩者結合，實現對特征顏色分布預測，這種方法一定程度上解決了著色結果場景性錯誤的問題。Zhang 等[11]在Lizuka等[10]的基礎上通過VGG卷積神經網絡來提取目標圖像的特征，并通過訓練預測這些特征的顏色分布，最后通過信息融合完成著色。Yoo等[12]提出常見的網絡模型應用于著色時，深色著色模型傾向于忽略訓練集中存在的多種顏色，而是選擇只學習幾種主要的顏色，最后通過在原本網絡外部添加了一個神經記憶網絡[13]增強的著色網絡來儲存所有可能的顏色分布信息，減輕了這些問題。Cao 等[14]采用生成對抗網絡來直接進行圖像著色，并嘗試通過噪聲引入優化，將隨機噪聲變量多次全連到全卷積層的各個層，以此來鼓勵生成器產生隨機多樣的輸出，這種做法一定程度上可以實現生成圖像的多樣化，但同時隨著各層強效噪聲的加入，必然對最后圖像的生成質量產生影響。

1 基于條件生成對抗網絡的圖像著色

傳統的圖像著色方法是在給定單通道灰度輸入圖像的情況下生成彩色圖像。但是單個灰度圖像可能對應許多合理的彩色圖像，因此，傳統模型通常依賴于重要的用戶輸入相關信息來指定確定的著色方案。針對大部分傳統著色算法存在著色模式單一、在處理部分數據時著色效果不佳或者算法依賴人工輸入信息等缺點，本章提出了一種基于條件生成對抗網絡的圖像著色方法，深層神經網絡能夠捕捉和使用語義信息（即圖像的實際內容），相比傳統的圖像著色算法需要人工干預，基于深度學習的圖像著色算法，不需要任何人為干預，并且通過預測顏色分類和引入色彩對比度損失，進一步提高了著色效果。

1.1 總體網絡模型結構

對于一般的生成對抗網絡應用在圖像著色方面而言，主要有以下幾個問題：首先于一般圖像生成任務來說，圖像生成質量的標準包括顏色、紋理、結構相似性等各個方面，它們在圖像的評估中都有一定的比重，而作為圖像著色場景，顏色信息將作為網絡最注重的信息，而圖像的結構和紋理等信息將會從作為條件輸入的灰度圖中得到，所以在算法中應該增加對圖像顏色信息的評估。其次由于生成對抗網絡生成器總是傾向于生成欺騙辨別器的圖像，所以如果生成器已知生成紅色的花可以得到辨別器的認可，那么它就會傾向于把所有的花都生成紅色，忽略那些橙色或者紫色的花。因此為了解決上述的問題，本文提出了在原始條件生成對抗網絡的模型上一個再添加一個顏色預測模型，用來更好地建模色彩分布。這個顏色預測得到的不是一個唯一定量值，而是每個像素在顏色分類中的可能的概率分布，最后可以得到多個真實顏色的最近鄰，從而得到灰度圖對應的多個著色可能。網絡模型的結構如圖1所示。

圖1 網絡結構圖

網絡模型主要分為三個部分，首先是生成對抗網絡中的生成器模型，本文所采用的是U-Net 網絡結構，灰度圖的L通道向量會被作為條件向量輸入，經過U-Net網絡卷積、池化、特征融合、反卷積等操作會得到Lab三通道的目標張量，最后經過轉換得到生成圖像。同時在本文的網絡模型中添加了一個對圖像顏色分布概率預測的卷積神經網絡，這個網絡主要是通過特定數據集的大量訓練，學習灰度到彩色的一個映射，對基于這個數據集中的圖片進行顏色概率分布的統計，根據統計的規律，可以得到圖像較為合理的顏色分布。最后部分是辨別器網絡，用來判斷和反饋生成圖像的質量，同時預測模型得到的顏色分布也會作為辨別器評估的一部分，對符合預測的顏色分布的生成圖像給予鼓勵，對那些不合理的圖像給予懲罰，即生成器生成的圖像不僅要效果好，貼近原圖，更要合理，符合常規的顏色分布。

1.2 顏色預測網絡模型

本文的顏色預測模型根據的是文獻[11]提出顏色分布預測的模型改進的，其模型結構如圖2所示。

圖2 顏色預測網絡模型

可以看出，作為網絡的輸入的是只有L通道信息的灰度圖，本文設定初始尺寸為256×256，首先經過conv1層進行一次卷積操作，其卷積核步長為2，大小為3×3，然后得到大小為128×128，通道為64 的特征輸出，這個特征輸出作為conv2層的輸入，同樣由步長為1，大小為3×3的卷積核進行卷積操作，生成大小為64×64、通道數為128的特征輸出。以此類推，通過不斷卷積操作，通過conv8，將得到通道數為256，大小為64 的特征輸出，最后通過全連接層將前面所提取的特征做出加權處理，并在最終得到a、b 兩個通道組成的輸出，尺寸為224×224的顏色分布圖。

算法將網絡層的a、b 通道的輸出空間以10 為步長量化為Q類，本文Q取值為313，每一類都代表了一種唯一的顏色輸出。本文算法通過將M×N的原始灰度圖像（圖3（a））通過顏色預測模型網絡把圖像轉換成M×N×Q的向量（圖3（b））。對于圖像中任意位置的像素，可以得到一個基于Q分類的顏色分布（如圖3（c）所示），分辨率為64×64 的圖像被轉換為64×64×313 的大小，在每個Q分類的map上，圖像被表示為313個位面，每個位面中任意一個元素存儲對應像素點的Q分類取值，0或者1。

圖3 基于Q分布的圖像顏色預測

1.3 損失函數設計

本文網絡模型的損失函數主要包括4個分量，分別是生成對抗網絡中的條件對抗損失LGAN、生成圖像與目標圖像的距離L1、生成圖像與預測模型預測結果之間的距離損失L2和生成圖像與目標圖像的對比度差距損失函數LSSIM。其中生成對抗網絡的損失在前文中已經介紹了，主要體現了生成器和辨別器的對抗博弈。具體損失如式（1）所示：

Q：作為人氣搭配達人，不管在什么時候您看起來都是美美的。升級做媽媽后，穿衣風格和以往有變化嗎？在哺乳期化妝會注意什么，選用化妝品會特別考慮哪些方面？在給寶寶穿衣方面，你注重的是什么？

這里的D和G分別代表的辨別器和生成器，其中E(?)表示分布函數的期望值，x和z分別表示真實數據和噪聲輸入，Pdata(x)代表真實樣本的分布，Pnoise(z)是定義的噪聲分布，同時基于pix2pix，本文在原始的條件生成對抗網絡的損失函數中還加入了一個重構函數，也就是生成圖像與目標圖像的L1距離：

式中y為目標值，這個L1距離表示生成數據與目標數據的線性差值。除了條件生成對抗網絡的損失函數外，還有預測模型的輸出值與生成圖像的距離，這個損失表示生成的圖像不僅要滿足辨別器的評估標準，還需要滿足預測模型所預測的顏色分布，其距離損失函數如（3）所示：

其中G和Y分別為生成器生成圖像對應的a、b通道顏色分布以及預測模型預測的顏色分布，h、w分別為兩個顏色通道代表的維度。本文這里選用的是計算二者的L2距離。

最后由于文獻[11]中提出的顏色預測模型并不是總能表現得特別有效，在該文中也曾提到該模型在面對食物和蛇等分類圖像時著色效果并不理想，本文猜測是由于這類圖像對比度的影響。為了進一步提高顏色預測模型的效果和本文網絡著色的質量，本文還引進了一個色彩對比度損失，用來計算生成圖像與目標彩色圖像的對比度距離。在評價兩幅圖像相似度的指標結構相似性SSIM中，用均值差模擬亮度上的區別，用標準差作為對比度的區別，用協方差作為結構相似程度的評估。在本文中只采用其中的對比度比較部分和亮度比較部分。具體損失函數如下：

式中，μx和μy對應的圖像x和y的像素的平均值，δx和δy指的是圖像像素值得標準方差，C1和C2為常數。在實際應用中，α=β=1，所以上面的損失函數可表達為：

綜上所述，本文算法所使用的總損失函數為：

其中λ1、λ2、λ3、λ4分別為各損失函數的權重比例系數。

2 實驗結果及分析

2.1 實驗環境及數據集

2.2 實驗結果與分析

本文提出的算法在生成對抗網絡模型的基礎上增加了一個顏色分布預測模型，通過該預測模型分布對提取的特征進行顏色分布預測，總體來說可以更好的應對各種場景，并且在細節上更加出色，著色效果更為真實。具體著色效果如圖4所示。

圖4 著色效果展示

為了進一步驗證本文算法的有效性，進行了一系列實驗來與文獻[10]、[11]和文獻[12]中的圖像著色算法進行比較。如圖5 為多個算法在動物、水果、風景等多個分類圖像上的著色效果表現。

圖5 著色效果對比

通過圖5 中的結果對比可以看出，文獻[10]和文獻[11]的算法還是有圖像的邊緣出現顏色失真的情況，在第一幅和第四幅圖中，文獻[10]和[11]的算法都出現了染色不全的問題，并且圖像整體伴有少量雜色。另外作為著色評估標準，圖像的色彩對比度也十分重要，前三者的算法都或多或少傾向于暖黃色調或是偏青色的色調，特別是在風景圖中，容易出現交界不清的問題。對比之下，本文算法生成的圖像對比度更加鮮明，顏色更加飽滿。最后通過將各算法生成圖像與原圖相比可以看出，本文算法結果更加接近真實圖像的顏色分布，并且在不同特征交界處的細節處理更好。

一般圖像著色算法模型的效果都比較受限于數據集，在不同分類圖像上的著色效果也有可能存在差異，上文中也提到過文獻[11]算法在處理某些特定的數據集時效果并不是很好，所以本文在總損失函數中多添加了一個對比度損失函數，通過加強生成圖像的對比度細節來嘗試解決這個問題具體效果如圖6所示。

圖6 蛇和食物分類的著色效果

從圖6中可以看出，本章所使用的預測模型在蛇和食物分類上的圖像著色過程中表現的不是特別理想，主要表現在主體顏色傾向于背景，蛇被染上了接近土塊的顏色，食物上不同區域的顏色對比度不夠，整體偏向灰色調。本文加入了對比度損失之后，在針對上面這兩個圖像分類上的著色效果有了一定提高，圖像中不同特征的顏色對比度有所提高。為了進一步定量分析本文算法的改進效果，本章采用了顏色精確度Acc[16]來量化對比兩種算法的著色效果。這里的顏色精確度指的是兩幅圖像間具有相同顏色信息的像素的比例關系，其計算方式如下：

式中，x表示灰度圖像，h(x)指生成的圖像，y指真實彩色圖像，n是總像素數。其中1[0,εl](z)是指標函數，z∈R，εl指的是顏色通道中看作相同顏色的閾值距離，也就是說，某通道內二者像素的距離小于εl，就可以看作兩者顏色相同，本文中閾值距離εl選用的值為5%。表1是文獻[10]、[11]和[12]中算法和本文算法在不同分類數據集下著色效果的顏色精確度對比，實驗中選取了食物和蛇分類圖像各200張作為統計計算。

表1 不同類別圖像著色分析 %

顏色精確度表示了生成圖像在像素層面上是否接近真實值，由表1 可以看出本文算法在食物和蛇分類的圖像上的顏色精確度為35.2%和34.8%，明顯高于文獻[11]中算法的22.4%和19.6%，生成圖像的效果要明顯更接近于真實彩色圖像。在其他分類的圖像上則和文獻[11]的差距相差不大，由此可見，本文算法相對于文獻[11]提出的算法在針對某些數據著色時，確實有一定的提高作用。

為了進一步說明顏色預測模型有效性，在同樣的數據集下進行了一次消融實驗。在實驗中，先分別單獨使用原始的條件生成對抗網絡CGAN[17]和Cao等[14]的生成對抗網絡模型來進行著色，將灰度圖作為生成器的輸入條件，對應彩色圖像為目標圖像。然后加入了顏色預測模型進行了另一組實驗。對比結果如下，選用了FID[18]和LPIPS[19]這兩個指標來評估生成圖像與目標圖像的感知相似度，其中FID評分越小，代表生成圖像質量越好，圖像多樣性越高；相反地，LPIPS評分越大，代表生成圖像質量越好，圖像多樣性就越高。同時，也選用了上文中提到的顏色精確度Acc 作為著色效果的評估。從結果可以看出，在生成圖像的顏色精確度上，加入了顏色預測模型與原始CGAN 網絡結果相差不大。但是從FID 和LPIPS 這兩個指標可以看出，本文模型生成的圖像多樣性更高，這就意味著GAN 網絡往往存在一定的模式崩潰，輸入容易傾向單一確定的特征，采用本文模型能夠一定程度上提升著色圖像的多樣性。相比于Cao等[14]通過多級引入噪聲來達到生成多樣性效果的做法，本文模型的圖像顏色準確率更高。

表2 顏色預測模型的消融實驗定量分析

另外，本文算法著色效果依賴于所添加的顏色預測模型，通過該網絡對圖像中各個特征會有一個明確的顏色分布預測，這得益于顏色預測模型通過大量訓練，已經掌握了所提取特征的語義信息，通過對應匹配特征，可以很快預測出顏色分布。但如果輸入的圖像是本章模型訓練以外類型的圖片，顏色預測模型就很難發揮作用，圖7 是采用了節選的100 個分類以外的分類圖像作為測試集測試的效果圖。

圖7 使用訓練集以外的圖像測試著色效果

通過實驗測試，可以看到由于使用了訓練數據集圖像分類以外的圖像進行了著色，網絡沒有學習到圖像中某些特征的表達。比如圖像中的瓢蟲，由于訓練數據集中沒有瓢蟲分類的圖像，所以在著色過程中網絡并沒有單獨識別出瓢蟲，直接將它和植物一起染成了綠色，后面圖像中的鳥和拖鞋也是如此。由此可見本文著色網絡在應用場景上具有一定的針對性，算法應用的場景取決于有沒有對應合適的分類圖像作為數據集。換句話說，如果能提供更準確的場景分類圖像，本文算法的著色效果可以得到進一步的提高。

3 結束語

本文提出了一種基于生成對抗網絡的圖像著色算法，該網絡通過在傳統的條件生成對網絡的基礎上多添加了一個顏色預測模型，并通過該模型對像的細節特征紋理及分類信息進行提，再對應預測顏色分布，最后作為生成對抗網絡中生成器的評判標準的一部分，對圖像的生成做出限制和優化。通過實驗證明，本文方法相比于其他圖像著色算法，在色彩對比度和飽和度均有所提高，并在特征邊緣的細節處理等方面均有一定的改善，染色不全的問題也明顯減少，總體來說取得了較好的效果。