基于生成對抗網絡的CFA圖像去馬賽克算法

羅靜蕊，王 婕，岳廣德

（1.西安理工大學自動化與信息工程學院，西安710048；2.西安交通大學數學與統計學院，西安710049）

0 概述

目前，數碼相機成為數字成像技術的主流成像設備，在智能交通、醫學成像與遙感影像處理等領域發揮了重要作用。數字彩色圖像中的每個像素分別有紅色（Red，R）、綠色（Green，G）和藍色（Blue，B）3 個顏色分量。為得到高質量的彩色圖像，最佳的解決方案是使用3 個顏色傳感器分別接收每個像素的R、G、B 分量，隨后將這3 種顏色分量合成彩色圖像。在實際應用中，由于3 個傳感器的布置會影響后續的色彩合成，并且3 個傳感器的數碼相機通常比較昂貴且體積較大，因此多數數碼相機使用單傳感器的圖像采集系統。

單傳感器數碼相機在進行圖像采集時，在傳感器前會放置一個彩色濾波陣列（Color Filtering Array，CFA），從而產生CFA 圖像。由CFA 到達傳感器元件的光通常包含R、G、B 這3 種光譜，如拜爾（Bayer）模式［1］。在CFA 中，每個像素點僅允許通過一個顏色分量，因此通過CFA 圖像僅能判斷出景物的大致輪廓，而不能獲得完整的色彩信息。Bayer 模式的CFA 陣列交替使用一組R-G 濾鏡和一組B-G 濾鏡，其中，綠色像素呈對角排列，紅藍像素呈對角間隔排列。因此，陣列中的綠色像素占總像素個數的1/2，紅色和藍色像素分別占總像素個數的1/4。由于每個像素只包含一個顏色分量，因此需要根據相鄰像素點的顏色分量信息對其他兩個顏色分量進行插值恢復，進而根據CFA 圖像得到全彩色圖像，該過程稱為圖像去馬賽克。

在通常情況下，采用傳統插值算法進行圖像去馬賽克操作時，對于色彩變化較小的平滑區域可以獲得較高的精度。然而，由于R、G、B 分量分別占據不同的顏色通道，各個通道之間可能存在空間偏移，當對圖像邊緣等高頻部分進行插值時通常存在偽影現象。另外，一些傳統插值算法忽略了不同顏色通道之間的相關性，導致去馬賽克圖像邊緣出現顏色失真現象［2］。針對上述問題，本文提出一種基于生成對抗網絡（Generative Adversarial Network，GAN）的CFA圖像去馬賽克算法。GAN 網絡中使用的生成器為具有殘差稠密塊（Residual Dense Block，RDB）和遠程跳躍連接的深層殘差稠密網絡（Deep Residual Dense Network，DRDN），鑒別器為一系列堆疊的卷積單元，并結合對抗性損失、像素損失以及特征感知損失改進網絡損失函數進一步提高網絡性能。

1 相關工作

1.1 傳統去馬賽克算法

目前，研究人員提出了很多用于圖像去馬賽克的插值算法，如最近鄰插值算法（Nearest Neighbor，NN）［3］、雙線性插值算法（Bilinear）［4］等，這些算法實現簡單，但容易造成圖像偽影和色彩失真。為提高圖像去馬賽克效果，研究人員陸續提出了一系列插值算法。

在梯度類插值算法中，文獻［5］提出Hamilton-Adam 算法，該算法在插值過程中考慮了采樣后通道的二階導數，利用顏色通道間的相關性來提高插值后圖像的視覺效果。文獻［6］提出TL（Two-Line）算法，該算法利用小鄰域內不同光譜成分交叉比的同質性對低梯度方向的像素點進行插值，以產生高質量的圖像。

在基于方向的插值算法中，文獻［7］利用線性最小均方誤差（Linear Minimum Mean Square Error，LMMSE）從水平和垂直兩個方向進行估計，進而重構出3 種顏色分量信息。文獻［8］在水平插值和垂直插值中使用先驗決策，然后根據圖像邊緣走向進行插值。該算法重構的圖像在非水平或垂直走向的邊緣處容易出現虛假色。文獻［9］提出一種局部方向插值與非局部自適應閾值方法，該方法利用圖像的非局部冗余來改善局部色彩的再現效果，可以有效地重建圖像邊緣并減少顏色偽影。

在基于殘差的插值算法中，文獻［10］提出最小化拉普拉斯殘差插值（Minimized-Laplacian Residual Interpolation，MLRI）算法，該算法通過最小化殘差的拉普拉斯能量來估計像素值，可以有效地減少顏色偽影現象。文獻［11］提出基于自適應殘差插值（Adaptive Residual Interpolation，ARI）的去馬賽克算法，該算法通過自適應選擇合適的迭代次數，并在每個像素點上結合兩種不同類型的殘差插值算法，有效改進了傳統的殘差插值算法。文獻［12］將殘差插值（Residual Interpolation，RI）算法與基于梯度的閾值自由（Gradient-Based Threshold Free，GBTF）算法相結合，以獲得較好的去馬賽克效果。文獻［13］利用CFA 圖像中的高光譜空間相關性來計算色差信號以恢復3 種顏色信息，該算法能夠有效消除圖像鋸齒現象。另外，文獻［14］提出一種基于壓縮感知（Compressive Sensing，CS）的彩色圖像去馬賽克算法，該算法充分挖掘了彩色分量間和分量內的稀疏特性，可使復原圖像的紋理細節與色彩更加逼真。

1.2 基于神經網絡的去馬賽克算法

近年來，神經網絡在圖像分類［15-16］、運動識別［17-18］、圖像超分辨率重建［19-20］、圖像去馬賽克等圖像處理領域得到了快速發展和廣泛應用。文獻［21］采用深層卷積神經網絡（Deep Convolutional Neural Network，DCNN）進行去噪和去馬賽克處理，有效抑制了噪聲和圖像偽影。文獻［22］利用深度殘差網絡對圖像進行去馬賽克處理，取得了良好的效果。文獻［23］提出一種改進的殘差U-Net，對于不同CFA 模式具有良好的泛化能力。

2 生成對抗網絡

生成對抗網絡是一種概率生成網絡，由GOODFELLOW 等［24］于2014年將其引入深度學習領域。GAN 結構如圖1所示，主要包括一個生成器G和一個鑒別器D，其中，G用于捕獲真實樣本x的數據分布，并采用服從某一分布（如高斯分布）的噪聲n來生成一個類似真實數據的生成樣本G(n)，D是一個二分類器，對于來自真實數據x的樣本，若D將其判斷為真（True），則輸出D(x)表現為一個大概率值，否則D將其判斷為假（False），輸出D(x)表現為一個小概率值。

圖1 GAN 結構Fig.1 Structure of GAN

GAN 的訓練過程是通過訓練G以最小化生成樣本G(n)與真實樣本x的差異，同時通過訓練D以最大化網絡的識別精度。因此，GAN 的訓練過程是一個博弈問題，通過多次交替優化G和D提高各自的網絡性能，使得G和D逐漸達到納什均衡，最終G(n)的數據分布近似于x的數據分布。上述過程的目標函數定義為：

其中：x～Pdata(x)表示x服從真實樣本的數據分布Pdata(x)；n～Pnoise(n)表示n服從模擬樣本的數據分布Pnoise(n)；D(x)和D(G(n))分別表示D對真實樣本x和生成樣本G(n)的分類標簽值；E(·)表示期望。在如式（1）所示的聯合優化策略中，D的任務是將x識別為True，將G(n)識別為False，而G的任務是阻止D做出正確判斷。通過這種對抗式的網絡訓練，G和D的性能均得到提升，G最終生成接近真實值的數據。

3 基于生成對抗網絡的去馬賽克算法

3.1 網絡結構

本文提出一種基于生成對抗網絡的CFA圖像去馬賽克算法，具體過程如圖2所示。首先，提取CFA圖像中的R、G、B 這3 種顏色分量，形成三通道CFA圖像作為生成器G的輸入，用于生成插值后的三通道彩色圖像。然后，將三通道彩色生成圖像與三通道彩色真實圖像同時輸入鑒別器D，根據鑒別器的輸出概率值來優化G和D的網絡參數。本文對生成器和判別器結構分別進行設計，通過端到端可訓練的網絡架構對數據集進行訓練，并結合對抗損失、像素損失和特征損失改進網絡損失函數進一步提高網絡性能。

圖2 CFA圖像去馬賽克過程Fig.2 Process of CFA image demosaicing

3.2 生成器結構

本文使用的生成器G為深層殘差稠密網絡，具體結構如圖3所示。DRDN 主要由殘差稠密塊和遠程跳躍連接構成。G中所有卷積層的卷積核大小為3×3、步長為1。G中每個卷積層之后引入批量歸一化（Batch Normalization，BN）操作以減慢網絡內部協變量的傳遞并降低網絡對初始化權重的敏感性，可以加速網絡收斂并提高網絡性能［25］。除了最后一層以外，網絡激活函數采用LReLU 函數，其定義為：

其中：κ表示一個正常數，κ∈(0,1)，本文設置κ為0.1；xl表示LReLU 激活函數層的輸入向量。最后一層采用Tanh 函數作為激活函數，其定義為：

在圖3 中，輸入圖像是尺寸為50 像素×50 像素的三通道CFA 圖像，輸出圖像是尺寸為50 像素×50 像素的三通道彩色生成圖像。輸入圖像首先通過3 個卷積單元以提取圖像的淺層圖像特征，然后將得到的淺層圖像特征輸入RDB。

圖3 生成器結構Fig.3 Structure of generator

隨著網絡深度的增加，網絡可以學習到更多的圖像細節信息，但是過深的網絡可能會出現網絡退化現象，通過使用RDB 可以改善網絡梯度消失和梯度彌散等問題。圖4 為殘差稠密塊結構，可以看出RDB 中不僅包括輸入與輸出之間的跳躍連接，而且包括各卷積層之間的稠密連接。RDB 操作過程可以表示為：

圖4 殘差稠密塊結構Fig.4 Structure of residual dense block

其中：fd-1和fd分別表示第d個RDB 的輸入特征圖和輸出特征圖；H(·)表示RDB 的殘差函數；g(·)表示稠密連接輸出函數。稠密連接結合了淺層圖像特征與深層圖像特征，可有效改善圖像信息在前向傳播時可能丟失的問題，并且提高了網絡對圖像細節信息的學習能力。

本文除了RDB 內部的跳躍連接和稠密連接外，對于生成器G，在RDB 之間引入具有不同距離的遠程跳躍連接，使得網絡可以更好地學習不同深度的圖像信息。首先，通過一個拼接層將各個跳躍連接的結果進行合并操作（Concat）。然后，利用3 個卷積單元進一步提取圖像的深層特征，以生成彩色的去馬賽克圖像。最后，采用一個遠程跳躍連接將G的輸入與輸出相連接，使網絡能夠學習CFA 圖像中缺失的像素值，加速網絡收斂并進一步提升網絡性能。上述過程可以表示為：

其中：z和y分別表示輸入的三通道CFA 圖像和輸出的三通道彩色生成圖像；[·]表示拼接操作；F(·)表示拼接層后續的一系列操作。

3.3 鑒別器結構

鑒別器的目的是鑒別輸入圖像的真偽。本文使用的鑒別器D的結構如圖5所示，D由一系列堆疊的卷積單元構成，基本操作層為卷積層、BN 操作層和LReLU 激活函數層。對于鑒別器的最后一層，使用Sigmoid 激活函數將輸出的特征數據映射為[0,1]。Sigmoid 激活函數的定義為：

圖5 鑒別器結構Fig.5 Structure of discriminator

其中：xs表示Sigmoid 激活函數層的輸入向量；D中所有卷積層的卷積核大小為3×3、步長為1。

3.4 損失函數

本文通過借鑒文獻［26］的網絡損失函數，經過適當加權將對抗性損失、像素損失以及特征感知損失相結合并將其作為生成器的損失函數。對抗性損失函數La的定義為：

其中：G(·)表示生成器；D(·)表示鑒別器；zi表示輸入的三通道CFA 圖像；N表示輸入圖像數量。

像素損失函數Lp表示像素間的Euclidean 距離，其定義為：

其中：λ||?G(zi)||2表示正則化項；λ表示正則化權重。式（8）通過比較三通道彩色生成圖像G(zi)與三通道彩色真實圖像xi像素間的差異來恢復圖像信息。

特征感知損失函數Lf的定義為：

其中：V(·)表示從預先訓練好的VGG19［27］網絡中提取的特征映射矩陣。式（9）通過比較三通道彩色生成圖像G(zi)與三通道彩色真實圖像xi的圖像特征，可以更準確地提取圖像特征并恢復圖像高頻信息。

本文將La、Lp和Lf損失函數進行適當加權結合，共同約束生成器，因此生成器的損失函數定義為：

第四步：運用分類討論的思想方法．當直線繞原點旋轉運動的過程中,討論兩個函數圖象交點的個數,得出滿足條件的a的取值范圍為

其中：α、β、γ表示正權重。根據式（10）對生成器的參數進行相應修改后，利用式（11）對鑒別器進行更新：

其中：對于真實圖像xi，鑒別器輸出D(xi)接近于1；對于生成圖像G(zi)，鑒別器輸出D(G(zi))接近于0。通過式（10）與式（11）可以實現生成器與鑒別器的交替優化。

4 數值實驗

本節通過數值實驗驗證生成式對抗網絡的性能，生成式對抗網絡在Tensorflow 環境中進行訓練，實驗運行在配置為Nvidia?GeForce MX250 GPU 和Intel Core i5-8265U CPU 的計算機上。

4.1 訓練參數與訓練過程

本文使用的訓練數據庫來自WED（Waterloo Exploration Database）［28］，其中包含4 744 幅自然圖像，從中選取600 幅圖像作為訓練集中的原始圖像，對原始圖像做CFA 處理以獲得CFA 圖像。通過縮放、旋轉等數據增廣操作增加訓練圖像的數量，具體操作為：首先對每幅圖像進行1.0 倍、0.9 倍、0.8 倍和0.7 倍的縮放；然后使用滑動窗口將縮放的圖像裁剪成尺寸為50 像素×50 像素的小塊圖像，其中滑動窗口在水平和垂直方向上的滑動步長均為20 個像素點；最后將獲得的小塊圖像依次進行垂直和水平翻轉，并順時針旋轉90°、180°和270°。通過上述數據增強操作得到了10 萬幅訓練圖像，這些圖像在網絡訓練過程中分批輸入，以減少網絡計算量及避免局部極值問題。

在訓練過程中，損失函數中的權值參數設置為α=0.5、β=1、γ=1，正則化權重設置為λ=10-5，批量大小設置為256，迭代次數設置為200。由于在訓練過程中網絡采用了可變的學習率，因此初始學習率設定為0.01，每迭代40 次減少1/10。

4.2 實驗結果分析

實驗采用的測試集為Kodak 公開數據集。Kodak 數據集包含24 幅尺寸為768 像素×512 像素的彩色圖像。為定量評價網絡性能，采用彩色峰值信噪比（Color Peak Signal to Noise Ratio，CPSNR）［21］和結構相似度（Structural SIMilarity，SSIM）［29］指數作為客觀評價指標，通過與不同的去馬賽克算法進行比較驗證本文算法的有效性。對比算法為最近鄰插值算法（NN）［3］、雙線性插值算法（Bilinear）［4］、TL［6］、ZHANG’s［13］、ARI［11］、MLRI［10］、RI-GBTF［12］、DCNN［21］，其中DCNN 和本文算法均屬于基于神經網絡的去馬賽克算法。使用不同算法對Kodak 測試集中的24 幅圖像進行去馬賽克處理，得到的CPSNR 與SSIM 指標如表1所示，可以看出本文算法的兩項指標相比其他算法有明顯的改進，驗證了本文算法的有效性。

表1 9 種算法的客觀評價指標對比Table 1 Comparison of the objective evaluation indexes by nine algorithms

續表

圖6 9 種算法的客觀評價指標的箱形圖顯示結果Fig.6 Box plots display results for the objective evaluation indexes by nine algorithms

圖7 給出了隨著迭代次數的增加，DCNN 和本文算法的網絡損失變化趨勢，其中對網絡損失值進行了歸一化處理，可以看出本文算法在網絡收斂速度以及網絡損失值的減少程度上均優于DCNN。

圖7 DCNN 和本文算法的網絡損失變化趨勢Fig.7 The trend of the network loss of DCNN and the proposed algorithm

圖8和圖9給出了對于Kodak數據集中圖像4和圖像10 分別使用不同算法獲得的去馬賽克圖像，其中，圖8（a）和圖9（a）為原始圖像，圖8（b）和圖9（b）為放大圖像，圖8（c）和圖9（c）分別是使用NN、Bilinear、TL、ZHANG’s、ARI、MLRI、RI-GBTF、DCNN、文獻［14］算法和本文算法的去馬賽克圖像，圖8（d）和圖9（d）分別是圖8（c）和圖9（c）對應的放大圖像，圖8（e）和圖9（e）分別是圖8（c）和圖9（c）對應的殘差圖像。由于使用的測試圖像存在復雜的紋理信息且容易產生偽影，因此選取某一局部區域進行放大以便于更好地呈現細節信息。另外，圖8 和圖9 中給出了原始圖像與去馬賽克圖像的差值（殘差圖像）以便于直觀顯示各種算法的重構精度。通過對比可以看出，各種算法對于平滑區域均可以較好地實現圖像恢復，但是對于非平滑區域，一些傳統算法容易出現偽影現象，而本文算法相較對比算法可以更好地抑制圖像高頻部分的偽影現象，對于圖像的一些細小邊緣信息可以更好地進行恢復。結合表1可知，本文算法對圖像4 與圖像10 測試的CPSNR 值分別為43.78 dB 和44.47 dB。文獻［14］算法使用了與圖像4和圖像10相同的測試圖像，CPSNR值分別為41.76 dB和43.11 dB。通過對比可以看出，本文算法相較文獻［14］算法具有更好的去馬賽克效果。綜上所述，本文算法能夠更有效地抑制偽影現象及恢復圖像邊緣等高頻信息，從而呈現出更好的視覺效果。

圖8 針對Kodak 數據集中圖像4 采用不同算法得到的去馬賽克圖像對比結果Fig.8 Comparison results of the demosaicing images from different algorithms for the 4th image in the Kodak database

圖9 針對Kodak 數據集中圖像10 采用不同算法得到的去馬賽克圖像對比結果Fig.9 Comparison results of the demosaicing images from different algorithms for the 10th image in the Kodak database

5 結束語

為更有效地重建彩色圖像，針對單傳感器相機恢復彩色圖像的去馬賽克問題，本文提出一種基于生成對抗網絡的CFA圖像去馬賽克算法。通過設計GAN 的生成器、鑒別器和網絡損失函數增強學習圖像高頻信息的能力，并結合對抗性損失、像素損失以及特征感知損失改進網絡損失函數提升網絡整體性能。數值實驗結果表明，該算法能有效地減少圖像邊緣的偽影現象，產生接近真實圖像的高質量重建圖像。本文研究假設CFA 圖像是無噪的，而在現實環境中獲得的圖像可能會受到噪聲的影響，并且在實際應用中CFA 有多種模式，但本文僅使用Bayer模式，由于不同的CFA 模式對重構圖像會有不同的影響，因此后續將針對不同的CFA 模式并且結合圖像去噪與圖像去馬賽克處理對網絡進行訓練與優化，進一步提升網絡整體性能。