改進的CycleGAN 網絡用于水下顯微圖像顏色校正

王昊天，劉慶省，陳 亮，葉旺全，盧 淵，郭金家，鄭榮兒

（中國海洋大學信息科學與工程學部物理與光電工程學院，山東 青島 266100）

1 引 言

深海熱液礦床富含錳、銅、鎳和鈷等元素，是一種具有潛在開發價值的礦產資源，熱液中的微生物在礦物沉積和結核生成過程中發揮了重要作用［1-2］。同時，在海底深部生態系統中，菌席為生態系統中的生物群落提供了碳源和能量，一般因其不同部位微生物種類和地質的差異而顯示出不同的色彩［3］。水下顯微成像技術具有高分辨率動態監測、無損觀測等特點，可實現從幾十微米到幾百微米的微觀尺度觀測，該技術可以很好地滿足海洋中針對微生物群體這一微觀領域研究的需求。但是，復雜的水下環境及惡劣的光照條件使得獲取的水下圖像出現嚴重的質量退化。水下目標物的顯微圖像質量普遍較差，尤其會產生嚴重的顏色差，導致難以有效識別目標。

現階段關于水下圖像的質量復原研究，主要采用機器學習的方法。Zhang 等人［4］通過在神經網絡中添加U-Net 網絡以及感知損失函數來提高網絡性能，達到對渾濁水下圖像顏色復原的目的。Wu 等人［5］提出了一種基于結構分解的兩階段水下圖像卷積神經網絡（UWCNN-SD）增強算法，對不同類型的水下圖像進行顏色校正和增強。Han 等人［6］提出了一種新的螺旋生成對抗網絡框架，在目標函數中包括由均方誤差和角度誤差組成的像素級損失，可以有效地恢復出具有更多細節、生動色彩和更好對比度的真實水下圖像。Zong 等人［7］提出了一個局部CycleGAN 網絡來增強水下圖像，它結合了局部鑒別器和全局鑒別器來約束增強圖像的全局和局部視覺效果，有效地提升了水下圖像質量，校正了圖像色彩。Fu 等人［8］提出了一種基于全局-局部網絡和壓縮直方圖均衡化的水下圖像顏色校正方法來解決顏色畸變問題。Song 等人［9］提出了背景光的統計模型和傳輸圖的優化來增強水下圖像。然而，先驗信息的獲取依賴于水下成像環境，導致該方法對成像假設和模型參數很敏感，因此該方法可能不適用于變化強烈的水下環境。褚金奎等人［10］提出了一種基于特定偏振態的水下圖像去散射方法，能簡單有效地抑制渾濁水體的散射，增加圖像對比度，改善圖像質量。Zhuang 等人［11］提出了一種新穎的邊緣保持濾波Retinex 算法用于水下圖像增強，該算法將梯度域引導的圖像濾波反射和光照先驗嵌入到基于Retinex 的變分框架中，以改善圖像結構，減少偽影或噪聲。

對于水下顯微圖像，由于其具有更高的分辨率以及更低的像素差異度，一般的算法較難獲得很好的處理效果。因此，本文提出一種改進的循環一致性生成對抗網絡（Cycle-consistent Adversarial Network，CycleGAN）對水下顯微成像系統拍攝的大量水下目標物的數據集進行訓練處理，所獲結果在水下目標物顯微圖像的顏色校正方面能得到廣泛的應用。

2 改進的CycleGAN

2.1 CycleGAN

CycleGAN［12］是由兩個鏡像的生成對抗網絡（Generative Adversarial Network，GAN）［13］構成的環形網絡結構，主要包括兩個生成器、兩個判別器，損失函數不僅有生成對抗損失，還加入了循環一致損失（Cycle-consistency Loss）。該網絡首先學習源域X到目標域Y之間映射，然后又能從目標域Y中還原回來，有效完成了非配對數據集在圖像顏色和紋理方面的轉換任務，具體過程如圖1 所示。

以圖1（a）正向網絡為例，在正向網絡中生成器G將源域X中數據x映射到目標域Y中y?，鑒別器DY對生成圖像y?做出判斷；再通過生成器F將其還原成為域X中數據x?，而循環一致性損失則是為了讓x和x?盡可能相同。同理，目標域Y到源域X的轉換與上述過程相同。生成器G和判別器DY之間的損失函數定義如下［12］：

其中，X，Y分別代表源域和目標域，x?X，y?Y，Pdata（x）為源域X的數據分布，Pdata（y）為目標域Y的數據分布，Ey～Pdata(y)代表y服從Pdata（y）的情況下求期望，Ex～Pdata(x)代表x服從Pdata（x）的情況下求期望。

同樣，生成器F和判別器DX之間的損失函數可以表達成如下形式［12］：

為避免源域X中部分圖像映射為目標域Y中同一圖像的情況發生，CycleGAN 引入循環一致性損失（Cycle-Consistency Loss）函數用于計算x和x?之間的損失。利用F（G（x））≈y和G（F（x））≈x定義循環一致性損失Lcyc如式（3）［12］：

2.2 引入結構相似性損失函數

通常自然圖像是高度結構化的，降質的水下圖像的像素與空氣中標準圖像的像素之間存在很強的相關性。特別是在空間環境相似的情況下，這些相關性攜帶著視覺場景中物體結構的重要信息。文獻［14］在CycleGAN 網絡結構中引入結構相似性（Structure Similarity Index Measure，SSIM）損失函數［14］，其中，SSIM 可以從亮度、對比度和結構三方面度量圖像x和圖像y的相似性，其定義如公式（4）所示：

其中：μx為x的均值，μy為y的均值，σxy為x，y的協方差，σx2為x的方差，σy2為y的方差，c1，c2為常數。

文獻［14］在CycleGAN 網絡中加入結構相似性損失函數的目的就是使生成的空氣中圖像和輸入的水下顏色失真圖像，在紋理結構、亮度和對比度上保持一定程度的相似性。但是，輸入的水下失真圖像一般對比度和亮度較低，且顏色失真嚴重，用該失真圖像去校正生成的空氣中圖像，效果未必理想。本文希望生成的空氣中圖像在顏色和對比度方面都可以得到進一步增強。

受此啟發，本文使用的SSIM 損失函數只是限制輸入的原始水下降質圖像X和重構的水下圖像X?在顏色和邊緣紋理結構上保持一致性。所以，在彩色圖像X和X?的R、G、B 三個通道上分別計算SSIM 損失函數的值。然后將三個通道的SSIM 值取平均值，得到最終的SSIM 值。該改進可以加強對水下降質圖像R、G、B 三通道顏色的精準校正，進一步增強CycleGAN 網絡的性能，改進的網絡結構如圖2 所示。

圖2 改進的循環一致對抗網絡結構Fig.2 Structure of improved cycle-consistent adversarial network

綜上，輸入圖像X和重構圖像X?之間的損失函數可被定義為：

其中，

其中：N為一幅圖像中像素個數，P為圖像中心像素值。

改進后的CycleGAN 網絡總損失函數為對抗損失、循環一致損失、結構相似損失三部分的加權組合：

這里將權重系數λ與β賦值為1。

2.3 網絡結構和訓練細節

經典的CycleGAN 網絡呈鏡像結構，主要由兩部分構成，每部分都是基于GAN 的子網絡。每個GAN 網絡的生成器均由編碼器、轉換器以及解碼器構成。本文使用的生成器網絡結構如圖3 所示。

圖3 生成器網絡結構Fig.3 Structure of generator network

圖3中編碼器由三個卷積層構成，可用來提取源域圖像的不同特征；解碼器由三個轉置卷積層構成，通過特征向量完成對圖像的重構，在編碼器和解碼器之間還添加了9 個殘差塊（Residual Block）［12］構成轉換器，組合圖像的不同相近特征。

本文中GAN 網絡的判別器采用原網絡中70×70 的PatchGAN［12］，可以同時判別圖像中多個70×70 圖像塊真假，把所有圖像塊的判定結果的平均值作為圖像真假的判定結果，判別器網絡結構如圖4。

圖4 判別器網絡結構Fig.4 Structure of discriminator network

3 水下圖像顏色恢復實驗

本文模型訓練使用計算機配置是CPU 為Intel Xeon W-2123、3.60 GHz、RAM 16 GB、顯卡為NVIDIA TITAN RTX，利用搭建的水下顯微成像系統，采集了模擬水體下的自制標靶圖像。訓練數據集的數據量為550 張512×512 的模擬水體中自制標靶及礦石圖像數據、550 張512×512 對應的空氣中圖像數據。優化器采用性能較好的Adam 算法，學習率設置為0.000 2，迭代次數80，批次（batch size）為1。

3.1 水下顯微成像系統

為研究水下顯微成像過程及其影響因素，在顯微成像的光學結構基礎之上，搭建了如圖5 所示的水下顯微成像系統。該系統由圖像采集模塊、照明模塊和顯微成像模塊構成。

圖5 水下顯微成像系統裝置簡圖Fig.5 Device diagram of underwater microscopic imaging system

圖像采集模塊主要采用了一臺200 萬像素的彩色相機（BFLY-PGE-23S6C-C）對水下目標物進行高分辨率的彩色成像。照明模塊由白色的環形LED 光源及光源控制器構成，為水下顯微成像提供所需的均勻照明環境。顯微成像模塊由顯微物鏡（5×）和管透鏡（1×）組成，以實現對水下目標的顯微成像，本文實驗基于此套系統對水下目標物進行顯微圖像采集。

3.2 模擬水體及數據集制備

為了更好地模擬復雜海水環境以及懸浮顆粒對光的強散射與強吸收作用，文中在實驗室條件下制備了模擬水體，即通過向清水中加入脫脂牛奶模擬海水的散射作用，脫脂牛奶主要含有酪蛋白分子，其平均直徑在0.04～0.3 nm 之間，可模擬瑞利散射的機制［15-16］；向清水中摻入具有特定光吸收特性的墨水來模擬海水對光的吸收效應。實驗中選用的是法國J. Herbin D 系列彩色染料墨水［17］。

如圖6 所示，在實驗中所用照明光源波長范圍內，該染料墨水的吸收光譜相對值曲線與海水的吸收光譜特性曲線的變化趨勢較為類似，均存在一個“海水透光窗口”，其所覆蓋的波長范圍為430～570 nm。實驗所用照明光源的波長范圍都在650 nm 以下，避免了曲線特征變化趨勢不相似的波長區域。因此，墨水在長波長與海水吸收的差異不影響實驗中對海水吸收特性的模擬效果。綜上，脫脂牛奶和染料墨水可以很好地模擬復雜海水環境的強吸收與強散射特性。

圖6 典型的海水和藍綠染料墨水的吸收光譜Fig.6 Absorption spectra of typical seawater and bluegreen dye inks

在樣品的選擇方面，由于天然巖石標本顏色種類單一，水下礦物樣品難以獲得，無法滿足訓練要求，為了增加訓練神經網絡的泛化能力。采用Photoshop 軟件中的顏色庫PANTONE+Color Bridge Uncoated 制作了顏色形狀種類豐富的水下目標物標靶，并以此作為訓練網絡模型的訓練數據集，部分自制標靶圖像如圖7所示。

圖7 部分自制標靶圖像Fig.7 Some self-made target images

4 結果分析與對比

4.1 實驗結果主觀分析

利用改進的CycleGAN 算法對自制的水下目標物標靶數據集進行訓練處理；同時，為了對比處理效果，本文采用傳統圖像處理方法中的帶色彩恢復系數的多尺度Retinex 算法（Multi Scale Retinex With Color Restoration，MSRCR）［18-19］對目標物進行處理，結果如圖8所示。

圖8 不同算法處理水下自制標靶圖像結果Fig.8 Results of underwater self-made target images processed by different algorithms

從主觀視覺角度可以看出，圖8 中帶色彩恢復系數的多尺度Retinex 算法（MSRCR）處理后的圖像，存在明顯的顏色過飽和現象，與空氣中的目標物圖像顏色差距較大。在迭代次數和學習率相同情況下，原始的CycleGAN 網絡處理后的水下圖像在照明不足部分（暗區域）出現了大量偽色彩，且存在圖像顏色復原失真現象，圖像顏色恢復較原圖存在很大的差距。與此相比，改進后的CycleGAN 處理的水下圖像顏色恢復得更加接近空氣中的原圖，圖像亮度得到明顯提升，且圖像周圍的干擾噪聲得到了有效抑制，網絡模型訓練更加穩定。從圖8 中可發現，實驗采集的水下圖像普遍呈現藍綠色調，主要是由于模擬水體對可見光波段的強吸收具有明顯的波長選擇性，表現為短波長比長波長吸收少。此外，由于脫脂牛奶中酪蛋白分子產生強烈的后向散射效應，導致水下圖像表面呈現“霧化”效果。經本文算法處理后，以上兩種現象也得到了明顯改善。

本文利用訓練好的改進CycleGAN 網絡對天然礦石的水下降質圖像進行了處理。所選用天然礦石為斑點石（Dalmatian）、花綠石（Unakite）、圖畫石（Picture Jasper），這幾種礦石的表面顏色和紋理均有較為明顯的區別。通過對天然礦石特征區域的顯微圖像進行處理，得到如圖9所示的實驗結果。

圖9 不同算法處理水下天然礦石圖像結果對比Fig.9 Comparison of underwater natural stone images processed by different algorithms

從以上處理結果可以看出，帶色彩恢復系數的多尺度Retinex 算法（MSRCR）處理后圖像雖然亮度得到明顯提升，但顏色恢復效果不佳。改進后的CycleGAN 算法圖像顏色恢復得更加自然真實，圖像亮度有了很大改善，紋理邊界更加清晰，顏色上也更加接近空氣中的原圖。

4.2 實驗結果客觀評價

為了更加客觀地說明本文算法對水下顯微圖像處理的適用性和優越性，本文通過客觀評價指標峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和SSIM［20］，以及水下彩色圖像質量評價指標（Undewater Color Image Quality Evaluation，UCIQE）［21］對不同算法處理后的水下顯微圖像進行定量分析比較。

要計算PSNR 必須先計算當前圖像和參考圖像的均方誤差（MSE）。假設兩幅圖像X和Y，他們的分辨率均為m×n，則它們的均方誤差可以定義為：

則峰值信噪比PSNR 可通過MSE 得出來：

其中：MAXI代表圖像像素點的最大值，MSE的值越小，PSNR越大，說明處理后圖像的質量越好。

UCIQE 是用CIELab 空間的色度、飽和度、對比度三者的加權組合來評價圖像質量，其定義為：

其中：σc是色度的標準差，conl為對比度，μs是飽和度的平均值，c1，c2，c3是加權系數。

通過客觀評價指標對水下目標物圖像進行處理，得到如表1 所示的客觀評價結果。

從表1 中可以看出改進的CycleGAN 算法處理后的水下圖像的PSNR、SSIM 指標均好于CycleGAN 算法，改進的CycleGAN 算法的UCIQE指標與空氣中標準圖像的UCIQE 指標的差值最小，即改進的CycleGAN 算法處理后的水下圖像更加接近空氣中的標準圖像；MSRCR 算法處理結果中的UCIQE 差值在幾種算法中最高，即該算法處理后的水下圖像與空氣中的標準圖像相去甚遠，且PSNR 和SSIM 指標也不及前者；評價指標的客觀評價結果與主觀視覺感受相符。

表1 不同算法處理的水下顯微圖像客觀評價指標Tab.1 Objective evaluation indexes of underwater microscopic images processed by different algorithms

5 結 論

為解決水下顯微圖像顏色失真的問題，本文提出了一種改進的CycleGAN 算法。通過在原始水下降質圖像和重構水下圖像之間加入R、G、B 三個通道的SSIM 損失函數，度量二者圖像間的信息損失；并通過主觀視覺感受和客觀評價指標驗證了改進算法對水下圖像色彩恢復的有效性。結果表明，在強吸收與強散射混合水體中，自制標靶圖像組中本文所提改進的CycleGAN算法處理后的效果表現良好，圖像的PSNR、SSIM 指標分別較改進前提高了12.89% 和5.78%，較傳統MSRCR 提高了41.85% 和35.62%，UCIQE 也與空氣中圖像最為接近；水下巖石樣品圖像的PSNR、SSIM 指標分別較改進前提高7.40%和5.78%，較傳統MSRCR 提高了20.65%和75.86%，達到對水下顯微圖像顏色校正的需求，為研究水下礦石表面微生物礦化過程和深海菌席的研究提供了技術支撐，有望在海洋地質和海洋生物學方面得到應用。