基于CycleGAN 的HDR 重建方法研究

徐 曼， 謝 維， 姚斌榮

（浙江理工大學計算機科學與技術學院（人工智能學院）， 杭州 310018）

0 引 言

隨著數碼相機的流行以及圖片處理軟件功能的日趨豐富，HDR 成像技術越來越成熟，并已廣泛應用于遙感測繪、游戲開發、醫療影像、監視系統等各個領域中。 相比于LDR 圖像，HDR 圖像具有更高的曝光動態范圍以及更豐富的細節層次，極少存在圖像細節扭曲丟失情況，能最大程度地保留場景細節信息，為后續的圖像分析研究打下堅實基礎。 但是隨著圖像的清晰度的提高、尺寸越來越大，傳統的HDR 成像算法耗時大大增加，并且生成的圖像存在色彩不真實、圖像細節缺失等問題，HDR 成像技術成為了數字圖像發展的一個瓶頸，因此尋求高效重建HDR 圖像的方法已成為計算機圖像領域的一個底層研究熱點。

HDR 圖像既可以使用多曝光LDR 圖像進行重建，也可以使用單曝光LDR 圖像進行重建。 前者使用多張連續拍攝獲得的LDR 圖像進行重建，在手機和相機中使用較多，但是設備的抖動會使LDR 圖像位置信息不一致導致生成的圖像存在偽影現象。 而后者通過單張LDR 圖像豐富過曝和弱曝區域的細節信息實現，不存在偽影現象，但是更具挑戰性。Wei 等學者［1］利用GAN 結構以端到端的方式從單曝光的LDR 圖像中重建缺失的信息，從而拓展給定圖像的動態范圍生成HDR 圖像，并在此基礎上提出一種新的密集反饋模型和反饋機制，通過全局反饋和局部反饋連接，利用高層信息來完善自上而下反饋流中的淺層信息，前向通道中的密集連接能夠實現特征重用，并全面學習從LDR 到HDR 映射的復雜非線性關系。 Khan 等學者［2］在CNN 中添加反饋機制設計了一個端到端的FHDR 反饋網絡，與傳統的前饋網絡中的單一前向傳遞不同，通過設計一個密集的反饋塊對HDR 的重建過程進行多次迭代學習，使用隱藏狀態的高級特征來引導初始的低級特征，從而能夠創建一個從粗到細的表征。 Chen 等學者［3］考慮到多曝光LDR 圖像重建方法忽略了噪聲和量化損失導致可行性差，提出一種新穎的基于學習的方法，使用HDRUNet 空間動態編碼器-解碼器網絡學習一種端到端的映射，用于單曝光的HDR 重建，并進行去噪和去量化。 該網絡包括一個UNet 式的基礎網絡，以充分利用分層的多尺度信息、一個條件網絡，以執行特定模式的調制、以及一個加權網絡，以選擇性地保留信息。 此外，研究中還提出了一個Tanh_L1 損失函數，以平衡過度暴露值和良好暴露值對網絡學習的影響，該模型在NITRE2021 高動態范圍挑戰賽的單幀賽道上贏得了第二名。

而生成式對抗網絡（Generative Adversarial Networks，GAN）這個概念由Goodfellow 等學者［4］于2014 年首次提出，由相互博弈的生成器和判別器組成，兩者對抗達到納什平衡后，生成器就能生成以假亂真的圖片，該模型在風格遷移領域對風格圖片的紋理特征抓取能力十分強大。 2016 年，伯克利人工智能研究室提出了Pix2Pix［5］，包括基于U-Net 的生成器、基于PatchGAN 的判別器和基于條件GAN 的損失函數，并且使用CNN＋BN＋ReLU 的模型結構，采用監督學習進行訓練，該網絡結構后續也成為了圖像風格遷移的通用框架，并且在眾多數據集中表現優異。 但是Pix2Pix 在訓練時需要大量的配對數據，為了解決這個問題，Pix2Pix 的開發都隨后將對偶學習的思想融入到Pix2Pix 中提出了CycleGAN模型［6］，引入循環一致性概念，在保持圖片內容不變的基礎上實現圖片風格的轉換。 Deng 等學者［7］在Pix2Pix 中加入注意力機制提出一個新的生成式對抗網絡用于分割海馬體圖像，生成器結合了殘差網絡和注意力機制用以捕獲詳細信息，鑒別器使用卷積神經網絡來鑒別生成模型的分割結果和專家結果。 通過生成器和鑒別器的連續傳輸損失來提高生成器分割海馬體的質量，結果表明該網絡模型不僅實現了海馬體的高效自動分割，還在相似系數、陽性預測值和靈敏度指標上取得了較高的分數。 Zhang 等學者［8］將自注意力添加到生成式對抗網絡當中提出了SAGAN，添加了自注意力機制的網絡可以借助任一位置的特征生成圖像，并且在生成器中添加頻譜歸一化來提高訓練的動態性，SAGAN 在ImageNet 數據集上進行測試，大幅提高了圖像在各指標上的得分。Aslan 等學者［9］提出一種深度卷積生成對抗性神經網絡（DCGAN）用來檢測煙霧，該網絡融合了人眼視覺原理，使用添加了噪聲的真實圖像對DCGAN 進行常規訓練，以及使用真實煙霧圖像單獨訓練判別器，能穩定地表示有煙和無煙的序列。

目前，已有學者使用生成式對抗網絡進行HDR重建，并取得較好的效果，本文基于CycleGAN 進行HDR 重建方法的研究，對CycleGAN 模型中的生成器和判別器結構分別進行改進以提高生成質量，并增加注意力機制更加關注圖像細節。

1 網絡結構

1.1 CycleGAN 網絡結構

CycleGAN 在GAN 基礎網絡結構上進行改進，由2個生成器和2 個判別器組成的鏡像對稱環形網絡構成。 CycleGAN 原理圖圖1 所示，輸入域圖像Input_X作為生成器Generator X2Y 的輸入，生成具有特有風格特征的圖像Generated_Y，為了保證Generated_Y 的內容不變，將Generated_Y 又輸入生成器Generator Y2X得到Cyclic_X，Cyclic_X 越趨向于Input_X，就越能保證Generated_Y 的圖像內容不變。 將Generated_Y 和目標圖像輸入鑒別器Discriminator_B 判斷Generated_Y 真假Decision［0，1］。

圖1 CycleGAN 網絡結構圖Fig. 1 Structure of CycleGAN network

生成器由編碼器、轉換器、解碼器三部分組成。編碼器使用3 個卷積層，每一層都使用ReLu激活函數。 轉換器使用n個包括2 個卷積層和1 個跳躍連接的ResNet Block 模塊。 解碼器使用2 個反卷積層和1 個卷積層，反卷積層使用ReLu激活函數，卷積層使用Tanh激活函數。 判別器包括使用LeakyReLu激活函數的4 個卷積層與1 個不帶激活函數的卷積層，使用PatchGAN 幫助生成器生成更清晰的圖像。

1.2 基于DANet 注意力機制的生成器

ResNet 這種跳躍連接的方式雖然打破了網絡逐級連接的傳統，解決了網絡層數增加帶來的梯度爆炸和梯度消失問題，但仍不能精準地提取出圖像的特征。 因此本節將 ResNet 網絡更改為DenseNet［10］，DenseNet 相對于ResNet 來說在特征傳遞方面更具優勢，能大幅減少網絡中的參數量，并緩解梯度消失和模式退化問題，替換后的生成器網絡結構如圖2 所示。

圖2 基于DenseNet 的生成器結構圖Fig. 2 Generator structure based on DenseNet

為了提高生成器生成圖像的紋理細節，在其中一個生成器的轉換器中添加DANet 混合注意力網絡，形成DADB 模塊。 DANet 混合注意力網絡可以自適應地集成全局依賴和局部特征，有助于網絡提取圖像特征，進而提升輸出圖片的質量和效果，包括位置注意力和通道注意力。

DADB 模塊由2 個分支組成，如圖3 所示。 圖3中，上面為DANet 注意力機制網絡，對空間域和通道域同時進行學習，并且輸出與主干分支數量一致的標記分支特征圖，更關注圖像紋理細節缺失部分。下面分支為原來的Dense Block，保證網絡的特征提取能力。 最后，上下分支得到的大小相同的特征圖進行權重相加，將結果輸入到下一個DADB 模塊或解碼器中。

圖3 最終的生成器結構圖Fig. 3 Final generator structure

1.3 多尺度判別器

CycleGAN 中使用的PatchGAN 判別器雖然在一定程度上提高了生成圖像的質量，但是仍不能完全捕捉到圖像的全局信息，因此本文使用多尺度判別器［11］對原判別器進行改進，同時關注輸入圖像的全局和局部細節信息。 多尺度判別器的整體結構如圖4 所示，包括3 個判別器，輸入圖像大小尺寸分別是原圖大小、1/2 的原圖大小以及1/4 的原圖大小，輸入小尺寸圖像時感受野相對較大，判別器更關注圖像結構，輸入大尺寸圖像時感受野較小，判別器更關注圖像細節信息，基于此再將這3 個判別器的輸出進行加權相加得到最后判別輸出。

圖4 多尺度判別器網絡結構圖Fig. 4 Network structure of multi-scale discriminator

3 個判別器內部網絡結構相同，只是輸入圖像大小不同，原判別器使用“Conv＋BN＋Lrelu”結構，為防止圖像在訓練過程中產生依賴關系，獲得更好的正則化效果，使用實例歸一化IN 代替批歸一化BN，并添加Dropout 防止過擬合，最后的結構為“Conv＋IN＋Lrelu＋Dropout”。 同時，為了學習到更多圖像數據的分布特征及隱含特征，將原判別器中第二層和第三層的卷積替換成擴張卷積（ Dilated Convolutions）［12］，用于增大卷積核的感受野，從相同數量的參數中獲得更多的圖像信息。

2 實驗數據與損失函數

目前在風格遷移領域沒有大型的HDR 數據集，因此先進行數據獲取構建數據集。 先從ImageNet中選取大量的LDR 圖像，包括花草靜態、日出日落、夜景、室內室外場景這些畫面含大量光影細節，并且未調色、存在較大明暗反差的建筑和風景類場景圖片。 HDR 圖像的獲取使用爬蟲技術從網頁上抓取，這里使用Python 中的庫BeautifulSoup 來實現。BeautifulSoup 代碼簡單，相對于正則表達式而言，能夠快速、便捷地解析高度結構化的HTML 文件，因而得到了廣泛應用。

接著，為了獲取更多數據供神經網絡學習訓練，進行數據集填充。 對LDR 圖像進行隨機角度旋轉和水平垂直方向鏡像操作，色彩和亮度保持不變防止出現模型訓練時無法收斂導致重建的HDR 圖像色彩失真的現象。 圖像經擴充后統一裁剪到尺寸256×256像素，保證擴充過的數據集圖像中沒有黑邊出現。 最終數據集包括LDR 圖像和HDR 圖像共1 600 張，其中LDR 圖像1 000 張，HDR 圖像600 張。

圖像輸入神經網絡之前需要進行歸一化操作，控制輸入向量的數值范圍，減少計算，將圖像像素值轉換到［0，1］范圍內。 LDR 圖像轉換時除以255 即可，而HDR 圖像包含的數據范圍十分廣泛，不能直接除以固定的灰度級，因此采用最大最小法，HDR圖像中往往存在像素值為0 的點，化簡公式將HDR圖像的每個像素值除以該圖像中最大的像素值，按式（1）計算求出：

3 實驗與分析

3.1 實驗環境

HDR 圖像重建的網絡模型訓練使用Windows 10 操作系統，CPU2.80 GHz 配置，NVIDIA GeForce RTX 3080，Python3.7 編程語言，pytorch1.6 運行環境，numpy1.14、cudnn7.6.5、cuda9.0。

網絡輸入圖像大小為256×256，使用SGD 算法來優化參數，將初始學習率設置為0.001，在前1 000次中迭代增加，并且在第8、10 個Epoch時降低學習率到1/4，訓練的batchsize設置為8，該模型在上述條件下訓練一百萬次得到最終結果。

3.2 評價指標

本文使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）［13］、 結構相似性指數（Structural Similarity Index Measure，SSIM）［14］及可見差異預測器（HDR Visible Differences Predictor，HDR-VDP-2）［15］三個指標對實驗結果進行評價。

（1）PSNR。 是客觀評價圖像質量最常用的指標之一。PSNR值越大，圖像之間的相似度就越高，PSNR值可按式（2） 進行計算：

其中，MAX_I表示測試圖像像素的最大值，通常會取255。

（2）SSIM。 通常用于衡量2 幅圖像的亮度、對比度和結構變化三個量的綜合相似程度，作為一種感知模型更符合人眼的直觀感受，SSIM值在［0，1］之間，該值越大表示2 幅圖的相似度越高，SSIM的計算過程見式（3）：

（3）HDR-VDP- 2。 能夠衡量真實世界的全范圍亮度，通常用來比較2 幅HDR 圖像之間視覺度量差距，并提供可見性和質量的預測信息，包括光學及視網膜通道模型、神經噪聲模型、可見度指標等多個模塊。

3.3 實驗結果分析

為了驗證本文針對HDR 圖像重建提出的方法的有效性，將該方法與基于單曝光的Marnerides 提出的Expandnet［16］方法、未改進的CycleGAN 方法以及基于多曝光的Hu 等學者［17］提出的LA-HDR 方法進行橫向對比，下文將從含有強光源的日落圖像、背光的建筑圖像和室內窗戶圖像三種場景進行分析。

3.3.1 日落圖像實驗結果分析

日落對比結果如圖5 所示。 圖5 中，圖5（a）為日落LDR 圖像，該圖像中包含太陽強光源，圖像整體曝光、色彩信息不夠，色調偏灰，海岸地面細節信息缺失。 圖5（b）為參考的HDR 圖像。 圖5（c）為Marnerides 方法生成的圖像，整體圖像亮度得到提升，但海面上余暉的色彩信息不夠。 圖5（d）為CycleGAN 方法生成的圖像，海岸地面曝光過高，圖像整體偏灰，色彩信息同樣不夠。 圖5（e）為Hu 方法生成的圖像，色彩信息比前2 種方法更高，但是呈現出來的天空部分細節不夠自然，呈割裂狀態。 圖5（f）為本文方法生成的圖像，既保留了天空的細節，亮度也得以提高，針對沙灘弱曝區域能夠提升其亮度信息，生成的圖像的色彩信息接近于參考圖像。

4 種方法的評價指標分數見表1。 由表1 可以看出，本文方法在PSNR、SSIM和HDR-VDP- 2 三個指標上均取得了較高分值。 相對于效果較好的Hu 等學者［17］的方法， 在PSNR指標上略低， 在SSIM指標上和HDR-VDP- 2 指標上得分略高。

表1 評價指標分數對比Tab. 1 Comparison of evaluation index scores

3.3.2 背光建筑圖像實驗結果分析

背光建筑對比結果如圖6 所示。 圖6 中，圖6（a）為背光建筑LDR 圖像，該圖像中建筑較暗，天空曝光正常。 圖6（b）為參考的HDR 圖像。 圖6（c）為Marnerides 方法生成的圖像，整體圖像亮度得到提升，但是圖像細節缺乏對比度。 圖6（d） 為CycleGAN 方法生成的圖像，建筑的曝光雖然得以恢復，但是門的紋理不夠清晰，天空出現泛白現象。 圖6（e）為Hu 等學者［17］方法直接生成的圖像，有效提升建筑亮度信息的同時保持了天空的曝光。 圖6（f）為本文方法生成的圖像，既保留了天空的細節，又將整幅畫面的動態范圍拉寬，圖像色彩更加飽和。

圖6 背光建筑對比圖Fig. 6 Backlit building contrast

4 種方法的評價指標分數見表2。 由表2 可以看出相對于日落的HDR 成像， 背光建筑成像在PSNR、SSIM和HDR-VDP-2 三個指標上得分都更高，究其原因可能是背光建筑原圖的弱曝區域信息更豐富，也更容易成像。

表2 評價指標分數對比Tab. 2 Comparison of evaluation index scores

3.3.3 室內圖像實驗結果分析

室內場景對比結果如圖7 所示。 圖7 中，圖7（a）為室內場景圖，該圖像中室內光線不足，曝光過低，細節缺失。 圖7（b）為參考的HDR 圖像。 圖7（c）為Marnerides 方法生成的圖像，僅對圖像整體亮度進行提升，圖像色彩依舊偏灰。 圖7（d） 為CycleGAN 方法生成的圖像，室內弱曝區域亮度得以提升，但是紋理細節沒有顯示出來。 圖7（e）為Hu等學者［17］方法直接生成的圖像，圖像亮度、色彩得到一定恢復，但效果不是很明顯。 圖7（f）為本文方法生成的圖像，可以清楚地看出圖像室內弱曝區域的細節得以補全，并且圖像動態范圍最接近于HDR目標圖像域。

圖7 室內場景對比圖Fig. 7 Interior scene contrast

4 種方法的評價指標分數見表3。 由表3 可以看出針對存在大片區域紋理細節不足的圖像時，本文方法在成像質量上仍較高，并且在3 個評價指標中均獲得最高得分。

表3 評價指標分數對比Tab. 3 Comparison of evaluation index scores

4 結束語

本文將改進的生成式對抗網絡用于HDR 圖像重建任務，并使用PSNR、SSIM和HDR-VDP-2 評價指標對不同場景下的不同算法進行比較。 通過對比分析，本文提出的模型能夠有效恢復缺失的細節信息、提高圖像質量。 后續研究中，嘗試將本文提出的方法擴展到多曝光LDR 圖像生成HDR 圖像方法及視頻領域。