極端低光情況下的圖像增強(qiáng)方法

楊 勇，劉惠義

極端低光情況下的圖像增強(qiáng)方法

楊 勇，劉惠義

(河海大學(xué)計(jì)算機(jī)與信息學(xué)院，江蘇 南京 211100)

針對(duì)極端低光情況下的圖像增強(qiáng)問(wèn)題，提出一種基于編碼解碼網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)的端到端的全卷積網(wǎng)絡(luò)模型。設(shè)計(jì)一個(gè)包括編碼解碼網(wǎng)絡(luò)和精細(xì)網(wǎng)絡(luò)2部分的端到端的全卷積網(wǎng)絡(luò)模型作為轉(zhuǎn)換網(wǎng)絡(luò)，直接處理短曝光圖像的光傳感器數(shù)據(jù)得到RGB格式的輸出圖像。該網(wǎng)絡(luò)包含對(duì)抗思想、殘差結(jié)構(gòu)和感知損失，先通過(guò)對(duì)極低光圖像編碼解碼重構(gòu)圖像的低頻信息，之后將重構(gòu)的低頻信息輸入殘差網(wǎng)絡(luò)中進(jìn)而重構(gòu)出圖像的高頻信息。在SID數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果表明，該方法有效地提高了極端低光情況下拍攝得到的圖像進(jìn)行低光增強(qiáng)之后的視覺(jué)效果，增加了細(xì)節(jié)表達(dá)，使得圖像中物體的紋理更加清楚和邊緣更加分明。

深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；極低光圖像；生成對(duì)抗網(wǎng)絡(luò)；圖像增強(qiáng)

在光線昏暗的環(huán)境下，攝影師拍攝出正常成像非常困難。在更極端的黑暗情況下，如光照嚴(yán)重受限(月光)或短時(shí)間的曝光，成像就更為困難。低光下拍攝的圖像和極低光下拍攝的圖像對(duì)比如圖1所示，明顯看出極低光下拍攝的圖像相比低光下拍攝的圖像被隱藏的信息更多。

圖1 低光下拍攝的圖像(左)與極低光拍攝的圖像(右)對(duì)比

在圖像拍攝過(guò)程中可以通過(guò)提高感光度(ISO)增加亮度，但不可避免地會(huì)放大噪音。采用縮放或直方圖拉伸等一系列后期處理方法可以減弱噪音的影響，但并不能有效解決低信噪比的問(wèn)題。在拍攝過(guò)程中采用打開(kāi)光圈、延長(zhǎng)曝光時(shí)間、使用閃光燈等物理方法雖然能達(dá)到在低光環(huán)境下增加信噪比的效果，但圖像會(huì)因?yàn)橄鄼C(jī)的抖動(dòng)或物體的移動(dòng)而變得模糊。因此，低光圖像的增強(qiáng)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域極具挑戰(zhàn)性的研究方向，極低光情況作為低光情況中的特例，也受到國(guó)內(nèi)外學(xué)者的廣泛關(guān)注。

目前研究人員主要通過(guò)降噪、去模糊、低光圖像增強(qiáng)等一系列技術(shù)用于處理低光環(huán)境下的圖像。早期的傳統(tǒng)方法主要圍繞著直方圖均衡化(histogram equalization，HE)和伽馬修正。HE方法直接利用圖像的直方圖來(lái)增加圖像的全局對(duì)比度，經(jīng)典的伽馬修正方法則通過(guò)加大圖像的明暗區(qū)域的差值達(dá)到圖像增強(qiáng)的目的。

結(jié)合圖像去霧去噪算法的傳統(tǒng)方法包括：DONG等[1]提出一種結(jié)合圖像去霧算法的低光視頻增強(qiáng)方法；YING等[2]提出一種基于融合的低光增強(qiáng)方法；REN等[3]提出一種結(jié)合圖像去噪的低光增強(qiáng)方法。結(jié)合暗通道先驗(yàn)、Retinex等先驗(yàn)理論的傳統(tǒng)方法包括：GUO等[4]提出一種反轉(zhuǎn)低光圖像再增強(qiáng)的低光增強(qiáng)方法；JOBSON等[5]提出一種帶色彩恢復(fù)的多尺度Retinex增強(qiáng)方法(multi-scalewith color restoration，MSRCR)。相比于未使用先驗(yàn)知識(shí)的傳統(tǒng)方法，這些方法可以對(duì)處于低光情況下的圖片進(jìn)行更有效的增強(qiáng)處理，但處理更極端低光情況下的圖像的效果不甚理想。

隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)發(fā)展，有些學(xué)者提出了基于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的端到端方法和結(jié)合先驗(yàn)知識(shí)的深度學(xué)習(xí)方法。端到端的方法包括：YAN等[6]提出一種基于機(jī)器學(xué)習(xí)排序的自動(dòng)增強(qiáng)圖像方法；LORE等[7]提出一種基于堆疊自編碼器的增強(qiáng)圖像方法；YAN等[8]提出一種基于卷積網(wǎng)絡(luò)的自動(dòng)增強(qiáng)圖像方法；GHARBI等[9]提出一種雙邊仿射學(xué)習(xí)方法(high-dynamic range-net)；PARK等[10]提出了基于深度強(qiáng)化學(xué)習(xí)的圖像增強(qiáng)方法；IGNATOV等[11]提出一種弱監(jiān)督的圖像增強(qiáng)方法；CAI等[12]提出了通過(guò)學(xué)習(xí)圖像對(duì)比度實(shí)現(xiàn)圖像增強(qiáng)的方法；HU等[13]提出一種將圖像處理操作建模成與分辨率無(wú)關(guān)的可微分濾波器實(shí)現(xiàn)低光增強(qiáng)的方法等。結(jié)合先驗(yàn)知識(shí)的深度學(xué)習(xí)方法包括：PARK等[14]提出了基于空間自適應(yīng)的L2范數(shù)和Retinex理論的低光圖像增強(qiáng)方法；SHEN等[15]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度Retinex方法(multi-scale Retinex-net，MSR net)；WEI等[16]提出一種結(jié)合Retinex理論和卷積網(wǎng)絡(luò)理論的低光增強(qiáng)方法(Retinex-net)。相比傳統(tǒng)方法，這些方法在處理低光圖像上，可以得到更好的視覺(jué)效果。但在處理極端低光情況下拍攝的圖像時(shí)，仍然會(huì)產(chǎn)生嚴(yán)重的噪音干擾。

CHEN等[17]在2018年首次采用SID (see in the dark)數(shù)據(jù)集，基于數(shù)據(jù)驅(qū)動(dòng)方法訓(xùn)練一個(gè)端到端的網(wǎng)絡(luò)，實(shí)現(xiàn)了極端低光情況下圖像的增強(qiáng)，取得了良好的效果，但該方法設(shè)計(jì)的網(wǎng)絡(luò)對(duì)物體細(xì)節(jié)的還原仍然有著很大的不足，增強(qiáng)之后的圖像中物體的邊緣存在模糊現(xiàn)象。

本文在文獻(xiàn)[17]基礎(chǔ)上，對(duì)其編碼解碼網(wǎng)絡(luò)進(jìn)行了改進(jìn)，引入殘差網(wǎng)絡(luò)提升對(duì)圖像細(xì)節(jié)的還原效果，使得增強(qiáng)后圖像中物體的紋理和邊緣均更加清晰，有著更好的視覺(jué)效果。

1 極低光圖像增強(qiáng)模型構(gòu)建

圖像的頻率是表征圖像中灰度變化劇烈程度的指標(biāo)，一張圖像所包含的信息可以分為：低頻信息、高頻信息2類，低頻信息即圖像在光滑部位的整體灰度信息，高頻信息即圖像的邊緣輪廓信息。在超分辨率(super resolution)問(wèn)題上，殘差結(jié)構(gòu)已經(jīng)被證明可以很好地生成圖像的高頻信息即邊緣輪廓及紋理信息[18]。

本文構(gòu)建的極低光圖像增強(qiáng)網(wǎng)絡(luò)模型的基本思想是讓網(wǎng)絡(luò)的前半部分生成圖像的低頻信息，后半部分對(duì)低頻信息進(jìn)行加強(qiáng)得到圖像的高頻信息。最終輸出擁有更多細(xì)節(jié)的圖像。假設(shè)訓(xùn)練數(shù)據(jù)集為{low，I，I}，low為輸入的短曝光極低光圖像的原始光傳感器數(shù)據(jù)，大小為′′1，其為拜爾陣列，每個(gè)像素點(diǎn)16位，范圍0～65 535，可通過(guò)插值算法轉(zhuǎn)換成大小為′′3的RGB格式的圖片。I為極低光對(duì)應(yīng)的正常曝光圖像經(jīng)高斯濾波得到的低分辨率圖像，大小為(/4)′(/4)′3。I為短曝光圖片對(duì)應(yīng)的正常曝光、正常分辨率的圖片，大小為′′3。

在對(duì)極低光圖像進(jìn)行增強(qiáng)前需將圖片原始光傳感器數(shù)據(jù)進(jìn)行預(yù)處理，過(guò)程如圖2所示。高度、寬度、通道數(shù)1的原始傳感器數(shù)據(jù)減去黑色背景數(shù)據(jù)，然后乘以亮度放大因子，得到高度/2、寬度/2、通道數(shù)4的RGB格式輸入數(shù)據(jù)。其中亮度放大因子在訓(xùn)練階段由I與low的曝光時(shí)間的比值確定，通常取值為100、250、300，在測(cè)試階段也由I與low的曝光時(shí)間的比值確定，在實(shí)際應(yīng)用過(guò)程中可任意取值。相比平常使用RGB圖片，從圖片中的原始傳感器數(shù)據(jù)會(huì)得到額外的G通道數(shù)據(jù)。

圖2 輸入數(shù)據(jù)預(yù)處理

1.1 對(duì)抗網(wǎng)絡(luò)架構(gòu)

采用對(duì)抗網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)極低光圖像的增強(qiáng)，分為轉(zhuǎn)換網(wǎng)絡(luò)T和辨別網(wǎng)絡(luò)D2部分。轉(zhuǎn)換網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示。

卷積層為一層卷積加一層激活。轉(zhuǎn)換網(wǎng)絡(luò)T由前半部分U-Net架構(gòu)的編碼解碼網(wǎng)絡(luò)和后半部分由殘差模塊和上采樣層組成的精細(xì)網(wǎng)絡(luò)組成，其中為卷積核大小；為卷積核數(shù)量；為卷積步長(zhǎng)。轉(zhuǎn)換網(wǎng)絡(luò)T輸入原始傳感器數(shù)據(jù)，輸出增強(qiáng)之后的RGB格式的圖像。其中編碼解碼網(wǎng)絡(luò)中的編碼解碼塊結(jié)構(gòu)如圖4所示，輸入特征圖經(jīng)過(guò)2次卷積和Leaky-ReLU激活得到輸出特征圖。精細(xì)網(wǎng)絡(luò)中殘差塊結(jié)構(gòu)如圖5所示，輸入特征圖依次經(jīng)過(guò)卷積、Batch-Normal、PRelU、卷積、Batch-Normal得到特征圖，再加上輸入特征圖得到最終的輸出特征圖。精細(xì)網(wǎng)絡(luò)中上采樣層結(jié)構(gòu)如圖6所示，輸入特征圖依次經(jīng)過(guò)卷積、2倍放大倍數(shù)的PixelShuffle、PReLU、卷積、2倍放大倍數(shù)的PixelShuffle、PReLU、卷積得到輸出特征圖。

圖3 轉(zhuǎn)換網(wǎng)絡(luò)T模型結(jié)構(gòu)

圖4 編碼解碼塊示意圖

圖5 殘差塊示意圖

圖6 上采樣層示意圖

辨別網(wǎng)絡(luò)D的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，卷積層也為1層卷積加1層激活。由9層卷積層和1層全連接層構(gòu)成，其中為卷積核大小；為卷積核數(shù)量；為卷積步長(zhǎng)。辨別網(wǎng)絡(luò)D輸入一張圖片，輸出其真?zhèn)巍?/p>

圖7 辨別網(wǎng)絡(luò)D模型結(jié)構(gòu)

轉(zhuǎn)換網(wǎng)絡(luò)T的功能是輸入極低光圖像的光傳感器數(shù)據(jù)low增強(qiáng)得到正常曝光的RGB圖像result，其轉(zhuǎn)換見(jiàn)式(1)。辨別網(wǎng)絡(luò)D的功能是辨別輸入圖像為真實(shí)圖像I，還是通過(guò)轉(zhuǎn)換網(wǎng)絡(luò)得到的增強(qiáng)圖像result，如式(2)所示

在訓(xùn)練過(guò)程中，同時(shí)訓(xùn)練一個(gè)轉(zhuǎn)換網(wǎng)絡(luò)T和一個(gè)辨別網(wǎng)絡(luò)D。對(duì)抗網(wǎng)絡(luò)極大極小優(yōu)化過(guò)程計(jì)算見(jiàn)式(3)

1.2 模型損失函數(shù)構(gòu)建

轉(zhuǎn)換網(wǎng)絡(luò)T通過(guò)損失函數(shù)L學(xué)習(xí)極低光圖像的原始傳感器數(shù)據(jù)到正常曝光的RGB圖片的映射，轉(zhuǎn)換網(wǎng)絡(luò)的損失函數(shù)L由3部分構(gòu)成，見(jiàn)式(4)

其中，L為MSE均方損失；L為圖片感知損失；L為對(duì)抗損失。,,分別為MSE均方損失系數(shù)、感知損失系數(shù)、對(duì)抗損失系數(shù)。

采用MSE均方損失函數(shù)計(jì)算轉(zhuǎn)換網(wǎng)絡(luò)增強(qiáng)之后的圖像和正常曝光的圖像像素級(jí)上的差異，具體見(jiàn)式(5)

其中，為增強(qiáng)之后圖像的寬；為增強(qiáng)之后圖像的高。

優(yōu)化MSE均方損失函數(shù)會(huì)導(dǎo)致出現(xiàn)生成圖像缺乏高頻信息及圖像過(guò)于平滑的問(wèn)題。文獻(xiàn)[19]針對(duì)超分辨率問(wèn)題提出了感知損失。感知損失是比較生成圖像和目標(biāo)圖像分別通過(guò)在ImageNet數(shù)據(jù)上預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)卷積得到的激活前的特征圖之間的差異，優(yōu)化感知損失可以使生成圖像和目標(biāo)圖像的高頻信息接近，從而有效地重構(gòu)生成圖像的高頻信息部分，使得生成圖像擁有更多地細(xì)節(jié)信息。具體計(jì)算如式(6)

在重構(gòu)內(nèi)容損失和感知損失之外，為了使轉(zhuǎn)換網(wǎng)絡(luò)得到更自然的圖像，還增加了生成對(duì)抗損失，如式(7)

1.3 階段訓(xùn)練

由于圖3轉(zhuǎn)換網(wǎng)絡(luò)T有較深的深度，所以采用“階段訓(xùn)練整體優(yōu)化”的策略優(yōu)化轉(zhuǎn)換網(wǎng)絡(luò)T。依次優(yōu)化轉(zhuǎn)換網(wǎng)絡(luò)T中編碼解碼網(wǎng)絡(luò)部分、轉(zhuǎn)換網(wǎng)絡(luò)T中精細(xì)網(wǎng)絡(luò)部分和轉(zhuǎn)換網(wǎng)絡(luò)T。編碼解碼網(wǎng)絡(luò)和精細(xì)網(wǎng)絡(luò)的優(yōu)化分別通過(guò)訓(xùn)練2個(gè)子網(wǎng)絡(luò)T-1和T-2實(shí)現(xiàn)。子網(wǎng)絡(luò)T-1和T-2的結(jié)構(gòu)分別如圖8和圖9所示，其中為卷積核大小；為卷積核數(shù)量；為卷積步長(zhǎng)，圖中的編碼塊、解碼塊、殘差塊均與圖3轉(zhuǎn)換網(wǎng)絡(luò)T對(duì)應(yīng)位置保持一致。

圖8 轉(zhuǎn)換網(wǎng)絡(luò)T-1模型結(jié)構(gòu)

圖9 轉(zhuǎn)換網(wǎng)絡(luò)T-2模型結(jié)構(gòu)

子網(wǎng)絡(luò)T-1輸入原始傳感器數(shù)據(jù)low，得到一張低分辨率正常光圖片I，其損失函數(shù)只包含像素級(jí)的均方損失。子網(wǎng)絡(luò)T-2輸入一張低分辨率圖片I得到對(duì)應(yīng)的高分辨率圖片I，其損失函數(shù)包含像素級(jí)的均方損失、感知損失和對(duì)抗損失。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)條件及參數(shù)設(shè)置

本實(shí)驗(yàn)使用pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)網(wǎng)絡(luò)，在顯存為16 G的Tesla P100 GPU上訓(xùn)練。使用的SID數(shù)據(jù)集包含5 094個(gè)原始的短曝光極低光圖像，每個(gè)極低光圖像均有對(duì)應(yīng)的長(zhǎng)曝光參考圖像。長(zhǎng)曝光參考圖像I高斯濾波縮小4倍得到低分辨率圖像I，圖像寬度和高度均為512，每批次輸入1張圖片。預(yù)訓(xùn)練中，轉(zhuǎn)換子網(wǎng)絡(luò)T-1采用Adam優(yōu)化算法，beta1設(shè)為0.900，beta2設(shè)為0.999，訓(xùn)練總批次為4 000，學(xué)習(xí)率為10–4，在批次大于2 000后，學(xué)習(xí)率為10–5。轉(zhuǎn)換子網(wǎng)絡(luò)T-2采用Adam優(yōu)化算法，beta1設(shè)為0.500，beta2設(shè)為0.999，損失函數(shù)中λ設(shè)為1.000，λ設(shè)為0.006，λ設(shè)為0.001。訓(xùn)練總批次為2′104，學(xué)習(xí)率為10–4，在104批次后將學(xué)習(xí)率慢慢衰減致10–6。轉(zhuǎn)換網(wǎng)絡(luò)T采用Adam優(yōu)化算法，beta1設(shè)為0.500，beta2設(shè)為0.999，損失函數(shù)中λ設(shè)為1.000，λ設(shè)為0.006，λ設(shè)為0.001。訓(xùn)練總批次為2′104，學(xué)習(xí)率為10–4，在前100個(gè)批次將學(xué)習(xí)率線性衰減到10–5，在104批次內(nèi)將學(xué)習(xí)率線性衰減到10–6，之后再以學(xué)習(xí)率10–6訓(xùn)練104次。

2.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文方法的有效性，分別與LIME方法[4]、Retinex-Net方法[16]、文獻(xiàn)[17]所提極端低光增強(qiáng)方法對(duì)比。LIME方法的結(jié)果如圖10所示，

其中1和4為輸入極低光圖像，2和5為增強(qiáng)之后的結(jié)果，3和6為極低光圖像對(duì)應(yīng)的長(zhǎng)曝光圖像。Retinex-Net方法的結(jié)果如圖11所示，其中1和4為輸入極低光圖像，2和5為分解網(wǎng)絡(luò)得到的反射圖，3和6為分解網(wǎng)絡(luò)得到的光照?qǐng)D。文獻(xiàn)[17]方法與本文方法的對(duì)比如圖12所示，其中1為極低光環(huán)境下短曝光未經(jīng)過(guò)任何處理的圖像，2為短曝光對(duì)應(yīng)的長(zhǎng)曝光參考圖像，3為文獻(xiàn)[17]方法得到的結(jié)果，4為本文方法得到的結(jié)果，5為長(zhǎng)曝光參考圖像的細(xì)節(jié)，6為文獻(xiàn)[17]的圖像細(xì)節(jié)，7為本文方法圖像細(xì)節(jié)。通過(guò)圖10和圖11可以看出，LIME，Retinex-Net這些低光增強(qiáng)方法無(wú)法處理極端低光的圖像。從圖12可以看出，通過(guò)本文方法得到的圖像細(xì)節(jié)被更進(jìn)一步地還原，物體的紋理更為細(xì)致、輪廓更加分明。

通過(guò)峰值信噪比(peak signalto noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity index，SSIM)指標(biāo)與文獻(xiàn)[17]、LIME、Retinex-Net方法進(jìn)行定量對(duì)比。PSNR是一種基于誤差敏感的圖像質(zhì)量評(píng)價(jià)指標(biāo)，SSIM是一種從圖片組成角度分析圖片相似度的評(píng)價(jià)指標(biāo)。但是因人眼視覺(jué)特性的因素，PSNR或SSIM值高的圖片，其視覺(jué)上可能并不清楚，但PSNR和SSIM依然是衡量圖像質(zhì)量的重要參考標(biāo)準(zhǔn)。定量對(duì)比實(shí)驗(yàn)結(jié)果見(jiàn)表1。從表1結(jié)果可以看出，本文方法在PSNR與SSIM指標(biāo)數(shù)值上與LIME方法和Retinex-Net方法相比有大幅提升，與文獻(xiàn)[17]相比有微小提升。對(duì)圖12中2張對(duì)比圖分別編號(hào)圖像1和2，計(jì)算圖像1和2的PSNR和SSIM值與文獻(xiàn)[17]方法進(jìn)行對(duì)比，其結(jié)果見(jiàn)表2。從表2可以看出，雖然圖像2在細(xì)節(jié)上提升明顯，但是其PSNR和SSIM值相比文獻(xiàn)[17]卻下降了。為了更加準(zhǔn)確地衡量模型增強(qiáng)效果，另從數(shù)據(jù)集的測(cè)試集中隨機(jī)選擇200張極端低光圖像經(jīng)由不同模型進(jìn)行增強(qiáng)處理，計(jì)算這200張圖片的PSNR和SSIM的平均值進(jìn)行對(duì)比實(shí)驗(yàn)，隨機(jī)抽取圖像的實(shí)驗(yàn)結(jié)果見(jiàn)表3。從表3可以看出，本文方法對(duì)大部分極低光增強(qiáng)所得圖像的PSNR值和SSIM值優(yōu)于其他方法。表4為本文方法的消融實(shí)驗(yàn)。從表4可以看出，預(yù)處理策略、殘差網(wǎng)絡(luò)和感知損失均可有效提升增強(qiáng)之后圖像的PSNR和SSIM指標(biāo)值。

圖10 LIME實(shí)驗(yàn)結(jié)果

圖11 Retinex-Net實(shí)驗(yàn)結(jié)果

圖12 文獻(xiàn)[17]方法結(jié)果與本文方法結(jié)果對(duì)比圖

表1 定量實(shí)驗(yàn)結(jié)果

表2 圖12中2組對(duì)比圖的PSNR值和SSIM值

表3 隨機(jī)抽取圖像的實(shí)驗(yàn)結(jié)果

表4 消融實(shí)驗(yàn)結(jié)果

3 結(jié) 論

本文針對(duì)極端低光情況下的圖像增強(qiáng)問(wèn)題，提出一種新的增強(qiáng)模型，引入殘差網(wǎng)絡(luò)和感知損失重構(gòu)圖片的高頻信息，更好地還原了圖像的細(xì)節(jié)，得到了更好的視覺(jué)效果，在PSNR和SSIM這2個(gè)定量指標(biāo)上也有所提升。另一方面目前亮度放大倍數(shù)為人為輸入，未來(lái)可以根據(jù)極低光圖像的信息估算出亮度放大倍數(shù)。如何在進(jìn)一步地提升增強(qiáng)后圖像視覺(jué)效果的同時(shí)提高PSNR和SSIM定量指標(biāo)的值，以及如何估算光度放大倍數(shù)，將是未來(lái)研究的方向。

[1] DONG X, WANG G, PANG Y, et al. Fast efficient algorithm for enhancement of low lighting video[C]// 2011 IEEE International Conference on Multimedia and Expo. New York: IEEE Press, 2011: 1-6.

[2] YING Z Q, LI G, REN Y R, et al. A new image contrast enhancement algorithm using exposure fusion framework[M]//Computer Analysis of Images and Patterns. Cham: Springer International Publishing, 2017: 36-46.

[3] REN X, LI M, CHENG W H, et al. Joint enhancement and denoising method via sequential decomposition[C]// 2018 IEEE International Symposium on Circuits and Systems (ISCAS). New York: IEEE Press, 2018: 1-5.

[4] GUO X J, LI Y, LING H B. LIME: low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993.

[5] JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965-976.

[6] YAN J Z, LIN S, KANG S B, et al. A learning-to-rank approach for image color enhancement[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 2987-2994.

[7] LORE K G, AKINTAYO A, SARKAR S. LLNet: a deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650-662.

[8] YAN Z C, ZHANG H, WANG B Y, et al. Automatic photo adjustment using deep neural networks[J]. ACM Transactions on Graphics, 2016, 35(2): 1-15.

[9] GHARBI M, CHEN J W, BARRON J, et al. Deep bilateral learning for real-time image enhancement[EB/OL]. [2019-12-03]. https://arxiv.org/ abs/1707.02880.

[10] PARK J, LEE J Y, YOO D, et al. Distort-and-recover: color enhancement using deep reinforcement learning[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 5928-5936.

[11] IGNATOV A, KOBYSHEV N, TIMOFTE R, et al. WESPE: weakly supervised photo enhancer for digital cameras[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). New York: IEEE Press, 2018: 691-700.

[12] CAI J R, GU S H, ZHANG L. Learning a deep single image contrast enhancer from multi-exposure images[J]. IEEE Transactions on Image Processing, 2018, 27(4): 2049-2062.

[13] HU Y, HE H, XU C, et al. Exposure: a white-box photo post-processing framework[J]. ACM Transactions on Graphics (TOG), 2018, 37(2): 1-17.

[14] PARK S, YU S, MOON B, et al. Low-light image enhancement using variational optimization-based retinex model[J]. IEEE Transactions on Consumer Electronics, 2017, 63(2): 178-184.

[15] SHEN L, YUE Z H, FENG F, et al. MSR-net: low-light image enhancement using deep convolutional network[EB/OL]. [2019-11-29]. https://arxiv.org/abs/ 1711.02488.

[16] WEI C, WANG W J, YANG W H, et al. Deep retinex decomposition for low-light enhancement[EB/OL]. [2019-12-04]. https://arxiv.org/abs/1808.04560.

[17] CHEN C, CHEN Q F, XU J, et al. Learning to see in the dark[EB/OL]. [2019-12-03]. https://arxiv.org/abs/1805. 01934.

[18] YAN Z C, ZHANG H, WANG B Y, et al. Automatic photo adjustment using deep neural networks[J]. ACM Transactions on Graphics, 2016, 35(2): 1-15.

[19] LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 4681-4690.

The method of image enhancement under extremely low-light conditions

YANG Yong, LIU Hui-yi

(College of Computer and Information, Hohai University, Nanjing Jiangsu 211100, China)

The process of obtaining the image with normal exposure time from the image with short exposure time photographed in extreme low-light conditions is defined as the image enhancement under extreme low-light conditions. In this paper, we proposed a method for the enhancement of the extreme low-light image based on the encoding-and-decoding network architecture and residual block. We designed an end-to-end fully convolutional network as the translation model, which consists of two parts: the encoding-and-decoding network and refinement network. The input data of the translation model is the extreme low-light raw data captured with short exposure time in extreme low-light conditions, and the output data is the image in RGB format. Firstly, the low-frequency information of the image was reconstructed via U-net and then was input into the residual network to reconstruct the high-frequency information of the image. Through the experiments carried out on the SID data set and comparisons with previous research results, it is proved that the method described in this paper can effectively enhance the visual effect of the images captured under extreme low-light conditions and improved with low-light enhancement, and increase the expression of the image details.

deep learning; convolutional neural network; extremely low-light image; generative adversarial; image enhancement

TP 391

10.11996/JG.j.2095-302X.2020040520

A

2095-302X(2020)04-0520-09

2020-01-30；

2020-03-02

2 March，2020

30 January，2020；

楊 勇(1996-)，男，河南信陽(yáng)人，碩士研究生。主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、深度學(xué)習(xí)。E-mail：775654398@qq.com

YONG Yong (1996-), male, master student. His main research interests cover computer vision, deep learning. E-mail：775654398@qq.com

劉惠義(1961-)，男，江蘇常州人，教授，博士。主要研究方向?yàn)橛?jì)算機(jī)圖像學(xué)、CAD/CAM、虛擬現(xiàn)實(shí)、科學(xué)計(jì)算可視化。E-mail：hyliu@hhu.edu.cn

LIU Hui-yi (1961-), male, professor, Ph.D. His main research interests cover computer graphics, CAD/CAM, virtual reality, visualization of scientific computation. E-mail：hyliu@hhu.edu.cn