基于特征融合和一致性損失的雙目低光照增強

廖嘉文，龐彥偉,2，聶晶,3，孫漢卿，曹家樂

(1.天津大學 電氣自動化與信息工程學院，天津 300072；2.上海人工智能實驗室，上海 200232；3.重慶大學 微電子與通信工程學院，重慶 401331)

在低光照條件下，圖像質量顯著下降，存在可見度低、噪聲高的問題.低質量的圖像不僅影響人類的視覺觀感，還影響下游目標檢測的性能.低光照圖像增強旨在提升低光照圖像的質量（如圖像亮度和對比度），可以應用于視頻監控、自動駕駛領域.

低光照圖像增強隨著深度學習的發展取得了巨大的進步，它包括有監督低光照圖像增強和無監督低光照圖像增強.有監督低光照圖像增強利用神經網絡學習低光照圖像和正常光照圖像之間的映射，如Wang 等[1]提出的流正則化模型增強低光照圖像；Lv 等[2]提出基于多分支卷積神經網絡的端到端注意力引導方法，并用所提方法實現低光照圖像增強；Wang 等[3]將低光照增強任務轉化為求殘差的任務；Zhou 等[4]將低光照增強任務和去模糊任務共同進行；Zheng 等[5]提出全局的噪聲模型估計，對圖像進行亮度提高與去噪處理.Retinex 理論已被用于低光照圖像增強任務中[6-7]，核心思想是先進行亮度增強，再利用增強后的亮度和透射率恢復圖像.無監督低光照圖像增強是在沒有正常光照參考圖像的情況下進行低光照圖像增強，如Guo 等[8]通過估計亮度增強曲線調整低光照圖像，Ma 等[9]通過級聯自標定學習機制提升低光照圖像質量，Zhang 等[10]將每張彩色圖像解耦為灰度圖像和顏色直方圖.為了促進低光照圖像增強任務的發展，研究人員還構建了多個低光照圖像數據集，如低光照和正常光照圖像對數據集LOL[11]、短曝光和長曝光圖像對數據集SID[12].低光照圖像增強的方法大部分基于單目圖像.相比于單目圖像，雙目圖像能夠提供更多有用的信息（如多視角信息和深度信息），基于這一優勢，研究人員先后將雙目信息用于圖像去霧、去模糊、去雨等領域，提出雙目圖像去霧網絡[13]（學習雙目圖像的相關矩陣實現雙目圖像去霧）、深度感知和視圖聚合網絡[14]（聯合視差估計和雙目圖像去模糊）、成對的降雨去除網絡[15]（該網絡可以補充遮擋區域的信息）.此外，Huang 等[16]提出使用Retinex 的雙目增強方法，初步表明了雙目低光照圖像增強的有效性.

雙目低光照圖像增強技術的發展受限于大規模低光照圖像數據集的缺乏.為此，本研究構建大規模真實場景的雙目低光照圖像數據集(stereo low light 10K, SLL10K)，提出基于特征融合和一致性損失的雙目低光照圖像增強網絡(stereo lowlight image enhancement based on feature fusion and consistency loss network, FCNet).為了比較不同方法的低光照圖像增強效果，在所建數據集上開展特定模塊的消融實驗和不同方法的低光照圖像增強對比實驗，并通過對雙目低光照圖像的目標檢測實驗驗證FCNet 的目標檢測效果.

1 大規模真實場景的雙目低光照圖像數據集

相比于單目圖像，雙目圖像提供的視覺信息更豐富，可以更好地恢復結構與細節信息.SLL10K（數據集獲取鏈接為https://pan.baidu.com/s/1HJre-CV8OMMpgr7QMasUgQ?pwd=4869）以天津大學為主要采集地點，充分利用校園內豐富的場景變化，歷時半年采集完成，包含傍晚和夜間的低光照圖像.數據集具有豐富的多樣性，如建筑物變化、移動目標變化、季節變化、光照變化等，包含12 658 對室外低光照圖像和205 對室內低光照圖像.如圖1 所示為該數據集中不同場景、不同時間的低光照代表性圖像.

圖1 SLL10K 的代表性圖像Fig.1 Some example images in SLL10K

1.1 室外低光照圖像

使用Bumblebee XB3 立體相機拍攝室外雙目低光照視頻.為了方便網絡訓練，將從雙目相機中輸出的視頻分辨率縮小一半，設定為640×480像素.數據集共包含257 段雙目視頻，每10 幀抽取1 幀雙目低光圖像，得到室外雙目低光照圖像12 658 對.數據集分為訓練集和測試集2 個部分，每個部分的場景不重復，其中訓練集包含8 086對雙目低光照圖像，測試集包含4 572 對雙目低光照圖像.SLL10K 圖像的大部分區域為低光照區域，存在亮度分布不均勻的問題，對實現高質量的圖像增強具有較大挑戰性.如圖2 所示為SLL10K室外場景的訓練集和測試集圖像對樣例.

圖2 SLL10K 室外場景的訓練集和測試集圖像對樣例Fig.2 Sample image pairs for training and testing sets in outdoor scene of SLL10K

1.2 室內低光照圖像

室外場景很難獲取低光照圖像的參考圖像.為了獲取有參考的雙目低光照圖像，選擇在室內采集部分場景數據，共得到205 對有參考圖像的雙目低光照圖像.這些室內圖像用于雙目低光照圖像增強的有參考指標評價.在室內場景中可以采集正常光照下的參考圖像，還可以通過改變室內場景的光照來采集參考圖像對應的低光照圖像.為了采集不同低光照條件的雙目低光照圖像，設置不同的低光照條件，如僅有頂部暗光源、僅有角落暗光源、幾乎沒有光源等.此外，改變相機位置、視角，改變室內場景的物品種類、位置，都能夠增加低光照數據的多樣性.如圖3 所示為雙目低光照圖像和對應的參考圖像.

圖3 SLL10K 室內場景的測試集低光照圖像對和參考圖像對樣例Fig.3 Sample of low-light image pairs and reference image image pairs in indoor scene of SLL10K

2 基于特征融合和一致性損失的雙目低光照圖像增強網絡

為了充分挖掘雙目提供的多視角信息用于雙目低光照圖像增強，本研究提出FCNet，在單目低光照圖像增強方法ZeroDCE++[17]的基礎上，添加2 個雙目相關模塊提取雙目多視角信息：雙目內外特征融合(stereo inter-intra-feature fusion,SIIFF) 模塊和雙目一致性(stereo consistency,SC)損失函數，提升雙目低光照圖像增強的性能.FCNet 的整體架構如圖4 所示.

圖4 FCNet 的結構圖Fig.4 Structure diagram of FCNet

1）為了減少計算量，FCNet 將輸入的雙目圖像Il和Ir進行2 倍下采樣(D2)，在此基礎上利用緊湊特征編碼(compact feature encoder, CFE)模塊分別從左右目圖像中提取深度特征Fl和Fr.

2）FCNet 利用SIIFF 模塊進行單目內特征和雙目間特征的深度融合，輸出融合后的左右特征Flf和Frf.具體地，單目內特征融合主要通過提取上下文信息增強特征表達力，雙目間特征融合通過學習雙目間的相關信息實現特征增強.

3）利用緊湊特征解碼(compact feature decoder,CFD)模塊將融合后的特征與緊湊特征編碼模塊的淺層特征進行融合，利用上采樣模塊(U2)將特征上采樣2 倍.

4）利用亮度增強曲線(light-enhancement curve,LE)模塊預測RGB 三通道的亮度增強曲線，分別調整3 個通道的亮度，得到雙目增強結果圖像Ile和Ire.

2.1 緊湊特征編、解碼模塊

CFE 模塊對經過下采樣的雙目圖像進行深度特征提取，分別生成特征圖Fl和Fr.具體地，CFE 模塊由4 個級聯卷積層構成，每個卷積層的卷積核大小為3×3.每個卷積后緊接1 個非線性激活層ReLU.CFD 模塊依次融合CFE 模塊不同層的特征.1）將SIIFF 模塊的輸出和CFE 模塊的第3 層特征串接，并經過1 個卷積層進行融合；2）將融合后的特征同CFE 模塊的第2 層特征串接和融合，依次類推得到最終的解碼特征Fld和Frd.

2.2 雙目內外特征融合模塊

SIIFF 模塊位于CFE 模塊和CFD 模塊之間，用于提升雙目特征的表達力.如圖5 所示，SIIFF模塊由1）基于大核的單目內融合模塊和2）基于注意力的雙目間特征融合(attention based inter feature fusion, AIF)模塊2 個部分構成.模塊1）提取單目內局部上下文信息，增強特征表達能力.為了減少計算成本，模塊1）采用2 個并行的非對稱大核卷積模塊分別從水平方向和豎直方向提取特征，卷積核大小分別為1×9 和9×1.模塊2）挖掘跨視角互補信息，提升雙目特征表達能力.考慮到空間中某個點在雙目圖像中位于同一水平線上，只需關注雙目圖像同一水平方向上不同像素間的相關性，為此設計水平注意力模塊(horizontal attention module, HAM).

圖5 雙目內外特征融合模塊的結構圖Fig.5 Structure diagram of stereo inter-intra-feature fusion module

獲得雙目圖像增強特征的具體過程如下：

1）利用HAM 生成雙目相似性圖：HAM 利用線性層Linear 將輸入的左特征圖Fl∈RB×C×H×W和右特征圖Fr∈RB×C×H×W，生成注意力模塊的左目查詢向量Ql∈RB×C×H×W和右目鍵向量Kr∈RB×C×H×W，表示為

式中：Linear 為1 ×1 卷 積層，C為輸出通道數.

2）將Ql的形狀轉換為 R(BH)×W×C，將Kr的形狀轉換為 R(BH)×C×W，并利用矩陣乘法和Softmax 函數計 算二者之間的相似 性圖Sr→l∈R(BH)×W×W，表示為

得到的相似性圖反映同一水平方向上2 個點的相似度.與此同時，利用Linear 將右特征圖Fr∈RB×C×H×W生成右目值向量Vr∈RB×C×H×W.基于相似性矩陣Sr→l和形狀 轉 換 后的值向 量Vr∈R(BH)×W×C相 乘，得到注意力模塊的輸出Al∈R(BH)×W×C，表示為

經過形狀轉換，得到Al∈RB×C×H×W

.類似地，利用HAM 可以分別生成右目查詢向量Qr∈RB×C×H×W和左目鍵向量Kl∈RB×C×H×W，表示為

將Qr的形 狀 轉 換為 R(BH)×W×C，將Kl的形狀 轉 換 為R(BH)×C×W，并利用矩陣乘法和Softmax 函數 計算二者之間的相似性圖Sl→r∈R(BH)×W×W，表示為

受Wang 等[18]啟發，為了減少右目中不相關的點對左目圖像的影響，將Sl→r沿最后一維求和，將和小于0.1 的位置置為0，大于0.1 的位置置為1，再經 過 形 狀 轉 換，得 到 掩 模 矩 陣Ml∈RB×1×H×W.AIF 模塊將Fl、Ml和Al融合，得到雙目間的輸出特征Fla∈RB×C×H×W，表示為

式中： c at 為特征圖串接操作；Wo為1×1 的卷積層，用于特征融合.

3）SIIFF 模塊將Fla和單目內輸出特征Flb相加得到Flf.類似地，可以得到Frf.

2.3 亮度增強曲線

采用單目低光照增強方法ZeroDCE++[17]預測RGB 的3 個通道的亮度增強曲線，利用亮度增強曲線對低光照圖像進行增強，表達式為

式中： L En為迭代后的圖像，M為曲線參數映射，LEn-1為迭代前的圖像.預測得到的亮度增強曲線具有3 個特點：1）增強圖像的每個像素值的歸一化范圍均為[0, 1]，以避免溢出截斷造成信息丟失；2）曲線是單調的，以保留相鄰像素的差異；3）梯度反向傳播過程中，曲線的形式簡單且可微.

2.4 損失函數

為了充分利用增強前圖像的信息，更好指導雙目低光照圖像增強，使用SC 損失函數來保持雙目視覺結構的一致性.為了讓FCNet 實現更好的無監督學習，使用空間一致性(spatial consistency)損失函數、曝光控制(exposure control)損失函數、顏色恒常性(color constancy)損失函數和照明平滑性(illumination smoothness)損失函數來優化FCNet.

一般而言，圖像增強前后局部區域的像素值亮度趨勢應保持不變.雙目圖像同一位置的2 個像素點屬于同一局部區域，亮度相對區域應該保持不變.因此，在網絡設計過程中，雙目圖像間的差異圖在增強前和增強后應該盡可能保持一致.在圖像增強過程中，可能會出現增強后雙目圖像間的差異圖發生變化（如左、右目圖像增強程度不同），導致相鄰像素的亮度相對趨勢被破壞.SC 損失函數保證了增強前和增強后雙目相鄰像素的亮度趨勢盡可能一致：

為了保持空間相關性，在以區域i為中心的上、下、左、右4 個相鄰區域 Σ (i) 上，使用空間一致性損失：

式 中：A為 特 定 區 域 的 像 素 數，Vi、Vj、Ii、Ij均 為增強后的圖像和輸入圖像中特定區域的平均光照強度值.

為了避免曝光不足或過曝光，FCNet 利用曝光控制損失函數對增強圖像的局部區域進行調整，避免增強圖像出現對比度問題.設置優良曝光等級G=0.6.定義曝光控制損失函數為

式中：B為1 6×16 的區域，表示參與計算的不重疊的局部區域大小為 1 6×16 ；Vk為特定區域的平均光照強度值.

為了修正顏色偏差，在使用增強網絡對低光照圖像增強過程中，可以利用顏色恒常性損失對圖像的RGB 通道進行修正：

式中：Xp為增強后的圖像中p通道的平均光照強度值； (p,q) 為通道對，為RGB 的3 個通道兩兩配對.對RGB 圖像進行YUV 或HSB 空間轉換，雖然可以分解出亮度分量，但在空間轉換過程中會存在信息損失的情況，也無法保證顏色不出現偏差.

為了監督曲線參數圖的預測，利用光照平滑度損失對曲線參數圖進行修正：

式 中：N為 迭 代 次 數， ?x、 ?y分 別 計 算 水 平 方 向 的梯度和垂直方向的梯度，A為曲線參數圖.

根據上述損失函數，綜合得到FCNet 的損失函數為

式 中：Wsc、Wspa、Wexp、Wcol、Wtv分 別 為 對 應 損 失函數的權重.

3 實驗結果與分析

3.1 數據集和實驗細節

FCNet 是端到端的可訓練網絡，無須對子模塊進行預先訓練.本次實驗使用8 086 幅室外圖像訓練FCNet，使用4 572 幅室內圖像對和205 幅室內圖像測試FCNet.為了便于對網絡進行訓練和測試，圖像大小設定為640×480 像素.本研究在單個GeForce GTX Titan X 顯卡上使用PyTorch 實現提出的方法，用于訓練的優化器為Adam，學習率固定為0.000 1.設置本次實驗的批大小為1，epoch 的 數 量 為50，Wspa=2、Wexp=5 、Wcol=5 、Wtv=1 900 、Wsc=1.SLL10K 的測試集分為有參考的室內子集和無參考的室外子集.對于無參考圖像的室外子集，采用4 個無參考指標來評價不同方法的增強效果，包括無參考圖像空間質量評價器(blind/referenceless image spatial quality evaluator，BRISQUE)[19]、自然圖像質量評價器(natural image quality evaluator, NIQE)[20]、基于感知的圖像質量評價器(perception-based image quality evaluator,PIQE)[21]和亮度順序誤差(lightness order error,LOE)[22].對于有參考圖像的室內子集，采用3 個有參考指標和4 個無參考指標來評價不同方法的增強效果，其中有參考指標包括峰值信噪比(peak signal to noise ratio, PSNR)、結構相似度(structural similarity, SSIM)和學習感知圖像塊相似度(learned perceptual image patch similarity, LPIPS)[6,23]，無參考指標包括BRISQUE、NIQE、LOE、PIQE.指標BRISQUE、NIQE、PIQE、LOE 和LPIPS 的數值越小表示圖像增強的效果越好，指標PSNR 和SSIM 的數值越大表示圖像增強的效果越好.提供室內圖像的主要目的是方便其他方法采用本數據集測試時的有參考指標比較.

3.2 消融實驗

為了證明FCNet 中每個模塊的有效性，對添加的模塊進行消融研究.

3.2.1 不同模塊的作用 為了驗證SIIFF 模塊和SC 損失函數的有效性，FCNet 在室內測試集和室外測試集上對2 個模塊進行消融研究，結果如表1 所示.表中，“√”表示使用該模塊，“×”表示不使用該模塊.在室外數據集中，添加SIIFF 模塊的FCNet，4 個指標都有明顯改善，其中BRISQUE 下降2.138 5，PIQE 下降2.092 7；添加SC 損失函數的FCNet，4 個指標也都有明顯改善，其中BRISQUE下降0.451 2，PIQE 下降2.364 8.這說明添加的SIIFF 模塊和SC 損失函數都對室外數據有增強效果.在室內數據集中，添加SIIFF 模塊的FCNet，大部分指標顯著改善，其中SSIM 提高0.015 2，PIQE 降低4.462 1；添加SC 損失函數的FCNet，大部分指標顯著改善，其中SSIM 提高0.030 5，PIQE 下降2.812 2.這說明添加的SIIFF 模塊和SC 損失函數都對室內數據有增強效果.

表1 FCNet 的不同模塊在2 個測試集上的消融實驗Tab.1 Ablation experiment of FCNet’s different modules on two test sets

3.2.2 融合模塊數量的影響 為了驗證SIIFF 模塊數量對網絡的影響，進行修改SIIFF 模塊數量nm的實驗.為了得到更具有說服力的實驗結果，該項實驗在室外測試集和室內測試集中進行，結果如表2 所示.在室外數據集中，2 個SIIFF模塊的所有指標都比1 個SIIFF 模塊效果好，其中BRISQUE 下降0.215，PIQE 下降0.442 1，這說明2 個SIIFF 模塊比1 個SIIFF 模塊對室外數據有更好的增強效果.在室內數據集中，2 個SIIFF 模塊的所有指標都比1 個SIIFF 模塊效果好，其中SSIM 上升0.042 5，PIQE 下降0.783 1.這說明2 個SIIFF 模塊比1 個SIIFF 模塊對室內數據有更好的增強效果.

表2 FCNet 的模塊數量變化在2 個測試集上的消融實驗Tab.2 Ablation experiment of FCNet’s module number variation on two test sets

3.2.3 添加大核卷積的影響 為了驗證采用的大核卷積對雙目低光照圖像增強網絡的影響，將SIIFF 模塊中的大核卷積改為2 個3×3 的普通卷積，結果如表3 所示.在室外數據集中，使用1×9和9×1 的大核卷積的所有指標都比使用3×3 的普通卷積的效果好，NIQE 下降0.612 4，PIQE 下降3.537 4.這說明使用1×9 和9×1 的大核卷積比使用3×3 的普通卷積對室外數據有更好的增強效果.在室內數據集中，使用1×9 和9×1 的大核卷積的所有指標同樣都比使用3×3 的普通卷積的效果好， PSNR 上升0.153 8 dB，PIQE 下降10.597.這說明使用1×9 和9×1 的大核卷積比使用3×3 的普通卷積對室內數據有更好的增強效果.

表3 模塊卷積變化在2 個測試集上的消融實驗Tab.3 Ablation experiment of convolution variation on two test sets

3.3 數據測試結果

3.3.1 定量比較 將FCNet 與RetinexNet[11]、ISSR[24]、GLAD[25]、DVENet[16]、ZeroDCE++[17]、RUAS[26]的單目、雙目低光照圖像增強方法進行對比.其中RetinexNet、ISSR、GLAD 和DVENet 是有監督學習方法，ZeroDCE++、RUAS 和FCNet 是無監督學習方法；DVENet 是雙目低光照圖像增強方法.無監督學習方法均在SLL10K 訓練集上進行訓練，之后在測試集上得到增強結果；有監督學習方法由于缺乏參考圖像，采用其論文提供的預訓練模型在SLL10K 上進行測試.

不同方法在SLL10K 室外、室內測試集上的圖像增強指標結果分別如表4、5 所示.由表4 可以看出， FCNet 整體上比大部分方法的效果好，各個指標都能居于前列，在無監督方法中表現最好.相比ZeroDCE++網絡，FCNet 的左目圖像BRISQUE 下降2.589 7，PIQE 下降4.457 5；右目圖像BRISQUE 下降2.870 4， PIQE 下降4.743 5.這說明對于室外低光照圖像，無論是左目圖像還是右目圖像，FCNet 都比對應的單目方法ZeroDCE++的處理效果更好.由表5 可以看出， FCNet 的SSIM 指標的數值最大，左目圖像比RUAS 高0.025 8，右目圖像比RUAS 高0.038 2.雙目圖像的BRISQUE、PIQE 和LOE 指標較好，在無監督方法中有4 項指標取得最佳.相比對應的單目方法ZeroDCE++，FCNet 方法左目圖像在BRISQUE 降低5.131 6，PIQE 降低7.274 3；右目圖像在BRISQUE 降低5.988 6，PIQE 降低8.940 3；左右目圖像的其余指標也較好.這說明對于室內低光照圖像，無論是左目圖像還是右目圖像， FCNet 都比對應的單目方法ZeroDCE++的處理效果更好.

表4 不同圖像增強方法在SLL10K 室外數據集上的指標對比Tab.4 Indicators comparison of different image enhancement methods on SLL10K outdoor dataset

表5 不同圖像增強方法在SLL10K 室內數據集上的指標對比Tab.5 Indicators comparison of different image enhancement methods on SLL10K indoor dataset

3.3.2 視覺對比 FCNet 是無監督圖像增強方法，因此僅選擇2 個無監督方法RUAS 和ZeroDCE++進行可視化對比.如圖6 所示為FCNet 與ZeroDCE++、RUAS 無監督方法在不同場景下的視覺比較.對比夜晚燈籠場景圖像可以看出，RUAS 增強的圖像周圍環境的色彩受到燈光區域影響嚴重，且過曝現象嚴重；ZeroDCE++增強的圖像框出區域路肩受到光照過曝，損失路肩部分細節；FCNet 增強的圖像保證了周圍環境的色彩，也保證了圖像對比度，還避免了過噪和過曝現象，相較于其他方法優勢顯著.對比夜晚公交場景圖像可以看出，RUAS 增強的圖像路面和路燈過曝現象嚴重，損失車輛上和路面上的部分細節；ZeroDCE++增強的圖像框出區域車輛玻璃上的噪聲顯著，車身也略微發白；FCNet 增強的圖像路面和路燈沒有顯著的過曝現象，車輛玻璃上的噪聲也不顯著，相較于其他方法優勢顯著.對比夜晚車輛和建筑場景圖像可以看出，RUAS 增強的圖像路燈過曝現象嚴重，損失部分細節；ZeroDCE++增強的圖像車身區域噪聲明顯，框出區域的路燈燈光過曝明顯；FCNet 增強的圖像既能降低噪聲，又避免了過曝現象，相較于其他方法優勢顯著.對比夜晚樹木和建筑場景圖像可以看出，RUAS 增強的圖像增強效果不明顯，且路面和窗戶部分區域有過曝現象；ZeroDCE++增強的圖像框出區域過曝現象嚴重，損失部分細節；FCNet 增強的圖像既降低了噪聲，又避免了過曝現象，相較于其他方法優勢顯著.

圖6 不同圖像增強方法對4 種場景圖像的處理效果對比Fig.6 Processing effects comparison of different image enhancement methods on four scene images

如圖7 所示為室內圖像單、雙目增強效果對比.相較于單目方法，雙目方法可以消除部分噪聲，如在框出的皮包區域，雙目方法的噪聲比單目方法的少；在白墻部分，單目方法比雙目方法的過曝更顯著.單目方法的暗區更清楚的原因是單目方法的暗區部分存在噪聲，這些白點噪聲導致暗區稍顯變亮.

圖7 室內圖像單、雙目增強效果對比Fig.7 Comparison of monocular and stereo enhancement of indoor images

3.4 目標檢測實驗

進行目標檢測實驗，對比使用不同方法增強后的圖像的目標檢測效果.本實驗使用經過亮度暗化處理的低光照KITTI[27]數據集，實現過程是將獲取的原始KITTI 數據集圖像經過Gamma 變換[28]，通過調整亮度曲線使圖像的亮度變低[2].這種方法可以模擬類似在低光照條件下獲取到的雙目低光照圖像.該實驗主要考察光照不充分的車輛圖像在使用不同方法進行圖像增強后，是否可以標出目標車輛的三維檢測框.實驗選用KITTI數據集的訓練集圖像，其中訓練圖像3 712 張、驗證圖像3 769 張，圖像大小約為1 224×370 像素.目標檢測網絡選用Disp-RCNN[29].Disp-RCNN 是基于實例級視差估計的雙目三維目標檢測框架，主要由3 個部分組成：1）檢測每個輸入對象的二維邊框和實例掩碼，2）僅估計屬于對象的像素視差，3）使用三維檢測器從實例點云中預測出三維邊界框.具體參數使用Disp-RCNN 的默認參數，檢測網絡采用官方提供的預訓練模型，再將各種方法增強后的雙目圖像分別輸入檢測網絡，測試各自檢測結果.

如表6 所示為不同方法增強后圖像的目標檢測結果，重疊度(intersection over union, IoU)取0.7，難度選擇中等.表中， A P2d為二維檢測的平均準確度， A Pori為方向的平均準確度， A Pbev為鳥瞰圖的平均準確度， A P3d為三維檢測的平均準確度.可以得到，經過低光照處理后的KITTI數據集的目標檢測準確率顯著下降，如當IoU=0.7時， A P3d中等難度下降16.06 個百分點.多數的圖像增強方法都能讓目標檢測準確率提升.其中FCNet 的檢測準確率最高， A P3d中等難度結果為45.45%，相比ZeroDCE++提升了0.47 個百分點，說明使用雙目方法可以有效提升對應方法的檢測準確率.如圖8 所示為單、雙目圖像增強方法的視差圖對比，對比各分圖框出的部分可以看出，使用雙目方法F C N e t 增強左右目低光照圖像通過Disp-RCNN 網絡獲得的視差圖，輪廓符合參考圖像視差圖的形狀，明顯優于使用單目方法ZeroDCE++分別增強左、右目低光照圖像后一起通過Disp-RCNN 網絡獲得的視差圖.

表6 不同圖像增強方法的目標檢測結果Tab.6 Object detection results of different image enhancement methods%

圖8 單、雙目圖像增強方法的視差圖對比Fig.8 Comparison of parallax map between monocular and stereo image enhancement methods

4 結 語

本研究提出基于特征融合和一致性損失的雙目低光照圖像增強網絡FCNet.特征融合模塊基于注意力機制和大核卷積，能夠充分融合單目內和雙目間的信息，進而增強特征.一致性損失函數保持輸入雙目圖像和輸出雙目圖像間的差異趨勢，能夠實現更好的圖像增強效果.在SLL10K 數據集上的實驗表明，相比單目方法，FCNet 能更有效提升低光照圖像增強的性能.在經過暗化處理的KITTI 數據集上的實驗表明，使用FCNet 增強后的圖像能獲得更好的目標檢測效果.盡管FCNet在該數據集取得了一定的效果，但是在噪聲抑制方面仍然存在巨大的進步空間.未來將聚焦如何利用雙目多視角的冗余信息抑制夜間噪聲.