基于近紅外和可見光差分特征的圖像融合方法

摘 要：暗光環境拍攝的圖像通常存在昏暗、噪聲、偏色等退化問題。為此，提出一種基于差分特征的可見光與近紅外融合方法。首先，觀察到近紅外與可見光圖像成像不一致性，通過兩者結構性差異構造差分特征；其次，利用差分特征映射為融合權重進行權重融合；最后，采用偏色校正方法對融合后易產生偏色區域進行亮度復原，使得融合后偏色區域顏色真實自然。提出的方法能切實有效地利用近紅外信息，輸出高質量清晰圖像。實驗結論表明，該方法在主觀感受和客觀評價上均優于現有算法。

關鍵詞：圖像融合； 差分特征； 近紅外； 偏色校正

中圖分類號：TP391 文獻標志碼：A 文章編號：1001-3695（2022）11-052-3516-05

doi： 10.19734/j.issn.1001-3695.2022.03.0134

Near-infrared and visible images fusion based on differential feature

Zhao Guohui， Zhang He

（Ramp;D Center， Hangzhou Hikvision Digital Technology Co.， Ltd.， Hangzhou 310051， China）

Abstract：Images captured in dim light often suffer from severe degradations， such as low visibility， intensive noises and color distortion. To tackle these issues， this paper proposed a near-infrared fusion method based on image differential feature. Firstly， it introduced the differential map which captured the inherent discrepancy of structures in the two different types of images. Then， it conducted feature mapping functions to form an optimal weight map and recovered a visually pleasing result. To reduce the possible color cast in the image recovery process， it proposed jointly recovering the final image by using the visible image to reduce over brightness in the fused image. The proposed algorithm can always take full advantage of the near-infrared images and generate natural high quality outputs. Experimental results demonstrate the proposed method is superior to existing fusion methods in terms of visual quality and quantitative measurements.

Key words：image fusion; differential feature; near-infrared light; color correction

作者簡介：趙國輝（1986-），男，湖北京山人，主要研究方向為智能交通、模式識別；張鶴（1991-），男（通信作者），河南新鄉人，碩士研究生，主要研究方向為圖像處理、視頻分析（zhanghe12@hikvision.com）.

0 引言

夜晚環境下光線不足，導致相機設備拍攝的畫面存在亮度暗、對比度低、噪聲大和色彩失衡等不同程度的退化問題，影響人們的視覺觀感和有用信息的自動提取。研究如何復原夜間低照度圖像不僅可以改善圖像的觀賞性，也可以被廣泛應用于智能監控、無人駕駛和地形偵探等領域，具有十分重要的現實意義和應用價值。針對此問題，原始直接的方法是增大可見光補光，但這種措施不可避免帶來強光污染，特別是在視頻監控領域，強光導致駕駛員眼睛暫時性失明，容易引發道路安全問題。其他圖像調試方法如增大光圈，等同于擴大進光量以利于提高圖像亮度，但也降低了成像景深；放慢快門，相當于增大曝光時長來提升圖像信噪比，容易導致運動物體模糊，出現鬼影。

雖然現階段圖像低照度研究領域已有不少優秀成果出現，但僅依賴單一輸入圖像，信息匱乏條件下難以甄別隨機噪聲和真實圖像信息，這些基于去噪［1，2］和增強［3～6］的方法往往會導致細節紋理丟失且不善于自適應補償因光照不足引起的對比度損失，效果提升欠佳。因而采用可見光和近紅外成對圖像的低照度增強算法［7～16］得到了越來越多的關注和研究，這類方法采用兩顆圖像傳感器，通過特殊的光學元器件，其中一顆通過增加近紅外補光采集到包含圖像亮度信息和物體輪廓的近紅外灰度圖像，另外一顆采集到包含場景色彩信息的可見光彩色圖像。然后通過圖像融合算法將采集到的圖像信息進行融合，獲得同時具有可見光色彩與近紅外圖像亮度的圖像。又因為人眼對近紅外波段光具有弱感知性，近紅外補光并不會影響到人們正常工作生活，降低對駕駛人員眩光刺激，因此近紅外可見光融合技術在夜間監控場景下具有十分重要的應用價值。

與傳統的長波紅外熱成像［17］不同，近紅外利用了景物反射成像，體現了景物的幾何形狀，與可見光融合的目的是獲取干凈、通透和清晰的彩色圖像。但如何最大化利用近紅外的亮度信息，同時保證融合圖像色彩真實可信以便適合于人的視覺特征或計算機監控等設備的后續識別利用，是非常有挑戰性的研究課題。由于近紅外與可見光在成像表觀上存在著顯著差異，直接將近紅外的灰度圖像代替可見光的亮度通道圖像導致色彩偏離問題非常嚴重。Krishnan 等人［7］提出使用近紅外的梯度結構信息引導彩色圖像進行噪聲去除。Shen等人［9］構造一幅尺度圖顯式表示近紅外梯度的可信度，通過求解最佳尺度圖進而恢復可見光圖像。Su等人［11］結合多尺度小波分析，將含噪聲的可見光圖像與近紅外圖像進行小波分解，權衡可視性與對比性，將兩者進行融合，以達到重構清晰圖像的目的。考慮到近紅外對物體的細節感知較為理想，Jee等人［10］采用聯合雙邊濾波，以近紅外圖像作為梯度結構信息引導可見光輔助降噪，繼而疊加近紅外紋理細節。由于可見光與近紅外成像存在不同，這種方式會錯誤地導致可見光圖像一些固有的邊緣梯度變得模糊。受深度學習理論的啟發，一些基于樣本學習的圖像融合方法［13～16］應運而生。Li等人［13］提出一種包含編碼器、融合層和解碼器模型的深度學習框架用于可見光與紅外圖像融合，端到端的網絡不需要人為尋找先驗信息。唐超影等人［14］采用感受野更大的U-Net網絡結構，通過對多尺度上下文信息進行更加有效的編碼，保證可見光與近紅外融合的視覺效果。Mei等人［16］分別為降噪、增強和融合設計了獨立分工的子網絡，輸入圖像依次經過三個子網絡得到增強后的圖像，該網絡的任務相對簡單，容易訓練收斂。上述基于深度學習的方法取得了令人矚目的成就，但其缺陷是需要大量訓練樣本和算力。圖像融合質量依賴于訓練的標簽素材、模型容量、損失函數選取及超參數選擇等諸多方面。

目前低照度可見光與近紅外融合技術主要停留在學術研究階段，工業場所應用不多，主要有以下原因：a）物體對可見光與近紅外反射存在結構差異，復原后的圖像極易因亮度失調產生偏色現象；b）大多數方法是利用近紅外圖像結構信息協助低照度圖像降噪和細節增強，對近紅外亮度信息利用有限，恢復圖像效果不夠理想；c）現有方法計算復雜度都較大，算力要求高，難以滿足高清視頻實時處理和嵌入式系統上的實現。

觀測到近紅外圖像對于同種顏色亮度表現不一致性，本文提出一種基于差分特征的近紅外與可見光圖像融合方法，簡稱為差分融合方法。總體框架如圖1所示。首先，可見光亮度與近紅外亮度進行圖像差分得到差分特征，差分特征物理反映了兩種光譜反射差異區域與程度，可以對融合中易產生偏色的區域起到良好的約束作用；其次，基于差分特征與融合之間的相關性，定義特征映射函數，將差分特征映射為對應所需的融合權重項；然后，對可見光與近紅外圖像進行亮度域加權融合得到融合圖像的亮度；鑒于暗光環境下對圖像的紋理細節削弱，亦需將近紅外的紋理遷移整合進來；最后，整合亮度顏色信息重構出彩色的清晰圖像。此外，本文還提出一種基于差分特征的偏色校正方法，在充分利用紅外信息兼顧融合結果視覺上明亮通透信噪比高的同時，保證顏色還原的準確和真實。實驗結果表明，提出的方法簡單但切實有效地克服了圖像融合過程中產生的偏色問題，視覺效果得到顯著提升，具有非常快的速度，可用在一些實時監控任務中。

1 算法介紹

1.1 數據獲取

為獲取真實低照度可見光圖像與近紅外圖像樣本對，本文選用相機型號為HIK iDS-2CD9736-AMS的雙傳感器專業相機，分辨率為4 096×2 160。該款相機采用分光棱鏡將可見光與近紅外光分別導入對應傳感器成像，其中可見光與近紅外圖像間僅存在微小的剛性空間變換，利用棋盤格校準獲取配準矩陣，并自動應用于所有圖像樣本對。

測試相機架設在道路上，桿高度6 m，抓拍距離24 m，以捕獲過往車輛全貌。搭配頻曝環保補光燈（LED頻閃燈和近紅外爆閃燈），其中近紅外圖像采用近紅外爆閃補光，波長為730～1 000 nm，可見光圖像采用LED頻閃燈補光，亮度相對比較微弱，僅為獲取環境色彩。道路監控核心目標是為了行駛車輛，因此相機快門時間設置為2 ms，避免車輛運動拖尾，增益遵循常規設置為50。由于快門時間短且補光弱，相機傳感器感光不足導致可見光圖像信噪比非常低，出現大量噪聲。為了簡化問題，本文事先將輸入圖像數據經過圖像信號處理（ISP）進行降噪，將一幅低照度噪聲圖像轉變為低照度模糊圖像，這樣后續不用考慮圖像噪聲問題，專注于圖像融合課題。

輸入可見光圖像格式為YCbCr格式，其中Y表示可見光亮度通道，CbCr則表示可見光色度通道。輸入近紅外圖像為單通道，以N表示近紅外亮度通道。近紅外與可見光亮度域圖像融合公式定義為

其中：x為表示像素坐標位置的2D向量；Y為可見光圖像的亮度輻射圖；N為近紅外圖像的亮度輻射圖；Y為期望得到的多光譜融合亮度圖；a表示近紅外圖像的融合權重，用于描述輸出圖像中近紅外亮度所占比例，其值為0～1。由于融合權重隨著像素的位置而變化，所以其整體圖又稱之為融合權重圖。式（1）表明，若已知圖像場景中的融合權重信息a，相應地就可以計算得到期望值。由于融合權重圖a未知，則基于上述物理模型多光譜融合方法的本質可以看成是估計參數a以從Y和N重建到Y的過程。

1.2 差分特征

近紅外光與人眼可見光在光學頻譜上非常接近，一般情況下，近紅外圖像與可見光圖像在亮度分布狀況視為相同。但對某些物體，特別是彩色物體，兩者反射成像方面存在不小差異，甚至出現截然不同的情況。對大量自然成對拍攝的可見光近紅外圖像進行統計分析發現，兩者成像主要存在以下不同：a）近紅外圖像對于同顏色亮度表現不一致；b）可見光紋理信息可能在近紅外圖像上消失不見；c）可見光圖像與近紅外圖像存在亮度逆轉的情況。舉例說明，圖2顯示了一組交通監控領域夜間抓拍圖像，同是紅色車輛，其對應的近紅外圖像有的明亮，有的灰暗。圖2（a）左衣服上的條紋在其對應的近紅外圖上不可見，圖2（a）左黑色安全帶變成圖2（b）左的灰白色（見電子版）。這些若不加以區分，融合得到的圖像勢必產生偏色失真、紋理細節丟失問題。

若假設自然圖像局部區域對可見光的反射特性與對近紅外反射特性相同，其可見光圖像局部亮度與近紅外圖像局部亮度也應當接近。對兩幅亮度圖像進行低通保邊濾波，可選圖像中值濾波、雙邊濾波［18］和引導濾波［19］等，起到平滑局部、消除奇異點的作用，得到兩幅圖像的亮度特征圖Ybase和Nbase。以可見光圖像亮度圖雙邊濾波為例：

其中：Ybase是一個局部平滑后的亮度特征圖像；k（x）是一個歸一化因子。

其中：左正則項σs定義了基于像素距離的空間域權重；右正則項σr定義基于顏色強度差的值域權重。這兩個函數均是定義在局部區域Ω上的高斯距離函數。根據經驗，通常設置σs為20的領域窗口，σr設置為所有圖像的顏色范圍的1%是一個較好的選擇。將可見光亮度特征圖像Ybase與紅外亮度特征圖像Nbase 差分得到差分圖像，這里使用高亮補光的近紅外光亮度特征Nbase減去可見光亮度特征Ybase。

差分圖像物理地反映了自然圖像局部區域對可見光和近紅外光反射特性差異。如圖3所示，差分圖（為便于顯示取絕對值）越亮的地方，說明近紅外與可見光反射特性差異越大。例如司機穿的黑色短袖，對應的近紅外圖像特別明亮。直接采用這些區域的近紅外亮度極易導致圖像發灰偏色。差分圖越暗的地方，說明近紅外與可見光反射特性差異越小。例如駕駛臺以及司機系的黑色安全帶，對應的近紅外圖像與可見光成像非常接近。這些區域，融合時使用更多比例的近紅外亮度，使得恢復的圖像整體更加明亮通透，信噪比高，而且也不易出現偏色問題。

1.3 特征映射

差分特征樸素地反映了不同光譜間成像差異現象，得益于此有利先驗信息，可在圖像融合時最大化利用近紅外信息，同時避免融入不良紅外信息導致色彩偏差的問題，取得理想的圖像效果。根據對差分特征與融合偏色的關聯觀察分析不難得出，其與近紅外融合權重具有以下推論：

當差分值趨近于0時，可見光與近紅外反射特性接近，融合近紅外權重趨近于最大值1。而當差分值趨近無窮大時，可見光與近紅外反射特性相反，融合近紅外權趨近于最小值0。應當注意到的是，差分值為大于0的正數區域，該部分近紅外圖像亮度大于可見光圖像亮度。由于近紅外圖像依靠閃光拍攝獲取，這種情況占據圖像絕大多數。但也存在差分值小于0的負數區域，該部分近紅外圖像亮度小于可見光圖像亮度，一般出現在近紅外圖像陰影遮擋區域。陰影的存在并不會影響圖像真實感，反而增加圖像明暗通透感。綜上所述，建立一種如圖4所示的分段線性特征映射函數。

Fig. 4 Feature mapping

圖4表示當差分特征值為負值或正值但比較小時，融合近紅外權重最高設定為amax，起到最大化利用近紅外信息的作用；當差分特征為正值且大于閾值t0時，融合紅外權重比例逐漸降低至amin，以降低因近紅外光物體反射強烈帶來的色偏影響。通過此映射步驟，本文將差分特征圖像映射為紅外融合權重圖，圖4中，閾值t0和t1根據實驗經驗而來，通常設置為20和120；融合權重上下限amax和amin用于調節融合紅外的程度，一般設置為0.8和0.1。由于差分特征輸入數據范圍是確定且可枚舉的，對于八位深度圖，差分值落在-255～255，因此該步驟常預先制作成查找表，以便加速圖像處理過程。

1.4 圖像融合

經特征映射獲取融合權重圖a后，通過代入式（1）直接求解，可得到融合圖像的亮度輻射圖。然而，在弱光環境下拍攝的可見光圖像由于感光不足，存在紋理線條模糊、細節梯度退化問題，所以需要提取對應近紅外圖像的表面紋理細節圖層遷移進入融合圖像，從而豐富圖像細節和提升畫面層次感。

其中：Y是將可見光圖像Y和近紅外圖像N兩者亮度域進行加權融合的結果，D為遷移疊加的紋理細節圖層，即

其中：λVIS和λNIR分別用來控制可見光圖像和近紅外圖像紋理疊加強度，參數值設置越大，清晰度越為顯著，但容易導致圖像銳化過度，部分像素截斷溢出問題，因而一般情況下設置為1.0。對于近紅外圖像紋理，本文同樣乘以融合權重，避免在近紅外圖像與可見光圖像存在梯度逆轉時出現偽影等不自適應問題。

對于融合圖像的顏色獲取，用輸入的低照度可見光UV通道乘以相應亮度增益值得到融合后的數值。

其中：YGain（x）=YFusion（x）/Y（x）為亮度增益值。最后將融合得到的YUV色彩轉換為RGB空間即得到彩色融合效果圖。如圖5所示，經過融合增強后的整體圖像變得干凈通透，人臉更加清晰。同時，輸出融合圖像顏色與可見光顏色基本一致，色彩真實可信。

1.5 偏色校正

低照度可見光圖和近紅外閃光圖相比，其信噪比更低一些。雖然通過圖像增強手段，例如LIME方法［3］可將可見光圖像變得明亮，但理論上信息量不會增加，且會帶來一系列色噪及光暈變大等負面問題，如圖6（d）所示。因此，融合近紅外圖像亮度越多，越有利于提升信噪比。本文曾嘗試過將可見光和近紅外圖像對通過最大化亮度思想進行權重設計。這種方法能極大提升融合圖像明亮度和清晰度，但缺點也十分明顯，圖像偏色失真情況較為嚴重，與人眼主觀感受不符，如圖6（e）所示，暗紅色轎車車身偏粉色而墨綠色草叢偏青色（見電子版）。差分融合方法為避免顏色失真，在一些近紅外反光異常區域限制近紅外亮度的使用，但無法保證融合圖像的高信噪比，因此紅外利用率不夠充分。若再進一步提高紅外使用率，則會引入人眼可察覺的偏色問題。特別是人眼對紅色特別敏感，能夠分辨出不同亮度的紅色，如圖6（c）所示，暗紅色車身略顯偏粉色。此外，夜間圖像常因補光不足亦或白平衡問題導致顏色暗淡或偏色，這些都需要對圖像進行進一步偏色校正處理。

首先，將差分融合后的圖像轉到RGB色彩空間以便計算顏色特征。對于常見的顏色，如紅、綠、藍，這些顏色在融合后加入過量近紅外亮度導致偏色發生。因此，根據融合前后圖像亮度變化及每個像素顏色強弱特征，設計校正偏色公式如下：

其中：k（x）=max（?（x）－Y（x），0） 為融合前后亮度增加數值，s（x）=max Ic（x）－min Ic（x）代表當前像素顏色強弱數值。使用偏色校正后的融合結果如圖6 （f）所示。可以看出，融合圖像充分有效地利用了紅外信息，明亮通透，顏色真實，信噪比高。圖像整體更接近于紅外閃光圖像的亮度風格，但具有可見光真實色彩。

2 實驗效果

為驗證提出方法的有效性，本章除選取部分交通場景的實拍圖，其他均為公開的近紅外與可見光數據對，與目前最為先進的方法在融合效果上比較來驗證所提方法的有效性。對比方法包含三維塊匹配（block matching 3D，BM3D）降噪算法［1］、變分法［9］、深度學習融合法［14］等具有代表性和影響力的方法。

2.1 視覺主觀分析

圖7是針對夜間交通場景下抓拍的低照度圖像與近紅外爆閃圖像進行融合處理。交通場景圖像抓拍的難點主要在于拍攝主體是車輛，運動速度快，因此抓拍圖像比較黑暗，圖像噪點很大；另外，夜間光源較為復雜，拍攝時除補光燈外，還受到路燈、車大燈等強光影響，因而可見光圖像光暈較大。近紅外路存在紅外爆閃燈補光，因而整體明暗均衡、清晰度較高且噪點光暈較小。從視覺上看，BM3D降噪后與原圖風格一致，雖然具有噪點較小的優勢，但圖像清晰度和對比度明顯不足。文獻［9］處理效果在紅外反射異常區域出現模糊不清的問題，且基于變分的模型方法主要利用近紅外梯度信息，而忽視了近紅外亮度，處理后圖像仍然顯得昏暗，缺少近紅外明暗高對比度的特性。文獻［14］基于深度學習端到端的處理，無須設計和提取特征，但可以看出車燈光暈及路面照射區域亮度都有錯誤提升，究其原因可能是低照度可見光與近紅外融合的真實數據集非常難以獲取。文獻［14］選擇了長曝光圖像作為訓練集的標簽圖像，導致網絡功能最終變成可見光降噪和增強，缺乏近紅外信息導致視覺可見性沒有得到很好的改善。相比之下，差分融合方法恢復的車輛紋理清晰易見且色彩鮮明，道路交通標線等得到凸顯，整體視覺效果更接近于近紅外爆閃圖像，顯得更佳。

圖8是暗室拍攝的低照度圖像及用紅外燈閃光拍攝的近紅外圖像。雖是靜態場景但由于環境比較暗，原始可見光噪點比較多，信息完全被噪聲湮沒而基本丟失。BM3D復原圖像雖然能較好抑制噪聲，但清晰程度遠低于使用近紅外融合的結果。文獻［9］恢復的明暗反差較差，視覺上不自然協調。文獻［14］不能有效地利用近紅外信息，某些區域不夠清晰，例如圖中包裝盒上的字跡比較模糊。相比之下，差分融合方法對物體恢復的顏色和清晰程度在視覺上面比較理想，而且包裝盒上的字跡在方法結果中也較為清晰的體現。

圖9是暗室拍攝的陶瓷古玩等文物照片和對應近紅外閃光照片。原始圖像色彩噪點較大，圖片比較朦朧。BM3D復原圖像雖消除了噪聲，但畫面較糊，顏色暗淡。文獻［9］恢復圖像較為清晰，但不能夠有效去除噪點，如兵馬俑上仍存在一些色彩噪聲。文獻［14］復原圖像雖較為清晰，但對比度和通透度略顯不足。相比之下，差分融合方法綜合了可見光色彩與近紅外亮度的優點，同時克服各自的不足，取得了較為出色的融合效果，主要體現在融合圖像噪聲、色彩準確度、可見光信息保留程度、圖像對比度以及近紅外信息量等方面。

2.2 客觀定量比較

理論上，圖像融合領域并沒有十分客觀的評價指標，主要以主觀評價為主，但低照度圖像融合本質上可視做圖像清晰化增強的過程。由于微光成像會減少圖像的邊緣變換特征和細節信息，圖像恢復的清晰程度可由處理后圖像的邊緣強度和細節變化反差來衡量。在圖像增強領域，較為廣泛使用的是Hautiere等人［20］提出的可見邊梯度法，即利用新增的可見邊的數量比（e）、平均梯度比（）和飽和像素比（σ）來描述輸入原始圖像和融合后圖像的增強效果：

其中：n0和n1分別表示可見光圖像和融合圖像中可見邊的數目，它是圖像局部對比度的反映；0表示原圖像的平均梯度；r表示恢復后圖像的平均梯度。另一指標σ表示恢復圖像新增的飽和像素比例，這些飽和像素通常是由算法過度增強所致。考慮到圖像噪聲對評測指標的影響，可見光圖像進行了降噪處理。一般情況下，e和的值越大，表明處理后圖像恢復的地方紋理細節越多，圖像越為清晰；而σ的值越高，表明融合后圖像溢出的像素比例越多，地方細節損失越多。

表1可以說明，相比之下，本文對真實交通場景和暗室實驗場景低照度增強清晰化具有較明顯的優勢，融合后恢復的可見邊數量和平均梯度比值均較高。文獻［9］在近紅外與可見光圖像反射趨向異同時容易失效，恢復圖像區域趨于平滑，細節匱乏，甚至出現效果不如BM3D降噪的情況。圖7中，文獻［9］在路面車燈照射區域清晰度較BM3D效果差，新增可見邊e值為負數。文獻［14］能有效避免融合出現偏色失真的現象，但該方法所使用的網絡模型往往對近紅外的信息利用不足，例如圖7，車燈光暈不能夠得到有效抑制，恢復效果并不清晰理想。本文方法則能很好地避免融合偏色失真和光暈偽跡放大現象，且充分汲取了近紅外的有用信息，亮度和清晰度均為接近閃光圖像效果。例如，本文在所有結果均得出可觀的可見邊數目，保持最好的e和得分。而σ較高，究其原因在于本文方法融合更多近紅外陰影，而非增強過度所致。

2.3 運行時間

本文方法在性能速度方面具有明顯優勢，文獻［9］基于變分的方法通過多次迭代來取得融合最優解。文獻［14］基于深度學習方法采用了U-Net網絡模型，包含數十次卷積操作，計算并不便宜。對于M×N的圖像，本文算法的時間復雜度為O（MN），且與任何其他參數無關。顯然易知，提出方法比其他方法都要快得多，且當輸入圖像越來越大時，復雜度也能以線性的速度較慢增長。本文最后在海思嵌入式平臺使用SIMD 指令同時執行32個像素的并行計算，在4 096×2 160高清圖像耗時為31 ms，可以滿足實時視頻處理需求。

3 結束語

本文介紹了一種基于差分特征的近紅外與可見光融合的低照度圖像增強方法。觀測到近紅外與可見光成像差異問題，提出利用差分特征構造生成融合權重，最大化利用近紅外亮度信息增強圖像信噪比，輸出接近于近紅外補光亮度風格的圖像，但具有可見光真實色彩自然的優點。所提方法非常簡單，易于在嵌入式平臺優化實現。與最新其他研究方法比較，本文方法不僅效果優勢明顯，性能也可滿足工業的實時處理需求。

基于差分特征的圖像融合方法在多源異構圖像恢復具有普適通用原則，未來將探索研究其在近紅外/可見光圖像去霧、閃光/非閃光圖像聯合降噪等圖像恢復領域的應用。

參考文獻：

［1］Dabov K，Foi A，Katkovnik V，et al. Image denoising by sparse 3-D transform-domain collaborative filtering［J］. IEEE Trans on Image Processing，2007，16（8）： 2080-2095.

［2］Zhang Kai，Zuo Wangmeng，Chen Yunjin，et al. Beyond a Gaussian denoiser： residual learning of deep CNN for image denoising［J］. IEEE Trans on Image Processing，2017，26（7）： 3142-3155.

［3］Guo Xiaojie，Li Yu，Ling Haibin. LIME： low-light image enhancement via illumination map estimation［J］. IEEE Trans on Image Processing，2017，26（2）： 982-993.

［4］Chen Chen，Chen Qifeng，Xu Jia，et al. Learning to see in the dark［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 3291-3300.

［5］王萍，孫振明. 多級分解的Retinex低照度圖像增強算法［J］. 計算機應用研究，2020，37（4）： 1204-1209. （Wang Ping，Sun Zhenming. Multi-level decomposition retinex low-light image enhancement algorithm［J］. Application Research of Computers，2020，37（4）： 1204-1209.）

［6］劉壽鑫，龍偉，李炎炎，等. 基于HSV色彩空間的低照度圖像增強［J］. 計算機工程與設計，2021，42（9）： 2552-2560. （Liu Shou-xin，Long Wei，Li Yanyan，et al. Low-light image enhancement based on HSV color space［J］. Computer Engineering and Design，2021，42（9）： 2552-2560.）

［7］Krishnan D，Fergus R. Dark flash photography［J］. ACM Trans on Graphics，2009，28（3）： article No. 96.

［8］Zhuo Shaojie，Zhang Xiaopeng，Miao Xiaoping，et al. Enhancing low light images using near infrared flash images［C］// Proc of IEEE International Conference on Image Processing. Piscataway，NJ： IEEE Press，2010： 2537-2540.

［9］Shen Xiaoyong，Yan Qiong，Xu Li，et al. Multispectral joint image restoration via optimizing a scale map［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2015，37（12）： 2518-2530.

［10］Jee S，Kang M G. Sensitivity improvement of extremely low light scenes with RGB-NIR multispectral filter array sensor［J］. Sensors，2019，19（5）： article No. 1256.

［11］Su Haonan，Jung C，Yu Long. Multi-spectral fusion and denoising of color and near-infrared images using multi-scale wavelet analysis［J］. Sensors，2021，21（11）： article No. 3610.

［12］Li Zhuo，Hu Haimiao，Zhang Wei，et al. Spectrum characteristics preserved visible and near-infrared image fusion algorithm［J］. IEEE Trans on Multimedia，2021，23： 306-319.

［13］Li Hui，Wu Xiaojun. DenseFuse： a fusion approach to infrared and visible images［J］. IEEE Trans on Image Processing，2019，28（5）： 2614-2623.

［14］唐超影，浦世亮，葉鵬釗，等. 基于卷積神經網絡的低照度可見光與近紅外圖像融合［J］. 光學學報，2020，40（16）： 31-39. （Tang Chaoying，Pu Shiliang，Ye Pengzhao，et al. Fusion of low-illuminance visible and near-infrared images based on convolutional neural networks［J］. Acta Optica Sinica，2020，40（16）： 31-39.）

［15］Jung C，Zhou Kailong，Feng Jiawei. FusionNet： multispectral fusion of RGB and NIR images using two stage convolutional neural networks［J］. IEEE Access，2020，8： 23912-23919. ［16］Mei Lin，Jung C. Deep fusion of RGB and NIR paired images using convolutional neural networks［C］// Proc of IEEE International Conference on Pattern Recognition. Piscataway，NJ： IEEE Press，2021： 6802-6803.

［17］Li Guofa，Lin Yongjie，Qu Xingda. An infrared and visible image fusion method based on multi-scale transformation and norm optimization［J］. Information Fusion，2021， 71： 109-129.

［18］Tomasi C，Manduchi R. Bilateral filtering for gray and color images［C］// Proc of IEEE International Conference on Computer Vision. Piscataway，NJ： IEEE Press，1998： 839-846.

［19］He Kaiming，Sun Jian，Tang Xiaoou. Guided image filtering［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2013，35（6）： 1397-1409.

［20］Hautiere N，Tarel J P，Aubert D，et al. Blind contrast enhancement assessment by gradient ratioing at visible edges［J］. Image Analysis and Stereology，2011，27（2）： 87-95.