光電載荷下的紅外和可見光圖像融合綜述

劉爽利，黃雪莉，劉 磊，謝 宇，張錦寶，楊江楠

西南科技大學 信息工程學院，四川 綿陽 621000

近年來，高空偵察技術對防空安全有著重要的意義，如結合紅外和可見光傳感器的光電吊艙被廣泛應用于無人機偵察中。由于機載光電吊艙存在高速運行、抖動等原因，其光電探測模塊所拍攝的紅外與可見光圖像會出現幾何畸變、模糊退化以及亮度和色彩失真等問題，所以機載光電載荷下的紅外與可見光圖像融合算法與傳統的，如在地面上靜止的吊艙應用到行人檢測、軍事檢測等圖像融合算法存在較大差異。所以針對遠距離弱小目標，提出能夠實時融合復雜背景紅外與可見光圖像各自優勢的圖像處理算法、提高后續檢測跟蹤精度成為當下需要解決的難題。

關于圖像融合的研究和綜述較多[1-3]，但針對光電吊艙這一應用背景下的紅外與可見光圖像融合算法工作進行整理的相對較少，且在無人機上光電吊艙所拍攝的高空數據集沒有公開。本文結合光電載荷背景下圖像融合過程中弱小目標、紋理信息缺失和計算效率的問題，總結近年來紅外與可見光傳統圖像融合方法的進展，分析了現在還未解決的問題以及對未來研究的展望，對后續光電吊艙下的圖像融合技術的改進起到參考價值和推動作用。

1 介紹

掌握戰場態勢的發展和瞬時變化的情報信息是獲取未來戰場主動權的關鍵，為實現這一目標，需要能精確、實時地采集情報信息的系統裝備[4]。過去主要由光學偵察衛星和有人駕駛偵察飛機承載這類裝備，但用偵察衛星對某一區域進行全天連續監視，必須擁有一個龐大的星群，其裝備費用十分驚人[5]。如何提高有人機的戰場生存能力，避免或減少飛行人員傷亡或被俘事件是各國面臨的難題[5]。

根據載機平臺不同，機載光電載荷可以分為：固定翼作戰飛機機載光電載荷、直升機機載光電載荷、無人機機載光電載荷等。按照任務使命和使用需求，機載光電載荷分為：光電探測與對抗系統、輔助導航系統、情報收集、偵察與監視系統、搜索跟蹤瞄準系統，其中偵察、瞄準系統應用最為廣泛光電吊艙的應用范圍已經由最初的偵察監視，逐步向遠程預警、網絡化協同作戰、快速打擊、察打一體、無人作戰等需求方向拓展。目前，國外先進機載光電載荷的穩定精度已達到亞像素級，其主要的研制公司有雷神公司、洛克希德·馬丁公司、FLIR 系統公司等，與發達國家相比，國內無人機載光電載荷的發展還存在一定差距。一些主要的光電載荷系統及功能如表1所示。

表1 一些主要的光電載荷系統及功能Table 1 Some major optoelectronic load systems and functions

機載光電載荷平臺具有系統集成度高、數字化程度高、可裝載光電傳感器多、探測精度高、探測范圍廣、應對各種復雜惡劣環境條件和地形條件的能力、目標檢測跟蹤與圖像處理能力、自主目標引導與定位能力等特點。但是機載光電載荷平臺在獲取目標圖像時，受光電平臺本身設計、裝調、無人機抖動等因素的影響，導致圖像中的目標表現出的位置、方向、大小、外形等會有所失真，即導致圖片出現幾何畸變、模糊退化、亮度和色彩誤差[6]等問題，并且機載光電平臺在實際工作過程中所遇到的環境是比較惡劣的，目標小且背景環境復雜，對于天氣的變化引起的成像質量也存在較大差異，這都使后續的圖像處理算法面臨一定挑戰。

多源傳感器圖像融合技術是針對同一場景，取適當的圖像處理技術將不同時間、不同拍攝角度、不同分辨率的多源圖像融合成一幅圖像，利用不同傳感器的特點進行優勢互補，從而可以減少后續圖像處理任務的數據處理量的技術[7-10]。根據傳感器獲取圖像來源的不同，圖像融合技術可以分成醫學圖像融合[11]、遙感圖像融合[12]、紅外與可見光圖像融合[13]等。其中，紅外與可見光融合廣泛用于目標檢測[14]、自動駕駛[15]等領域，因其在紅外測溫、軍事戰爭[16]中起到的突出作用，在圖像融合技術中占有重要地位。

搭載紅外與可見光傳感器的機載光電平臺可晝夜工作，且紅外與可見光傳感器獲取的圖像含有大量互補信息，可以實現多數據、多種功能融合的目標，將其裝備到衛星或無人機上可大大降低成本并且獲得更加準確、全面的信息。融合圖像具有更好的特征有利于后續的檢測跟蹤，尤其是在類似于戰場特殊情況下偵察和瞄準有助于后續指揮決策。同時，在光電載荷背景下對圖像處理的實時性有較高要求，但是由于負載能力的限制，平臺內部空間有限，導致計算能力不足。如何在機載平臺狹小的空間中安裝能滿足實時性的圖像融合系統將是一個技術的難點[6]，引起了國內外眾多學者的廣泛關注[17-18]。另外，紅外與可見光相機的拍攝環境惡劣，拍攝到的圖像模糊并且信噪比較低，因此航空圖像融合相比傳統的紅外與可見光圖像融合的難度更高，需要提出一個適合光電載荷背景下的算法。在光電載荷背景下為了獲得融合效果更好的圖像，即能夠獲得既具有紅外熱輻射目標信息又具有可見光圖像細節信息的融合圖像，有必要針對機載圖像融合進行深入的研究。所以在光電載荷背景下圖像融合要考慮出現目標弱小、細節模糊和實時性的問題的情況。

如圖1 所示為紅外與可見光圖像融合的技術流程。紅外圖像與可見光圖像融合的算法有很多。傳統圖像融合算法包括基于多尺度變換的[19]、基于空域的[20]以及基于稀疏表示的[21]。依據圖像處理方式的不同和圖像信息的抽象化程度，又可將圖像融合算法分為以下三個層次：像素級圖像融合[22]、特征級圖像融合[23]和決策級圖像融合[24]，其結構如圖2 所示。目前多數的融合算法都是針對像素級融合方法進行研究，特征級融合與決策級融合大部分都是基于像素級融合進行的改進。像素級圖像融合方法可分為以下三種：基于空間域的融合、基于變換域的融合以及基于混合模型的融合。傳統的紅外與可見光圖像融合的步驟如圖3所示。

圖1 紅外與可見光圖像融合技術流程Fig.1 Process of infrared and visible image fusion technology

圖2 圖像融合層級劃分Fig.2 Hierarchical division of image fusion

圖3 傳統紅外與可見光圖像融合框架Fig.3 Traditional infrared and visible image fusion frame

紅外與可見光圖像融合中常用的數據集如表2 所示，其中軍事場景中常用的是TNO數據集等，查閱多種資料可知在無人機上光電吊艙所拍攝的雙光高空數據集暫時沒有公開。拍攝航空雙光數據集的方法主要有地面對空拍攝和小型無人機搭載雙光相機拍攝等方法。地面拍攝數據集方法主要方法效果對比如表3所示。

表2 紅外與可見光圖像融合常用數據集Table 2 Common data sets for infrared and visible image fusion

表3 構建數據集方法Table 3 Building dataset method

在地面搭建抖動平臺模擬高速運轉無人機抖動的問題，利用小型無人機模擬戰場飛機，該方法優點為易于實現，缺點為地面對空場景下目標背景干凈，無法模擬真實戰場環境下的復雜背景，如巷戰中的建筑背景；小型無人機搭載雙光相機拍攝無人機的方法優點為能夠盡量還原戰場環境下空對空、空對地反無人機情況，缺點就是實施困難、價格昂貴，小型無人機無法搭載成像質量好、重量較重的紅外與可見光相機。

下面對光電載荷應用背景下紅外與可見光圖像融合將會遇到的目標弱小[31]、細節模糊[32]、實時性[33]的問題進行整理和綜述。

正聊得興起，高潮突然想起下班時在地鐵站口拿到的上訪材料，猛拍一下腦門，暗罵自己一句傻逼，就急急忙忙給“詩的妾”道別：老婆，我還有工作要做，可能要鏖戰到雞叫頭遍，告辭了。

2 光電載荷下的紅外與可見光圖像融合

2012年，Liu等人[34]提出了一種基于Dempster-Shafer（D-S）證據理論的混合粒子濾波多目標聯合檢測與跟蹤。但是基于D-S 證據理論的復雜環境下多目標檢測方法存在如何建立合理有效的異構信息分布函數融合方法的難點。2015 年，Fan 等人[35]提出了一種基于紅外與可見光圖像融合的目標檢測算法解決了文獻[34]中的問題。但是該算法主要起到監視的作用，并沒有對目標的檢測效果量化。2019年，趙燁[36]在針對小目標的檢測中運用傳統的形態學檢測算法，并利用DS 證據理論框架，對不同特征信息賦予目標的可信度，再基于該框架提出了紅外與可見光的二次融合識別方式，其融合后的可信度大大增加，不確定性迅速下降，且小目標檢測的精度比單一傳感器的高，證明了紅外與可見光融合能夠增加檢測的精度，具有研究價值。

2.1 弱小目標圖像融合

在復雜環境中的多目標檢測已成為研究熱點[37]。可見光相機具有高分辨率，可以提供場景的空間細節。但在低能見度等復雜環境下可見光圖像不清晰。熱紅外相機是一種被動源傳感器，它捕捉所有溫度超過絕對零度的物體發出的紅外輻射。這些類型的傳感器通常部署在視覺系統中，以消除正常灰度和RGB 相機的照明問題[38]。光電載荷的背景下，后續檢測跟蹤的目標具有弱小的特點，即對比度低、目標像素少。對于紅外傳感器遠距離小目標的檢測，尤其是當目標的溫度低于周圍環境的溫度的時候檢測的概率往往很低[39]。針對這一特性，在目標檢測時需要可見光圖像來提供細節信息，紅外圖像來提供目標高亮信息。兩種圖像融合來提高小目標檢測的精度。

在像素級圖像融合中，針對弱小目標圖像融合的文章大都基于變換域和混合模型的算法。基于變換域方法的基本思想是首先利用變換工具將源圖像分解為一系列的變換系數，然后通過預先設計的融合規則來組合變換系數，最后通過反轉融合的變換系數得到融合的圖像。基于變換域的方法還可以細分為金字塔變換[40]、多尺度變換[41]、稀疏表示[42]等。由于小目標無法提取有用的特征，因此很難使用基于深度學習的算法。Jin等人[43]提出的基于對比度金字塔方向濾波器組的紅外與可見光圖像融合采用克隆選擇優化算法；Chandana等人[44]提出的一種基于雙樹復小波變換的拉普拉斯金字塔分解的圖像融合技術，這些基于梯度、拉普拉斯、形態差異、比值、對比度、filter-subtract-decimate金字塔的方法都是基于變換域圖像融合的著名方法，但這些簡單的方法可能會在圖像紋理邊緣附近產生光暈效應。表4 所示為當前解決弱小目標問題的基于像素級算法對比總結。曾祥通等人[45]提出的顏色對比度增強的紅外與可見光圖像融合方法。與金字塔相比，小波提供了很好的時頻表示，因此離散小波變換（discrete wavelet transform，DWT）[46]被運用在圖像融合中。由于DWT 是移位變體，它可能會在融合的圖像中引入偽影。大多數的多尺度融合方法需要兩個以上的分解水平才能獲得令人滿意的結果，但是這些濾波器的實現過程復雜且耗時。Bavirisetti等人[47]提出了一種基于雙尺度圖像分解和顯著性檢測的圖像融合算法和Naidu等人[48]應用組合策略在可見和紅外圖像目標提取的過程中有效地解決了上述問題，但是可見光和紅外圖像的信息并沒有得到充分的利用。2021 年Sun 等人[49]提出了一種基于紅外與可見圖像融合對低空低速小目標的遠程探測算法，該算法融合圖像的細節和目標都有增強，在單傳感器視覺效果較差時仍有較好的檢測精度，但是存在噪聲放大的問題。2023年Li 等人[50]提出了一種基于稀疏先驗聯合顯著性檢測和潛在低秩表示的四階微分方程的紅外可見圖像融合方法，該顯著性算法具有較高的檢測精度和良好的背景抑制能力，其信息熵和信噪比都有顯著增加。總的來說，在弱小目標的情況下最大的難點就是融合過程中目標被背景淹沒。所以基于變換域的方法對弱小目標的增強和背景的抑制有良好的效果，但是也會存在信息丟失過多的問題，如背景過抑制丟失目標。

表4 像素級弱小目標圖像融合算法對比Table 4 Comparison of pixel-level dim target image fusion algorithms

基于空間域的方法直接提取源圖像的顯著區域或清晰塊，生成最終融合圖像。但是現在用傳統的紅外與可見光圖像融合的方法大多是基于混合模型的方法，即結合變換域和空間域的方法。基于混合模型的方法結合了上述方法的優點，提高了紅外和可見光圖像融合的性能。為了克服多尺度分解對源圖像分解精度不夠的問題，Wei 等人[51]提出了一種非下采樣輪廓波變換的精確分解方法。Ren等人[52]提出了改進了制導濾波器以便于更好地分解圖像，限制了圖像邊界附近的偽影。Zhang 等人[53]提出了一種局部邊緣保持濾波器，將源圖像分解為底層和細節，并使用改進的顯著性檢測方法來檢測紅外圖像的顯著目標區域。Yu 等人[54]提出了一種結合多尺度變換和稀疏表示的通用圖像融合框架，克服融合的局限性。Ma等人[55]提出了一種結合視覺顯著性映射和加權最小二乘優化的融合方法能夠克服傳統方法的一些局限性。當可見光圖像受到煙霧和強光等干擾時，上述融合算法的圖像融合質量會受到干擾。所以，Lin 等人[56]提出了一種基于滾動制導濾波器和顯著性檢測的自適應紅外和可見光圖像融合方法，但是存在一定的噪聲和偽影。2023 年Liu 等人[57]提出了一種海洋環境下艦載光電吊艙的紅外與可見圖像融合，從主觀來看該算法在去偽影和顯示目標特性有較好的效果，客觀來看其信噪比、平均梯度、空間頻率等都優于其他算法。

基于混合模型的算法在弱小目標問題時會綜合空間域、變換域和其他模型的優缺點，能夠綜合空間域中空間簇互相鄰接的問題和變換域目標丟失的問題。因為弱目標亮度信息很低，小目標邊緣特征較弱，弱小目標邊緣信息和亮度信息都很差，所以在目標弱小的情況下很少使用基于特征的圖像融合算法。決策級圖像融合結合目標檢測算法能夠提高弱小目標檢測的精度，并且可以根據不同的場合選擇合適的檢測器。決策級紅外與可見光融合的算法較新，表5所示為總結的決策級融合的部分算法。國內已知最早實際應用到決策級融合的是2011年肖旭光等人[58]提出的利用Hu不變目標尺寸特征進行融合，但該方法的確匹配率較低。2020年白玉等人[59]提出了對通過檢測結果加權融合的決策方法。該方法使檢測精度達到了84.7%，與單一傳感器相比檢測精度分別提高了2.44%和21.98%。2022 年朱鎧鎧[60]提出的多源數據層融合方法在提高效率的同時能夠提高目標檢測的精度。劉蓮[61]提出的利用多層卷積特征融合的決策級融合算法的檢測精度提高了3.38%，成功率提高了10.07%。2023 年寧大海等人[62]改進了唐聰等人[63]的算法使得白天的漏檢率降低了8.16%，夜晚的漏檢率降低了9.85%，但是該方法增加了計算時間復雜度。Hu等人[64]提出的基于光傳感器的決策級融合策略，提高了在低光照下紅外與可見光融合后的目標檢測精度，并獲得了69.0%的最優AP值。

表5 決策級圖像融合算法對比Table 5 Comparison of decision level image fusion algorithms

在戰場狀態下機載光電吊艙往往跟蹤的是弱小目標，紅外與可見光圖像融合能夠突出待檢測跟蹤的目標。此時處理雙光圖像主要有像素級處理方法和決策級處理方法。弱小目標邊緣和亮度信息很弱所以不直接采用基于特征的方法。在用像素級方法處理時，基于變換域的方法對弱小目標的增強和背景的抑制有良好的效果，但存在光暈和信息丟失過多的問題。基于混合模型的方法能夠解決單一模型的一些局限，但存在可適應性的問題。總的來說基于像素的方法可以保持源圖像更多的原始數據，目標空間位置相對更精確；但在預處理部分對弱小目標來說配準難度大。決策級方法可適應性強，后續目標檢測精度高，但是會丟失大量信息。但是現有的這些針對弱小目標融合增強的算法都是在較為理想的環境下實現的，沒有在復雜環境下進行現實的驗證，因此在復雜環境下的可適應性是現在算法改進的切入點。

2.2 紋理細節模糊

紋理細節的問題通常考慮像素級圖像融合方法。在光電載荷的背景下所拍攝的圖像目標背景通常是較為復雜的，紅外圖像缺乏紋理信息而可見光圖像具有紋理信息可以用來彌補紅外相機的不足，所以提出了紅外與可見光圖像融合的技術來增加復雜環境下的有效信息。但是在融合的過程中會出現邊緣模糊的問題，所以近年來一些學者提出了一系列改進算法。紋理細節模糊的算法優缺點總結如表6所示。

表6 解決紋理細節模糊的算法Table 6 Algorithm to solve texture detail blurring

基于空間域的算法中Rudin 等人[65]在1992 年首次提出了全變分（total variation，TV）的概念，并通過最小化全變分將其應用于圖像去噪。Rudin 的TV 模型出現在有界的變分空間中，可以得到不連續的解，從而在保持邊界特性的同時有效地去除噪聲。但是，當使用該模型時，會出現階躍效應，在原始圖像的一些相對平坦的區域可能會出現假邊。四階去噪模型成功地避免了階躍效應。Ma等人[66]將TV模型引入紅外-可見光圖像融合領域，但該模型沒有考慮可見光圖像的強度特征，存在細節丟失和場景感知差的缺點。Guo 等人[67]通過在模型的保真度項中加入對可見圖像強度的約束，減少了融合圖像的光暈。Nie等人[68]使用加權保真度項來增加可見光圖像的場景信息，并在正則化項中增加約束，以防止亮度退化。考慮了多分辨率圖像中的噪聲放大和信息丟失問題，Du 等人[69]提出了利用全變分模型融合不同分辨率的紅外和可見光圖像。上述算法由于忽視了多源圖像和不加區別地提取不同特征將會損失融合圖像的質量。所以Zhao等人[70]利用結構轉移和局部顯著性檢測構建了一個TV 模型，融合后的圖像保留了更多關于目標的位置和邊界信息。隨著算法的不斷改進，對于TV 算法的模型越來越復雜，時間復雜度也越來越高，并且紅外和可見光圖像保真度項的權重確定通常依賴于實驗經驗，需要對不同的場景進行手動調整，所以Zhang等人[71]提出了聯合主成分分析的全變分紅外與可見光圖像融合，該算法對于不同場景具有適應性。多尺度分解（multi-scale decomposition，MSD）方法已經成為圖像融合最活躍的領域之一，該方法的分解機制類似于人類視覺系統，為圖像的幾何抽象和表征提供了一個高水平的變換域[72]。其中，非下采樣信號變換克服了以往MSD方法的缺點，實現了位移不變性和快速分解[73]。統計模型也被應用到基于MSD 的方法中來設計融合規則[74]，而如何制定一個合理的聯合分布模型仍然是一個很大的障礙。傳統的上下文隱藏馬爾可夫模型，傾向于使用雙態高斯混合模型來模擬MSD 系數的分布，即每個系數都被簡單地劃分為紋理信息豐富的位置和平滑區域[75]，一些精細的紋理特征也可能被錯誤地分類為小狀態，導致統計模型不準確，進一步影響融合圖像的質量。由于系數的水平僅限于大或者小，這與信息的層次結構相矛盾，影響了確定轉移特征的準確性。為了更好地反映各系數的顯著性，Luo 等人[76]提出了一個基于非下采樣剪切波變換的多粒度聯合分布模型來處理融合過程中的不確定性，該算法的空間頻率提高了7.5%。基于各種MSD 的多尺度融合方法的巨大成功，證實了尺度分離在圖像融合過程中的重要性。針對傳統的用于基層的“平均”融合規則并不能有效地充分利用這些低頻信息，通常會導致融合圖像的對比度損失，所以可以使用視覺顯著性映射[77]來合并基層。所以基于空間域算法計算簡單快速，在已有的用于目標檢測中的論文中精度高，但是也存在場景感知差的缺點；基于變換域的算法保留了足夠多的細節信息，但是時間復雜度較高。

傳統的紅外與可見光圖像融合技術需要嚴格配準，2023 年，Li 等人[82]創新性地提出了一種無配準融合，他根據兩幅源圖像之間的空間關系，聯合學習調制參數和動態卷積核使其模態在高級特征空間中對齊。該方法應用了三層網絡結構訓練，在復雜多變的戰場環境部署困難，但也為紅外與可見光圖像融合提供了新的思路。Dong等人[83]提出了一種利用提出了一種讓源圖像參與到融合過程中，共同提取和融合特征的技術，該算法與現有的融合框架不同，無需根據不同的融合任務調整融合策略和神經網絡模型。

針對紋理細節模糊這一問題主要是基于像素級的圖像融合方法。在處理紋理細節問題時，基于空間域的方法計算簡單速度快，能夠保留足夠多的信息，但對噪聲敏感，目標特征信息已丟失；基于變換域的方法保留了足夠的紋理信息和目標信息但是計算時間復雜；基于混合模型的方法是現在主流的方法，該方法能夠綜合空間域和變換域的優點，保留更多的細節信息。但大多會增加計算的時間復雜度，在增加紋理細節的同時丟失目標。但是在考慮圖像細節的算法中并沒有考慮到目標和計算效率的問題，所以怎么在突出目標且不丟失背景的情況下減少計算的時間是傳統紅外與可見光圖像融合算法改進的方向。

2.3 實時性

光電載荷背景下紅外與可見光圖像的實時融合對于計算的速度要求是十分高的。如果圖像處理的速度太慢，幀率太低就會導致人眼所看到的畫面是卡頓且不流暢的。現在無人駕駛技術的流行和發展，實時紅外與可見光圖像融合成為研究的熱點，給該方向上提出的算法和技術帶來一定的參考價值。目前的多傳感器圖像融合方法計算復雜度高，在硬件上難以實現，但在光電載荷背景下需要一個新的穩定的、計算速度快的、處理效率高的算法，所以仍然有研究的意義。現有的實時紅外與可見光圖像融合的算法也有借鑒的價值，以下就對一些滿足實時處理的融合算法做出概述。實時融合方法如表7所示。

表7 實時性融合算法Table 7 Real-time fusion algorithm

空間域圖像融合不需要對源圖像進行分解。但是空間域方法存在有低對比度和空間退化的問題[84]，Aydin等人[85]在FPGA 上利用基于顏色空間變換、均值和方差的高級合成（high-high synthesis，HLS）工具等技術實現了圖像融合方法，改善了圖像的顏色信息，但是該方法會使圖像融合后的圖像性能變差且可適應性低，因此在考慮融合的實時性問題時通常考慮采用變換域的方法。Sims 等人[87]首次利用金字塔變換實現圖像融合的實例，四個層次的金字塔分解，有四個獨立的梯度算子，都可以在一個設備上運行，而不需要片外存儲器，并且能夠在2.8 GHz Pentium-4 上提供大約100 倍的加速。Song等人[88]利用流水線的拉普拉斯融合算法，該算法較為耗時且有偽影。在實時的圖像融合中常用方法為多尺度變換法。與DWT相比，金字塔方法的信噪比較低，并且為了克服DWT 是移位變體這一問題，采用時移不變離散小波變換（shift invariant wavelet transform，SIDWT）[86]代替DWT 來提高融合性能，但是SIDWT 的功耗也很高，這使得SIDWT 也不適用于低功耗的設備。為了克服基于DWT和SIDWT的方法的缺點，就采用了非下采樣輪廓波變換（non-subsampled contourlet transform，NSCT）[89]。但是為了存儲所有的波段，NSCT在圖像融合的初始步驟中至少需要72個內存塊[90]，其中幾乎一半用于存儲融合的信息進行重建。此外，在基于硬件的解決方案中，保持NSCT中使用的濾波器組的精度也很困難，并且在復雜的空間結構中不能保持源圖像的邊緣，所以在實時圖像融合時不考慮NSCT。此外，主成分分析、熵檢測和改進的拉普拉斯算子之和具有有限的圖像特征，不適用于紅外和可見圖像融合，并且上述算法計算量大、耗能大[91]。

基于上述的問題，Mishra等人[92]提出了實時應用中基于改進的Frei-Chen算子的紅外與可見光傳感器圖像融合。與現有的融合算法相比，該方法在總邊緣轉移、結構相似性和夜視對比度方面分別提高了48%、15%和100%，在Xilinx 開發工具上可以以每秒90 幀的速度處理高清分辨率（1 920×1 080）的圖像。但是該算法可能會出現閃爍的偽影。Jeong等人[93]提出了一種基于多導濾波器的實時可見紅外圖像融合，該算法處理320×270的圖像時幀率為58 FPS，雖然犧牲了時間，卻大大減少了視頻圖像中閃爍的偽影并且不會出現卡頓的現象，但是該算法對于紋理卻當作了噪聲處理。由于兩個視頻信號由兩個不同的源產生，因此兩個視頻信號在相應的視頻幀開始之間有不可避免的啟動延遲，因此沒有特殊的硬件同步機制，不能在同一時間啟動，并且該延遲不是隨時間恒定的；其次由于視頻源中內部電氣或機械硬件的限制，每個視頻源都有一個小的幀率偏差。當輸入的視頻被解碼成數字格式的信號時，為了準備處理，上述問題被繼承到數字視頻信號中，視頻融合需要在可見光和紅外視頻中處于相同空間位置的像素被同時訪問和處理。Awad等人[94]提出了一種集成的現場可編程邏輯門陣列（field programmable gate Array，FPGA）架構和實現的視頻處理系統解決了上述的問題，該實現消耗的FPGA 資源很少，因此更適合相機硬件集成，處理720×480大小的圖片幀率可以達到30 FPS。

上述的實時紅外與可見光圖像融合沒有考慮到小目標融合的效果以及沒有為進一步圖像處理創造條件。2022 年，Zhang 等人[95]提出了一種嵌入式實時紅外和可見圖像融合算法來檢測無人機，目標檢測的檢出率高達0.926，在ZedBoard上的幀率可以達到205.3 FPS，在TX1上的幀率為36.6 FPS，在ARM上的幀率為5.4 FPS。為解決炫光、煙霧等因素影響，2021年，Li等人[96]提出了一種基于引導濾波和顯著性檢測的紅外可見圖像融合的實時FPGA 實現，并將高級語言轉換成硬件語言，通過硬件實現的圖像融合速度是PC 圖像融合速度的63倍，幀率可達55.6 FPS，文獻[96]在去除光暈方面相比于其他算法有較好的效果。考慮實時性問題還可以從硬件角度出發，2022 年，黃西瑩等人[97]提出了在FPGA 上對融合算法并行實現來對運行時間進行優化。

所以，基于空間域的算法雖然不會對源圖像進行分解減少了計算的難度，但是會導致空間退化等問題；基于變換域的算法在像素級方法中處理效果較好，但會存在功耗過大的問題；基于混合模型的算法能夠折中變換域和空間域的優缺點但是計算復雜；通過并行處理加速能夠優化時間。由于機載設備有重量的要求，所以在機載光電吊艙上的計算能力是有限制的。在有限的計算能力之內要達到效率的最大化是現在需要解決的難題。傳統的圖像融合處理方法比深度學習的方法所用到的資源更少。總的來說，兼顧融合效果和計算能力不能用復雜的算法來解決，在單一模型中計算效率和融合效果往往是對立的，基于混合模型能夠折中這兩個問題。雖然現有的實時處理算法在仿真圖像模型上都有著良好的效果，但目前還沒有已發表的文獻涉及實際復雜自然環境中的試驗數據，且實時的圖像融合研究相對較少。

3 總結與展望

紅外與可見光圖像的增強、配準融合是為了后續對目標跟蹤檢測做預處理，基于預處理的圖像使后面的跟蹤檢測能夠更加準確。發展到目前，紅外與可見光的增強和配準融合已經覆蓋了軍事、輔助駕駛、電力、邊防等領域。雖然目前的增強、配準融合算法有很多，但是在不同的應用場景有不同的應用需求。在本文中根據光電載荷目標檢測的需求，既要滿足融合的精度又要滿足融合的實時性，所以目前還沒有一個完整全面講到增強、配準融合的算法來應用到光電載荷的應用場景中，且還沒有一個可靠的光電載荷下拍攝的數據集，所以雙光融合的落地仍面臨著一些挑戰。

（1）針對紅外與可見光圖像融合現在還沒有一種全面的圖像配準算法能夠適用于所有的應用場合。融合前要對圖像配準，相對于基于深度學習的算法，傳統的配準計算量較小，不需要大量的數據進行訓練。所以針對光電載荷這一背景，需要提出更加能夠具有計算量小、配準精度高、實時性好的算法。由于配準的難度較大，精度較小，所以無配準融合為紅外與可見光圖像融合提供了新的思路。對于弱小目標也可采用決策級融合，此時對異源圖像配準的要求小，當異源圖像判斷為目標時并且做出相關決策后進行融合來凸顯出目標。

（2）針對紅外與可見光圖像融合，雙光融合的過程中存在著噪聲放大、細節丟失、目標淹沒等問題，所以在光電載荷中計算能力有限的情況下，亟需提出新的針對復雜背景弱小目標的后續檢測跟蹤改進的紅外與可見光圖像融合算法。融合效果與融合時間需要進行折中，在實際應用中對融合速度的提升更為迫切。現有的傳統雙光融合算法對于實時性的要求還能滿足，處理圖像時幀率很低，對于人眼觀測的數據有較大的延遲，這對光電載荷上軟硬件都有較高的要求，并且現有的算法大多是在融合算法上的創新，而很少能夠進行實時融合的測試。所以傳統雙光融合算法仍然有較高的研究價值。

（3）機載光電載荷下實景拍攝的數據集缺乏。針對機載光電平臺的圖像處理技術沒有實景的測試，所以需在機載光電載荷平臺上拍攝圖像數據對來構建光電載荷下的紅外與可見光圖像數據集。