面向CMOS遙感相機的多曝光圖像融合方法

錢金卓，馬駿，李峰，辛蕾

(1.河南大學 軟件學院，河南 開封 475001；2.中國空間技術研究院 錢學森空間技術實驗室，北京 100094)

0 引言

遙感技術是指通過從外太空或者高空接收來自地球表面各類陸地物體的電磁波信息來進行相關處理的[1-2]技術。自20世紀80年代以來，我國空間事業取得巨大進展，高分、資源、環境等系列陸地遙感衛星的成功發射及組網，使我國成功躋身于世界遙感科學技術的前列[3]。此外，民用衛星產品也得了長足的發展，在各個領域中發揮了巨大的作用[4]。因此，研究能夠生產高質量遙感圖像的圖像處理技術具有重要的意義。

由于普通的基于互補金屬氧化物半導體(complementary metal oxide semiconductor，CMOS)的遙感相機所能捕獲的動態范圍遠小于自然場景的動態范圍，加之曝光時間有限，導致場景內細節內容的大量丟失，表現為拍攝的圖像或者曝光過度，或者暗淡[5]。為了最大限度地呈現自然場景的所有細節內容，出現了兩種算法解決思路：一種是通過使用經典的高動態范圍(high dynamic range，HDR)算法[6]解決相機動態范圍局限性問題；另一種是使用多曝光圖像融合[7-8]的方法解決此類問題。

在遙感領域相關研究中，對于解決相機動態范圍局限性問題已經做出了許多努力。1997年，Debevec等[9]提出了一種通過多幅不同曝光量的圖像來進行HDR圖像合成的方法。2017年，Lan等[10]基于數字時間延遲積分提出了一種熵最大化的自適應直方圖均衡算法，以提高圖像表達暗或低對比度目標細節的能力。此方法改善了CMOS相機合成HDR圖像的能力，但是具有理想性，未考慮星載相機的姿態穩定性能并不好，即使極短時間內快速連續拍攝的圖像之間也會發生輕微的位移偏差，影響最終合成圖像的質量。2019年，Bai等[11]設計了一種基于增強型電荷耦合器件的遙感相機，可以直接生成HDR圖像。此方法可以有效提高遙感相機的動態范圍，但是由于成本巨大，應用價值比較低。因此，目前在航天遙感領域中，尚未提出切實有效的應對遙感相機高動態場景成像的解決方案。

本文提出一種面向CMOS遙感相機的多曝光圖像融合方法來解決當前面陣CMOS相機存在的動態范圍局限性問題。該方法無需對當前的面陣CMOS相機進行器件改造，且極大減少對星載平臺姿態穩定度的要求，只需快速獲取同一場景下連續拍攝的多幀原始低照度遙感圖像，即可利用這些連續圖像生成一幅可顯示的HDR圖像，可直接應用于各類面陣CMOS遙感相機。

1 研究方法

面向CMOS遙感相機的多曝光圖像融合方法處理過程如圖1所示，其中主要包含兩部分內容。第一部分是進行多曝光遙感數據的采集生成，圖像配準結合數字時間延遲積分(time delay integration，TDI)技術獲取多曝光圖像序列，選擇其中的低曝光、正常曝光以及過度曝光的3張圖像作為下一部分的數據來源；第二部分是具有多尺度細節增強的多曝光圖像融合算法部分，對第一部分得到的3張圖像首先使用多尺度圖像細節提升算法進行優化處理，然后經過多曝光圖像融合算法進行處理，即可重建出一張自適應曝光的遙感圖像。

1.1 遙感圖像配準

空間推掃式面陣CMOS遙感相機在對同一場景進行快速連續拍攝時，由于衛星平臺的穩定性能并不好，所以在進行圖像處理之前一個不可缺少的步驟就是圖像配準操作。如圖2為星載CMOS相機對同一場景進行連續拍攝時，可看出整體圖像向左偏移。考慮實際應用，選用SURF特征算法[12]作為本文圖像配準算法，并結合隨機一致性算法(random sample consensus，RANSAC)剔除誤匹配的點，提高遙感圖像的配準精度。

圖2 CMOS相機獲取圖像示意圖

1.2 虛擬數字TDI多曝光序列

TDI技術可對同一目標進行多次曝光，增加系統集成時間，可有效提高航天遙感成像系統的信噪比與靈敏度[13]。在相機推掃速度嚴格匹配時，使用TDI技術對遙感數據進行處理，可解決推掃期間曝光時間不足的問題。由于受限于面陣CMOS結構，其在電荷域中無法實現TDI技術，本文選擇在數字域中實現TDI技術，它被稱之為虛擬數字TDI技術。虛擬數字TDI技術是指通過模仿數字TDI的快速曝光功能，對面陣CMOS相機快速連續拍攝得到的多幀原始低照度圖像進行配準，疊加不同配準圖像以產生具有不同曝光程度的圖像，以此擺脫器件的限制。首先選擇多幀圖像中的一幀圖像作為參考圖像，通過上文配準方法將其余幀配準到參考幀上，使得待配準圖像的像素點可以映射到參考圖像相同位置的空間坐標上，然后選擇配準結果圖像的公共區域作為ROI，如圖3所示。

圖3 公共ROI生成過程

在得到多幀ROI數據后，通過使用式(1)對多幀ROI圖像進行加權融合以生成不同曝光度圖像。由于對圖像進行了配準處理，加之選擇了公共區域，因此滿足了圖像融合的輸入要求，避免了圖像融合帶來的鬼影效果。

(1)

式中：φ表示兩幅圖像的融合比例；Ii(x)、Ii+1(x)分別為兩幀ROI圖像的像素；sum為融合ROI圖像的數量，i+1小于等于sum；F(x)為融合之后的圖像像素，即不同曝光度圖像。上述方法的核心是基于圖像配準技術選取ROI實現多幀圖像的累加，這樣做可有效減少對平臺姿態穩定性的要求。

為了進一步處理，通過以下策略來指導融合ROI圖像的數量，以便生成本文算法需要的3張低曝光、正常曝光、過度曝光圖像。通過式(2)配合高斯曲線，根據歸一化像素強度與0.5的接近程度，求取整幅ROI圖像的平均曝光度。由于面陣CMOS相機在快速連續拍攝過程中積分時間十分短暫，所產生的圖像曝光水平接近，所以只需求取多幀ROI圖像中的一幀圖像平均曝光度即可。

(2)

式中：選擇標準差σ為0.28；p(i，j)為歸一化后的像素值；pmax為整幅圖像中最大的像素亮度；avgE為多幀ROI的平均曝光灰度。

接下來對所求得的avgE進行判斷。定義grayL代表當前拍攝圖像所能表示的最大曝光灰度級(例如8位深圖像，grayL為256)，由于得到的數據是在極短時間內拍攝的連續多幀原始低照度圖像，積分時間十分有限，圖像平均曝光灰度是小于等于四分之一grayL。這里特別說明一下，應提前設定合適的相機曝光時間，使得相機在秒級內拍攝的圖像平均曝光度小于等于四分之一最大曝光能量級，即本文要求的原始低照度圖像，圖像平均曝光度可通過式(2)進行驗證。如果沒有提前設定合適的相機曝光時間，可能出現avgE大于四分之一grayL的情況，這時就需要對所有ROI圖像進行預處理，將其像素灰度值歸一化縮放到[0，grayL/4]范圍內，即可達到本文方法所要求的原始低照度圖像，然后再對處理之后的ROI圖像進行求取avgE。最后通過式(3)確定合成低曝光、正常曝光、過度曝光圖像所需要的融合ROI的數量。

(3)

式中：round表示對結果進行四舍五入，當grayLLNH分別為四分之一grayL、二分之一grayL、grayL時，可得到合成低曝光、正常曝光、過度曝光圖像所需融合ROI圖像數量的sum值。

1.3 多尺度圖像細節提升

通過上文的多曝光遙感數據生成過程，即可得到不同級別的曝光圖像，然而使用虛擬數字TDI技術對同一目標進行多次曝光時，過長的曝光時間會帶來圖像模糊的問題，因而會造成圖像細節信息的丟失。對此本文使用Kim等[14]提出的多尺度圖像細節提升方法來解決這個問題，其核心思想是使用不同大小的高斯核生成3個模糊程度不一樣的圖像，然后使用原圖減去模糊圖像生成細節圖像，最后融合3幅細節圖像即可增強圖像細節。

1.4 多曝光圖像融合

根據1.2節中的策略選擇曝光序列中的3張定義圖像經過上文算法處理之后，可作為接下來的多曝光圖像融合算法的數據來源，其處理過程如下。

1)權重圖求解。通過定義兩個評價指標，得到遙感圖像的權重圖。

(1)對比度評價指標。對每個不同曝光度的灰度遙感圖像應用拉普拉斯濾波器[15]，取其濾波結果的絕對值為相應像素的權重值，由此產生一個對比度評價指標。它傾向于為圖像中細節以及紋理等重要部分分配較大的權重。

(2)曝光評價指標。通常不希望圖像過度曝光，或者曝光不足，即圖像中的像素強度不要太靠近0或者1，使用高斯曲線實現，計算如式(4)所示。

(4)

式中：選擇標準差σ為0.08；x為每個像素歸一化后的強度，根據像素強度與0.6的接近程度為曝光合適的區域分配更多的權重，由此產生一個曝光評價指標。由于遙感圖像大部分為單波段灰度圖，所以只進行單波段處理即可。

接下來將兩個評價指標與歸一化相結合，計算出每幅圖像的最終權重圖。

2)圖像融合重建階段。使用多分辨率金字塔融合技術[16]來指導圖像融合，分別對歸一化權重圖進行高斯金字塔構建，同時對曝光圖像進行拉普拉斯金字塔構建。將這兩個金字塔相應層進行加權平均，并將得到的3個金字塔對應層級進行疊加，以此得到最終融合的金字塔。通過對融合的金字塔頂層圖像進行上采樣與下層圖像進行相加，得到一幅與下層圖像大小一致的圖像，依次向下操作直到金字塔最底層，即本文方法得到的自適應曝光的HDR圖像。數學表達如式(5)所示。

(5)

式中：金字塔的總層數為l，第1層表示原始圖像大小，第l層為當前金字塔中圖像大小最小的層級；up表示對圖像進行上采樣。

2 實驗與分析

為了驗證本文方法的可行性，本文實驗采用一組實驗室仿真數據和一組真實衛星遙感數據開展實驗驗證。第一組實驗數據采用錢學森空間技術實驗室光學仿真平臺采集的仿真實驗數據。通過面陣CMOS相機模擬衛星對地運動快速獲取移動靶標的連續多幀數據，一組為8幀圖像。第二組實驗數據采用歐比特公司發射的珠海一號(OVS-1A)衛星，其上搭載了面陣CMOS相機，可快速連拍獲取低照度圖像。本文選取的研究區域位于阿克蘇地區，時間為2018年9月19日，通過快速連續拍攝獲取多幀圖像。

本文關于圖像質量的客觀評價采用清晰度、二維熵、方差和空間頻率指標。圖像清晰度采用Crete等[17]提出的評價方法，這個評價結果越低，代表圖像越清晰；圖像二維熵[18]大小可表示圖像所攜帶的信息量的多少，如果圖像二維熵值越大，則表示圖像融合的信息量越大，所能傳遞信息越多；方差代表圖像中的高頻信息，圖像方差大，則圖像的對比度大，并且圖像會更加醒目[19]；圖像空間頻率表征了圖像在空間域中的總體活躍程度，反映了圖像灰度的變化率[20]，圖像空間頻率越大，則融合圖像中的細節信息越多。

2.1 實驗一

為了獲取本文方法所需的原始低照度圖像，通過將面陣CMOS相機曝光時間設定為10 ms，數據位深為8 bit，計算出拍攝的圖像平均曝光度低于四分之一最大灰度級，即符合低照度圖像要求。本次實驗數據是在同一環境下、同一曝光時間，短時間內快速連續拍攝的8幀圖像。如圖4為8幀原始仿真數據，圖像大小為1 800像素×1 800像素。可看出這些圖像整體顯得暗淡，且發生了輕微的位移偏差。

圖4 8幀原始低照度圖像

對這些圖像使用本文方法進行配準，將第4幀作為參考幀，其余幀配準到第4幀上，之后選取公共ROI使用虛擬數字TDI技術生成多曝光序列。ROI多曝光序列如圖5所示，其中圖5(a)為原始ROI圖像，圖5(b)、圖5(c)、圖5(d)、圖5(e)、圖5(f)分別為3、5、7、10、13張ROI融合的結果。

圖5 仿真數據ROI多曝光序列

根據上文提到的策略，計算出仿真數據平均曝光灰度為19左右，合成算法所需的低曝光、正常曝光、過度曝光圖像分別需融合3、7、13張ROI，因此選擇圖5(b)、圖5(d)、圖5(f)輸入本文算法，即可得到自適應曝光圖像圖6(d)。圖6(a)為原始圖像，圖6(b)、圖6(c)分別為文獻[7]、文獻[8]中方法生成的結果，從主觀角度進行對比觀察可以看出，本文方法生成的HDR圖像更加醒目，且細節得到了增強。

圖6 實驗室仿真數據原始圖像與不同方法生成結果對比圖

使用清晰度、二維熵、方差和空間頻率對實驗室仿真數據經不同方法生成的結果圖像與原始圖像進行客觀評價，評價結果如表1所示。可以看出，本文方法在二維熵、方差、空間頻率指標上均高于原始圖像與其他方法，在清晰度指標上高于其他方法，略低于原始圖像，這是由于配準誤差帶來的影響。綜合主觀與客觀結果，可以證明本文方法生成的HDR圖像在仿真數據上表現優異。

表1 仿真數據原始圖像與不同方法生成的HDR圖像在清晰度、二維熵、方差和空間頻率方面的對比

2.2 實驗二

珠海一號OVS-1A快速拍攝的連續多幀低照度阿克蘇地區的8位圖像作為本文的第二組實驗數據來源。圖7所示為阿克蘇地區原始推掃數據，由于曝光時間短暫，造成圖像暗淡。

圖7 來自珠海一號OVS-1A的原始推掃數據

為了進行遙感圖像的配準處理，本文選取OVS-1A原始推掃數據中的連續8幀圖像，圖像大小為4 096像素×3 072像素，其中第4幀作為參考幀，將其余幀使用本文配準算法進行配準處理。配準處理結果如圖8所示，可以看出前3幀圖像相對于第4幀圖像向上偏移，后4幀圖像相對于第4幀圖像向下偏移。

圖8 使用SURF對OVS-1A推掃數據進行配準的結果

在得到配準結果圖之后，選取這7幀配準結果圖像相同位置的公共ROI，之后使用虛擬數字TDI技術進行多級曝光數據的生成，其多曝光序列生成結果如圖9所示，其中圖9(a)為原始公共ROI圖像，圖9(b)、圖9(c)、圖9(d)、圖9(e)、圖9(f)分別為3、6、8、10、12張ROI融合的結果。

圖9 OVS-1A阿克蘇地區 ROI多曝光序列

在經過上述方法處理之后，即可得到面陣CMOS遙感相機的多曝光圖像序列。由于OVS-1A 拍攝的阿克蘇地區實驗數據符合本文方法要求的原始低照度圖像，其曝光灰度級在23左右，小于四分之一最大能量級，因此不需要預先進行動態范圍調整。根據上文提到的策略，要達到低曝光、正常曝光、過度曝光水平所需要融合ROI圖像的數量分別為3、6、10，所以選擇圖9(b)、圖9(c)、圖9(e)輸入本文算法中進行處理，生成的自適應曝光HDR圖像如圖10(d)所示。圖10(a)為原始圖像，圖10(b)、圖10(c)分別為文獻[7-8]中方法生成的結果圖像。從主觀的角度觀察比較圖10(a)～圖10(d)放大的區域，可以看出本文方法生成的HDR遙感圖像在圖像的暗區變得清晰，且具備更加豐富的細節紋理特征。

圖10 OVS-1A原始圖像與不同方法生成結果對比圖

為了進一步說明本文提出方法的有效性，根據清晰度、二維熵、方差和空間頻率對OVS-1A衛星阿克蘇地區經不同方法生成的結果圖像與原始圖像進行客觀評價，評價結果如表2所示。

表2 OVS-1A阿克蘇地區原始圖像與不同方法生成HDR遙感圖像在清晰度、二維熵、方差和空間頻率方面的對比

從表2可以看出，本文方法生成的自適應曝光HDR遙感圖像在二維熵、方差以及空間頻率上均高于其原始圖像與其他方法；在清晰度指標上優于其他方法，略低于原始圖像，這是由于圖像配準誤差導致的圖像清晰度的下降。綜合主觀以及客觀角度的對比結果，可以證明本文提出的面向CMOS遙感相機的多曝光圖像融合方法生成的自適應曝光HDR遙感圖像具有較高的質量。

3 討論

由于本文方法要求面陣CMOS相機在短時間內快速采集連續多幀原始低照度圖像，即應設定合適的相機曝光時間，才能使得原始圖像的平均曝光灰度級小于等于四分之一最大能量級，根據1.2中式(2)可直接驗證曝光時間是否設置合理。在數字域中形成類似TDI成像的效果，基于圖像配準技術實現多幀的累加，減少了對平臺穩定性的要求。通過本文的曝光合成策略，可指導合成3張本文算法所要求的輸入圖像。后面開展的實驗，無論是從主觀還是客觀角度，都可以看出本文方法生成的圖像質量優于其他圖像融合方法，且有效解決了面陣CMOS相機應對高動態場景成像的問題。這里特別指出，由于珠海一號所拍攝的圖像曝光水平符合本文所要求的實驗參數，即平均曝光度小于四分之一最大能量級，所以無需對原始圖像進行預處理以調整動態范圍，達到低照度圖像要求。

4 結束語

為了解決面陣CMOS遙感相機存在的動態范圍局限性以及曝光時間短暫的問題，本文通過圖像配準組合數字TDI技術的方法使得面陣CMOS相機可以進行多曝光圖像的采集生成；利用具有多尺度細節增強的多曝光圖像融合算法生成了一幅自適應曝光的高質量遙感圖像，擺脫了傳統HDR算法的色調映射以及相機響應函數的繁瑣求解過程，且不依賴于器件改造，使得面陣CMOS相機具備了生成高動態范圍圖像的能力。實驗表明，本文方法優于傳統的多曝光圖像融合方法，且為遙感衛星平臺獲取高質量圖像提供了一種新的解決方法。這種新型成像方法已被中國后續某地球同步軌道光學成像衛星所采用。