推掃式多光譜遙感相機動態范圍拓展方法

孫 武，韓誠山，呂恒毅,2，薛旭成，胡長虹

(1.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033；2.中國科學院大學，北京 100049)

1 引 言

國內外現有高分辨率航天遙感相機多為推掃式航天遙感相機[1-2]，其動態范圍一般不大于80 dB，無法滿足實際場景的遠大于100 dB動態范圍的要求。目前，提高相機動態范圍的方法主要有4類：(1)針對同一場景進行多次不同量的曝光，獲取多幅不同曝光量的圖像，再將它們融合為一幅新的高動態范圍的圖像，這是較為經典的辦法。這類方法于1997年由Paul E.D., Jitendra M.首次提出[3]，2003年至2005年，Robertson M.A.，Szeliski R.，Goshtasby A.A.等人針對該技術做了進一步的探索和完善[4-6]。該方法主要針對同一靜態場景進行動態范圍拓展，由于推掃式航天遙感相機難以在較短的時間內對同一場景進行多次曝光，該方法不適用于該場合。(2)薛旭成等人提出在推掃式航天遙感相機上應用雙排TDI CCD(Time Delay Integration-Charge Coupled Device)，對同一場景成兩幅或多幅積分級數不同的圖像，再通過圖像融合算法獲取高動態范圍遙感圖像[7]。周繼權[8]等人提出基于相機陣列的高動態范圍圖像合成方法也是同樣的原理，可以應用于動態變化的場景。該類方法可以有效提高相機的動態范圍，但是由于成本、功耗、重量、光學設計等問題，在航天領域的工程應用價值比較低。(3)呂濤、呂偉振等人提出利用數字微鏡獲取高動態范圍圖像[9-10]，但是考慮到技術和產品的性能[11-13]、成熟度、可靠性等因素，目前難以應用到航天相機領域。(4)Wu Sun等人提出采用面陣CMOS，并應用數字TDI技術，設置2個高低不同的數字積分級數，針對同一場景可以獲取2幅不同曝光量的圖像，再通過融合算法獲取高動態范圍遙感圖像[14]。該技術簡單易行，可在不改變現有光機設計、不增加成本的前提下有效提高動態范圍，但是該技術只能在新研制的遙感相機中應用，對現有遙感相機需要需要進行硬件改造。

本文提出了一種特殊的TDI-CCD積分級數設置方法：通過設置較低的P譜段積分級數，配合較高的多光譜譜段積分級數，提高動態范圍。具體做法是：通過多譜段圖像融合獲取一幅低積分級數全色圖像；該圖像經過上采樣后，與高積分級數、高分辨率全色圖像融合，以獲得一幅高動態范圍、高分辨率的全色遙感圖像。該方法可以作為一種特殊的高動態范圍成像模式，廣泛應用于推掃式多光譜航天遙感相機中。

2 積分級數設置及動態范圍拓展方法

為實現推掃式多光譜遙感相機的動態范圍拓展，可結合TDI-CCD的像元尺寸、譜段分布等特點，將P譜段積分級數調高、B譜段積分級數調低，以分別獲取長、短曝光時間的圖像，再通過圖像融合獲取高動態范圍的圖像。

2.1 推掃式多光譜遙感相機

推掃式多光譜遙感相機常采用TDI-CCD作為探測器，將光信號轉換為數字圖像信號。TDI-CCD中分為全色譜段(記作P譜段)和多光譜譜段(統稱為B譜段，分別記作B1, B2, B3, B4,…,Bn譜段)。一般而言，P譜段地面像元分辨率為δp，B譜段地面像元分辨率為δb。表1 列出了幾顆常見商業高分辨率遙感衛星的探測器像元尺寸。一般而言，δb是δp的k倍，k為整數。B譜段圖像中第i行第j列的像元Bi，j對應k×k個全色圖像的像元。與同一光學系統配合使用時，像元尺寸與地面像元分辨率成正比，Bx(x≤n)譜段圖像像元與P譜段圖像像元的對應關系如圖1 所示。

表1 商業高分辨率遙感衛星地面像元分辨率Tab.1 Ground pixel resolution of commercial high-resolution remote sensing satellites(nadir)

圖1 Bx譜段圖像與P譜段圖像的像元對應關系 Fig.1 Corresponding relationship of pixels betweene Bx band image and P band image

各個譜段可以分別獲取一幅圖像，由于P譜段與B譜段地面像元尺寸大小不同，一般來說，P譜段可以獲取高分辨率的圖像，B1,B2,B3,B4,…,Bn譜段可以分別獲取各自波長范圍的較低分辨率的圖像。通過全色圖像與多光譜圖像的融合，可以獲取高分辨率彩色或假彩色圖像。

2.2 特殊積分級數設置方法及相應動態范圍

常規的遙感相機在設置積分級數時，僅考慮信噪比這一參數，一般選擇滿足TDI CCD不飽和的最大積分級數[15]。

為了獲取長短曝光的遙感圖像，進一步達到動態范圍拓展的目的，本文提出一種新的積分級數設置方法，將各譜段積分級數設置偏離原有最佳數值：P譜段積分級數從原值MP調高μ1倍至NMP；B1,B2,B3,B4,…,Bn各譜段積分級數從原值MB1，MB2，MB3，MB4，…，MBn，調低μ2倍至NMB1，NMB2，NMB3，NMB4，…,NMBn。

P譜段直接成像，得到一幅全色圖像，記作ΓP。B譜段多幅圖像融合成一幅全色灰度圖像ΓB，插值后記作ΓBIN。在完成積分級數調整，提高ΓP的曝光量，降低ΓB的曝光量之后，將ΓP和ΓBIN融合在一起，可以獲取一幅高動態范圍的全色圖像Γ。

新舊積分級數設置的關系如公式(1)～(2)所示。

NMP=μ1·MP,

(1)

NMBx=μ2·MBx,

(2)

其中x=1,2,3,…,n，μ1>1,0<μ2<1。

在原積分級數下，P譜段和B譜段單個像元的曝光量為E0。改變積分級數后，全色譜段的曝光量變為

EP=E0·μ1,

(3)

多光譜譜段曝光量變為

EB=E0·μ2,

(4)

探測器原有動態范圍是：

(5)

其中，E指探測器可探測到的曝光量大小。

積分級數調整之后，考慮到曝光量與積分級數成正比，拓展得到的新的動態范圍為：

(6)

進而可知，動態范圍拓展量為：

(7)

由式(7)可知，當μ1=2,μ2=0.25的時候，動態范圍提高量為18.06 dB。

3 融合與插值算法

3.1 多譜段圖像融合算法

觀察各多光譜遙感衛星圖像可知，各譜段圖像的相關性很強，在多光譜圖像數據集合中，存在相當多的信息冗余[16]。主成分分析算法(Principal Component Analysis,PCA)是一種統計分析方法，主要用于減少數據的維數[17-21]。在遙感領域，其常被用于多光譜與全色譜段圖像融合：一般是將配準后的多光譜圖像ΓB1，ΓB2，ΓB3，…，ΓBn，作為輸入，經過PCA變換后，得到PC1，PC2，PC3，…,PCn共n個主成分，這些主成分對應n個從大到小的特征值γ1，γ2，γ3，…，γn。選取前3個主成分，用經過直方圖匹配的全色譜段、高分辨率圖像替換PCA變換結果中的第一主成分，然后再進行PCA反變換，得到高分辨率彩色圖像的RGB成分。

主成分分析算法過程中，第一主成分圖像包含了各輸入譜段中的相同信息，而獨特的光譜信息則體現在其它輸出成分中[16]。各主成分分量對方差的貢獻大小可以用各自對應的特征值來表示，從PC1到PCn逐漸減小。以特征值為權重，由各個主成分分量的加權平均值得到一幅灰度圖像，該圖像既包含了各個譜段的信息，又避免了信息冗余，與全色譜段的圖像最為接近。

Γ1，Γ2，Γ3，…，Γn分別對應PC1，PC2，PC3，…,PCn共n個主成分，其像元灰度值可用Γ1(x,y)，Γ2(x,y)，Γ3(x,y)，…，Γn(x,y)表示。

經過PCA變換后的融合過程可以用公式(8)表示：

(8)

3.2 圖像插值方法

對ΓB進行插值可以獲取全色、高分辨率、長曝光量的遙感圖像ΓBIN。

現有的各種插值方法，包括最近鄰域法、雙線性內插法和立方卷積內插法等方法，都是基于周邊像元的灰度值進行推斷的。本文提出充分利用對應區域內高積分級數、高分辨率全色譜段圖像ΓP的像素分布特點，對ΓB進行插值得到ΓBIN。

根據圖1所示的像元對應關系，與一個B譜段圖像像元Bi，j所對應的是k×k個P譜段圖像像元，利用這k×k個P譜段圖像像元的灰度值比例關系估算插值后的B譜段k×k個像元的像素值，具體可以表示為：

(9)

3.3 高、低積分級數圖像融合方法

根據公式(1)～(4)對現有各譜段積分級數關系的描述，可以將ΓBIN的像元灰度值γ1(x,y)和ΓP的像元灰度值γ2(x,y)按照以下方式進行融合：

由于

μ1<μ2,

(10)

一般有

γ1(x,y)≤γ2(x,y) ,

(11)

滿量程灰度值表示為:

ΦFS=2β.

(12)

在高積分級數圖像中，較暗區域顯示比較清晰，低積分級數圖像較亮區域顯示比較清晰，為充分利用上述特征，可以作以下融合，得到高動態范圍圖像ΓHDR各像元灰度值γHDR(x,y)的表達式：

(13)

4 實驗與結果

4.1 圖像采集

選取一臺TDI CCD相機進行成像實驗。首先將TDI CCD積分級數分別按照表2第一組、第二組數據設置，獲取相應圖像并配準。

表2 兩組積分級數設置Tab.2 Two groups of TDI stages

圖2 兩個積分級數各自對應的P譜段圖像 Fig.2 Two images of band P with different values of MP

圖3 按照第二組積分級數設置所得到的8個B譜段圖像 Fig.3 Eight images of band B when selecting the second group of TDI stages

按照第一組積分級數設置，成像并配準后的P譜段圖像為ΓP0，如圖2(a)所示；按照第二組積分級數設置，成像并配準后的P譜段圖像為ΓP，如圖2(b)所示，B譜段圖像ΓB1，ΓB2，ΓB3，…，ΓB8如圖3所示。

4.2 多光譜圖像的融合與上采樣

將ΓB1，ΓB2，ΓB3，…，ΓB8作為輸入，進行PCA變換，得到8個主成分分量，并按照3.1節中的方法得到融合后的低積分級數、低分辨率的灰度圖像ΓB，如圖4所示。

利用公式(9)對ΓB進行上采樣，得到新的低積分級數、高分辨率的灰度圖像ΓBIN，如圖5所示。

圖4 ΓB：由8個B譜段圖像融合所得到的灰度圖像 Fig.4 ΓB：gray image fused from the 8 images of band B

圖5 ΓBIN：上采樣后的ΓB Fig.5 ΓBIN:ΓB image after upsampled

4.3 高動態范圍圖像獲取

依據公式(13)將低積分級數、高分辨率的圖像ΓBIN與高積分級數、高分辨率圖像ΓP進行融合，得到新的高動態范圍、高分辨率灰度圖像ΓHDR，如圖6所示。

為了獲取更好的顯示效果，可以對灰度進行調整，使之更符合人眼的視覺特性，達到圖像增強的目的[22-23]。對ΓHDR進行灰度調整，得到Γadjust，如圖7所示。

圖6 ΓHDR：由ΓBIN和ΓP融合得到的高動態范圍圖像 Fig.6 ΓHDR: the HDR image fused by ΓBIN and ΓP

圖7 灰度調整后的高動態范圍圖像 Fig.7 HDR image after a grayscale adjustment

比較ΓBIN、ΓP和Γadjust，尤其是橢圓圈出的部分可以看出，ΓBIN中的較亮區域細節較為清晰，ΓP較暗區域細節較為清晰，而在高動態范圍圖像ΓHDR中，這兩個區域的細節均可以較好地觀察到。

顯然，由于μ1=2,μ2=0.25，由公式(7)可得動態范圍拓展量為18.06 dB。

5 結 論

根據推掃式航天遙感相機一般采用單排多譜段TDI CCD探測器，相機與場景之間存在高速相對運動的特點，本文提出了通過設置特殊積分級數提高相機動態范圍的方法，并介紹了應用PCA變換實現多光譜圖像到全色圖像的融合方法，以及根據高分辨率全色譜段圖像實現低分辨率圖像上采樣的方法。

實驗與計算結果表明：該方法能有效提高推掃式航天遙感相機的動態范圍，所獲取的HDR圖像能夠涵蓋比原圖像更大的動態范圍。當P譜段積分級數提高為原來的2倍， B譜段積分級數降低到原有積分級數的1/4時，動態范圍可以提高18.06 dB。與常規遙感相機成像方法相比，利用該方法進行動態范圍拓展時，遙感圖像處理的時間復雜度有所增加，但圖像處理的工作可完全在地面實現，即可以在不增加相機硬件成本、不改變原有光機結構的前提下，實現推掃式TDI CCD航天遙感相機動態范圍拓展的目的，具有較高的工程應用價值。